Skip to content
La oposición a la automatización: la base de datos de litigios de NewTech
  • Francesca Palmiotto y Derya Ozkul
  • May 2024

Los procedimientos judiciales informados son vitales para defender los derechos de las personas migrantes que son objeto de decisiones automatizadas. El presente artículo expone la base de datos sobre litigios de NewTech, una herramienta para cualquier persona que busque oponerse al uso de los sistemas automatizados en procedimientos de migración y asilo.[1]

The NewTech Litigation Database collates and publishes litigation against the use of new technologies worldwide.
La base de datos sobre litigios de NewTech recopila y publica las denuncias interpuestas contra el uso de las nuevas tecnologías en todo el mundo. Autoría: Hertie School y Bitteschön.tv

El uso de herramientas automatizadas en el ámbito público para la identificación, categorización y evaluación de las personas plantea importantes cuestiones jurídicas relativas a los derechos fundamentales. En los últimos años, han surgido conflictos jurídicos relacionados con la automatización del sector público en el marco del derecho internacional y nacional sobre los derechos humanos.

En la actualidad, los tribunales están abordando cuestiones fundamentales, por ejemplo, la manera de garantizar el cumplimiento de los derechos fundamentales y los mecanismos de salvaguardia que deben tener los sistemas automatizados cuando se utilizan en la toma de decisiones en el sector público. La sociedad civil también está intentando comprender el funcionamiento de estos sistemas y oponerse a su uso. Sin embargo, el análisis sobre la manera de oponerse a estos procesos, de las personas implicadas en esta oposición y de los fundamentos de su oposición ha sido poco sistemático.

Este artículo describe los diversos métodos de oposición que se dan en este espacio. También presenta la base de datos de litigios de NewTech, una nueva herramienta desarrollada en el marco del proyecto Algorithmic Fairness for Asylum Seekers and Refugees para la justicia en los algoritmos aplicados a las personas refugiadas y solicitantes de asilo.[2] Esta herramienta, que se pondrá en marcha en mayo de 2024, facilita el acceso a la jurisprudencia y a las estrategias de oposición relacionadas, lo que ayudará a las organizaciones de la sociedad civil a realizar búsquedas, aprender de terceros y encontrar inspiración para su labor.

Métodos de oposición

El uso de herramientas automatizadas está cada vez más extendido en la toma de decisiones públicas sobre migración y asilo, pero la información sobre la existencia, los pormenores y el funcionamiento de los algoritmos que emplean no siempre está a disposición del público. Esta falta de transparencia dificulta que las personas afectadas por las nuevas tecnologías logren comprender cómo funcionan y cómo oponerse a su uso. Nuestra labor de investigación ha revelado que aquellas personas que se ven afectadas por estas tecnologías rara vez son capaces de oponerse a su uso. No obstante, organizaciones de la sociedad civil, activistas y políticos han empleado diversos métodos para comprender y cuestionar el uso de estas tecnologías. Estos métodos incluyen exigir transparencia mediante solicitudes de información y encuestas parlamentarias, presentar denuncias ante las autoridades de protección de datos y emprender acciones legales ante los tribunales.

La exigencia de transparencia a través de las solicitudes de información

Para obtener información sobre los sistemas automatizados, las organizaciones de la sociedad civil, concretamente, las organizaciones no gubernamentales y sin ánimo de lucro que trabajan en cuestiones como los derechos digitales y el impacto de la tecnología en las comunidades, han recurrido a las solicitudes de libertad de acceso a la información para pedir información a sus respectivos gobiernos. FoxGlove, una ONG con sede en Reino Unido que lucha por promover un uso justo de la tecnología, ha apoyado los esfuerzos de obtención de información sobre la herramienta automatizada de categorización y evaluación de riesgos utilizada por el Ministerio del Interior de Reino Unido para tramitar las solicitudes de visados de corta duración. Del mismo modo, la iniciativa Public Law Project intentó obtener información sobre la herramienta de categorización y evaluación de riesgos empleada por el Ministerio del Interior para identificar los matrimonios de conveniencia. En ambos casos, el Ministerio del Interior no reveló toda la información y los criterios para clasificar a los solicitantes siguen sin estar claros. Sin embargo, al menos en el primero de los ejemplos, la información ayudó a FoxGlove a presentar una revisión judicial para poner en cuestión el uso del algoritmo en virtud de las leyes de igualdad vigentes en Reino Unido.

En Alemania, Gesellschaft für Freiheitsrechte (GFF, por sus siglas en alemán), una organización de defensa de los derechos humanos sin ánimo de lucro, también realizó importantes esfuerzos para desvelar los detalles sobre el uso de la extracción automatizada de datos a partir de teléfonos móviles por parte de la autoridad alemana de asilo. Antes de estas iniciativas, apenas había información públicamente disponible sobre los pormenores de esta práctica. Con el fin de recabar información, GFF colaboró con la periodista y experta en informática Anna Biselli para llevar a cabo un estudio a fondo. La información obtenida con este estudio ayudó a GFF a llevar esta práctica ante los tribunales administrativos y a presentar una denuncia ante el Comisario Federal de Protección de Datos de Alemania.

Los partidos políticos de la oposición han recurrido a encuestas parlamentarias para obtener información sobre las herramientas automatizadas. Por ejemplo, en Alemania, determinados miembros del partido de izquierdas Die Linke intentaron de manera reiterada obtener información sobre la extracción automatizada de datos procedentes de los teléfonos móviles y las herramientas de reconocimiento automático de dialectos empleadas en los procedimientos de asilo en Alemania. A escala europea, el europarlamentario Patrick Breyer solicitó información adicional sobre una controvertida herramienta desarrollada en el contexto del proyecto de investigación iBorderCtrl, que contaba con financiación de la Unión Europea. El objetivo de este proyecto era desarrollar un detector de mentiras basado en inteligencia artificial para su uso en las personas que llegan hasta las fronteras de la Unión Europea. Sin embargo, la Agencia Ejecutiva de Investigación de la Comisión Europea denegó el acceso a los documentos relacionados con este proyecto, alegando que su divulgación socavaría la protección de los intereses comerciales del consorcio de empresas implicadas en el desarrollo de la tecnología para el proyecto.

La presentación de reclamaciones ante las autoridades de protección de datos

Otro de los métodos empleados para oponerse a la automatización es la presentación de reclamaciones ante las autoridades de protección de datos. En la Unión Europea, el Reglamento General de Protección de Datos permite presentar reclamaciones ante las autoridades de protección de datos. Las autoridades de protección de datos son organismos independientes con competencias específicas. Una vez que se presenta una reclamación, la autoridad de protección de datos competente debe investigar los hechos, analizar el fondo de la cuestión y emitir un dictamen jurídicamente vinculante. Si se detecta cualquier infracción, la autoridad de protección de datos puede imponer sanciones administrativas y disciplinarias para subsanar la situación e indemnizar a la persona interesada por daños y perjuicios. También están autorizadas para detener o prohibir el uso de ciertas tecnologías. Por ejemplo, en 2019, el Supervisor Europeo de Protección de Datos determinó que el monitoreo de las redes sociales de las personas refugiadas y solicitantes de asilo por parte de la Oficina Europea de Apoyo al Asilo carecía de fundamento jurídico y suspendió temporalmente esta actividad. Este organismo resolvió que la Oficina Europea de Apoyo al Asilo debía tener fundamentos jurídicos claros para realizar esta práctica en el futuro y cumplir con las medidas de salvaguardia pertinentes.

Los procedimientos de reclamación ante las autoridades de protección de datos ofrecen ventajas, ya que son menos formales, menos complejos y, por lo general, más rápidos que los procedimientos judiciales. Además, presentar una reclamación ante una autoridad de protección de datos es menos oneroso, ya que no se requiere de representación legal. Asimismo, las autoridades de protección de datos tienen competencias para realizar pesquisas y experiencia en la legislación sobre la protección de datos y en cuestiones relacionadas con la informática. Las organizaciones de la sociedad civil también han utilizado esta vía de reparación para limitar o detener el uso de nuevas tecnologías. Por ejemplo, en Alemania, GFF presentó una reclamación ante el Comisario General de Protección de Datos de Alemania en marzo de 2021. La denuncia se refería a la extracción automatizada de datos de los teléfonos móviles de las personas solicitantes de asilo por parte de la autoridad alemana de asilo, alegando que el análisis de los datos telefónicos incumplía el Reglamento General de Protección de Datos. En paralelo, emprendieron con éxito acciones legales ante los tribunales administrativos (véase la sección a continuación).

El emprendimiento de acciones legales ante los tribunales

Las organizaciones de la sociedad civil y personas particulares también han cuestionado la legalidad de las herramientas automatizadas ante los tribunales. En la mayoría de los casos, los recursos judiciales se han interpuesto por motivos relacionados con los derechos humanos, alegando que el uso de las nuevas tecnologías era incompatible con los derechos a la intimidad, a la protección de datos y a la no discriminación. Enmarcar los casos en la legislación sobre derechos humanos permitió a los tribunales rechazar determinados usos de las herramientas automatizadas por parte de los gobiernos o establecer requisitos específicos para su utilización. Un ejemplo es el histórico caso del programa System Risk Indication (SyRI) en Países Bajos. El sistema SyRI se utilizó para elaborar perfiles a partir de una gran cantidad de datos personales sensibles recopilados a través de organismos públicos para detectar posibles casos de fraude a la Seguridad Social y a la Agencia Tributaria. Quienes se opusieron a esta práctica alegaron que contravenía el Convenio Europeo de Derechos Humanos. En febrero de 2020, el Tribunal Europeo de Derechos Humanos dictaminó que esta práctica era ilícita, ya que infringía el derecho a la privacidad.

En Reino Unido, el Tribunal Superior de Justicia declaró ilegal la política del Gobierno de registrar, incautar y extraer datos de los teléfonos móviles de personas migrantes en virtud del derecho nacional y del artículo 8 del Convenio Europeo de Derechos Humanos. GFF llevó ante los tribunales prácticas similares de obtención y extracción automatizada de datos provenientes de teléfonos móviles en los procesos de asilo en Alemania. Sin embargo, a diferencia de Reino Unido, esta práctica fue autorizada en Alemania cuando se introdujeron enmiendas a la Ley de Asilo que permitían el análisis de los datos procedentes de los teléfonos móviles para identificar a solicitantes de asilo sin documentación. No obstante, en la práctica, la autoridad alemana de asilo estaba contraviniendo el principio de proporcionalidad exigido por el derecho a la privacidad. En 2023, el Tribunal Administrativo Federal de Alemania dictaminó que el análisis periódico de los datos extraídos de teléfonos móviles por parte de la autoridad alemana de asilo durante el registro de solicitantes de asilo, sin tener en cuenta la información ni los documentos disponibles, era una actividad ilícita. En este caso, el tribunal no puso fin al uso de esta tecnología, sino que impuso una serie de estrictos requisitos para su uso, con importantes repercusiones más allá de este caso concreto.

Otro importante reto jurídico es examinar la precisión y los sesgos de los sistemas automatizados y, en relación con eso, el derecho a la no discriminación. Dos personas refugiadas en Canadá cuestionaron el uso de un sistema de reconocimiento facial por su falta de precisión y por los problemas a la hora de identificar a las mujeres negras o de color. El tribunal admitió el recurso de apelación y resolvió derivar el caso a un grupo de expertos de la autoridad competente en materia de asilo con una composición diferente. GFF también destacó imprecisiones y errores en los sistemas automatizados en el caso del análisis de datos de teléfonos móviles en Alemania. Según las estadísticas del Gobierno en 2022, las conclusiones de los informes de análisis de los datos de los teléfonos móviles fueron inútiles en más de la mitad de los casos (el 67,6 %), lo que apunta a que es fundamental volver a evaluar la fiabilidad de tales tecnologías en el contexto de los procedimientos de asilo.

Por último, los demandantes también se quejaron de la falta de transparencia, un factor que afectaría a los derechos procesales de las personas. En dos casos emblemáticos ante el Tribunal de Justicia de la Unión Europea, dos organizaciones de la sociedad civil, la Ligue de Droit Humains y La Quadrature du Net, cuestionaron el uso de los datos de pasajeros en vuelos extracomunitarios para prevenir y detectar el terrorismo. La legislación europea permitía realizar evaluaciones de riesgo automatizadas para identificar a los viajeros que debían ser objeto de análisis adicionales por parte de las autoridades, algo que, según las organizaciones demandantes, es incompatible con la Carta de los Derechos Fundamentales de la Unión Europea. En sus sentencias, el tribunal exigió la aplicación de ciertas medidas de protección en la tecnología de evaluación de riesgos para garantizar el cumplimiento del derecho a la privacidad, a la protección de los datos y a una reparación efectiva. Concretamente, destacaron la necesidad de contar con herramientas tecnológicas fiables, la obligación de revisar los casos de manera individual por medios no automatizados y los derechos vinculados a la transparencia de las personas interesadas, como el derecho a entender cómo funciona un programa. El tribunal también resolvió que el uso de algoritmos de aprendizaje automático es incompatible con el derecho a una reparación efectiva, ya que no proporcionan suficiente certeza ni al revisor humano ni a las personas interesadas.

En resumen, al fundamentar la impugnación en los derechos humanos, los tribunales pueden poner fin a prácticas ilegales, establecer normas específicas relacionadas con el uso de la tecnología o aplicar normas de mayor transparencia a los sistemas automatizados que proporcionan ventajas más allá de un caso concreto.

La base de datos sobre litigios de NewTech del proyecto Algorithmic Fairness for Asylum Seekers and Refugees

Dado que el uso de herramientas automatizadas es aún incipiente, los métodos para oponerse a ello también van emergiendo y evolucionando poco a poco. Hemos desarrollado la base de datos sobre litigios de NewTech para guardar un registro del amplio abanico de métodos de oposición y sus resultados. Se trata del primer recurso gratuito y disponible en línea especializado en procedimientos judiciales contra el uso de nuevas tecnologías en todo el mundo. En la actualidad, la jurisprudencia relacionada con los controvertidos usos de las nuevas tecnologías está almacenada en bases de datos nacionales únicas y no suele estar traducida al inglés. Nuestra base de datos pretende sortear estos obstáculos de acceso e idioma mediante una interfaz intuitiva, elementos visuales y herramientas de búsqueda avanzada. La base de datos incluye la información básica y un resumen de todas las resoluciones. Además, recoge las sentencias, resoluciones o dictámenes de los tribunales nacionales e internacionales y de las autoridades de protección de datos con un amplio alcance geográfico (algo que ha sido posible gracias a la labor de nuestros relatores nacionales en todo el mundo).

En el momento en el que se redacta este artículo, en febrero de 2024, la base de datos incluye registros de cincuenta procedimientos judiciales relacionados con la impugnación del uso de nuevas tecnologías por parte del sector público. Estos casos abarcan varias ramas del derecho público, como la educación, la administración de la justicia, la aplicación de la ley, la gobernanza de la migración y el asilo, la admisión a cargos públicos y la ejecución fiscal. De los casos registrados, quince de ellos están directamente relacionados con temas de migración, inclusive el asilo. La base de datos ofrece un resumen detallado de todas las resoluciones en inglés y las entradas se catalogan por sector, país y autoridad. También clasifica cada resolución o sentencia en función del tipo de tecnología objeto de la oposición (por ejemplo, el reconocimiento facial), de las obligaciones jurídicas que emergen de ella (por ejemplo, la transparencia), de la propiedad de la herramienta en cuestión (privada o pública) y de los derechos afectados. Esta base de datos es un valioso recurso para investigadores, juristas y responsables de la formulación de políticas que trabajan en todos los aspectos de las nuevas tecnologías y los derechos humanos. Asimismo, pretende concienciar y aportar transparencia sobre el alcance y el impacto de las nuevas tecnologías, al informar y respaldar el trabajo de las organizaciones de la sociedad civil y de los actores del panorama jurídico.

Conclusiones

El presente estudio sobre los mecanismos de oposición existentes pone de manifiesto que las organizaciones de la sociedad civil y la comunidad activista han emprendido la mayoría de las acciones, mientras que las personas particulares afectadas por las herramientas automatizadas han tomado pocas medidas, posiblemente por falta de conocimiento y recursos. Nuestro análisis también ha revelado que estos agentes han intentado desafiar el uso de herramientas automatizadas por distintas vías. Debido a la falta de transparencia, es posible que tengan que iniciar el procedimiento de oposición pidiendo información sobre el funcionamiento de las herramientas en cuestión a través de solicitudes de información. Una vez que hayan obtenido suficientes datos y evidencias, podrán emprender acciones legales ante los tribunales. Por otra parte, la presentación de reclamaciones ante las autoridades de protección de datos puede proporcionar soluciones rápidas y sencillas a la vulneración del derecho a la protección de datos. Animamos encarecidamente a todas las personas que estén interesadas en cuestionar los usos perniciosos de las nuevas tecnologías a mantenerse informadas y a tomar medidas usando la base de datos sobre litigios de NewTech. Esta base de datos proporciona información valiosa sobre las estrategias jurídicas y la jurisprudencia existentes que puede servir a las personas para proteger sus derechos frente a quienes ostentan el poder.

 

Francesca Palmiotto
Investigadora posdoctoral, Centro para los Derechos Fundamentales, Hertie School
f.palmiotto@hertie-school.org X: @FPalmiotto

Derya Ozkul
Profesora adjunta, Departamento de Sociología, Universidad de Warwick
derya.ozkul@warwick.ac.uk X: @DeryaOzkul

LEER EL NÚMERO COMPLETO

[1] La información incluida en este artículo, inclusive los datos extraídos de la base de datos sobre litigios de NewTech, ha sido recopilada en el marco del proyecto Algorithmic Fairness for Asylum Seekers and Refugees, financiado por la Fundación Volkswagen.

[2] Si le interesa este proyecto, puede seguir nuestra cuenta atrás para su publicación en X, @AFARproject, y visitar el sitio web del proyecto para acceder a la base de datos.

DONATE DONATE
This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.