Skip to content
Contester l’automatisation : la NewTech Litigation Database (Base de données des contentieux des nouvelles technologies)
  • Francesca Palmiotto and Derya Ozkul
  • May 2024

Des actions en justice fondées sur des informations fiables sont essentielles pour faire respecter les droits des migrants qui font l’objet d’une prise de décision automatisée. Dans cet article, nous présentons la NewTech Litigation Database, un outil destiné à tous ceux qui souhaitent contester l’utilisation des systèmes automatisés dans le cadre des procédures d’asile et d’immigrationi.1

The NewTech Litigation Database collates and publishes litigation against the use of new technologies worldwide.
La base de données NewTech sur les litiges recueille et publie les plaintes contre l’utilisation de nouvelles technologies dans le monde entier. Crédits : Hertie School & bitteschön

L’utilisation d’outils automatisés dans le domaine public pour identifier, classifier et évaluer les individus, soulève d’importantes questions juridiques relatives aux droits fondamentaux. Au cours des dernières années, des contestations judiciaires concernant l’utilisation de l’automatisation dans le secteur public ont eu lieu dans le cadre du droit international et national portant sur les droits humains.

Les tribunaux cherchent actuellement à répondre à ces questions cruciales, par exemple, comment assurer le respect des droits fondamentaux et quels garde-fous doivent être mis en place lorsque des systèmes automatisés sont utilisés dans des processus de prise de décision publique. La société civile cherche également à comprendre comment ces systèmes fonctionnent et comment en contester l’utilisation. Cependant, peu d’analyses systématiques ont été réalisées sur la façon dont ces contestations ont lieu, qui y participe et sur quelles bases elles se fondent.

Cet article propose un tour d’horizon des différentes méthodes de contestation dans ce domaine. Il présente également un nouvel outil, la NewTech Litigation Database, que nous avons développé dans le cadre du projet Algorithmic Fairness for Asylum Seekers and Refugees (Équité des algorithmes pour les demandeurs d’asile et les réfugiés ou AFAR)i. Cet outil (qui sera lancé en mai 2024) facilite l’accès à la jurisprudence existante et aux stratégies de contestation associées et aide les organisations de la société civile à faire des recherches et à s’inspirer d’autres expériences.

Méthodes de contestation

Les outils automatisés sont de plus en plus utilisés dans les processus de prise de décision publique en matière de demande d’asile et d’immigration. Cependant, les informations détaillées concernant l’existence et le fonctionnement de ces algorithmes ne sont pas toujours accessibles au grand public. En raison de ce manque de transparence, les personnes concernées par ces nouvelles technologies ont du mal à comprendre comment elles fonctionnent et comment en contester l’utilisation. Nos recherches ont révélé que les personnes concernées par ces technologies sont rarement en mesure de les contester. Les organisations de la société civile, les activistes et les membres des partis politiques ont cependant employé diverses méthodes pour comprendre et contester ces technologies. À savoir : exiger la transparence par le biais de demandes d’informations et d’enquêtes parlementaires, déposer des plaintes auprès des autorités chargées de la protection des données et intenter des actions en justice.

Exiger la transparence par le biais de demandes d’informations

Pour obtenir des informations sur les systèmes automatisés, les organisations de la société civile et plus particulièrement les organisations non gouvernementales et à but non lucratif qui travaillent sur les droits numériques et l’impact de la technologie sur les communautés, ont présenté des demandes d’information à leurs gouvernements respectifs au nom de la liberté d’information. FoxGlove, une ONG basée au Royaume-Uni qui œuvre à promouvoir l’utilisation équitable de la technologie, a apporté son aide pour obtenir des informations sur l’outil automatisé de classification et d’évaluation des risques utilisé par le Home Office (ministère de l’Intérieur britannique) pour traiter les demandes de visa à court terme au Royaume-Uni. De même, le Public Law Project (PLP) (projet de droit public) s’est efforcé d’obtenir des informations sur l’outil automatisé de classification et d’évaluation des risques mis en place par le Home Office pour reconnaître les mariages blancs. Dans les deux cas, le Home Office n’a pas divulgué toutes les informations et la base sur laquelle les demandeurs ont été classifiés reste floue. Cependant, dans l’exemple de FloxGlove, les informations obtenues ont permis à l’ONG de déposer un recours judiciaire contestant l’utilisation de l’algorithme en vertu des lois britanniques sur l’égalité.

En Allemagne, Gesellschaft für Freiheitsrechte (GFF, Société pour les droits civils), une organisation de défense des droits humains à but non lucratif, a également mis en œuvre des efforts considérables pour découvrir comment l’autorité allemande chargée des demandes d’asile (BAMF) utilise l’extraction automatisée des données des téléphones portables. Avant cela, le public ne disposait que de très peu d’informations concernant cette pratique. GFF est parvenu à recueillir ces informations en faisant des recherches poussées en collaboration avec la journaliste et informaticienne Anna Biselli. Les informations qu’ils ont obtenues ont permis à GFF de porter cette pratique devant les tribunaux administratifs et de déposer une plainte auprès du Commissaire fédéral à la protection des données.

Des partis politiques de l’opposition ont eu recours à des enquêtes parlementaires pour obtenir des informations sur les outils automatisés. Par exemple, en Allemagne, des membres du parti de gauche, Die Linke, ont tenté à plusieurs reprises d’obtenir des informations sur les outils d’extraction automatisée des données des téléphones portables et d’identification automatique des dialectes utilisés dans le cadre de la procédure d’asile allemande. Au niveau de l’UE, Patrick Breyer, membre du Parlement européen, a cherché à obtenir davantage d’informations sur un outil controversé développé dans le cadre d’un projet de recherche financé par l’UE, du nom d’iBorderCtrl. Ce projet avait pour but de fabriquer un détecteur de mensonges basé sur l’IA qui serait utilisé sur les personnes arrivant à la frontière de l’UE. Cependant, l’Agence exécutive pour la recherche de la Commission européenne a refusé d’accorder l’accès aux documents relatifs à ce projet au motif que leur divulgation irait à l’encontre de la protection des intérêts commerciaux du consortium d’entreprises participant au développement de la technologie concernée.

Déposer des plaintes auprès des autorités chargées de la protection des données

Une autre méthode utilisée pour contester l’utilisation de l’automatisation est le dépôt de plaintes auprès des autorités chargées de la protection des données. Dans l’UE, le règlement général sur la protection des données (RGPD) permet de déposer des plaintes auprès des autorités de protection des données (APD). Les APD sont des autorités indépendantes dotées de pouvoirs spécifiques. Une fois la plainte déposée, les APD doivent enquêter sur les faits, évaluer le bien-fondé de l’affaire et rendre une décision juridiquement contraignante. Si elles constatent une violation, elles peuvent imposer des amendes administratives et des mesures disciplinaires pour remédier à la violation et accorder des dommages-intérêts à la personne concernée. Elles ont également le pouvoir d’interdire ou de mettre un terme à certaines technologies. Par exemple, en 2019, le Contrôleur européen de la protection des données a constaté que le suivi des demandeurs d’asile et des réfugiés sur les réseaux sociaux, effectué par le Bureau européen d’appui en matière d’asile (EASO), n’était pas juridiquement fondé et l’a temporairement suspendu. Il a conclu qu’à l’avenir, l’EASO devrait disposer d’une base juridique claire pour utiliser cette pratique et présenter des garanties appropriées.

Les procédures de plainte auprès des autorités de protection des données sont utiles, car elles sont moins formelles, moins complexes et généralement plus rapides que les procédures judiciaires. De plus, le dépôt d’une plainte auprès d’une APD est moins coûteux, car aucune représentation légale n’est nécessaire. En outre, les APD disposent de pouvoirs d’investigation et d’une expertise en matière de droit de la protection des données et de technologies de l’information. Les organisations de la société civile ont également utilisé ce moyen de recours pour stopper ou limiter l’utilisation des nouvelles technologies. En Allemagne, par exemple, le GFF a déposé une plainte auprès du commissaire fédéral à la protection des données en mars 2021. La plainte portait sur l’extraction automatisée, de la part de l’autorité allemande chargée de l’asile, des données des téléphones portables des demandeurs d’asile, au motif que l’analyse des données téléphoniques ne respectait pas la législation européenne en matière de protection des données. Le GFF a également intenté avec succès une action en justice devant les tribunaux administratifs (voir la section ci-dessous).

Intenter des actions en justice

Des organisations de la société civile et des particuliers ont également contesté la légalité de l’utilisation d’outils automatisés devant les tribunaux. Dans la plupart des cas, des recours ont été introduits sur la base des droits humains, au motif que l’utilisation des nouvelles technologies était incompatible avec le droit au respect de la vie privée, à la protection des données et à la non-discrimination. Inscrire ces recours dans le cadre de la législation sur les droits humains a permis aux tribunaux d’imposer des exigences spécifiques sur l’utilisation d’outils automatisés par le gouvernement ou de mettre un terme à certaines utilisations. On peut citer l’exemple de l’affaire emblématique System Risk Indication (SyRI) aux Pays-Bas. Le système SyRI était utilisé pour établir le profil d’individus en s’appuyant sur une vaste quantité de données personnelles et sensibles collectées auprès d’organismes publics dans le but de détecter d’éventuelles fraudes fiscales et aux aides sociales. Les plaignants ont fait valoir que cette pratique était contraire à la Convention européenne des droits de l’homme (CEDH). En février 2020, la Cour européenne des droits de l’Homme a statué que cette pratique était illégale, car elle violait le droit à la vie privée.

Au Royaume-Uni, la High Court of Justice (Haute Cour de justice) a déclaré que la politique du gouvernement consistant à rechercher, saisir et extraire des données des téléphones portables des migrants était illégale au regard du droit national et de l’article 8 de la CEDH. Des pratiques similaires impliquant l’acquisition et l’extraction automatisée de données de téléphones portables dans le cadre des procédures d’asile en Allemagne ont été contestées devant les tribunaux par le GFF. Cependant, contrairement au Royaume-Uni, cette pratique a été rendue possible en Allemagne suite aux amendements apportés à la loi sur le droit d’asile autorisant l’analyse des données contenues dans les téléphones portables pour identifier les demandeurs d’asile sans papiers. Cependant, dans la pratique, l’Office fédéral des migrations et des réfugiés (BAMF) opérait en violation du principe de proportionnalité requis par le droit à la vie privée. En 2023, la Federal Administrative Court (Cour administrative fédérale) allemande a statué que l’évaluation régulière des données des téléphones portables par le BAMF lors de l’enregistrement des demandeurs d’asile, sans examiner les informations et les documents disponibles, était illégale. Dans cette affaire, le tribunal n’a pas mis fin à l’utilisation de la technologie, mais il a imposé des conditions d’utilisation strictes qui ont eu des répercussions importantes au-delà du cadre de cette affaire.

Un autre recours important concerne l’examen de l’exactitude et des biais des systèmes automatisés et, à cet égard, le droit à la non-discrimination. Au Canada, deux réfugiées ont contesté l’utilisation d’un système de reconnaissance faciale en raison de son manque de précision et d’une classification erronée de femmes noires et de couleur. Le tribunal a fait droit à la demande de recours devant la justice et a donc renvoyé l’affaire pour qu’elle soit réexaminée par des personnes différentes au sein de l’autorité compétente en matière d’asile. Le GFF a également mis en évidence des inexactitudes et des erreurs dans les systèmes automatisés dans l’affaire de l’analyse des données de téléphonie mobile en Allemagne. D’après les statistiques du gouvernement, à partir de 2022, les rapports d’analyse des données des téléphones portables ont fourni des résultats inexploitables dans plus de la moitié (67,6 %) des cas. Il est donc impératif de réévaluer la fiabilité de ces technologies dans le contexte des procédures d’asile.

Enfin, les requérants se sont plaints du manque de transparence qui porterait atteinte aux droits procéduraux des individus. Dans deux affaires qui ont fait date devant la Cour de justice de l’Union européenne, deux organisations de la société civile (La Ligue des droits humains et La Quadrature du Net) ont contesté l’utilisation des données de passagers de vols extracommunautaires à des fins de prévention et de détection du terrorisme. La législation communautaire autorisait les évaluations automatisées des risques pour identifier les passagers qui devraient faire l’objet d’un examen plus approfondi par les autorités. D’après les plaignants, cela était incompatible avec la Charte des droits fondamentaux de l’Union européenne. Dans ses arrêts, le tribunal a exigé que la technologie d’évaluation des risques contienne plusieurs garde-fous pour assurer le respect du droit à la vie privée, à la protection des données et à un recours utile. Ils soulignaient en particulier la nécessité de disposer d’outils technologiques fiables, l’obligation de réaliser un examen individuel par des moyens non automatisés et réclamaient des droits dérivés relatifs à la transparence, tels que le droit des individus à comprendre comment fonctionne le programme. Le tribunal a également considéré que l’utilisation d’algorithmes d’auto-apprentissage était incompatible avec le droit à un recours utile, car ils n’offrent pas de certitude suffisante à l’examinateur humain et aux individus.

En résumé, en basant la contestation sur les droits humains, les tribunaux peuvent mettre un terme aux pratiques illégales, définir des normes spécifiques pour l’utilisation de la technologie ou établir des normes de transparence élevée pour les systèmes automatisés qui auront des répercussions bénéfiques au-delà des cas individuels.

La NewTech Litigation Database du projet AFAR

Étant donné que l’utilisation des outils automatisés est relativement récente, les méthodes utilisées pour les contester le sont également et évoluent lentement. Nous avons développé la NewTech Litigation Database pour regrouper le large éventail des méthodes de contestation et leurs résultats. Il s’agit de la première ressource en ligne librement accessible qui traite spécifiquement des plaintes contre l’utilisation des nouvelles technologies dans le monde. Actuellement, la jurisprudence concernant les utilisations contestées des nouvelles technologies est conservée dans une seule et même base de données nationale, qui souvent n’est pas traduite en anglais. Notre base de données a pour but de surmonter ces difficultés d’accès et ces barrières linguistiques grâce à une interface conviviale, des visuels et des outils de recherche avancée. La base de données comprend les principales informations et un résumé de toutes les décisions. Elle comprend les jugements, les décisions ou les avis des tribunaux nationaux et internationaux et des autorités de protection des données d’une portée géographique étendue (grâce au travail de rapporteurs nationaux du monde entier).

Au moment où nous rédigeons ce rapport (février 2024), la base de données comprend des enregistrements de cinquante cas de contentieux relatifs à des utilisations contestées de nouvelles technologies dans le secteur public. Ces affaires concernent plusieurs domaines du droit public, tels que l’éducation, l’administration de la justice, l’application de la loi, la gouvernance en matière de migration et d’asile, l’accès aux fonctions publiques et l’application de la législation fiscale. Parmi elles, quinze ont spécifiquement trait à la migration, y compris au droit d’asile. La base de données fournit un résumé détaillé de toutes les décisions en anglais, classées par secteur, pays et autorité. Elle indexe également chaque décision ou jugement en fonction du type de technologie contestée (p. ex. la reconnaissance faciale), des nouvelles exigences juridiques (p. ex., la transparence), de la propriété de l’outil concerné (privée ou publique) et des droits concernés. Cette base de données est une ressource précieuse pour les chercheurs, les praticiens et les décideurs politiques qui travaillent sur tous les aspects des nouvelles technologies et des droits humains. Elle vise également à mieux faire connaître l’étendue et l’impact des nouvelles technologies et d’en assurer la transparence, en guidant et en soutenant le travail des acteurs juridiques et des organisations de la société civile.

Conclusion

Nos recherches sur les méthodes de contestation existantes révèlent que les organisations de la société civile et les activistes sont à l’origine de la plupart des actions en justice alors que peu de recours ont été intentés par des particuliers affectés par les outils automatisés, peut-être en raison d’un manque de connaissances et de ressources. Notre analyse révèle également que les acteurs ont tenté de contester l’usage des outils automatisés par divers moyens. Étant donné le manque de transparence, ils devront sans doute commencer par obtenir des données sur le fonctionnement des outils en question par le biais de demandes d’accès à l’information, avant de lancer une contestation. Une fois qu’ils ont suffisamment d’informations et de preuves, ils pourront intenter une action en justice. Ils peuvent également déposer une plainte auprès des autorités de protection des données, ce qui permettra de remédier rapidement et facilement aux violations de la protection des données. Nous encourageons vivement toute personne désireuse de contester les utilisations néfastes des nouvelles technologies à se tenir informée et à agir en utilisant la NewTech Litigation Database. Cette base de données contient des informations précieuses sur les stratégies juridiques et la jurisprudence existantes et peut aider les individus à protéger leurs droits contre ceux qui détiennent le pouvoir.

Francesca Palmiotto
Chercheuse post-doctorante, Centre for Fundamental Rights, Hertie School
f.palmiotto@hertie-school.org X : @FPalmiotto

Derya Ozkul
Professeur adjointe, Département de sociologie, Université de Warwick
derya.ozkul@warwick.ac.uk X : @DeryaOzkul

READ THE FULL ISSUE

1Les informations présentées dans cet article, y compris les données tirées de la NewTech Litigation Database, ont été collectées dans le cadre du Projet AFAR, financé par la Fondation Volkswagen.

2Si ce projet vous intéresse, suivez notre compte à rebours jusqu’au lancement sur X : @AFARproject et visitez le site web du projet AFAR pour accéder à la base de données.

DONATESUBSCRIBE