Si le Défenseur des droits n’est, pour l’instant, pas régulièrement saisi pour des situations mettant en cause l’usage des algorithmes et des systèmes de l’intelligence artificielle (IA), cette autorité administrative indépendante est toutefois attentive à leurs développements en France, comme au sein de l’Union européenne. Dans le sillage de la numérisation des services publics, le développement de l’IA à des fins de contrôle et de surveillance des personnes étrangères laisse, selon lui, craindre une fragilisation accrue de leurs droits fondamentaux contre laquelle la future législation européenne n’apportera visiblement pas toutes les garanties nécessaires.
Le Défenseur des droits (DDD) est préoccupé par le déploiement des algorithmes et de l’intelligence artificielle (IA). L’institution s’est intéressée aux conséquences de la mise en place des nouvelles technologies, en particulier depuis 2018, en approfondissant les effets de la dématérialisation des services publics sur les usagers. Plusieurs rapports, avis [1] et décisions [2] du DDD ont été l’occasion de relever que les étrangers ont constitué l’un des premiers publics en France pour lequel la dématérialisation des démarches préfectorales a été mise en place de manière radicale et aveugle et ce, alors même que ces personnes se trouvent, la plupart du temps, dans des situations où elles cumulent les difficultés. En 2022, le Conseil d’État a exigé de l’administration qu’elle rétablisse, en parallèle du service proposé en ligne, un accueil physique pour la procédure de demande de titre de séjour, au regard du caractère particulièrement « complexe » et « sensible » de cette démarche. Il a considéré tout d’abord, que les usagers qui ne disposent pas d’un accès aux outils numériques, ou qui rencontrent des difficultés dans leur utilisation, doivent pouvoir être accompagnés. Ensuite, s’il apparaît que certains usagers sont dans l’impossibilité, malgré cet accompagnement, de recourir au téléservice, pour des raisons tenant à sa conception ou à son mode de fonctionnement, l’administration doit leur garantir une solution de substitution [3]. Ces conditions visent à prendre en compte les caractéristiques et situations particulières des étrangers demandant un titre de séjour, qui pourraient perdre le droit de se maintenir sur le territoire si leur demande n’était pas enregistrée. Force est de constater que la dématérialisation ne s’est pas faite au bénéfice des usagers.
S’agissant du développement des algorithmes et des systèmes apprenants, on peut craindre que la technologie vienne fragiliser un peu plus les droits fondamentaux des étrangers, compte tenu du contexte européen et français de durcissement des politiques en matière d’asile, d’immigration et d’intégration [4]. À cet égard, on peut déjà relever que les personnes étrangères sont la cible de divers projets d’IA présentés comme toujours plus sophistiqués et systématiquement testés et déployés à des fins de contrôle et de surveillance.
Algorithmes : des biais discriminatoires systématisés ?
Peu de réclamations adressées au DDD visent ces nouveaux systèmes, opaques et encore rarement mis en cause, y compris au niveau européen. L’institution, en lien avec ses homologues européens membres du réseau Equinet et des partenaires nationaux dont la Commission nationale consultative des droits de l’Homme, se montre néanmoins attentive à leurs développements et à leurs risques inhérents.
Des risques importants existent, liés aux biais discriminatoires* des algorithmes et au potentiel de systématisation des discriminations, du fait de l’usage grandissant de ces technologies.
Les données mobilisées pour entraîner les systèmes algorithmiques peuvent en effet être biaisées lorsqu’elles sont la traduction mathématique des pratiques et comportements discriminatoires. Le risque d’amplifier, pour certains groupes sociaux, les discriminations systémiques opérant au sein de la société est avéré s’agissant des technologies biométriques [5]. En effet, elles ciblent le plus souvent les caractéristiques des individus qui les exposent à des discriminations (origine, sexe, identité de genre, apparence physique, état de santé, handicap, âge, etc.).
Expérimentations aux frontières de l’Union européenne
Dans le domaine des migrations, l’Union européenne (UE) finance, depuis 2016, un projet appelé iBorderCtrl, qui consiste à « tester de nouvelles technologies destinées à accroître l’efficacité de la gestion des contrôles aux frontières extérieures de l’Union [6] ». L’un des modules expérimentés a concentré les critiques : un détecteur de mensonges basé sur les émotions interprétées par une IA. Un douanier virtuel devait poser des questions et identifier les signaux non verbaux d’un mensonge en analysant les micro-expressions faciales du répondant. Selon les résultats, l’individu était redirigé soit vers les files d’attente rapides soit vers des contrôles poussés. Ce système a été testé aux frontières terrestres de l’UE en Hongrie, en Lettonie et en Grèce, et de nombreuses associations ont dénoncé une technologie hautement expérimentale visant des personnes en situation de grande vulnérabilité, ainsi que son manque de fiabilité (le système était crédité, en 2018, d’un taux de réussite autour de 75%, ce qui revient à considérer un quart des personnes concernées comme soupçonnées de mentir alors que ce n’est pas le cas) [7]. Dans la lignée des constats dressés s’agissant de la dématérialisation des services publics, on relève que ce sont là aussi des étrangers qui, sans être en situation de contester des procédures auxquelles ils doivent se soumettre, font l’objet du déploiement de technologies mises au service d’une politique et d’une rhétorique particulièrement dures.
Biométrie : des droits fondamentaux fragilisés
Dans son rapport Technologies biométriques : l’impératif respect des droits fondamentaux [8], le DDD a relevé les risques considérables d’atteintes aux droits et libertés que fait peser l’utilisation des systèmes automatisés reposant sur la biométrie, à commencer par le droit au respect de la vie privée et à la protection des données – questions qui relèvent en premier lieu du périmètre des compétences de la Commission nationale de l’informatique et des libertés (Cnil), avec laquelle l’institution collabore notamment sur les enjeux d’IA. En Italie, des technologies biométriques d’identification à distance ont été utilisées dans le cadre de la lutte contre l’immigration illégale : le système de reconnaissance faciale* SARI était déployé en temps réel pour identifier sur la voie publique les étrangers en situation irrégulière. Son utilisation a été interdite en 2021 par l’autorité italienne de protection des données [9].
L’utilisation des technologies biométriques d’identification peut également avoir un effet dissuasif sur l’exercice de droits fondamentaux comme la liberté d’expression, celle d’aller et venir, la liberté d’association et plus largement l’accès aux droits. Le fait que ces technologies fonctionnent souvent à l’insu des personnes concernées tend à dissuader ces dernières d’exercer leurs droits, et cela indépendamment du niveau de déploiement, la crainte de la surveillance suffisant pour affecter notre comportement. Dans le domaine des migrations, l’effet dissuasif des technologies biométriques se traduit également par un risque d’exclusion, en particulier pour les personnes issues de groupes particulièrement discriminés. L’utilisation de technologies biométriques, de par leur effet dissuasif [10], peut priver les réfugiés et demandeurs d’asile de l’accès aux services de base essentiels.
Les dangers des décisions administratives générées par l’IA
Un autre risque identifié est lié à l’automatisation, explicite ou de fait, des décisions administratives individuelles. Le cadre légal, à savoir la loi « informatique et libertés » et le code des relations entre le public et l’administration, autorise, par exception et en dehors de la sphère pénale, l’automatisation intégrale tout en l’encadrant. Par principe, la réglementation relative à la protection des données personnelles exclut qu’une personne physique puisse faire l’objet d’une décision entièrement automatisée qui « produit des effets juridiques » ou l’affecte « de manière significative ». Des exceptions existent néanmoins. Dès lors, quand la décision est prise de façon entièrement automatisée, les garanties prévues sont-elles réellement appliquées ? Et quand la décision ne peut pas, légalement, reposer sur un procédé entièrement automatisé, quelle est réellement la substance de l’intervention humaine dans un contexte de traitement en masse des dossiers par algorithmes ? Ces questions font écho aux enjeux de la motivation de ces décisions et de l’effectivité du droit au recours.
À l’heure de la numérisation et de l’« algorithmisation de l’administration [11] », ces problématiques irriguent, en France, les différentes sphères administratives, telle l’éducation, avec par exemple Affelnet et Parcoursup, et la gestion des prestations sociales et le contrôle des allocataires par la Caisse nationale des allocations familiales (Cnaf). Elles touchent aussi les personnes étrangères.
Au Royaume-Uni, le Home Office, le ministère de l’intérieur britannique, était mis en cause en 2023 pour son utilisation, depuis 2019, d’un algorithme de détection des faux dans les demandes de mariage impliquant une personne non britannique et n’ayant pas de statut établi suffisant ou de visa valide, et ce, afin d’accélérer les enquêtes et de réduire les coûts [12]. L’évaluation des couples se fondait sur huit facteurs, dont la différence d’âge au sein du couple. Ceux signalés par l’algorithme faisaient l’objet d’une enquête approfondie, pouvant conduire les autorités à demander des documents prouvant l’authenticité de la relation. Selon le Home Office, la nationalité n’était pas prise en compte par l’algorithme, mais une évaluation, communiquée à l’association Public Law Project, montre que les personnes de nationalités bulgare, grecque, roumaine et albanaise étaient plus susceptibles d’être identifiées par l’algorithme. Ce dernier se révèle donc indirectement discriminatoire à l’égard des personnes sur la base de la nationalité.
En France, un fonctionnaire du ministère de l’intérieur a utilisé un outil d’IA générative* pour examiner une demande de visa déposée par une jeune femme afghane se trouvant en Iran [13]. Il s’agissait a priori d’une initiative personnelle, donc hors du cadre de l’expérimentation gouvernementale sur « l’intelligence artificielle au service de l’amélioration de la qualité des services publics », lancée à l’automne 2023, qui prévoit bien l’usage de l’IA dite « générative » (qui produit par exemple du texte) en matière d’aide à la rédaction de réponses aux avis des usagers sur la plateforme Services Publics +. Les prolongements de cette expérimentation devront être scrutés de près en tant qu’ils concernent les droits des usagers du service public et d’éventuelles discriminations.
Le projet de règlement de l’UE sur l’IA
Au regard des risques identifiés, le DDD est intervenu à plusieurs reprises dans le cadre de l’élaboration du projet de règlement sur l’IA porté par l’UE pour appeler à la nécessaire prise en compte des droits fondamentaux et du principe de non-discrimination.
Schématiquement, ce futur « AI Act » est conçu selon une approche par les risques. Sont interdits les systèmes d’IA présentant un risque inacceptable, tel le « score social » par lequel un système d’IA est utilisé pour « classer les personnes physiques en fonction de leur comportement, de leur statut économique, de leurs caractéristiques personnelles » avec, à la clef, un traitement préjudiciable ou défavorable [14]. Le futur règlement vise aussi à imposer des contraintes aux fournisseurs et utilisateurs de systèmes d’IA « à haut risque » et à ne soumettre les autres systèmes qu’à des obligations d’information. Dans ce cadre, certains systèmes d’IA utilisés pour la gestion de la migration, de l’asile et des contrôles aux frontières ont été inscrits dans la catégorie « à haut risque » dans les projets de réglementation. On y trouve notamment « les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes […] pour les assister dans l’examen des demandes d’asile, de visa et de permis de séjour ainsi que les réclamations connexes, dans le but de vérifier l’éligibilité des personnes physiques qui demandent un statut, y compris pour évaluer la fiabilité des preuves » ou « les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes pour évaluer des risques, y compris un risque de sécurité, un risque de migration irrégulière […] posé par une personne physique qui a l’intention d’entrer ou qui est entrée sur le territoire d’un État membre [15] ».
L’enjeu de la catégorisation dans les systèmes d’IA « à haut risque » réside dans le respect d’obligations telles que d’assurer un système de gestion des risques, de contrôler la qualité des données, de respecter la transparence et fournir l’information aux utilisateurs, de prévoir une surveillance humaine, ou encore de garantir la précision, la robustesse, la conformité et la sécurité du système ainsi que les actions correctrices nécessaires.
Certaines des demandes formulées par le DDD [16] avec ses homologues européens et nationaux, et soutenues par plusieurs organisations de la société civile, ont été prises en compte, en particulier la possibilité pour toute personne physique ou morale considérant que ladite réglementation a été violée, de déposer une plainte auprès de l’autorité nationale chargée de son application. D’autres, en revanche, n’ont pas été suivies d’effet : de larges exceptions sont ainsi prévues concernant l’utilisation de systèmes biométriques pour identifier des personnes en temps réel dans l’espace public, ce qui exigera nécessairement une attention particulière au moment du déploiement de ces systèmes, au regard des risques exposés.
Il convient de relever enfin que ce futur « AI Act » et les garanties qu’il offrira, ne s’appliqueront qu’à certains systèmes d’IA mis sur le marché, en service, ou dont les résultats sont utilisés dans le territoire de l’UE. Or des systèmes de reconnaissance faciale et d’autres systèmes de surveillance de masse ont été développés et vendus par des entreprises installées dans l’UE (et en particulier en France, en Suède et aux Pays-Bas), et déployés dans des lieux comme les territoires palestiniens occupés ou la Chine, où ils ont été utilisés pour opprimer davantage des groupes et communautés déjà marginalisés [17]. Il serait, en outre, difficile de conclure sans mentionner que les « travailleurs et travailleuses du clic », chaînon indispensable à la fabrication des systèmes d’IA [18] dans l’UE (pour l’annotation des données, par exemple), dont la rémunération à la tâche est très faible [19], font l’objet d’une sous-traitance et d’une externalisation massive dans certains pays pauvres.
[1] DDD, Dématérialisation et inégalités d’accès aux services publics, 2019 ; Dématérialisation des services publics : trois ans après, où en est-on ?, 2022. Voir aussi l’avis 21-03 du 28 avril 2021 relatif aux moyens consacrés par les préfectures à l’instruction des demandes de titres de séjour.
[2] DDD, décision n° 2020-142 du 10 juillet 2020.
[3] CE, 3 juin 2022, n° 452798. Voir les observations portées par le DDD dans le cadre de ce dossier à la demande du CE (24 février 2022, n° 2022-061).
[4] DDD, avis 23-07 du 24 novembre 2023 relatif au projet de loi pour contrôler l’immigration, améliorer l’intégration.
[5] DDD-Cnil, Algorithmes : prévenir l’automatisation des discriminations, 2020.
[6] CJUE, affaire C-135/22 P, arrêt du 7 septembre 2023.
[7] Eleftherios Chelioudakis, « Greece : Clarifications sought on human rights impacts of iBorderCtrl », EDRI, 21 novembre 2018 ; « Des détecteurs de mensonge expérimentés aux frontières extérieures de l’Europe », Le Monde, 31 août 2019.
[8] DDD, Technologies biométriques : l’impératif respect des droits fondamentaux, 2021.
[9] Avis de l’autorité italienne de protection des données sur le système SARI Real Time, 25 mars 2021.
[10] Rapport de Tendayi Achiume, Rapporteuse spéciale sur les formes contemporaines de racisme, de discrimination raciale, de xénophobie et de l’intolérance qui y est associée, 10 novembre 2020.
[11] Boris Barraud, « L’algorithmisation de l’administration », Revue Lamy Droit de l’immatériel, n° 150, 2018.
[12] « Legal action launched over sham marriage screening algorithm », BBC News, 17 février 2023.
[13] « Darmanin laisse l’intelligence artificielle juger le droit d’asile », Le Canard enchaîné, 4 octobre 2023.
[14] « Loi sur l’IA de l’UE : première réglementation de l’intelligence artificielle », Parlement européen, 9 juin 2023. Une telle définition fait penser au système de « crédit social » à la chinoise : voir Emmanuel Dubois de Prisque, « Le système de crédit social chinois. Comment Pékin évalue, récompense et punit sa population », Futuribles, n° 434, 2020.
[15] EU Council, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts – Analysis of the final compromise text with a view to agreement, ST 5662 2024 INIT – NOTE, 26 janvier 2024 (traduction de l’auteure).
[16] DDD, « Intelligence artificielle : la Défenseure des droits appelle à garantir le droit de la non-discrimination dans les discussions européennes », 28 septembre 2023 et « Règlement européen sur l’intelligence artificielle : la Défenseure des droits et la CNCDH, en lien avec leurs homologues européens, appellent à la nécessaire prise en compte des droits fondamentaux et du principe de non-discrimination », 29 novembre 2023.
[17] Amnesty International, EU’s AI Act and Human Rights, octobre 2023.
[18] Voir Antonio Casilli « Digital Labor : travail, technologies et conflictualités », La revue des médias, 7 septembre 2015.
[19] En 2023, un sous-traitant d’OpenAI avait payé moins de deux dollars de l’heure des personnes au Kenya pour « nettoyer » ChatGPT de ses contenus les plus toxiques, voir « Exclusive : OpenAI Used Kenyan Workers on Less Than $ 2 Per Hour to Make ChatGPT Less Toxic », Time, 18 janvier 2023.
