Alors que se tient à Paris cette semaine le Sommet pour l’action sur l’intelligence artificielle (IA), chefs d’État, chefs d’entreprise, chercheurs et société civile sont appelés à se prononcer sur les #risques et les #limites de ses usages. Des #biais_discriminatoires et des #pratiques_abusives ont déjà été observés, en particulier dans la gestion européenne de l’immigration.
Un #détecteur_d’émotions pour identifier les #mensonges dans un #récit, un #détecteur_d’accent pour trouver la provenance d’un ressortissant étranger, une analyse des #messages, des #photos, des #géolocalisations d’un #smartphone pour vérifier une #identité… voici quelques exemples de systèmes intelligents expérimentés dans l’Union européenne pour contrôler les corps et les mouvements.
« Ici, les migrations sont un #laboratoire_humain d’#expérimentation_technologique grandeur nature », résume Chloé Berthélémy, conseillère politique à l’EDRi (European Digital Rights), un réseau d’une cinquantaine d’ONG et d’experts sur les droits et libertés numériques. « Les gouvernements et les entreprises utilisent les environnements migratoires comme une phase de #test pour leurs produits, pour leurs nouveaux systèmes de contrôle. »
Des détecteurs de mensonges à la frontière
L’un des plus marquants a été le projet #iBorderCtrl. Financé partiellement par des fonds européens, le dispositif prévoyait le déploiement de détecteurs de mensonges, basés sur l’analyse des #émotions d’un individu qui entrerait sur le sol européen. « Les #visages des personnes, en particulier des demandeurs d’asile, étaient analysés pour détecter si, oui ou non, ils mentaient. Si le système considérait que la personne était un peu suspecte, les questions devenaient de plus en plus compliquées. Puis, éventuellement, on arrivait à un contrôle plus approfondi par un agent humain », explique-t-elle.
Expérimenté dans les #aéroports de Grèce, de Hongrie et de Lettonie, il ne serait officiellement plus utilisé, mais l’EDRi émet quelques doutes. « Dans ce milieu-là, on est souvent face à une #opacité complète et il est très dur d’obtenir des informations. Difficile de dire à l’heure actuelle si cette technologie est encore utilisée, mais dans tous les cas, c’est une volonté européenne que d’avoir ce genre de systèmes aux frontières. »
Drones de surveillance, caméras thermiques, capteurs divers, les technologies de surveillance sont la partie émergée de l’iceberg, la face visible de l’intelligence artificielle. Pour que ces systèmes puissent fonctionner, il leur faut un carburant : les #données.
Les bases de données se multiplient
L’Europe en a plusieurs en matière d’immigration. La plus connue, #Eurodac – le fichier des #empreintes_digitales – vise à ficher les demandeurs et demandeuses d’asile appréhendés lors d’un passage de frontière de manière irrégulière. Créée en 2002, la nouvelle réforme européenne sur l’asile étend considérablement son pouvoir. En plus des empreintes, on y trouve aujourd’hui des photos pour alimenter les systèmes de #reconnaissance_faciale. Les conditions d’accès à Eurodac pour les autorités policières ont également été assouplies. « Elles pourront le consulter pour des objectifs d’enquêtes criminelles, on retrouve donc cette idée que de facto, on traite les demandeurs d’asile, les réfugiés, avec une présomption d’illégalité », conclut Chloé Berthélémy.
Or, ces collectes d’informations mettent de côté un principe clef : celui du #consentement, condition sine qua non dans l’UE du traitement des données personnelles, et clairement encadré par le Règlement général de protection des données (#RGPD). Les politiques migratoires et de contrôles aux frontières semblent donc faire figures d’#exception. Lorsqu’une personne pose le pied sur le sol européen, ses empreintes seront collectées, qu’il soit d’accord ou non. Selon l’EDRi, « l’Union européenne est en train de construire deux standards différents. Un pour ceux qui ont les bons papiers, le bon statut migratoire, et un autre pour ceux qui ne les ont pas ».
Un nouveau cadre juridique qui a d’ailleurs été attaqué en justice. En 2021, en Allemagne, la GFF, la Société des droits civils (qui fait partie du réseau de l’EDRi) triomphe de l’Office allemand de l’immigration, condamné pour pratiques disproportionnées. Textos, données de géolocalisation, contacts, historique des appels et autres #fichiers_personnels étaient extraits des #smartphones des demandeurs d’asile à la recherche de preuve d’identité.
Automatisation des décisions
Une fois les frontières passées, l’intelligence artificielle continue à prendre pour cible des étrangers, à travers sa manifestation la plus concrète : les #algorithmes. Examiner les demandes de #visa ou de #naturalisation, attribuer un #hébergement, faciliter l’organisation des #expulsions, prédire les flux migratoires… la multiplication des usages fait craindre aux chercheurs une administration sans guichet, sans visage humain, entièrement automatisée. Problème : ces systèmes intelligents commettent encore beaucoup trop d’#erreurs, et leur prise de décisions est loin d’être objective.
En 2023, l’association La Quadrature du Net révèle que le code source de la Caisse nationale d’allocations familiales (Cnaf) attribue un « score de risque » à chaque allocataire. La valeur de ce score est ensuite utilisée pour sélectionner ceux qui feront l’objet d’un contrôle. Parmi les critères de calcul : avoir de faibles revenus, être au chômage, ou encore être né en dehors de l’Union européenne. « En assimilant la précarité et le soupçon de fraude, l’algorithme participe à une politique de #stigmatisation et de #maltraitance institutionnelle des plus défavorisés », estime Anna Sibley, chargée d’étude au Gisti. Quinze ONG ont d’ailleurs attaqué cet algorithme devant le Conseil d’État en octobre 2024 au nom du droit à la protection des données personnelles et du principe de non-discrimination.
Autre exemple : l’IA a déjà été utilisée par le passé pour soutenir une prise de décision administrative. En 2023, le ministère de l’Intérieur a « appelé à la rescousse » le logiciel #Google_Bard, un outil d’aide à la prise de décision, pour traiter la demande d’asile d’une jeune Afghane. « Ce n’est pas tant le fait que l’intelligence artificielle ait donné une réponse négative qui est choquant. C’est plutôt le fait qu’un employé du ministère de l’Intérieur appuie sa réponse sur celle de l’IA, comme si cette dernière était un argument valable dans le cadre d’une décision de justice », analyse la chercheuse.
#Dématérialisation à marche forcée
En 2024, un rapport du Défenseur des droits pointait du doigt les atteintes massives aux droits des usagers de l’ANEF, l’administration numérique des étrangers en France. Conçue pour simplifier les démarches, l’interface permet le dépôt des demandes de titres de séjour en ligne.
Pourtant, les #dysfonctionnements sont criants et rendent la vie impossible à des milliers de ressortissants étrangers. Leurs réclamations auprès du Défenseur des droits ont augmenté de 400% en quatre ans. Des #plaintes allant du simple problème de connexion aux erreurs de décisions de la plateforme. Un casse-tête numérique contre lequel il est difficile de se prémunir. « Les services d’accompagnement déployés sont trop limités », constate Gabrielle de Boucher, chargée de mission numérique droits et libertés auprès du Défenseur des droits. Selon elle, il est important que la France reconnaisse aux étrangers le droit de réaliser toute démarche par un canal humain, non dématérialisé, un accueil physique.
Le biais discriminatoire
Autre écueil de la dématérialisation croissante des administrations : le biais discriminatoire. Puisque les systèmes intelligents sont entraînés par des êtres humains, ces derniers reproduisent leurs biais et les transmettent involontairement à l’IA. Illustration la plus concrète : les erreurs d’#identification.
En 2023, un homme a été arrêté aux États-Unis après que les logiciels de reconnaissance faciale l’ont désigné par erreur comme l’auteur de vols. « On peut légitimement avoir des craintes sur le respect des droits, puisqu’on sait, par exemple, que le taux d’erreur est plus élevé pour les personnes non blanches », s’inquiète Gabrielle du Boucher. Comme elles sont sous représentées dans les #bases_de_données qui nourrissent l’apprentissage de l’IA, celle-ci sera moins fiable que lorsqu’elle devra, par exemple, se concentrer sur les personnes blanches.
