Discrimination 2.0 : ces algorithmes qui perpétuent le racisme
L’IA et les systèmes algorithmiques peuvent désavantager des personnes en raison de leur origine, voire conduire à des discriminations raciales sur le marché du travail. A l’occasion de la Journée internationale pour l’élimination de la discrimination raciale, AlgorithmWatch CH, humanrights.ch et le National Coalition Building Institute NCBI mettent en lumière la manière dont les systèmes automatisés utilisés dans les procédures de recrutement peuvent reproduire les inégalités.
Les procédures d’embauche sont et ont toujours été caractérisées par une certaine inégalité des chances. Aujourd’hui, les entreprises utilisent souvent des systèmes algorithmiques pour traiter les candidatures, les trier et faire des recommandations pour sélectionner des candidat·e·x·s. Si les départements des ressources humaines des grandes entreprises souhaitent augmenter leur efficacité grâce aux « Applicant Tracking Systems » (ATS), l’utilisation de tels systèmes peut renforcer les stéréotypes discriminatoires ou même en créer de nouveaux. Les personnes issues de l’immigration sont souvent concernées par cette problématique.
Exemple 1 : un algorithme qui préfère les CV « indigènes »
Une étude récente menée en Grande-Bretagne a comparé les CV sélectionnés par une personne experte en ressources humaines et ceux qu’un système de recommandation algorithmique avait identifiés comme étant ceux de candidat·e·x·s compétent·e·x·s. La comparaison a montré que les personnes que les recruteur·euse·x·s considéraient comme les meilleur·e·x·s candidat·e·x·s ne faisaient parfois même pas partie de la sélection effectuée par les systèmes basés sur des algorithmes. Ces systèmes ne sont pas capables pas lire tous les formats avec la même efficacité ; aussi les candidatures compétentes ne correspondant pas au format approprié sont-elles automatiquement éliminées. Une étude portant sur un autre système a également permis de constater des différences claires dans l’évaluation des CV. Ainsi, il s’est avéré que le système attribuait davantage de points aux candidatures « indigènes », en l’occurrence britanniques, qu’aux CV internationaux. Les candidat·e·x·s britanniques avaient donc un avantage par rapport aux personnes migrantes ou ayant une origine étrangère pour obtenir une meilleure place dans le classement.
Exemple 2 : les formations à l’étranger moins bien classées
En règle générale, les systèmes de recrutement automatisés sont entraînés de manière à éviter l’influence de facteurs tels que le pays d’origine, l’âge ou le sexe sur la sélection. Les candidatures contiennent toutefois également des attributs plus subtils, appelés « proxies » (en français : variables de substitution), qui peuvent indirectement donner des informations sur ces caractéristiques démographiques, par exemple les compétences linguistiques ou encore l’expérience professionnelle ou les études à l’étranger. Ainsi, la même étude a révélé que le fait d’avoir étudié à l’étranger entraînait une baisse des points attribués par le système pour 80% des candidatures. Cela peut conduire à des inégalités de traitement dans le processus de recrutement pour les personnes n’ayant pas grandi ou étudié dans le pays dans lequel le poste est proposé.
Les critères de sélection de nombreux systèmes de recrutement basés sur les algorithmes utilisés par les entreprises sont souvent totalement opaques. De même, les jeux de données utilisés pour entraîner les algorithmes d’auto-apprentissage se basent généralement sur des données historiques. Si une entreprise a par exemple jusqu’à présent recruté principalement des hommes blancs âgés de 25 à 30 ans, il se peut que l’algorithme « apprenne » sur cette base que de tels profils doivent également être privilégiés pour les nouveaux postes à pourvoir. Ces stéréotypes et effets discriminatoires ne viennent pas de l’algorithme lui-même, mais découlent de structures ancrées dans notre société ; ils peuvent toutefois être répétés, repris et donc renforcés par l’algorithme.
Ces exemples illustrent la discrimination par les algorithmes de personnes sur la base de leur origine. Les algorithmes discriminent également de nombreux autres groupes de population. En Suisse aussi, de plus en plus d’entreprises font usage d’algorithmes pour leurs processus de recrutement ainsi que sur le lieu de travail.
Discrimination algorithmique en Suisse : le cadre légal de protection contre la discrimination en Suisse ne protège pas suffisamment contre la discrimination par les systèmes algorithmiques et doit être renforcé. Ce papier de position présente les problématiques liées à la discrimination algorithmique et décrit les moyens d’améliorer la protection contre ce type de discrimination.
Les algorithmes discriminent également de nombreux autres groupes de population. Dans la série « Discrimination 2.0 : ces algorithmes qui discriminent », AlgorithmWatch CH et humanrights.ch, en collaboration avec d’autres organisations, mettent en lumière divers cas de discrimination algorithmique.
▻https://www.humanrights.ch/fr/nouvelles/discrimination-20-algorithmes-perpetuent-racisme
#discrimination #racisme #algorithme #xénophobie #IA #AI #intelligence_artificielle #travail #recrutement #discrimination_raciale #inégalités #ressources_humaines #Applicant_Tracking_Systems (#ATS) #CV #curriculum_vitae #sélection #tri
