ChatGPT et ses diverses déclinaisons, toutes basées sur les grands modèles de langage, commencent à subir quelques critiques. Mais des chercheuses avaient déjà rassemblé beaucoup de griefs contre cette technologie en 2020 dans un article scientifique qui, pour certaines, leur a coûté leur poste.
Fin octobre dernier, le PDG d’OpenAI a présenté ChatGPT comme un outil utilisant la technologie des grands modèles de langage (Large Langage Models en anglais, LLM), mais avec « encore beaucoup de limites – c’est vraiment une version de recherche ». Plusieurs mois plus tard, le grand public a pu se rendre compte de ces limites à chaque publication d’outils similaires, que ce soit quand Microsoft intègre ChatGPT dans Bing, quand Google présente Bard ou quand Meta a sorti et rapidement retiré Galactica.
Si on ne peut reprocher à la presse et au grand public de n’avoir réagi que sur pièces, après avoir testé les différentes versions publiques de ces outils, les chercheurs et ingénieurs des GAFAM qui les ont confectionnés ne peuvent faire semblant de ne pas avoir été prévenus.
En effet, en 2020, quatre chercheuses, Emily Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell finalisaient un article scientifique qui rassemblait les différentes critiques qui pouvaient être faites (par elles-mêmes, mais aussi par d’autres chercheurs qu’elles citent), à l’époque, sur l’utilisation des grands modèles de langage et intitulé « On the Dangers of Stochastic Parrots : Can Language Models Be Too Big ? 🦜 » [PDF] (en français, « À propos des dangers des perroquets stochastiques : les modèles de langages peuvent-ils être trop gros ? 🦜 »).
Timnit Gebru et Margaret Mitchell, qui travaillaient à l’époque chez Google, se sont vu reprocher le contenu de l’article par leur employeur et ont été licenciées. L’article finira par être publié en mars 2021 (avec la signature d’une certaine Shmargaret Shmitchell appartenant à l’institution de « l’Éther » à la place de celle de Margaret Mitchell).
Google, IA et éthique : « départ » de Timnit Gebru, Sundar Pichai s’exprime
IA et éthique : aprés Timnit Gebru, Google enquête sur Margaret Mitchell, une autre de ses employées
Leur licenciement a fait grand bruit à l’époque, mais les arguments de l’article ont finalement eu peu de répercussions médiatiques. La sortie des ChatGPT et les critiques actuelles en ont eu beaucoup plus, sans doute parce qu’il était difficile de se rendre compte, concrètement, des implications que cette technologie pouvait avoir.
Revenons un peu sur les critiques que les chercheuses formulaient à l’époque sur les modèles de langage (ML).
Des robots perroquets probabilistes
S’ils sont maintenant utilisés pour créer des chatbots, les quatre chercheuses prévenaient dans leur article que « le texte généré par un ML n’est pas fondé sur une intention de communication, un modèle du monde ou un modèle de l’état d’esprit du lecteur. Il ne peut pas l’être, parce que les données d’entrainement n’ont jamais inclus le partage de pensées avec un auditeur ».
Pourtant, ChatGPT et autres ont permis de l’expérimenter : quand nous les utilisons, l’impression de discuter avec la machine est grande. Les quatre chercheuses reconnaissaient les « qualités de plus en plus fluides du texte généré automatiquement ».
Mais ce qu’elles soulignaient, c’est que même si c’est contre-intuitif, c’est en fait « notre perception du texte en langage naturel [...] [qui] est médiée par notre propre compétence linguistique et notre prédisposition à interpréter les actes de communication comme véhiculant un sens et une intention cohérents ». C’est-à-dire que ce n’est pas ChatGPT qui met du sens et des intentions dans le texte qu’il génère, mais la personne qui lit sa réponse. Et nous nous créons ainsi une illusion.
Timnit Gebru et ses collègues expliquaient bien que, contrairement à cette illusion que nous donne le texte en sortie, « un ML est un système qui assemble au hasard des séquences de formes linguistiques qu’il a observées dans ses vastes données d’apprentissage, en fonction d’informations probabilistes sur la façon dont elles se combinent, mais sans aucune référence à la signification ». Elles le résument en deux mots, les modèles de langage sont des « perroquets stochastiques » (« Stochastic Parrots », en anglais), ou en termes plus accessibles, des perroquets probabilistes.
Des données d’entrainement problématiques
La fluidité des textes générés par ces modèles de langage est due à l’utilisation de la masse de données accessible sur le web comme données d’entraînement. Mais dès 2020, les chercheurs ont pointé des problèmes dans cet entrainement : l’enregistrement de stéréotypes et de dénigrements à propos de genres, de « races » (au sens de catégorie sociale), d’ethnies et de handicaps. Les quatre autrices expliquent dans leur article que « la taille ne garantit pas la diversité ».
Et effectivement, puisque les modèles de langage créent des textes en fonction de probabilités de retrouver des groupes de mots dans les données d’entrainement, plus des groupes de mots se retrouvent dans ces données, plus il y a de chances qu’ils se retrouvent dans le texte généré. « Les voix des personnes les plus susceptibles d’adhérer à un point de vue hégémonique sont également les plus susceptibles d’être retenues », concluent-elles.
Concrètement, elles expliquent que « dans le cas de l’anglais américain et britannique, cela signifie que les opinions suprémacistes blanches, misogynes, âgistes, etc. sont surreprésentées dans les données d’entraînement, ce qui non seulement dépasse leur prévalence dans la population générale, mais permet également aux modèles entraînés sur ces ensembles de données d’amplifier davantage les biais et les préjudices ».
Les chercheuses citaient plusieurs études montrant que ce genre de modèles présentaient divers types de préjugés sur des caractéristiques surveillées comme le sexisme, le racisme etc. Mais elles expliquaient aussi que d’autres biais étaient beaucoup moins étudiables car, si nous sommes conscients de l’existence du racisme, d’autres sujets sur lesquels nous sommes moins attentifs peuvent subir aussi des biais qu’il est dès lors difficile de repérer.
Les chercheuses pointaient aussi le fait que ces données d’entrainement et donc les modèles de langage qui se basent dessus sont statiques. Alors que le monde et notre perception de celui-ci bougent en permanence, que les mouvements sociaux déstabilisent les récits dominants et que les contenus publiés sur internet bougent en permanence, les modèles de langage, eux, restent figés sur une représentation du monde donnée à un moment donné. Dans leur article, elles insistent sur le fait que toute volonté de rationaliser des définitions de sujets sociaux est nécessairement politique, « que les développeurs choisissent ou non la voie du maintien du statu quo ».
Risques de dissémination des biais et de désinformation
Pour Timnit Gebru et ses collègues, le risque d’utiliser ces grands modèles de langage qui vont produire ces textes biaisés est aussi de disséminer sur internet encore plus de textes biaisés. Puis que les prochains grands modèles de langage soient entrainés sur ces textes générés par des grands modèles de langage, perpétuant et amplifiant les biais encodés dans les premiers modèles.
L’article pointait aussi, déjà, le risque de générations automatiques et massives de textes de désinformation. Les autrices citent notamment un rapport des chercheurs du Centre sur le terrorisme du Middlebury Institute of International Studies Kris McGuffie et Alex Newhouse, mis en ligne en septembre 2020, qui montre comment GPT-3 pourrait être utilisé pour générer du texte à la manière d’un théoricien conspirationniste. McGuffie et Newhouse écrivaient : « Si les mesures préventives d’OpenAI sont solides, la possibilité d’une copie non réglementée de cette technologie représente un risque important pour la radicalisation et le recrutement en ligne à grande échelle. En l’absence de mesures de protection, il est probable que la mise en place d’armes efficaces qui nécessitent peu d’expérimentation soit un succès ».
Un autre article, du chercheur du Alan Turing Institute de Londres Luciano Floridi et de Massimo Chiriatti d’IBM Italie, publié lui aussi fin 2020, prévoyait que « D’une part, la publicité en ligne en profitera. Compte tenu des modèles commerciaux de nombreuses entreprises en ligne, les appâts à clics de toutes sortes seront stimulés par des outils comme GPT-3 [...]. D’autre part, les fausses nouvelles et la désinformation peuvent également être stimulées. »
Coûts environnementaux
Dans l’article de Timnit Gebru et de ses collègues, les questions de coûts économiques et environnementaux étaient aussi soulevés. Elles y expliquaient que l’émission d’un entrainement d’un modèle de langage de la famille GPT était estimée à 284 tonnes de CO2. L’amélioration successive des techniques et le caractère statique des données d’entrainement évoqué ci-dessus impliquent qu’un modèle de langage est voué à être mis à jour, ne serait-ce que pour prendre en compte les nouveaux événements qui ont eu lieu.
Des dangers constatés depuis la sortie de ChatGPT
Ces dangers pointés par ces chercheuses et chercheurs en 2020, nous les constatons maintenant que chatGPT et ses copies sont sortis. L’entreprise Newsguard a, par exemple, observé que dans 80% de cas de fausses informations qu’elle a soumises à ChatGPT, celui-ci a produit des mensonges et des discours violents très convaincants. Des biais sexistes et racistes ont aussi été dévoilés sur ce même agent conversationnel. Le chatbot de Bing s’est noyé dans l’outrance après avoir été provoqué. Celui-ci et Bard (la version de Google) ont aussi affirmé des bêtises lors de leurs présentations respectives. Même si la question environnementale a fait l’objet de moins d’attention, le « sale secret » de leur forte émission de CO2 a quand même été évoquée par Wired.
Peu de garde-fous mis en place depuis l’alerte
En comparant les alertes lancées par les chercheuses et chercheurs en 2020 et les constats que nous pouvons faire maintenant, il est difficile de constater une réelle amélioration de la technologie pour éviter les problèmes signalés.
En ce qui concerne les propos les plus biaisés, certes, OpenAI a rendu son modèle de langage un peu plus responsable, mais rapidement un outil comme DAN (pour « Do Anything Now ») a permis de contourner ses protections contre les dérives. Et si ChatGPT a ensuite été plus restrictif pour bloquer DAN, une version permet de passer outre. De plus, OpenAI n’a finalement mis qu’une rustine sur les trous les plus visibles. Les biais moins saillants restent.
OpenAI en cheval de Troie
On ne peut que constater que les alertes qu’ont lancées les chercheurs, et notamment ces quatre chercheuses, n’ont fait que retarder un peu l’arrivée des grands modèles de langage devant le grand public. La technologie n’a pas beaucoup évolué depuis 2020. D’ailleurs, Baidu prévoit de reprendre son modèle de langage publié en 2021 pour développer son propre agent conversationnel.
Le défi, pour les grandes multinationales, depuis, était plutôt de faire accepter l’utilisation de ces modèles de langage malgré les critiques. Quelques semaines avant la publication de ChatGPT, Meta s’y est risqué avec son Galactica et a d’ailleurs essuyé une salve de critiques qui l’a obligé à le retirer au bout de trois jours.
La structure de la relation entre OpenAI et Microsoft a permis à ce dernier de profiter d’un éventuel paravent en cas d’une même salve. Si ChatGPT était critiqué, ce n’était finalement que la startup OpenAI qui échouerait. Finalement, alors que le robot conversationnel a fait l’objet d’un buzz positif dans l’ensemble, Microsoft a pu assumer d’en être le partenaire principal et a même rajouté quelques milliards dans la startup.
Depuis, c’est la course au chatbot reposant sur les grands modèles de langage et il va être difficile d’imposer aux géants du numérique de répondre aux dangers que soulignaient les chercheurs et chercheuses en 2020. Microsoft est pourtant au courant des biais discriminants et de la tendance à la désinformation que peuvent prendre ces machines depuis qu’il a testé de brancher l’agent conversationnel Tay sur Twitter en 2016.
