« Les failles multiples révélées par le #LancetGate mettent en lumière l’urgence d’une IA responsable »
▻https://www.lemonde.fr/sciences/article/2020/06/23/les-failles-multiples-revelees-par-le-lancetgate-mettent-en-lumiere-l-urgenc
Nozha Boujemaa, spécialiste de l’IA, revient dans sa chronique sur l’épisode de l’étude publiée dans la revue, où des données de santé d’origine incontrôlée ont conduit à la rétractation de plusieurs de ses auteurs.
Carte blanche. La crise sanitaire du Covid-19 est un champ d’exploration et d’investigation pour les algorithmes d’intelligence artificielle (IA) dans différents secteurs comme l’épidémiologie, l’imagerie médicale, les essais cliniques. Les bénéfices sont nombreux. Grâce à l’analyse des images scanner pulmonaires et aux prédictions qui en résultent, on peut détecter les lésions, les quantifier et lever les ambiguïtés diagnostiques dues au manque de fiabilité du test RT-PCR. L’IA permet la prédiction de l’évolution de la gravité des lésions pour optimiser le parcours patient et la gestion des lits de réanimation en temps de crise. Les données – leur disponibilité, leur exploitabilité et leur interprétabilité – sont la clé de voûte de ces études. Certaines initiatives sont en cours pour une coordination sur un partage au niveau européen ou français, via le Health Data Hub, afin de faciliter l’interopérabilité des sources de données hétérogènes multisites et leurs alignements.
Plusieurs études ont été lancées pour évaluer l’efficacité de l’hydroxychloroquine. En temps de crise, la compétition pour apporter des solutions est féroce, à en perdre la raison. Des revues de référence, comme The Lancet, se sont laissées piéger par #Surgisphere, une société américaine très controversée, qui a collecté des données et effectué des analyses prédictives. Les coauteurs se sont ensuite chargés de l’interprétation clinique des chiffres fournis par ces analyses. Il est vrai qu’identifier les patients susceptibles d’être infectés avec une sensibilité de 93,7 % et une spécificité de 99,9 % est une performance exceptionnelle. Proposer un score de gravité avec le risque de mortalité, un résultat très séduisant. De plus, cette étude a rapporté être effectuée sur 96 000 patients, à partir de 671 hôpitaux, ce qui est absolument colossal ! Surgisphere a refusé de donner accès à la cohorte utilisée, ce qui a renforcé la contestation, déjà très forte, de ses résultats. Depuis, c’est la débâcle : retrait de trois des quatre coauteurs, annulation des décisions politiques fondées sur ses résultats (dont celle de l’OMS).
Le cycle de vie des données non maîtrisé
Cette étude clinique utilisant l’IA est un exemple emblématique d’une chaîne de responsabilité non contrôlée – tout le contraire d’un système d’IA de confiance –, avec des défaillances multiples. On constate d’abord, concernant la gouvernance des données, que leur cycle de vie est non maîtrisé. Que sait-on de leur intégrité et de leurs sources, de la traçabilité de leur traitement, de leur transformation, de leur stockage et de leur usage (transmission à des tiers ou non) ? Ensuite, quelle a été la qualification des données par les spécialistes métiers – en l’occurrence, des cliniciens –, qui définissent les critères d’inclusion et d’exclusion en fonction des profils des patients et de leur parcours de traitement ? Cela a un impact sur l’interprétabilité des résultats. Autrement, on compare des pommes et des oranges et on est dans une situation garbage-in, garbage-out (« […]
Quelques précisions sur le traitement des données par la société de Sapan Desai… et sur la maîtrise des données en amont des traitements.