A Twitter employee asked why their employer won’t ban neo Nazi tweets like they banned ISIS tweets.
The answer is that if you teach an AI to ban Nazis, it bans a lot of Republicans.
▻https://www.yahoo.com/entertainment/twitter-won-t-autoban-neo-193850606.html?guccounter=1&guce_referrer=aHR0cHM6L
C’est assez rigolo, mais en même temps, il y a cette phrase qui suggère que le filtrage par AI par particulièrement approximatif :
With every sort of content filter, there is a tradeoff, [the executive] explained. When a platform aggressively enforces against ISIS content, for instance, it can also flag innocent accounts as well, such as Arabic language broadcasters.
Si « Arabic language broadcasters » te classe dans la censure automatique anti-ISIS – mais « la société est prête à l’accepter » (quelle société, si ce n’est la société islamophobe et raciste du shithole country ?) –, le fait que des républicains soient confondus avec des néo-nazis ne m’apparaît plus si défendable (même si, bon quand même…).
Ce qui est vraiment consternant c’est que ce type de raisonnement est à la base des logiques de détection algorithmique que ça s’appelle IA, statistiques ou toute autre méthode qu’on voudra bien utiliser. Toute méthode produit des #erreurs (de 1ère espèce, faux positifs ou de 2nde espèce, faux négatifs) et, à l’usage, et on l’évalue en fonction de l’occurrence de la prévalence de l’élément que l’on cherche à détecter dans la population (resp. % de terroristes dans la population d’arabophones, % de néo-nazis chez les républicains).
Pour une intro de base, voire #Sensibilité et #Spécificité chez WP
▻https://fr.wikipedia.org/wiki/Sensibilité_et_spécificité
ou encore #courbe_ROC, #AUC, …
▻https://fr.wikipedia.org/wiki/Courbe_ROC
Après ces bases statistiques – toujours remarquablement absentes dès qu’on parle d’étendre un dispositif de surveillance/détection – mais après seulement, on peut parler en terme de coût (financier ou social) des erreurs des deux types. Et donc, ce que dit @arno, ce qui est socialement acceptable :
• vu la prévalence de l’islamo-terroriste et quels que soient les performances des détecteurs, on est pratiquement assuré que (presque) tous les positifs seront des faux positifs (et on s’en fout…)
• pour les néo-nazis, on risque surtout de buter sur l’endroit où on met la limite (et il n’est même pas avéré que les faux positifs soient fâchés de l’erreur de classification…)
@arno @simplicissimus Je dois être bouché à l’émeri, je comprends super mal vos deux raisonnements, mais tellement super mal que pour celui de @simplicissimus j’ai cherché le bouton « traduire ». C’est moi où les choses peuvent être dites avec clarté. J’ai vraiment essayé.
L’attrait de l’article, c’est l’idée que d’« après Twitter », s’ils censurent automatiquement les contenus néo-nazis, ils vont se retrouver à censurer des élus républicains (« faux positifs »), et ça nous fait à tous un peu plaisir de penser que ça confirme que les élus républicains ne sont pas bien loins des néo-nazis white-power. Si on résume cette logique : « la censure par l’AI de Twitter confirme que les républicains sont des fachos ».
Le problème, c’est que le même article signale que quand ils filtrent avec la même AI les contenus pro-ISIS, ça met dans le tas des contenus totalement innocents au motif que le simple fait de parler en arabe est un marqueur fort pour l’AI (faux positifs donc aussi).
Donc l’intérêt – a priori assez plaisant – de l’article, comme quoi les « erreurs » de l’AI de Twitter démontreraient ce qu’on pense déjà, c’est-à-dire que les républicains sont des fascistes, hé ben ça ne tient pas (sinon on accepte l’idée que les gens qui s’expriment en arabe sont pro-ISIS, puisque c’est ce que fait la même AI).
merci @arno, je vais te sous-traiter les réécritures de mes écrits « technique »…
Les mots sont « techniques », mais le principe est assez simple. Un « classificateur binaire » auquel fait référence WP, ça veut juste dire qu’on trie une population en 2 tas ; pour faire simple des « méchants » et des « gentils ». Ça marche pour plein de trucs : un œuf pourri dans la production d’un poulailler, un monsieur avec du plastic dans ses semelles parmi les passagers embarquant à Roissy, un « pas gentil » parmi les trombines des passants dans une rue, etc.
Toute méthode, automatisée ou pas, appliquée systématiquement produira des erreurs ; erreurs de DEUX types :
• un « gentil » pris pour un « méchant » (faux positif)
• un « méchant » pris pour un « gentil » (faux négatif)
et donc sera associée à DEUX risques, le risque des erreurs de la première espèce ET le risque des erreurs de la seconde espèce (au passage, ce sont les termes techniques).
Dans la plupart des méthodes, tu disposes (d’au moins) un paramètre qui te permet d’arbitrer entre ces deux risques. Ainsi, si tu ne veux pas avoir de faux positif, il suffit de décider que tout le monde est gentil ; le hic c’est que ta méthode n’interceptera plus aucun méchant. Et tu peux échanger entre les deux risques.
Typiquement, dans les exemples statistiques qui vont bien (en contrôle qualité, p. ex.) on considère des risques d’erreur de l’ordre de 5% à 10%. Prenons, p. ex. 5% pour le premier et 10% pour le second) au passage, dans la plupart des méthodes de surveillance, on en est très loin. Ainsi dans cet exemple pointé récemment, ▻https://seenthis.net/messages/799826, on trouve 19% des individus identifiés correctement ; on ne sait pas très bien à quoi ça correspond par rapport aux risques ci-dessus, mais on voit que 81% (le complément à 100%) des individus ne sont pas correctement reconnus.
Gardons 5% et 10%. Le dernier paramètre important pour modéliser le fonctionnement du système de surveillance, c’est le pourcentage a priori de « méchants » dans la population totale. Avec ça, tu vas pouvoir calculer combien, en moyenne, ton système produit d’erreurs et de quels types. Je prends par exemple, les passagers transitant à Roissy tous les jours, ça nous en fait environ 200 000, on peut raisonner « en moyenne ».
Si tu as en gros 30% de méchants dans la population, tu en vois passer 60 000 dont tu laisseras passer 10% (2ère espèce) de faux négatifs (6000) et dont tu arrêteras le reste, soit 54 000.
Sur les 140 000 gentils (les pas méchants, si tu préfères) 5% (1ère espèce) seront arrêtés, soit 7 000 et 133 000 passeront sans encombre.
Bilan : tous les jours tu interceptes 61 000 personnes dont 54 000 à juste titre et 7 000 par erreur. C’est encore admissible…
Mais 30% de méchants, c’est ÉNORME. Mettons en 1% (et c’est encore gigantesque) et refaisons les calculs.
2 000 méchants par jour, dont 200 passent au travers du filet et 1800 sont arrêtés
198 000 gentils dont 9900 sont arrêtés à tort.
Bilan : tu as arrêté 10 100 personnes dont 200 vrais méchants. De ce fait, outre le bazar que tu mets à l’embarquement, (pratiquement) toutes les personnes retenues le sont à tort, résultat, très vite, on ne s’occupera plus des alarmes.
Conclusion, très générale : quand ce que tu cherches est très peu fréquent dans la population, les méthodes de contrôle systématiques en population générale (càd appliquées à tout le monde) ne peuvent pas marcher. Toute personne affirmant le contraire est au mieux un ignare au pire un escroc manipulant les ignares. Ce qui marche (éventuellement) ce sont des méthodes spécifiques (par exemple un indic – on a aussi un exemple tout frais) appliquées sur des populations ciblées (càd où, a priori, le taux de méchants est plus élevé qu’en population générale). La seule justification (?) d’un contrôle systématique de disposer d’une gigantesque base de données qui te permet, quand tu connais le méchant de pouvoir le retrouver dans ta base).
OK, si tu souffres d’aritmophobie tu auras décroché très rapidement, mais la logique de ce type de calcul est assez simple et imparable, même si c’est un peu long à développer (ce qui fait que ça ne l’est rigoureusement jamais…)
PS : je sais que j’ai déjà développé ce genre de choses (au moins…) une fois ici.
@arno , @simplicissimus Comme je suis super content d’avoir osé dire (après une longue hésitation) que j’avais rien capté, parce que maintenant j’ai compris et je trouve cela vraiment très intéressant, je regrette même de ne l’apprendre que maintenant tant ce raisonnement des faux positifs et des faux négatifs m’aurait été tellement utile quand je travaillais dans l’informatique et que je me battais contre les avalanches de fausses alertes en tentant de faire remonter qu’elles étaient factrices de vraies alertes manquées.
Avouez que vous êtes l’un et l’autre nettement plus clairs dans vos deuxièmes contributions dont je vous remercie tous les deux.
Mais ça continue de me faire sourire qu’on confonde les Républicains avec des Nazis. Parce que c’est la même chose non ?
Diala a un geste, apparemment libanais, pour qualifier ma façon d’expliquer les choses : ça consiste à se boucher l’oreille gauche avec la main droite en faisant tout le tour de la tête.
Une amie proche de la famille avait un jour statué sur le fait que pour mes enfants la vraie punition c’était la longueur de l’explication. Ça nous avait beaucoup fait rire et cela avait été l’occasion d’une sérieuse remise en question paternelle, depuis quand je dois expliquer quelque chose à mes enfants on négocie avant l’explication le temps qui m’est imparti et on se sert d’un compte-minute.
▻http://desordre.net/photographie/numerique/divers/videos/20181014_pendule.mp4
en allant sur twittoland n’oublie pas ton bullshit detector @philippe_de_jonckheere
Une IA capable de détecter le cancer du sein
▻https://usbeketrica.com/article/ia-capable-detecter-cancer-sein
Une équipe de chercheurs du MIT a mis au point une intelligence artificielle capable de détecter un cancer du sein jusqu’à cinq ans avant sa formation, quelle que soit la couleur de peau de la patiente.
Chaque année, on compte 54 000 nouvelles personnes touchées par le cancer du sein en France, ce qui en fait le cancer le plus répandu chez les femmes. Malgré des campagnes de dépistage importantes, de nombreux cas sont repérés trop tard pour être soignés efficacement. Face à cet enjeu, des chercheurs du Massachusetts Institute of Technology (MIT) essaient d’intégrer l’intelligence artificielle à leurs recherches afin de dépister le cancer plus tôt. Les résultats de leurs travaux ont été publiés, mardi 7 mai, dans la revue Radiology.
L’intelligence artificielle sur laquelle travaille le MIT permettrait de prédire un cancer du sein jusqu’à cinq ans avant son apparition, à travers l’analyse d’une simple mammographie. Pour arriver à ce résultat, les chercheurs ont analysé les données de plus de 60 000 patientes issues de l’Hôpital général du Massachusetts, précise le site du MIT. Comme les images utilisées avaient été prises plusieurs années auparavant, les chercheurs ont été en mesure d’apprendre à la machine quelles mammographies correspondaient à des femmes ayant développé le cancer du sein et lesquelles ne présentaient aucun signe de cancer.
Une IA (un peu) plus inclusive
Pour rendre leur intelligence artificielle plus équitable, les scientifiques lui ont montré des données représentatives de différentes couleurs de peau (l’enjeu étant de permettre à l’IA de repérer les signes avant-coureurs d’un cancer aussi bien sur des personnes blanches que non blanches). Verdict des chercheurs : « Cela fonctionne aussi bien sur des patientes noires que sur des personnes blanches ».
Données issues d’une étude publiée en 2014 sur le site Wiley Online Library
La diversité des données reste toutefois très faible, puisque seulement 5 % d’entre elles concernent des femmes noires et 4 % des femmes asiatiques, alors que 81 % proviennent de patientes à la peau blanche. Les chercheurs du MIT cherchent à inclure encore davantage les minorités dans leurs recherches, comme ils l’expliquent au site Engadget : « Nous continuons activement les collaborations avec d’autres hôpitaux pour faire en sorte que notre modèle soit équitable et qu’il fonctionne sur des populations diverses. »
Un enjeu d’avenir
Ces enjeux deviennent de plus en plus importants à mesure que l’intelligence artificielle fait son entrée dans le domaine de la santé et de la médecine prédictive. Aujourd’hui, aux États-Unis, les femmes noires ont 42% plus de risques de mourir d’un cancer du sein que les femmes blanches, précise le MIT. Parallèlement, les femmes noires, hispaniques et asiatiques développent le cancer du sein plus tôt en moyenne que les femmes blanches. Et avec le recours à l’intelligence artificielle, ces inégalités risquent encore s’amplifier si les données fournies aux IA ne sont pas plus représentatives.
Pour gommer ces biais, il s’agit donc de renouveler et diversifier les données médicales. Et il y a fort à faire en la matière puisque, depuis vingt ans, les inégalités liées à la couleur de peau face au cancer n’ont pas diminué, comme le montre une étude publiée en 2014. Elles auraient même augmenté dans le cas du cancer du sein.
L’intelligence artificielle sur laquelle travaille le MIT permettrait de prédire un cancer du sein jusqu’à cinq ans avant son apparition, à travers l’analyse d’une simple mammographie. Pour arriver à ce résultat, les chercheurs ont analysé les données de plus de 60 000 patientes issues de l’Hôpital général du Massachusetts, précise le site du MIT. Comme les images utilisées avaient été prises plusieurs années auparavant, les chercheurs ont été en mesure d’apprendre à la machine quelles mammographies correspondaient à des femmes ayant développé le cancer du sein et lesquelles ne présentaient aucun signe de cancer.
A noter : utilisation du conditionnel et sauf erreur de ma part on est bien sur des bases de travail statistiques et on détecte donc des corrélations et des probabilités, pas des causalités...
oui @suske tout cela est au conditionnel, on est d’accord que ce n’est pas très scientifique. Mais ça signifie aussi qu’un cancer du sein peut débuter 5 ans avant et non pas seulement 2 ans comme les médecins le disent souvent.
Quand j’ai présenté une mammographie de plus de 20 ans avec des annotations au même endroit de cellules bizarres à Curie on m’a répondu que « la médecine n’est pas une science exacte ». Et il y a 10 ans, consultant en urgence, je me suis fait insulter par une gynéco parce que « madame ce sont vos glandes mammaires, c’est normal vous avez des seins, vous êtes une femme ».
J’estime que les études techniques ça fait surtout plaisir aux techniciens de la santé et à ceux qui espèrent un retour sur investissement à force de #fichage.
Et que tant que le corps médical refusera d’écouter les patient·es, les médecin·es continueront d’accumuler les erreurs médicales et les diagnostics d’ignares dangereux.
Donc, chères sœurs, faites vous confiance, changez de médecin si il ou elle refuse de vous entendre.
#santé #médecine #ecouter_les_femmes
L’étude originale :
A Deep Learning Mammography-based Model for Improved Breast Cancer Risk Prediction | Radiology
▻https://pubs.rsna.org/doi/abs/10.1148/radiol.2019182716
Abstract
Background
Mammographic density improves the accuracy of breast cancer risk models. However, the use of breast density is limited by subjective assessment, variation across radiologists, and restricted data. A mammography-based deep learning (DL) model may provide more accurate risk prediction.
Purpose
To develop a mammography-based DL breast cancer risk model that is more accurate than established clinical breast cancer risk models.
[…]
Conclusion
Deep learning models that use full-field mammograms yield substantially improved risk discrimination compared with the Tyrer-Cuzick (version 8) model.
Et, en effet, il s’agit de comparer des méthodes de détection. Le résultat principal se lit sur ce graphique (dit #courbe_ROC)
Il montre que la courbe (en rouge) correspondant à l’utilisation de l’IA sur l’image et les facteurs de risque classiques produit toujours un plus faible nombre de faux positifs que les méthodes sans IA.
La courbe verte (IA sur l’image seule) n’est pas aussi performante que la rouge ; elle est moins bonne que la méthode traditionnelle dans le bas de la courbe.
La « détection parfaite » correspondrait à deux segments de droite longeant les bords gauche et supérieur du carré.
Comme tu le soulignes, @vraiment, l’étude ne porte que sur les éléments médicaux. Aucune trace des déclarations des patientes, en effet.
Mais ça signifie aussi qu’un cancer du sein peut débuter 5 ans avant
Je reformulerais en précisant que l’étude montre que le cancer était détectable (par ces méthodes) dans les 5 ans qui précèdent sa détection effective. L’étude a porté sur 40000 mammographies effectuées dans un intervalle de 4 ans (2009 à 2012) dans un grand centre médical et en recoupant d’une part avec le registre des tumeurs déclarées dans les 5 ans suivant de 5 hôpitaux, mais aussi avec des mammographies post-traitement.
Le délai de détection ainsi gagné par l’utilisation de ces techniques n’est pas indiqué. Ni, à mon avis, aisément déterminable.
100% d’accord sur l’écoute.
Une des difficultés est aussi de s’exprimer face au médecin... Ici on est clairement dans une idée du type : une mammo, une AI et le tour est joué. L’écoute de l’expression des patientes est limite inutile dans ce paradigme. Pour cela je n’ai pas apprécié cet article dont la structure me semble conforter ce défaut :
1. titre factuel favorable à l’AI
2. rappel de « l’importance de la détection précoce »
3. conditionnel : possibilité de prédire jusqu’à 5 ans
4. le tout sur base de dossiers d’imagerie...
Il ressort une impression de « on va pouvoir détecter tout à temps » alors que ce que je comprends c’est que l’AI réduit (logiquement) un peu la subjectivité de l’interprétation. C’est déjà bien, pas besoin d’en rajouter en parlant de capacité de l’AI et de prédictibilité...
Moi je me questionne du coup sur ce qui change sur une mammographie en fonction de la couleur de peau ; le contraste de l’image résultante n’est pas le même ? (a priori c’est pas ça) Ou c’est que les cancers du sein ne se développent pas forcément de la même façon suivant le milieu social, la couleur ?
The majority of existing risk models were developed on predominantly white populations (1,3,4) and have known limitations in predicting risk for other racial groups (17–20)
Relativement à la mammographie, le facteur #densité_mammaire (#breast_density) est régulièrement mis en avant.
cf. les explications de la Clinique Mayo où l’on voit clairement l’impact sur la lecture de l’image.
Après, le lien entre l’ethnicité, la densité mammaire et le niveau de risque relatif est discuté. Deux exemples, après recherche rapide,…
• ici une étude de 2007, Mammographic breast density and race qui conclut que le lien densité/race existe mais qu’il disparait lorsqu’on prend en compte les facteur âge et IMC (Indice de Masse Corporel) … sauf pour les Asiatiques
▻https://www.ncbi.nlm.nih.gov/pubmed/17377060
• là, en Nouvelle-Zélande en 2013, c’est le contraire…
Age and Ethnic Differences in Volumetric Breast Density in New Zealand Women : A Cross-Sectional Study
▻https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3729838
As well as expected age differences, we found differential patterns of breast density by ethnicity consistent with ethnic differences seen in breast cancer risk. Breast density may be a contributing factor to NZ’s well-known, but poorly explained, inequalities in breast cancer incidence.
Comme l’indique la conclusion de cette dernière étude, on ne sait pas pourquoi…
Les quatre références citées en note (17 à 20) par l’étude sur l’IA se contentent de constater les différences, comparent la sous-estimation des risques obtenus par différentes méthodes et, éventuellement, proposent des étalonnages (anglais : calibration) différents pour les différentes races.