#hallucination

The European #parliament’s answer to its AI worries: More AI – POLITICO
▻https://www.politico.eu/article/the-european-parliaments-answer-to-its-ai-worries-more-ai

— Permalink

#europe #artificialintelligence #LLMs #chatbot #law #draft #amendments #hallucinations #EPGenAIHub

L’IA rend l’#édition_scientifique « plus lente, de moins bonne qualité et plus chère »

Alors que de plus en plus d’#articles_scientifiques sont créés en utilisant l’IA générative, le rédacteur en chef de Science, Holden Thorp, considère qu’elle fait plus de mal que de bien à l’édition scientifique.

Pour Holden Thorp, le responsable éditorial de toutes les revues de l’éditeur scientifique Science, l’arrivée de l’IA générative pousse l’édition scientifique dans une forme de « #taylorisme ». « Ce défi exige encore plus d’efforts humains, ce qui rend l’ensemble du processus plus lent et plus coûteux », explique-t-il dans un édito de la revue phare (▻https://www.science.org/doi/10.1126/science.aek5570).

L’année dernière, des chercheurs prévenaient que l’IA pourrait faire, au final, « plus de mal que de bien » à la recherche sans pour autant nier certaines avancées qu’elle pouvait amener. Fin 2025, submergée par les propositions d’articles générées par IA, la plateforme de prépublications #arXiv décidait de modérer plus strictement. Elle a ensuite mis en place une mesure de suspension d’un an des chercheurs qui soumettent des articles erronés générés par IA.

#Hallucinations, #cherry_picking et #manipulation_de_données

Mais les revues et les conférences scientifiques sont aussi touchées par le phénomène. Holden Thorp ne nie pas la capacité des grands modèles de langage (LLM) à permettre des avancées scientifiques comme la prédiction des structures protéiques ou l’accélération de la découverte de nouveaux matériaux.

Mais il s’appuie sur un article scientifique récent (▻https://www.science.org/doi/10.1126/science.adz4351) qui explique que les LLM « éprouvent encore des difficultés dans les domaines qui exigent un jugement clinique nuancé, un raisonnement expérimental ou une réflexion et une synthèse approfondies en biologie » et sur l’existence des hallucinations (dont même les chercheurs d’OpenAI avouent avoir du mal à se débarrasser) pour expliquer que leur utilisation dans la rédaction d’articles scientifiques peut être problématique.

« De plus, certains de ces agents sont plus enclins que les humains à se livrer à ce qui s’apparente à des #fautes_professionnelles en matière de recherche, telles que la #sélection_arbitraire_de_données [cherry picking] et la manipulation des analyses statistiques jusqu’à l’obtention du résultat souhaité », ajoute-t-il, citant un autre article mis en ligne sur arXiv (▻https://arxiv.org/pdf/2509.08713).

Et, alors que l’ajout d’erreurs par l’IA générative dans les articles demande une attention accrue, elle accélère aussi le rythme de soumission d’articles aux revues scientifiques et crée des #goulots_d’étranglement. Certains éditeurs, comme Elsevier, laissent facilement passer des #erreurs parfois impardonnables. « La prolifération d’#AI_slop [informations erronées liées à l’IA] dans la littérature scientifique et, plus généralement, sur Internet, nuit à la #crédibilité de la #science », déplore le responsable éditorial de Science.

Le taylorisme arrive dans l’édition scientifique

Holden Thorp compare ce moment de l’arrivée de l’IA générative dans l’édition scientifique à l’arrivée du taylorisme dans l’économie américaine. Frederick Winslow Taylor « a encouragé les entreprises à recourir à la surveillance pour pousser les salariés à travailler plus dur et plus longtemps, une approche qui a épuisé et découragé les travailleurs et a conduit au transfert des connaissances et de tout pouvoir décisionnel des travailleurs vers la direction », explique-t-il.

Remarquons quand même que, si Holden Thorp déplore l’utilisation massive de l’IA générative dans les articles scientifiques, son article est lui-même parsemé de liens accompagnés de paramètres UTM laissant la trace de l’utilisation de ChatGPT (par exemple : ▻https://arxiv.org/abs/2605.07723.

▻https://next.ink/247785/lia-rend-ledition-scientifique-plus-lente-de-moins-bonne-qualite-et-plus-chere
#AI #intelligence_artificielle #vitesse #qualité #ESR #recherche #revues_scientifiques

L’#IA, nouveau #risque #inassurable pour les #assureurs ?
▻https://www.ladn.eu/entreprises-innovantes/lia-est-elle-le-nouveau-casse-tete-des-assureurs

Comment assurer ce que personne ne sait prédire ? Face à la déferlante IA, assureurs et entreprises avancent en terrain inconnu. Leurs polices prévoient-elles seulement de les couvrir ?

Fin 2024, Graciela Dela Torre tente de rouvrir un litige d’invalidité, pourtant clos, sur les conseils de #ChatGPT. L’outil valide ses doutes sur son avocat, elle le licencie, relance la procédure et dépose des dizaines de requêtes que les tribunaux jugent sans fondement. En mars 2026, Nippon Life Insurance Company of America (visiblement saoûlé) décide d’attaquer #OpenAI devant la #justice fédérale : la filiale de l’assureur japonais réclame quelque 10 millions de dollars, selon les documents judiciaires. L’affaire n’a pas encore été tranchée, mais elle pose déjà une question vertigineuse : si une #hallucination d’IA cause un dommage réel, qui est responsable ? Et est-on d’ailleurs si sûrs qu’il s’agisse d’une hallucination ? Pour Eran Kahana, juriste spécialisé en droit de l’IA et auteur de l’analyse de référence sur ce cas pour Stanford Law, la réponse est claire : ici, il faut aller voir du côté de la conception. Car ChatGPT a fait exactement ce pour quoi il a été construit : répondre sans jamais refuser, à sa façon flatteuse et sycophante. Mais au-delà du cas Dela Torre, la question est universelle : comment les systèmes d’IA, les utilisateurs et leurs assureurs vont-ils se renvoyer la charge du risque, à mesure que la technologie s’immisce dans nos décisions ?

Dans son livre blanc Smart Systems, Blind Spots (mars 2026), Gallagher Re, l’un des plus grands réassureurs au monde, pose le diagnostic : quand l’IA est vecteur d’attaque, c’est la #cyber-assurance, désormais bien rôdée, qui joue ; mais quand elle est source de responsabilité (hallucinations, discrimination, atteintes à la propriété intellectuelle…), elle n’est généralement pas couverte. Un décalage fondamental entre des polices conçues pour des acteurs humains et les risques nouveaux induits par l’IA.

L’intelligence artificielle va‑t‑elle mettre fin à la recherche en sciences sociales ?

L’impact de l’intelligence artificielle générative sur les sciences sociales peut être compris à travers la métaphore du roman Things Fall Apart de Chinua Achebe. Ce livre retrace les bouleversements de la société nigériane face à l’intrusion coloniale. Il offre une approche pertinente pour comprendre les tensions actuelles du monde académique.

Il y a quelques mois maintenant, un collègue m’a envoyé son article pour avoir une seconde lecture. Tout y était : problématique ciselée, revue de littérature exhaustive, méthodologie rigoureuse. Trop, justement. En y regardant de plus près, certaines formulations m’ont alerté : « crucial », « dans le monde dynamique de », « il est impératif de noter que ». Le #vocabulaire typique de #ChatGPT. J’ai demandé des explications. Réponse gênée : « Oui, j’ai utilisé l’IA pour rédiger certaines parties, mais j’ai relu, évidemment. »

Ce malaise révèle une vérité qui dérange : nous, chercheurs en sciences sociales, sommes en train de perdre le contrôle de notre métier. Et nous faisons semblant de ne pas le voir. Cette réflexion m’a amené à proposer un article à la Revue française de gestion à l’occasion du numéro de son 50ᵉ anniversaire.

Quelques chiffres illustratifs du changement de paradigme

Environ 13,5 % des #résumés d’articles biomédicaux publiés en 2024 contiennent des traces d’utilisation d’intelligence artificielle (IA) générative selon une étude parue dans Science Advances (►https://www.science.org/doi/10.1126/sciadv.adt3813). Plus inquiétant encore : une étude de chercheurs de Stanford révèle que jusqu’à 17 % du texte des évaluations d’articles dans les grandes conférences sur l’IA pourrait avoir été substantiellement modifié par l’IA elle-même (▻https://arxiv.org/abs/2403.07183). Nous sommes entrés dans une boucle où l’IA évalue l’IA.

Par ailleurs, des équipes de recherche analysent en quelques semaines des corpus qui auraient nécessité des années de travail. En sociologie numérique, par exemple, une étude publiée dans Science a examiné la diffusion de près de 126 000 informations vraies et fausses partagées par environ trois millions d’utilisateurs sur Twitter (▻https://www.science.org/doi/10.1126/science.aap9559), soit plus de 4,5 millions de partages, un volume inimaginable sans outils d’analyse automatisés.

Ruptures dans les sciences sociales

Mais au-delà de ces gains de #productivité, quelque chose se fissure. L’IA ne bouleverse pas seulement nos méthodes de travail. Elle remet en question ce que signifie « #faire_de_la_recherche ».

Comment valider des résultats produits par un #algorithme dont les rouages internes restent opaques ? Comment garantir la #rigueur_scientifique quand l’IA peut « #halluciner » et inventer des #références_bibliographiques qui n’existent pas ? Comment protéger notre #pensée_critique dans ce contexte ?

Nous sommes actuellement confrontés au même #dilemme que les personnages du roman de l’écrivain nigérian Chinua Achebe, intitulé Tout s’effondre (Things Fall Apart, en anglais). Dans ce récit, une société africaine traditionnelle se retrouve confrontée aux missionnaires européens qui viennent imposer de nouvelles croyances. Certains membres de cette société traditionnelle s’adaptent à cette arrivée, d’autres résistent. Tous comprennent que rien ne sera plus comme avant.

Technophiles contre traditionalistes

La communauté scientifique connaît aujourd’hui des divisions. Certains, les « technophiles », accueillent l’IA avec enthousiasme, convaincus qu’elle va accélérer les découvertes et ouvrir la recherche au monde en développement. D’autres, les « traditionalistes », dénoncent une course à la productivité aux dépens de la profondeur de pensée.

Cette #fracture ne se limite pas aux questions techniques et technologiques, elle touche aussi à notre #identité, collective et individuelle, de chercheurs. Sommes-nous en train de devenir de simples opérateurs validant des productions issues d’algorithmes ? Notre expertise se réduit-elle à savoir poser les bonnes questions à un modèle d’IA ?

Les jeunes chercheurs sont les premiers exposés. Ils jonglent entre la pression de publier rapidement et l’injonction implicite à ne pas trop utiliser l’IA. Résultat : beaucoup l’utilisent en cachette, créant une #culture_du_secret qui a des conséquences pour la #transparence_scientifique.

Quelles solutions ?

Nous avons trop longtemps préféré détourner le regard. L’intelligence artificielle est là, et ignorer sa présence n’est plus tenable. Il nous faut repenser notre manière de faire de la science. Imaginer un nouveau cadre.

Trois grands principes pourraient nous servir de boussole.

Le premier, c’est la #transparence. Chaque recours à l’IA devrait être précisé noir sur blanc dans nos publications : quels outils ont été utilisés, pour quels usages, et dans quelles limites. Certaines revues, comme Nature, commencent déjà à l’imposer.

Ensuite, la #responsabilité. L’IA peut analyser des données, suggérer des pistes, rédiger des brouillons. Mais c’est au chercheur qu’il revient d’interpréter et de valider avec un #esprit_critique. Cette ligne rouge ne doit jamais être franchie. Une étude récente le rappelle cruellement : 52 % des réponses générées par l’IA à des questions de programmation contiennent des erreurs, et la supervision humaine échoue à les corriger dans 39 % des cas (▻https://dl.acm.org/doi/10.1145/3613904.3642596).

Enfin, le #pluralisme. Il devient nécessaire d’accepter que certains chercheurs intègrent l’IA dans leur travail tandis que d’autres la refusent. Cette diversité peut devenir une richesse, si les débats ont lieu au grand jour, dans les conférences et les séminaires qui constituent la tradition scientifique.

Un nouveau #paradigme_scientifique

L’intelligence artificielle va continuer de gagner en puissance et en omniprésence.

Nous sommes à l’aube d’un #tournant dans le monde de la recherche où l’intelligence humaine devient une « des » formes d’intelligences. Il semble clair que cette #cohabitation ne portera ses fruits que si elle s’appuie sur des #règles mises en place par les chercheurs eux-mêmes.

Le vrai risque ne provient pas de l’intelligence artificielle, mais de notre #inertie. Notre envie de profiter de ce qu’elle offre sans trop s’interroger. D’accepter, sans résister, une facilité qui pourrait, à terme, nous échapper. Chinua Achebe raconte comment une société s’effondre lorsqu’elle perd le contrôle de son destin. Nous, chercheurs, avons encore le #choix. Nous pouvons décider comment intégrer l’intelligence artificielle, à quelles conditions, mais aussi avec quelles limites.

L’enjeu n’est pas de résister au changement. Il est de le guider vers une science plus rigoureuse, plus transparente, plus consciente d’elle-même. Une science qui utilise l’IA sans s’y soumettre. Une science qui reste, avant tout, une aventure humaine.

▻https://theconversation.com/lintelligence-artificielle-va-t-elle-mettre-fin-a-la-recherche-en-s
#IA #AI #intelligence_artificielle #ESR #recherche #SHS #sciences_sociales #édition_scientifique #publications_scientifiques #évaluation #peer_review #hallucination #à_lire

Hallucinated citations highest in social sciences preprints site

More than 140,000 fake citations across four research repositories were identified in papers and preprints published in 2025 alone.

▻https://www.nature.com/articles/d41586-026-01545-1

#science #édition_scientifique #AI #IA #intelligence_artificielle #hallucination #invention #références #sources #recherche #publications_scientifiques

Hallucinated citations are polluting the scientific literature. What can be done?

https://media.nature.com/w1248/magazine-assets/d41586-026-00969-z/d41586-026-00969-z_52212900.jpg?as=webp

Tens of thousands of publications from 2025 might include invalid references generated by AI, a Nature analysis suggests.

Earlier this year, computer scientist Guillaume Cabanac received a notification from Google Scholar that one of his publications had been cited in a paper published in the International Dental Journal1. That was unexpected, because his research on spotting fabricated papers doesn’t typically intersect with dentistry. “I was very surprised to see that I couldn’t recognize my own reference,” says Cabanac, who is based at the University of Toulouse in France.

The title in the citation resembled that of a preprint2 he had posted in 2021 and never published formally, but the journal was listed as Nature and the DOI — the unique identifier assigned by publishers and preprint repositories — did not lead to the original preprint. “I got very concerned,” adds Cabanac, who immediately suspected that the citation had been hallucinated by artificial intelligence.

This is just one example of a rapidly growing problem. Surveys and related studies have shown that researchers are increasingly using large language models (LLMs) to help to conduct literature searches, write manuscripts and format bibliographies. And sometimes, these models generate non-existent academic references.

Over the past year, efforts have begun turning up such hallucinated citations in the literature. One analysis of nearly 18,000 papers accepted by three computer-science conferences found a sharp increase in references that cannot be traced to actual scholarly publications3. The results, reported in January, indicated that 2.6% of papers in 2025 had a least one potentially hallucinated citation — up from about 0.3% in 2024. Another analysis, released in February, estimated that 2–6% of papers in four other 2025 computer-science conferences included references with rephrased titles or citations of publications that the authors couldn’t verify by searching through databases and journal archives4.

And although the scale of the problem remains uncertain, it’s clear that not only conferences are affected. An exclusive analysis conducted by Nature’s news team, in collaboration with Grounded AI, a company based in Stevenage, UK, suggests that at least tens of thousands of 2025 publications, including journal papers and books, as well as conference proceedings, probably contain invalid references generated by AI.

Grounded AI is among the companies offering publishers tools for screening submissions for problematic references. Several publishers told Nature reporters that they have been exploring such tools or developing in-house versions.

But some researchers are concerned that the problem will soon get out of hand. “We’re going to see a flood of fake references,” says Alison Johnston, a political scientist at Oregon State University in Corvallis.

Another issue is deciding what to do about hallucinated citations that make it into the published literature. That’s a problem that academic publishers are wrestling with right now.
Sources of error

Citation errors are not new to academic publishing. “Even before generative AI, we already had so many inaccuracies in citations,” says Mohammad Hosseini, who studies research ethics and integrity at Northwestern University Feinberg School of Medicine in Chicago, Illinois. Issues have tended to include misspelling of authors’ names or errors in the year of publication, the title of the journal or the DOI. Another issue has been discrepancies between the information in the cited work and the details given by the paper citing it5,6.

“Now the problem is not just inaccuracy, it’s about fake citations. It’s about fabricated citations, which is a whole different problem,” says Hosseini.

Publishers told Nature that they are seeing increases in the number of fabricated and inaccurate citations in submissions, and they are taking steps to tackle the issue.

Johnston, co-lead editor of the Review of International Political Economy (RIPE), a journal published by the UK-based Taylor & Francis, says that she rejected 25% of some 100 submissions in January “because of fake references”. She uses the plagiarism-detection software iThenticate to flag unusual or partial matches between the references in submitted papers and published bibliographies. Then she manually checks the suspicious citations. “I’m doing things now to try and detect hallucinated references that I wasn’t doing prior to 2025,” she says.

Frontiers, based in Lausanne, Switzerland, has developed an in-house AI tool for flagging integrity issues at the point of submission, including references to irrelevant or retracted work and hallucinated citations. “Around 5% [of manuscripts] show potential reference-related issues flagged through our checks,” says Elena Vicario, Frontiers’ head of research integrity. But “not all flagged references ultimately turn out to be genuinely problematic”, she adds. That makes it challenging, Vicario says, to come up with a precise measure of the prevalence of any of these types of citation issue.

Experiments using AI chatbots to generate papers have provided insights into how often LLMs produce citation errors and what types of error they tend to make. In one study, researchers prompted OpenAI’s GPT-4o LLM to generate six literature reviews on three mental-health disorders, and analysed the 176 references in those synthetic reviews7. Under these experimental conditions, they found that nearly 20% were fabricated references and could not be linked to actual research. And 45% of the remaining references, which corresponded to genuine publications, contained errors, often incorrect or invalid DOIs.

In some cases, including in references in published articles, all of the component parts are made up, says Kathryn Weber-Boer, director of scientometrics at the London-based company Digital Science. (The firm is operated by the Holtzbrinck Publishing Group, which is the majority shareholder of Springer Nature, which publishes Nature. Nature’s news team is editorially independent of its publisher.) AI also hallucinates DOIs, both in references that are otherwise genuine as well as in fabricated ones, she adds.

AI-generated references commonly combine fragments of genuine publications, say researchers who have studied the issue (see ‘How fakes can look real’). Joe Shockman, co-founder and chief executive of Grounded AI, calls such references ‘Frankenstein’ citations, likening their assembly to that of the fictional monster. “It looks real to a human being, but is not actually a reference to a real thing,” says Shockman, who is based in Ashland, Oregon.

https://media.nature.com/lw767/magazine-assets/d41586-026-00969-z/d41586-026-00969-z_52221360.jpg?as=webp

Although some types of error seem to implicate AI, others are less clear-cut, say researchers. “In today’s landscape, we have to recognize that there are human errors and there are machine errors, and those can often overlap,” says Weber-Boer.
Published problems

How many hallucinated citations are showing up in published research remains difficult to discern. To get an estimate, Nature’s news team joined forces with Grounded AI, which has developed an AI tool called Veracity that checks citations against scholarly databases and across the web, flagging ones that are invalid, irrelevant or cite retracted work.

Nature and Grounded AI collaborated to analyse more than 4,000 publications from last year, covering five leading publishers: Elsevier, Sage, Springer Nature, Taylor & Francis and Wiley. Grounded AI randomly sampled these papers from Europe PMC — a repository of open-access biomedical research articles — and the bibliometric database Crossref, to include equal number of publications per month from each of the five publishers. The sample included published papers as well as book chapters and conference proceedings, and it cut across all subject areas in these publishers’ portfolios.

Grounded AI’s tool looks for an exact match to a reference or the closest match it can find. It then flags citations with major issues, such as mismatched titles or DOIs, missing authors and incorrect journals, as well as more-minor issues. Citations that pointed to papers that couldn’t be found even though they should be easy to find — because the journal in question is indexed by scholarly databases, for example — were marked as especially problematic.

After running the publications through the tool, Grounded AI assigned a risk score to each of the published papers, on the basis of the number of references that had major issues and how likely those issues were to have been generated by AI. Grounded AI determined that likelihood using data gleaned from a separate analysis that used two AI models to generate 20,000 synthetic papers; this allowed the company to identify the most common types of citation error that AI makes.

Nature manually checked the 100 most suspicious publications and confirmed that 65 contained at least one invalid reference, meaning that it pointed to a publication that did not seem to exist (see ‘Finding the fabrications’). But 22 of the 100 most-suspicious papers had references that did point to genuine publications.

https://media.nature.com/lw767/magazine-assets/d41586-026-00969-z/d41586-026-00969-z_52221356.jpg?as=webp

For the remaining 13 papers, it was unclear whether all their citations pointed to existing research or not. These 13 papers included references to articles that were said to be published in regional journals in languages other than English, and references that had mismatches in metadata that looked like plausible human errors, for example.

The analysis, which looked at reference lists from Crossref and full text from Europe PMC publications, turned up no clear trend across publishers. Each of the selected publishers had more than five publications with references that manual checks couldn’t validate.

As a rough estimate, if the rate of 65 publications with at least one invalid reference out of some 4,000 publications analysed holds across the academic literature, it would suggest that more than 110,000 of the 7 million or so scholarly publications from 2025 contain invalid references.

Nick Morley, Grounded AI’s co-founder and chief product officer, says that the types of citation problem seen in 2025 are different from those found by his team before the proliferation of LLMs. This fact, he says, points to the use of AI as a leading culprit.

The true number of hallucinated references is almost certainly higher, says Weber-Boer, because the analysis focused on big publishers, which have more resources for checking citations systematically than do smaller publishers. Fields such as computer science, which has seen a surge in the use of LLMs to produce manuscripts8, might be more affected than other fields. What’s more, the Grounded AI analysis turned up a few hundred more publications that had some risk of hallucinated citations, suggesting that extra manual checking would have brought more such citations to light.

Spokespeople for all five publishers said that they check references as part of their screening and editing process, and they intend to investigate the publications flagged by the Nature analysis. A spokesperson for Taylor & Francis said that some of the publications flagged were already under investigation by its ethics and integrity team.

When it comes to hallucinated references, “there have been cases where authors have been able to clearly document where issues have occurred in the process of producing a manuscript, for example using a translation tool, and demonstrate that the rest of the paper can be relied upon, in which case the paper will be corrected”, says Chris Graf, Springer Nature’s research-integrity director. But, more often, these references reflect broader problems with the content, he says.

Shockman says that the number of potentially problematic citations flagged by Veracity is an order of magnitude greater when it is used in pilot programmes to screen submissions on behalf of publishers than when it analyses publications. This suggests that publishers are catching a large proportion of such citations before they can make it into the literature.

Nature’s collaboration with Grounded AI also highlighted, as many experts have noted, that the detection of invalid citations with automated tools is not error-free. One of the challenges is that journals have various ways of formatting references, and AI tools might fail to recognize references because of how they are styled. These types of problem showed up among citations that manual checks determined to be genuine despite having been flagged by Grounded AI.

Another issue, says Weber-Boer, is that large-scale bibliometric databases might not index references that can’t be verified, meaning their metadata might not match what appears on the publishers’ websites. Some references do not contain their corresponding DOI, which makes it hard for automated tools to identify the cited paper, adds Weber-Boer. “We’re starting to get a handle on the characteristics of this problem, which are a precursor to understanding the scale of it,” she says.

The Grounded AI team members acknowledge that not all the references their tool flags will be true positives, but they say they are continuing to improve its performance. IOP Publishing, based in Bristol, UK, is now using Grounded AI’s tool to screen submissions for problematic citations across all of its proprietary journals, says Kim Eggleton, head of peer review and research integrity. “We know it’s a problem, we just don’t know how big the problem is,” she says.
Fake-citation fallout

Other start-up firms that are designing AI tools to catch fake references are also finding that they cannot yet eliminate manual checks. One such firm is GPTZero, based in New York City, which is working with the International Conference on Learning Representations (ICLR) on a tool for screening submissions.

GPTZero’s tool uses AI to search for the cited publications across the web as well as scholarly databases. Last year, the GPTZero team screened more than 700,000 citations in submissions to the ICLR 2026 and flagged 9,000 to be checked manually, says Alex Cui, the firm’s co-founder and chief technology officer. The flagged errors included titles that did not match those of any known publication, broken DOIs and citations attributed to authors with no connection to those works.

ICLR 2026 programme chairs told Nature that around 1,000 manuscripts contained flagged citations. They rejected any that were found to contain hallucinated references, although they declined to say exactly how many.

Other efforts and approaches are also emerging. Michał Wójcik, who has just completed a PhD in neuroscience at the Free University of Berlin, says that he uses tools based on the programming language Python to screen references he samples from Crossref, looking for mismatches in their metadata. So far, he has identified more than 500 papers with unresolved or mismatched DOIs, which he checked manually and reported on PubPeer — a platform for post-publication review.

Another tool is CheckIfExist, an open-source platform that checks whether one or several references exist in scholarly databases. The tool, described in a preprint posted in January9, can help authors to avoid citing non-existent publications. Cabanac has worked with the French national research agency CNRS in Paris to develop another tool, called bibCheck, which has been made freely available to CNRS scientists. It checks whether a reference corresponds to an existing or retracted work.

In Cabanac’s view, a paper with hallucinated citations should not be in the literature. It’s “like a plane flying with inexistent bolts”, he says. Once such a paper is identified, publishers must issue an expression of concern promptly and assess whether it needs to be corrected or retracted, he says.

In several cases over the past year, publishers have retracted papers and books that were found to contain hallucinated citations.

After Cabanac reported the International Dental Journal1 paper with the invalid reference to PubPeer in January, it was corrected in March to cite his preprint. Brett Duane, a public-dental-health researcher at Trinity College Dublin in Ireland and a co-author of the paper, which was about using ChatGPT to estimate carbon emissions in dental practices, says that ChatGPT was used to “help identify potentially relevant references for use in the manuscript, which were all independently reviewed and verified”. The reference to Cabanac’s work was “a corrupted citation, originating from an LLM suggestion” that was inadvertently added during drafting, he says, and did not affect the paper’s conclusions.

Scholars are still debating whether and when hallucinated citations should be considered a form of research misconduct. Even major problems can happen unintentionally. For example, authors might use LLMs in a rush to format their reference list, unaware that AI has rephrased the citations, changed DOIs or added made-up references. Policies on AI use differ across journals. Most publishers require authors to disclose the use of AI, although what specific uses need to be disclosed varies. Policies also require human oversight of AI tools. Failing to verify their output could represent a lack of scientific rigour, according to several researchers who spoke to Nature.

Even when the hallucinated citation doesn’t affect a paper’s findings and AI use is disclosed in accordance with journal policies, the journal must issue a public correction, Hosseini says.

In a paper published in March, he and David Resnik, a bioethicist at the National Institute of Environmental Health Sciences in Research Triangle Park, North Carolina, suggest that citations that point to non-existent work in reviews and bibliometric studies should be classified as a form of research misconduct if the references serve as data that directly support findings and conclusions10. In this case, the invalid citations amount to data fabrication, they argue.

In some cases, hallucinated citations might serve as a sign that the entire paper is fabricated, whether by an individual or a paper mill, a business that sells authorship slots. But the extent to which fabricated papers are contributing to the fake-citation problem is unclear.

Spokespeople for Sage and Taylor & Francis told Nature that when a hallucinated citation is found in a submission, they might reject the manuscript or ask for a revision if the errors don’t affect the conclusions and don’t suggest wider misconduct. A spokesperson for Wiley said that “minor issues may be raised to the author for clarification”. Springer Nature said it withdraws submissions that are found to contain hallucinated references.

Johnston says she is taking a hard line: when such a citation is found in a submission to RIPE, she says, the authors are prohibited from resubmitting the work to the journal.

Hallucinated citations that make it into the academic literature can slow down and confuse other researchers’ efforts, and lead to false conclusions. Such errors can also create distrust in science, says Weber-Boer.

Hosseini agrees: “Every fake citation is a problem in the literature that someone would have to deal with.”

▻https://www.nature.com/articles/d41586-026-00969-z
#AI #IA #intelligence_artificielle #citations #invention #recherche #littérature_scientifique #références #hallucination #LLM #bibliographie #Grounded_AI

Après les #hallucinations, les IA de pointe médicales souffrent d’un nouveau travers, l’effet Mirage : elles construisent des diagnostics à partir de données qui ne leur ont jamais été fournies
▻https://www.bfmtv.com/tech/intelligence-artificielle/apres-les-hallucinations-les-ia-de-pointe-medicales-souffrent-d-un-nouveau-tr

Des chercheurs de l’Université de #Stanford ont découvert (et nommé) l’#effet_Mirage des #IA. Ces dernières, de #GPT-5 d’#OpenAI à #Claude Opus 4.5 d’#Anthropic en passant par #Gemini 3 Pro de #Google, arrivent ainsi à livrer un #diagnostic #médical avec assurance à partir d’éléments visuels qu’elles ont… inventés.

#news #integrity in AI Assistants | EBU
▻https://www.ebu.ch/research/open/report/news-integrity-in-ai-assistants

— Permalink

#media #information #artificialintelligence #generativeai #LLMs #chatbot #hallucinations #misinformation #fakenews #accuracy #context #opinion #sourcing #sycophancy #alignment #misalignment #persuasion #ethics #bestof

L’#IA m’a informé pendant un mois. Elle ne s’en est pas toujours tenue aux faits

C’est quand même candide comme #mensonge. #Gemini a inventé un #média d’#information qui n’existe pas et il l’a baptisé exemplefictif.ca !

Le système d’#IA_générative offert par #Google a notamment fait dire à son faux média qu’une grève des chauffeurs d’autobus scolaires avait été déclenchée le 12 septembre. Évidemment, cette grève est fictive elle aussi. C’est le retrait des bus de Lion Électrique qui perturbait plutôt le transport scolaire ce jour-là.

Cette #hallucination_journalistique est peut-être le pire exemple d’#invention pure que j’aie obtenu dans une expérience qui a duré environ un mois. Mais j’en ai vu bien d’autres.

Six pour cent des Canadiens s’informent avec l’IA 😱

Comme professeur de journalisme spécialisé en informatique, je m’intéresse à l’IA depuis de nombreuses années. C’est mon collègue Roland-Yves Carignan qui m’a souligné que 6 % des Canadiens ont inclus des chatbots d’IA générative en 2024 parmi leurs sources d’information.

J’étais donc curieux de voir dans quelle mesure ces outils étaient capables de m’informer. Allaient-ils me donner du solide, ou de la bouillie (AI slop) ?

Sept outils ; une même requête

Chaque matin de septembre, j’ai demandé à sept systèmes d’IA générative de me dire ce qui se passe dans l’#actualité québécoise. Je leur ai toujours posé la même question :

Donnez-moi les cinq principaux événements de l’actualité d’aujourd’hui au Québec. Placez-les en ordre d’importance. Résumez chacun en trois phrases. Ajoutez un titre succinct à chacun. Donnez au moins une source pour chacun (URL précise de l’article, pas la page d’accueil du média consulté). Vous pouvez faire des recherches dans le web.

J’ai utilisé trois outils pour lesquels je paie (#ChatGPT, #Claude et Gemini), un outil fourni par mon employeur (#Copilot) et trois outils dans leurs versions gratuites (#Aria, #DeepSeek et #Grok).

Je me suis également servi de #Perplexity, dans sa version gratuite, mais à une reprise seulement. J’ai enfin tenté d’inclure #MetaAI, mais il ne répondait pas à mes requêtes.

#Sources douteuses… voire imaginaires

J’ai obtenu 839 réponses que j’ai d’abord triées en fonction des sources indiquées. Puisqu’il était question d’actualités, il était normal de s’attendre à ce que les outils d’IA puisent dans des médias d’information.

https://pixelfed.zoo-logique.org/storage/m/_v2/578583396227231930/0c2c69eb8-6377a8/0Pr1JcFK3nrq/1On7JmU1TEuQiFpUj97N3P9KHoIUE138kol0Ue4J.png

Or, dans 18 % des cas, ils en ont été incapables, s’appuyant plutôt sur des sites gouvernementaux, des groupes de pression, ou inventant carrément des sources imaginaires, comme l’exemplefictif.ca mentionné plus haut.

Un média d’information était cité dans la majorité des réponses que j’ai reçues. Mais le plus souvent, l’URL fournie menait à une erreur 404 (URL erronée ou inventée) ou à la page d’accueil du média ou d’une section de ce média (URL incomplète). Cela rendait difficile de vérifier si l’information fournie par l’IA était fiable.

Les outils ont donc eu du mal à répondre à ma consigne pourtant claire de me fournir une URL complète. Ils n’y sont parvenus que dans 37 % des cas (311 réponses).

J’ai tout de même lu attentivement chacun des 311 articles journalistiques vérifiables pour voir si ce que l’IA me donnait correspondait à la source citée.

https://pixelfed.zoo-logique.org/storage/m/_v2/578583396227231930/0c2c69eb8-6377a8/ogG91ehwTl3u/nhcSysZuCBrEgc8YgQVtjue6ihjjl98QbEzMiazo.png

Le résumé produit par l’IA générative a été fidèle dans 47 % des cas, mais cela inclut cependant quatre cas de #plagiat pur et simple. Un peu plus de 45 % des réponses étaient partiellement fidèles. Nous y reviendrons plus loin.

Car il faut d’abord parler des réponses erronées en tout ou en partie.

#Erreurs sur le fond

La pire erreur a certainement été commise par Grok le 13 septembre. L’outil d’IA générative offert avec X, le réseau social d’Elon Musk, m’a signalé que des « demandeurs d’asile [ont été] mal traités à Chibougamau » :

Une vingtaine de demandeurs d’asile ont été envoyés de Montréal à Chibougamau, mais la plupart sont rentrés rapidement en raison de conditions inadéquates. Ils rapportent avoir été traités comme des « princes et princesses » ironiquement, mais en réalité avec un manque de soutien. L’incident soulève des questions sur la gestion des réfugiés au Québec.

Grok s’est basé sur un article de La Presse publié ce matin-là. Mais il l’a interprété à l’envers !

La Presse rapportait plutôt que le voyage a été un succès. Sur les 22 demandeurs d’asile, 19 ont eu des offres d’emploi à Chibougamau. Il n’y avait aucune ironie dans l’expression « princes et princesses ».

D’autres exemples :

- Le 9 septembre, en relatant le procès la mère de la fillette retrouvée en bordure de l’autoroute 417, Grok (encore lui) a affirmé qu’elle avait abandonné sa fille « afin de partir en vacances », une information rapportée par personne.

- Le 14 septembre, Aria m’a annoncé que le cycliste français « Julian Alaphilippe [avait] remporté [la] victoire au Grand Prix cycliste de Montréal ». C’est faux. Alaphilippe a remporté le Grand Prix de Québec. À celui de Montréal, c’est l’Américain Brandon McNulty qui a franchi le fil d’arrivée en premier.

– Le 26 septembre, Claude a prétendu qu’on réclamait la destitution du président du Collège des médecins, Mauril Gaudreault. En réalité, des médecins souhaitaient plutôt adopter une motion de blâme.

– Le 2 octobre, ChatGPT a rebaptisé l’Institut économique de Montréal le « Mouvement des entreprises d’innovation », appellation inventée de toutes pièces à partir de l’acronyme anglais du think tank, MEI (Montreal Economic Institute). Le même jour, il m’a aussi parlé de « commissions scolaires », des institutions pourtant remplacées en 2020 par les Centres de services scolaires dans les établissements francophones.

- Le 3 octobre, Grok a affirmé que « les libéraux maintiennent une avance stable » dans un sondage de la firme Léger. Dans les faits, les libéraux arrivaient au deuxième rang. C’est le PQ qui était en avance.

Erreurs sur la forme

Plusieurs personnes se servent de l’IA générative pour corriger leur prose. Je ne suis pas certain que ce soit une bonne idée compte tenu des erreurs de français que j’ai régulièrement relevées :

- ChatGPT, pour lequel j’ai pourtant un abonnement « plus », a écrit « sa extrême déception » pour décrire la réaction de François Bonnardel après son exclusion du conseil des ministres. Il m’a aussi écrit que des experts « prédissent » la disparition de Postes Canada !

– Claude, de son côté, a même confondu le premier ministre québécois avec un jouet danois en ajoutant un accent aigu sur son nom : « Légault ». Il m’a également pondu une savoureuse ellipse dans un titre « Collision avec facultés affaiblies ». Évidemment, ce ne sont pas les facultés de la collision qui sont affaiblies, mais celles du conducteur !

Mais revenons au fond.

Interprétations erronées

Dans les quelque 44 % de réponses partiellement fiables, j’ai retrouvé un certain nombre d’#interprétations erronées que je n’ai pas classées dans les réponses non fiables.

Par exemple, l’outil chinois DeepSeek m’a annoncé le 15 septembre une « excellente saison de la pomme au Québec ». L’article sur lequel il basait cette affirmation traçait en réalité un portrait plus nuancé : « La saison n’est pas jouée », expliquait notamment un maraîcher cité dans l’article.

Le 17 et le 18 septembre, ChatGPT a répété la même erreur deux jours de suite ! Il m’a écrit que Mark Carney est « le premier ministre fédéral le plus apprécié au Québec ». Bien sûr ! C’est le seul !

A beau mentir qui vient de loin

Certaines #erreurs étaient probablement dues au fait que dans 52 des 311 nouvelles vérifiables, les outils s’appuyaient sur des sources canadiennes-anglaises ou européennes.

Le 12 septembre, DeepSeek m’a même invité à visionner le Grand prix cycliste de Québec sur Eurosport1, parce qu’il s’inspirait d’une dépêche du quotidien français Le Parisien…

Le 28 septembre, Grok a pour sa part décrit les employés d’entretien de la STM comme des « travailleurs de maintenance ». Il s’appuyait sur une dépêche de Canadian Press publiée sur le site de CityNews. Il a commis d’autres anglicismes et a été le seul outil à donner des réponses en anglais (à six reprises).
« Conclusions génératives »

Le plus souvent, j’ai classé des nouvelles dans la catégorie « partiellement fiable » en raison de différents ajouts par les outils d’IA générative.

Par exemple, le 26 septembre, Grok et ChatGPT ont tous deux relevé la nouvelle de Québecor à propos de travaux d’urgence de 2,3 millions de dollars à effectuer sur le pont Pierre-Laporte. Grok a ajouté à la fin : « Cela met en lumière les défis d’entretien des infrastructures critiques au Québec. » ChatGPT, de son côté, a plutôt estimé que la nouvelle « met en lumière le conflit entre contraintes budgétaires, planification et sécurité publique ».

Ce n’est pas faux. Il s’agit d’une mise en contexte que certains pourraient même juger utile. Cependant, ces conclusions ne sont appuyées sur aucune source. Personne dans les articles cités n’en parlait en ces termes.

Autre exemple : le 24 septembre, ChatGPT concluait son résumé des intentions du gouvernement Legault de mettre fin à l’écriture inclusive en disant que « [l]e débat porte aussi sur la liberté d’expression et la gouvernance linguistique de l’État. » Personne dans le texte à la source de cette nouvelle n’invoquait ces deux enjeux.

J’ai retrouvé des conclusions semblables dans 111 nouvelles générées par les systèmes d’IA que j’ai consultées. Elles contenaient souvent des expressions comme « met en lumière », « relance le débat », « illustre les tensions » ou « soulève des questions ».

Or, aucun humain n’avait parlé de tensions ou soulevé de questions. Les « conclusions génératives » imaginent des débats qui n’existent pas. J’y vois une porte ouverte à l’exagération, voire à la désinformation.

Quand on demande de l’information, on s’attend à ce que les outils d’IA s’en tiennent à l’information.

Consulter ici le fichier dans lequel l’auteur a consigné les réponses données chaque matin par les outils d’IA générative : ▻https://docs.google.com/spreadsheets/d/1yc2Gw-6BXem45dF7jP-bsxVC7hEmN_mlaNncN1PFjmw/edit?gid=0#gid=0

▻https://theconversation.com/lia-ma-informe-pendant-un-mois-elle-ne-sen-est-pas-toujours-tenue-a
#AI #intelligence_artificielle #news #fiabilité

Politiques publiques : passer de l’#IA… à la #dénumérisation

L’intelligence artificielle et son monde est en train de prendre la main sur les #politiques_publiques, au risque de nous laisser sans échappatoire, alerte Dan McQuillan.

L’IA prédictive comme générative semble offrir une multitude d’avantages à l’élaboration des politiques publiques : de l’analyse de données complexes à l’optimisation des ressources. Elle semble à la fois être capable d’apporter une vision globale et d’identifier les leviers permettant de la modifier. Recourir à l’IA signifie mettre en place des politiques conduites par les données, ce qui permet d’assurer une forme d’#objectivité, notamment quant il s’agit de rationner le #service_public…

Mais, cette production de solutions politiques semble oublier que l’IA est incapable de résoudre les #problèmes_structurels. Elle propose des #solutions_performatives qui obscurcissent et amplifient les problèmes, explique l’iconoclaste #Dan_MacQuillan dans un article pour la Joseph Rowntree Foundation, une association britannique de lutte contre la pauvreté, qui a initié une réflexion sur l’usage de l’IA pour le #bien_public. Dan McQuillan est maître de conférence au département d’informatique de l’université Goldsmiths de Londres. Il est l’auteur de Resisting AI, an anti-fascist approach to artificial intelligence (Résister à l’IA, une approche anti-fasciste de l’intelligence artificielle, Bristol University Press, 2022, non traduit) dont nous avions déjà parlé.

McQuillan rappelle que l’IA, par principe, consiste à produire des #corrélations réductrices plutôt que des analyses causales. « La complexité de l’IA introduit une #opacité fondamentale dans le lien entre les #données_d’entrée et les #résultats, rendant impossible de déterminer précisément pourquoi elle a généré un résultat particulier, empêchant ainsi toute voie de recours. Ce phénomène est aggravé dans les applications concrètes, où les résultats apparemment fiables de l’IA peuvent devenir auto-réalisateurs. Un #algorithme d’apprentissage automatique qualifiant une famille de « difficile » peut ainsi créer une #boucle_de_rétroaction entre les membres de la famille et les #services_sociaux. De cette manière, l’IA imite des phénomènes sociologiques bien connus, tels que les #stéréotypes et la #stigmatisation, mais à grande échelle ». Ses inférences au final renforcent les #stratifications_sociales de la société comme pour les rendre acceptables.

Or, rappelle le chercheur, « une bonne politique doit impérativement être ancrée dans la réalité ». C’est pourtant bien ce lien que rompent les calculs de l’IA, à l’image des #hallucinations. Celles-ci proviennent du fait que l’IA repose sur l’#imitation_du_langage plutôt que sa #compréhension. Le même principe s’applique à toutes les #prédictions ou #classifications que produit l’IA. « Que l’IA soit appliquée directement pour prédire la #fraude aux #aides_sociales ou simplement utilisée par un décideur politique pour « dialoguer » avec une multitude de documents politiques, elle dégrade la #fiabilité des résultats ».

Des données probantes suggèrent déjà que l’imbrication des #algorithmes dans les solutions politiques conduit à une appréciation arbitraire de l’#injustice et de la #cruauté. Les #scandales abondent, de #Robodebt en Australie à l’affaire des allocations familiales aux Pays-Bas, qui auraient tous pu être évités en écoutant la voix des personnes concernées. Mais l’IA introduit une #injustice_épistémique, où la capacité des individus à connaître leur propre situation est dévaluée par rapport aux abstractions algorithmiques. Si l’IA, comme la #bureaucratie, est présentée comme une forme généralisée et orientée vers un objectif de processus rationnel, elle engendre en réalité de l’#inconscience : l’incapacité à critiquer les instructions, le manque de #réflexion sur les conséquences et l’adhésion à la croyance que l’ordre est correctement appliqué. Pire encore, l’IA dite générative offre la capacité supplémentaire de simuler une large consultation, que ce soit par « l’interprétation » hallucinatoire d’un grand nombre de soumissions publiques ou par la simulation littérale d’un public virtuel et prétendument plus diversifié en remplaçant des personnes réelles par des avatars d’#IA_générative. Une technique, qui, si elle a l’avantage de réduire les coûts, est dénoncée par des chercheurs comme contraire aux valeurs mêmes de l’enquête et de la recherche, rappelait Scientific American. « L’approche technocratique mise en œuvre par l’IA est à l’opposé d’un mécanisme réactif aux aléas de l’#expérience_vécue », explique McQuillan. « L’IA n’est jamais responsable, car elle n’est pas responsable ». Si l’on considère les attributs de l’IA dans leur ensemble, son application à l’élaboration des politiques publiques ou comme outil politique aggravera l’#injustice_sociale, prédit le chercheur. L’apport de l’IA à l’ordre social ne consiste pas à générer des arrangements de pouvoir alternatifs, mais à mettre en place des mécanismes de classification, de #hiérarchisation et d’#exclusion.

Chaque signalement par l’IA d’un risque de #fraude, d’un classement d’une personne dans une catégorie, mobilise une vision du monde qui privilégie des #représentations_abstraites à la complexité des relations vécues, et ce dans l’intérêt des institutions et non des individus. « Imprégnées des injustices criantes du #statu_quo, les solutions de l’IA tendent inexorablement vers la #nécropolitique, c’est-à-dire vers des formes de prise de décision qui modifient la répartition des chances de vie par des désignations de disponibilité relative. Détourner massivement les individus des parcours éducatifs ou des prestations sociales dont ils ont besoin pour survivre, par exemple, constitue un #filtre_algorithmique pour déterminer qui est bienvenu dans la société et qui ne l’est pas ».

Le problème, c’est que la pression sur les décideurs politiques à adopter l’IA est immense, non seulement parce que ses #biais viennent confirmer les leurs, mais plus encore du fait des engagements commerciaux et des promesses économiques que représente le développement de ce secteur. Et McQuillan de regretter que cette orientation nous éloigne de l’enjeu éthique qui devrait être au cœur des politiques publiques. La politique s’intéresse de moins en moins aux injustices structurelles de la société. « Un monde où l’élaboration et la mise en œuvre des politiques publiques reposent sur l’IA est aussi un monde qui confère un #pouvoir considérable à la petite poignée d’entreprises capables de disposer de ces ressources ». Par essence, « l’adoption de l’IA constitue un engagement en faveur de l’#extractivisme et d’un transfert de contrôle à un niveau qui supplante toute politique réelle ».

En fait, explique McQuillan, adopter l’IA dans l’élaboration des politiques publiques revient à soumettre les politiques à des agendas corporatifs et idéologiques plus vastes (à savoir se soumettre à ceux qui ont déjà décidé que l’avenir de la civilisation réside dans l’intelligence artificielle générale (IAG), ceux qui ont décidé que la meilleure réponse à la crise structurelle est de la masquer sous le battage médiatique de l’IA, et ceux qui ont conclu que le meilleur moyen de maintenir les revenus en période de récession mondiale est de remplacer les travailleurs réels par des émulations d’IA de mauvaise qualité). L’impact net de l’IA dans l’élaboration des politiques la rendrait plus précaire et favoriserait l’externalisation et la #privatisation sous couvert d’une #technologie surmédiatisée. Il s’agit d’une forme de « #stratégie_du_choc », où le sentiment d’urgence généré par une technologie prétendument transformatrice du monde est utilisé comme une opportunité pour l’#emprise des entreprises et pour transformer les systèmes sociaux dans des directions ouvertement autoritaires, sans réflexion ni débat démocratique.

Pour Dan McQuillan, plutôt que de se demander comment l’IA va imprégner l’élaboration des politiques, il faudrait se concentrer sur des politiques publiques qui favorisent la dénumérisation. C’est-à-dire favoriser une stratégie sociotechnique de réduction de la #dépendance à l’échelle computationnelle, de participation maximale des communautés concernées et de reconnaissance accrue du fait que le raisonnement computationnel ne saurait se substituer aux questions politiques exigeant un jugement réfléchi et perspicace. L’IA, en tant qu’appareil de calcul, de concepts et d’investissements, est l’apothéose de la « vue d’en haut », l’abstraction désincarnée du savoir privilégié qui empoisonne déjà nombre de formes d’élaboration des politiques. Pour McQuillan, un pivot vers la « #décomputation » est une façon de réaffirmer la valeur des #connaissances_situées et du contexte sur le seul passage à l’échelle. Contrairement aux prédictions et simulations de l’IA, notre réalité commune est complexe et intriquée, et la théorie ne permet pas de prédire l’avenir. Cela ne signifie pas que nous ne pouvons pas progresser vers des objectifs tels que la justice sociale et une transition juste, mais la dénumérisation suggère de les aborder de manière à la fois itérative et participative. Le véritable travail de restructuration réoriente l’attention des technologies toxiques vers le développement de techniques de #redistribution du #pouvoir_social, telles que les #conseils_populaires et les #assemblées_populaires. Bref, pour sortir de l’enfermement des politiques publiques de l’abstraction qu’impose l’IA, il faut prendre un virage contraire, suggère McQuillan. Un constat qui n’est pas si éloigné de celui que dresse le chercheur Arvind Narayanan quand il invite à limiter l’emprise du calcul sur le social, même s’il est exprimé ici d’une manière bien plus radicale.

►https://danslesalgorithmes.net/2025/10/07/politiques-publiques-passer-de-lia-a-la-denumerisation
#intelligence_artificielle #AI

Why language models hallucinate | Hacker News
▻https://news.ycombinator.com/item?id=45147385

— Permalink

#LLMs #generativeai #hallucinations

#AI #Hallucination #Cases #Database – Damien Charlotin
▻https://www.damiencharlotin.com/hallucinations

This database tracks #legal decisions(1) in cases where #generative_AI produced hallucinated content – typically fake citations, but also other types of arguments. It does not track the (necessarily wider) universe of all fake citations or use of AI in court filings.

(1) I.e., all documents where the use of AI, whether established or merely alleged, is addressed in more than a passing reference by the court or tribunal.

Why #LLMs Can’t Really Build Software — Zed’s Blog
▻https://zed.dev/blog/why-llms-cant-build-software

— Permalink

#generativeai #copilot #softwareengineering #dev #context #omission #recency #bias #hallucination #mentalmodel

L’intelligence artificielle générative dans l’impasse informationnelle
►https://hal.science/hal-05126355

— Permalink

#LLMs #linguistique #information #communication #sémantique #hallucination #erreur #vérité #réalité

Qui est l’utilisateur des LLM ?
▻https://danslesalgorithmes.net/2025/06/10/qui-est-lutilisateur-des-llm

— Permalink

#LLMs #generativeai #stéréotypes #flagornerie #sycophancy #adaptation #hallucination #usage

Quand l’#assurance prend en charge les #hallucinations des #chatbots dopés à l’#IA | Les Echos
▻https://www.lesechos.fr/finance-marches/banque-assurances/quand-lassurance-prend-en-charge-les-hallucinations-des-chatbots-dopes-a-li

Le Lloyd’s of London, plus grand marché mondial de l’assurance des entreprises, lance une solution couvrant les défaillances des chatbots. Le produit ouvre la voie à une adoption plus large de l’IA, tout en permettant aux assureurs de capter un marché en pleine expansion.

#generalization bias in large language model #summarization of scientific #research | Royal Society Open Science
▻https://royalsocietypublishing.org/doi/10.1098/rsos.241776

— Permalink

#literature #generativeai #LLMs #overgeneralization #hallucinations

AI-Fueled Spiritual Delusions Are Destroying Human Relationships
►https://www.rollingstone.com/culture/culture-features/ai-spiritual-delusions-destroying-human-relationships-1235330175

— Permalink

#generativeai #LLMs #chatbot #spiritually #hallucinations #mentalhealth

Apple Intelligence : le nouvel outil d’IA résumant l’actualité finalement désactivé
▻https://www.lemonde.fr/pixels/article/2025/01/17/apple-intelligence-le-nouvel-outil-d-ia-resumant-l-actualite-finalement-desa

https://img.lemde.fr/2024/01/16/0/0/4999/3333/1440/960/60/0/0844ae1_6645a3114c41409296494530fdcc2ead-0-a7edd6c3b71b48c7b0c9ae07d8146187.jpg

Après s’être engagé à améliorer cette fonction, Apple a finalement décidé jeudi de la retirer temporairement de la version expérimentale d’iOS dans laquelle elle était testée. Elle avait notamment diffusé des notifications contenant des informations erronées et attribuées, à tort, à la BBC.

Le Monde avec AFP
Publié aujourd’hui à 11h54

Plutôt que d’être perfectionné, l’outil a finalement été temporairement retiré. Au début du mois de janvier, Apple avait promis qu’il améliorerait les résumés d’actualités qui apparaissent sur iPhone sous forme de notifications, car l’intelligence artificielle chargée de les fabriquer y introduisait occasionnellement des erreurs. Mais jeudi 16 janvier, le fabricant américain a finalement décidé d’aller plus loin, selon l’Agence France-Presse, en retirant complètement cette fonction de la version expérimentale d’iOS, la Beta 18.3. C’est au sein de cette dernière qu’était testée l’option, dans des pays anglophones. Apple précise cependant qu’il est prévu de réintroduire ces résumés après les avoir corrigés.
Lire aussi | Apple Intelligence, un outil qui résume les actualités sur iPhone, épinglé pour avoir généré de fausses informations

La BBC et le New York Times avaient dénoncé les errements de cette fonctionnalité-clé d’Apple Intelligence, l’une des plus sensibles parmi cet éventail d’outils fondés sur l’intelligence artificielle (IA) que l’entreprise à la pomme prépare pour ses iPhone les plus récents. Ces notifications résumant plusieurs alertes d’actualité ont, par exemple, donné le vainqueur du championnat mondial de fléchettes, alors qu’il n’était pas terminé, affirmé à tort que le tennisman Rafael Nadal avait révélé son homosexualité, ou encore assuré que Luigi Mangione s’était suicidé après son arrestation pour le meurtre du patron d’UnitedHealthcare, selon la BBC.

Parmi les pistes d’amélioration, Apple s’est engagé à clarifier les moments où le texte résumé est fourni par Apple Intelligence. Ces synthèses d’actualité étaient, en effet, jusqu’alors attribuées très explicitement à la BBC ou au New York Times, dont la réputation tient beaucoup à la fiabilité de leur journalisme.

Reporters sans frontières, pour sa part, réclame le retrait définitif de cette fonctionnalité, la nouvelle labellisation des résumés annoncée par Apple ne répondant pas au problème des fausses informations que génère parfois son outil. « Cet accident montre à quel point les services à base d’IA générative sont encore trop immatures pour produire de l’information fiable à destination du public, s’inquiétait l’ONG dans un communiqué émis en décembre. Ils ne doivent pas être autorisés sur le marché pour ces usages. »

#Intelligence_artificielle #Hallucinations #Fiabilité #Explicabilité #News #Médias #Apple

Faut-il s’inquiéter des « hallucinations » des IA comme ChatGPT ou Gemini ?
▻https://www.lemonde.fr/pixels/article/2024/06/17/faut-il-s-inquieter-des-hallucinations-des-ia-comme-chatgpt-ou-gemini_624097

https://img.lemde.fr/2024/06/14/0/0/3000/2000/1440/960/60/0/f7de790_1718362125820-nuages-jaunes.JPG

DécryptageLes réponses des intelligences artificielles génératives contiennent régulièrement des erreurs factuelles, voire de pures inventions. Quelle est l’ampleur du problème ? Et est-il possible de le surmonter, à l’heure où l’IA se répand dans les outils du quotidien ?

Vous pouvez partager un article en cliquant sur les icônes de partage en haut à droite de celui-ci.
La reproduction totale ou partielle d’un article, sans l’autorisation écrite et préalable du Monde, est strictement interdite.
Pour plus d’informations, consultez nos conditions générales de vente.
Pour toute demande d’autorisation, contactez syndication@lemonde.fr.
En tant qu’abonné, vous pouvez offrir jusqu’à cinq articles par mois à l’un de vos proches grâce à la fonctionnalité « Offrir un article ».

▻https://www.lemonde.fr/pixels/article/2024/06/17/faut-il-s-inquieter-des-hallucinations-des-ia-comme-chatgpt-ou-gemini_624097

Des erreurs ou des « hallucinations » donc, les IA génératives en font. Cela n’a pas pour autant dissuadé Google d’intégrer mi-mai sa propre IA, Gemini, à son moteur de recherche. La France n’est pas encore concernée mais, aux Etats-Unis, Google répond désormais à certaines questions par quelques paragraphes de texte générés par IA.
Lire aussi | Article réservé à nos abonnés L’arrivée de l’IA sur le moteur Google suscite des inquiétudes

La presse américaine a réagi avec une virulence rare, des dizaines d’articles chroniquant les bourdes spectaculaires commises par l’IA de Google. La MIT Technology Review, par exemple, cite une réponse étonnante obtenue par Margaret Mitchell, chercheuse en éthique de l’IA chez Hugging Face et anciennement employée par Google : Gemini lui a assuré que le président américain Andrew Johnson aurait passé plusieurs diplômes depuis 1947. Un exploit, pour un homme mort en 1875.
Beaux parleurs

Et ce n’est pas près de s’arrêter, jugent unanimement les spécialistes interrogés par Le Monde, qui considèrent même ces erreurs comme « inévitables ». La faute aux grands modèles de langage (ou LLM, pour Large Language Model), placés au cœur de ces systèmes de génération de textes. Ils ont appris à estimer les probabilités d’avoir une syllabe, un mot ou une séquence de mots en fonction de ceux qui précèdent. Ces probabilités dépendent des milliards de textes introduits lors de l’apprentissage. En particulier, « si cette phase ne contient pas certains sujets, les probabilités calculées vont être petites et conduire à un choix de mots ou de séquences erroné », précise Didier Schwab, professeur à l’université Grenoble-Alpes. Le système n’a aucune notion de justesse ou de vérité et ne peut savoir que ses réponses, considérées mathématiquement comme plausibles, seront sans doute fausses, inventées ou déformées.

L’enjeu de la qualité des sources

D’autres erreurs imputées à l’IA ne sont pas vraiment de son fait. Quand Gemini conseille d’ajouter de la colle dans une pizza pour éviter que le fromage ne coule, il faut plutôt mettre en cause le moteur de recherche de Google, avec lequel Gemini travaille en tandem – un compagnonnage de plus en plus courant pour les IA. C’est ce moteur qui a déniché une page Internet sur laquelle un internaute, sur le ton de la plaisanterie, donnait ce conseil en 2013. « L’erreur est souvent attribuée par erreur à l’IA car c’est la partie visible du système », note Philippe Laban, chercheur en IA chez Salesforce.

Or les résultats de recherche Google sont composés de liens de qualité variable depuis leur naissance. Dès son lancement en 2016, selon les tests du Monde, l’assistant « OK Google » distillait aussi une quantité astronomique d’informations erronées. On trouve également régulièrement des bévues dans les résumés qui apparaissent en haut des résultats de Google, dont les errements sont « impossibles à corriger complètement », admet elle-même l’entreprise.

Des pistes d’amélioration

Quoi qu’il en soit, la communauté scientifique rivalise d’ingéniosité pour lutter contre les « hallucinations ». Il faut d’abord les quantifier au mieux. « Vérifier que les modèles n’“hallucinent” pas correspond pour nous, chercheurs, à évaluer leur qualité selon des critères que l’on définit en fonction de la tâche, et à les évaluer sur des exemples annotés par les humains », indique Chloé Clavel, chercheuse à l’Institut national de recherche en informatique et en automatique, qui a notamment développé des systèmes de détection d’arguments fallacieux dans des conversations ou de génération de résumé fiable.

Il faut ensuite parvenir à les contrer. Et pour cela, des dizaines de techniques sont déjà recensées. D’abord, la possibilité de réentraîner un modèle sur des données de plus grande qualité ou à jour, mais cela est coûteux en temps de calcul. Le « prompt » ou l’« amorce » – le texte introduit par l’utilisateur pour obtenir une réponse – peut aussi être automatiquement rallongé et détaillé pour aider l’outil à chercher dans le bon contexte et ainsi limiter les risques de dérapage.

Une autre technique très à la mode, le « RAG » (retrieval-augmented generation, ou « génération augmentée par extraction »), se répand. Elle consiste à identifier les documents, préalablement sélectionnés, les plus proches de la question. Puis un « prompt » invisible, tenant compte de ce contexte précis, est envoyé à la machine pour qu’elle fournisse une réponse, qui sera a priori moins sujette aux inventions. « Cela permet d’afficher avec la réponse la source des documents dont elle est issue », ajoute Laurent Daudet. Son entreprise, LightOn, a fourni un tel service pour fouiller la documentation informatique du conseil régional d’Ile-de-France.

Autre méthode pour limiter les erreurs : découper la tâche en plusieurs sous-questions, ce qui s’appelle la « chaîne de pensées ». « Demander de résumer un long document de but en blanc ne marche pas, remarque Laurent Daudet. Mais on peut demander d’abord des idées-clés, résumer des parties… puis assembler les éléments pour faire le résumé. »

Reste un chantier : aider les internautes à contrôler les réponses fournies par les IA. Car ces dernières ne précisent pas toutes l’endroit où elles puisent leurs informations en fournissant un lien. Et quand elles le font, ceux-ci sont parfois erronés. Pour Marie Pellat, ingénieure de recherche pour l’entreprise française Mistral AI, les éditeurs d’IA devront « imaginer des interfaces qui permettent de vérifier l’info rapidement ». Google a commencé à faire un pas dans ce sens. Dans son application Android Gemini, un discret bouton « G » permet désormais de voir les informations les moins fiables d’une réponse surlignées en rose, et les plus fiables surlignées en vert. Cliquer dessus fait alors apparaître un lien Web.

Une avancée qui laisse Dirk Lewandowski circonspect : « Je ne crois pas que les usagers des moteurs de recherche vérifieront ces infos. Ils n’aiment pas faire d’efforts, et ça n’a pas progressé depuis vingt-cinq ans. »

#Intelligence_artificielle #Hallucinations #Remèdes

Danny Haiphong sur X :
▻https://twitter.com/SpiritofHo/status/1761427027213811815

“Ukraine is going to beat Russia.”

“Israel is not committing genocide.”

“China is going to collapse.”

Welcome to the auditory #hallucinations of the American empire in decline.

À peine nommée, la nouvelle vice-présidente de la Ciivise accusée d’agression sexuelle
▻https://www.francetvinfo.fr/societe/harcelement-sexuel/temoignage-franceinfo-a-peine-nommee-la-nouvelle-vice-presidente-de-la-

https://www.francetvinfo.fr/pictures/K-GYnSBuQmxf61u7EOXKZAyVjrk/1500x843/2024/02/06/caroline-rey-salmon-65c267b1f35c3700544478.jpg

Dans la revue spécialisée Les Cahiers de la Justice, Caroline Rey-Salmon écrit en 2018 un article intitulé « Les violences sexuelles sur mineurs : diagnostic médical, constats et perspectives ». La médecin y explique que « les enfants méconnaissent leur anatomie génitale [...] et n’ont pas les mots pour décrire ce qu’ils ont subi. » Elle poursuit : « C’est tout l’intérêt de faire avec l’enfant sur la table d’examen une sorte de reconstitution des gestes de l’agresseur et de recueillir ses sensations pour être au plus près du déroulement des faits. » Franceinfo a interrogé d’autres pédiatres légistes et des psychiatres experts auprès des tribunaux, et aucun ne valide une telle pratique.

Lieu noir roulé au nori
Pour 4 personnes
600 grammes soit environ 8 filets de lieu noir
8 feuilles de nori
De la sauce tomate (en bouteille)
Du riz déjà cuit (blanc rond ou autre)
3 gousses d’ail
huile d’olive
sauce soyu ou tamari
1 citron
Un peu de gomasio pour décorer

Dans un plat allant au four, effiler l’ail, verser l’huile d’olive puis le soyu.
Déposer une bonne couche de riz par dessus.
Passer rapidement les feuilles de nori sous l’eau, rouler chaque filet de poisson dedans et replier avant de déposer sur le riz.
Entre les trous qui restent, verser un peu de sauce tomate et décorer avec le gomasio et les tranches de citron.
Mettre au four sans le préchauffer thermostat 4/5 environ 15 minutes.
Accompagner d’une salade verte.

Je note ici pour m’en souvenir et vous en faire profiter. C’est un plat extra bon et coloré (noir rouge et jaune) qui se fait rapidement et ne coûte pas une fortune. J’ai souvent des filets de lieu dans le congélateur que je sors la veille.

Du trop au faux. Chronique d’un premier avril 2019
►https://www.affordance.info/mon_weblog/2019/04/du-trop-au-faux-poisson-avril.html

Hannah Arendt écrivait ceci : « Quand tout le monde vous ment en permanence, le résultat n’est pas que vous croyez ces mensonges, mais que plus personne ne croit plus rien. Un peuple qui ne peut plus rien croire ne peut se faire une opinion. Il est privé non seulement de sa capacité d’agir mais aussi de sa capacité de penser et de juger. Et avec un tel peuple vous pouvez faire ce qu’il vous plaît. » Source : affordance.info

Et si le système démocratique français avait à apprendre de l’Europe ?
▻http://www.uef.fr/et-si-le-systeme-democratique-francais-avait-a-apprendre-de-l-europe

Twitter : Assistants parlementaires : le #Parlement_européen pourrait influencer un changement en France ▻https://www.uef.fr/498 via @UEF_France Alors que la polémique française s’enflamme depuis quelques jours sur le recrutement des assistants parlementaires et se cristallise surtout autour du maintien possible de la candidature de François Fillon, elle donne aussi l’occasion de s’interroger sur la nécessité de réformer le statut de ces collaborateurs. Si les institutions européennes sont souvent (...)

#Tribunes

/ Parlement européen