#résumés

L’intelligence artificielle va‑t‑elle mettre fin à la recherche en sciences sociales ?

L’impact de l’intelligence artificielle générative sur les sciences sociales peut être compris à travers la métaphore du roman Things Fall Apart de Chinua Achebe. Ce livre retrace les bouleversements de la société nigériane face à l’intrusion coloniale. Il offre une approche pertinente pour comprendre les tensions actuelles du monde académique.

Il y a quelques mois maintenant, un collègue m’a envoyé son article pour avoir une seconde lecture. Tout y était : problématique ciselée, revue de littérature exhaustive, méthodologie rigoureuse. Trop, justement. En y regardant de plus près, certaines formulations m’ont alerté : « crucial », « dans le monde dynamique de », « il est impératif de noter que ». Le #vocabulaire typique de #ChatGPT. J’ai demandé des explications. Réponse gênée : « Oui, j’ai utilisé l’IA pour rédiger certaines parties, mais j’ai relu, évidemment. »

Ce malaise révèle une vérité qui dérange : nous, chercheurs en sciences sociales, sommes en train de perdre le contrôle de notre métier. Et nous faisons semblant de ne pas le voir. Cette réflexion m’a amené à proposer un article à la Revue française de gestion à l’occasion du numéro de son 50ᵉ anniversaire.

Quelques chiffres illustratifs du changement de paradigme

Environ 13,5 % des #résumés d’articles biomédicaux publiés en 2024 contiennent des traces d’utilisation d’intelligence artificielle (IA) générative selon une étude parue dans Science Advances (►https://www.science.org/doi/10.1126/sciadv.adt3813). Plus inquiétant encore : une étude de chercheurs de Stanford révèle que jusqu’à 17 % du texte des évaluations d’articles dans les grandes conférences sur l’IA pourrait avoir été substantiellement modifié par l’IA elle-même (▻https://arxiv.org/abs/2403.07183). Nous sommes entrés dans une boucle où l’IA évalue l’IA.

Par ailleurs, des équipes de recherche analysent en quelques semaines des corpus qui auraient nécessité des années de travail. En sociologie numérique, par exemple, une étude publiée dans Science a examiné la diffusion de près de 126 000 informations vraies et fausses partagées par environ trois millions d’utilisateurs sur Twitter (▻https://www.science.org/doi/10.1126/science.aap9559), soit plus de 4,5 millions de partages, un volume inimaginable sans outils d’analyse automatisés.

Ruptures dans les sciences sociales

Mais au-delà de ces gains de #productivité, quelque chose se fissure. L’IA ne bouleverse pas seulement nos méthodes de travail. Elle remet en question ce que signifie « #faire_de_la_recherche ».

Comment valider des résultats produits par un #algorithme dont les rouages internes restent opaques ? Comment garantir la #rigueur_scientifique quand l’IA peut « #halluciner » et inventer des #références_bibliographiques qui n’existent pas ? Comment protéger notre #pensée_critique dans ce contexte ?

Nous sommes actuellement confrontés au même #dilemme que les personnages du roman de l’écrivain nigérian Chinua Achebe, intitulé Tout s’effondre (Things Fall Apart, en anglais). Dans ce récit, une société africaine traditionnelle se retrouve confrontée aux missionnaires européens qui viennent imposer de nouvelles croyances. Certains membres de cette société traditionnelle s’adaptent à cette arrivée, d’autres résistent. Tous comprennent que rien ne sera plus comme avant.

Technophiles contre traditionalistes

La communauté scientifique connaît aujourd’hui des divisions. Certains, les « technophiles », accueillent l’IA avec enthousiasme, convaincus qu’elle va accélérer les découvertes et ouvrir la recherche au monde en développement. D’autres, les « traditionalistes », dénoncent une course à la productivité aux dépens de la profondeur de pensée.

Cette #fracture ne se limite pas aux questions techniques et technologiques, elle touche aussi à notre #identité, collective et individuelle, de chercheurs. Sommes-nous en train de devenir de simples opérateurs validant des productions issues d’algorithmes ? Notre expertise se réduit-elle à savoir poser les bonnes questions à un modèle d’IA ?

Les jeunes chercheurs sont les premiers exposés. Ils jonglent entre la pression de publier rapidement et l’injonction implicite à ne pas trop utiliser l’IA. Résultat : beaucoup l’utilisent en cachette, créant une #culture_du_secret qui a des conséquences pour la #transparence_scientifique.

Quelles solutions ?

Nous avons trop longtemps préféré détourner le regard. L’intelligence artificielle est là, et ignorer sa présence n’est plus tenable. Il nous faut repenser notre manière de faire de la science. Imaginer un nouveau cadre.

Trois grands principes pourraient nous servir de boussole.

Le premier, c’est la #transparence. Chaque recours à l’IA devrait être précisé noir sur blanc dans nos publications : quels outils ont été utilisés, pour quels usages, et dans quelles limites. Certaines revues, comme Nature, commencent déjà à l’imposer.

Ensuite, la #responsabilité. L’IA peut analyser des données, suggérer des pistes, rédiger des brouillons. Mais c’est au chercheur qu’il revient d’interpréter et de valider avec un #esprit_critique. Cette ligne rouge ne doit jamais être franchie. Une étude récente le rappelle cruellement : 52 % des réponses générées par l’IA à des questions de programmation contiennent des erreurs, et la supervision humaine échoue à les corriger dans 39 % des cas (▻https://dl.acm.org/doi/10.1145/3613904.3642596).

Enfin, le #pluralisme. Il devient nécessaire d’accepter que certains chercheurs intègrent l’IA dans leur travail tandis que d’autres la refusent. Cette diversité peut devenir une richesse, si les débats ont lieu au grand jour, dans les conférences et les séminaires qui constituent la tradition scientifique.

Un nouveau #paradigme_scientifique

L’intelligence artificielle va continuer de gagner en puissance et en omniprésence.

Nous sommes à l’aube d’un #tournant dans le monde de la recherche où l’intelligence humaine devient une « des » formes d’intelligences. Il semble clair que cette #cohabitation ne portera ses fruits que si elle s’appuie sur des #règles mises en place par les chercheurs eux-mêmes.

Le vrai risque ne provient pas de l’intelligence artificielle, mais de notre #inertie. Notre envie de profiter de ce qu’elle offre sans trop s’interroger. D’accepter, sans résister, une facilité qui pourrait, à terme, nous échapper. Chinua Achebe raconte comment une société s’effondre lorsqu’elle perd le contrôle de son destin. Nous, chercheurs, avons encore le #choix. Nous pouvons décider comment intégrer l’intelligence artificielle, à quelles conditions, mais aussi avec quelles limites.

L’enjeu n’est pas de résister au changement. Il est de le guider vers une science plus rigoureuse, plus transparente, plus consciente d’elle-même. Une science qui utilise l’IA sans s’y soumettre. Une science qui reste, avant tout, une aventure humaine.

▻https://theconversation.com/lintelligence-artificielle-va-t-elle-mettre-fin-a-la-recherche-en-s
#IA #AI #intelligence_artificielle #ESR #recherche #SHS #sciences_sociales #édition_scientifique #publications_scientifiques #évaluation #peer_review #hallucination #à_lire

Science journalists find #ChatGPT is bad at summarizing scientific papers

Summarizing complex scientific findings for a non-expert audience is one of the most important things a science journalist does from day to day. Generating summaries of complex writing has also been frequently mentioned as one of the best use cases for large language models (despite some prominent counterexamples).

With all that in mind, the team at the American Association for the Advancement of Science (AAAS) ran an informal year-long study to determine whether ChatGPT could produce the kind of “news brief” paper summaries that its “SciPak” team routinely writes for the journal Science and services like EurekAlert. These SciPak articles are designed to follow a specific and simplified format that conveys crucial information, such as the study’s premise, methods, and context, to other journalists who might want to write about it.

Now, in a new blog post and white paper discussing their findings, the AAAS journalists have concluded that ChatGPT can “passably emulate the structure of a SciPak-style brief,” but with prose that “tended to sacrifice accuracy for simplicity” and which “required rigorous fact-checking by SciPak writers.”

“These technologies may have potential as helpful tools for science writers, but they are not ready for ’prime time,’ at this point for the SciPak team,” AAAS writer Abigail Eisenstadt said.
Where’s the human touch?

From December 2023 to December 2024, AAAS researchers selected up to two papers per week for ChatGPT to summarize using three different prompts of varying specificity. The team focused on papers with difficult elements like technical jargon, controversial insights, groundbreaking discoveries, human subjects, or non-traditional formats. The tests used the “Plus” version of the latest publicly available GPT models available through the study period, which generally spanned the eras of GPT-4 and GPT-4o.

In total, 64 papers were summarized, and those summaries were evaluated both quantitatively and qualitatively by the same SciPak writers who had briefed those papers for the AAAS. The researchers note that this design “could not account for human biases,” which we’d argue might be significant among journalists evaluating a tool that was threatening to take over one of their core job functions.

https://cdn.arstechnica.net/wp-content/uploads/2025/09/gptscience1.png

Still, the quantitative survey results among those journalists were pretty one-sided. On the question of whether the ChatGPT summaries "could feasibly blend into the rest of your summary lineups, the average summary rated a score of just 2.26 on a scale of 1 ("no, not at all") to 5 ("absolutely"). On the question of whether the summaries were “compelling,” the LLM summaries averaged just 2.14 on the same scale. Across both questions, only a single summary earned a “5” from the human evaluator on either question, compared to 30 ratings of “1.”
Not up to standards

Writers were also asked to write out more qualitative assessments of the individual summaries they evaluated. In these, the writers complained that ChatGPT often conflated correlation and causation, failed to provide context (e.g., that soft actuators tend to be very slow), and tended to overhype results by overusing words like “groundbreaking” and “novel” (though this last behavior went away when the prompts specifically addressed it).

Overall, the researchers found that ChatGPT was usually good at “transcribing” what was written in a scientific paper, especially if that paper didn’t have much nuance to it. But the LLM was weak at “translating” those findings by diving into methodologies, limitations, or big picture implications. Those weaknesses were especially true for papers that offered multiple differing results, or when the LLM was asked to summarize two related papers into one brief.

https://cdn.arstechnica.net/wp-content/uploads/2025/09/gptscience2.png

While the tone and style of ChatGPT summaries were often a good match for human-authored content, “concerns about the factual accuracy in LLM-authored content” were prevalent, the journalists wrote. Even using ChatGPT summaries as a “starting point” for human editing “would require just as much, if not more, effort as drafting summaries themselves from scratch” due to the need for “extensive fact-checking,” they added.

These results might not be too surprising given previous studies that have shown AI search engines citing incorrect news sources a full 60 percent of the time. Still, the specific weaknesses are all the more glaring when discussing scientific papers, where accuracy and clarity of communication are paramount.

In the end, the AAAS journalists concluded that ChatGPT “does not meet the style and standards for briefs in the SciPak press package.” But the white paper did allow that it might be worth running the experiment again if ChatGPT “experiences a major update.” For what it’s worth, GPT-5 was introduced to the public in August.

▻https://arstechnica.com/ai/2025/09/science-journalists-find-chatgpt-is-bad-at-summarizing-scientific-paper
#résumés #AI #IA #intelligence_artificielle #articles_scientifiques #recherche_scientifique #SciPak #journalisme #médias #presse