• L’IA rend l’#édition_scientifique « plus lente, de moins bonne qualité et plus chère »

    Alors que de plus en plus d’#articles_scientifiques sont créés en utilisant l’IA générative, le rédacteur en chef de Science, Holden Thorp, considère qu’elle fait plus de mal que de bien à l’édition scientifique.

    Pour Holden Thorp, le responsable éditorial de toutes les revues de l’éditeur scientifique Science, l’arrivée de l’IA générative pousse l’édition scientifique dans une forme de « #taylorisme ». « Ce défi exige encore plus d’efforts humains, ce qui rend l’ensemble du processus plus lent et plus coûteux », explique-t-il dans un édito de la revue phare (https://www.science.org/doi/10.1126/science.aek5570).

    L’année dernière, des chercheurs prévenaient que l’IA pourrait faire, au final, « plus de mal que de bien » à la recherche sans pour autant nier certaines avancées qu’elle pouvait amener. Fin 2025, submergée par les propositions d’articles générées par IA, la plateforme de prépublications #arXiv décidait de modérer plus strictement. Elle a ensuite mis en place une mesure de suspension d’un an des chercheurs qui soumettent des articles erronés générés par IA.

    #Hallucinations, #cherry_picking et #manipulation_de_données

    Mais les revues et les conférences scientifiques sont aussi touchées par le phénomène. Holden Thorp ne nie pas la capacité des grands modèles de langage (LLM) à permettre des avancées scientifiques comme la prédiction des structures protéiques ou l’accélération de la découverte de nouveaux matériaux.

    Mais il s’appuie sur un article scientifique récent (https://www.science.org/doi/10.1126/science.adz4351) qui explique que les LLM « éprouvent encore des difficultés dans les domaines qui exigent un jugement clinique nuancé, un raisonnement expérimental ou une réflexion et une synthèse approfondies en biologie » et sur l’existence des hallucinations (dont même les chercheurs d’OpenAI avouent avoir du mal à se débarrasser) pour expliquer que leur utilisation dans la rédaction d’articles scientifiques peut être problématique.

    « De plus, certains de ces agents sont plus enclins que les humains à se livrer à ce qui s’apparente à des #fautes_professionnelles en matière de recherche, telles que la #sélection_arbitraire_de_données [cherry picking] et la manipulation des analyses statistiques jusqu’à l’obtention du résultat souhaité », ajoute-t-il, citant un autre article mis en ligne sur arXiv (https://arxiv.org/pdf/2509.08713).

    Et, alors que l’ajout d’erreurs par l’IA générative dans les articles demande une attention accrue, elle accélère aussi le rythme de soumission d’articles aux revues scientifiques et crée des #goulots_d’étranglement. Certains éditeurs, comme Elsevier, laissent facilement passer des #erreurs parfois impardonnables. « La prolifération d’#AI_slop [informations erronées liées à l’IA] dans la littérature scientifique et, plus généralement, sur Internet, nuit à la #crédibilité de la #science », déplore le responsable éditorial de Science.

    Le taylorisme arrive dans l’édition scientifique

    Holden Thorp compare ce moment de l’arrivée de l’IA générative dans l’édition scientifique à l’arrivée du taylorisme dans l’économie américaine. Frederick Winslow Taylor « a encouragé les entreprises à recourir à la surveillance pour pousser les salariés à travailler plus dur et plus longtemps, une approche qui a épuisé et découragé les travailleurs et a conduit au transfert des connaissances et de tout pouvoir décisionnel des travailleurs vers la direction », explique-t-il.

    Remarquons quand même que, si Holden Thorp déplore l’utilisation massive de l’IA générative dans les articles scientifiques, son article est lui-même parsemé de liens accompagnés de paramètres UTM laissant la trace de l’utilisation de ChatGPT (par exemple : https://arxiv.org/abs/2605.07723.

    https://next.ink/247785/lia-rend-ledition-scientifique-plus-lente-de-moins-bonne-qualite-et-plus-chere
    #AI #intelligence_artificielle #vitesse #qualité #ESR #recherche #revues_scientifiques

    • merci, @fil
      outch ! la description de l’état du service fait peur !
      –> perte de chance
      (c’est moi qui graisse)

      Top Doctors Question Conviction of ‘Killer Nurse’ Lucy Letby in 7 Baby Deaths - The New York Times
      https://www.nytimes.com/2025/02/04/world/europe/lucy-letby-nurse-uk-appeal-evidence.html


      Dr. Shoo Lee, right, at a news conference in London, on Tuesday. Dr. Lee led a panel that looked into the evidence against the British nurse Lucy Letby, who was convicted in 2023 of killing seven babies.
      Credit...Andy Rain/EPA, via Shutterstock

      An international panel of neonatal and pediatric specialists on Tuesday raised grave doubts about the evidence used to convict Lucy Letby, a British nurse who was found guilty in 2023 of murdering seven babies at the hospital where she worked and attempting to murder seven others.

      In a dramatic news conference in London, the chairman of the panel, Dr. Shoo Lee, a Canadian neonatologist, said an extensive independent review had found no evidence that Ms. Letby had murdered or attempted to kill any of the infants in her care.

      He also highlighted what the 14-member panel determined were errors in medical care at the unit where the deaths occurred, at the Countess of Chester Hospital in northwestern England, in 2015 and 2016, and serious failings in the management of neonatal conditions. Some of the deaths had been preventable, he said.

      But, Dr. Lee said, “Our conclusion was there was no medical evidence to support malfeasance causing injury in any of the 17 cases in the trial,” referring to the original charge of harming 17 babies. He added: “In summary, ladies and gentlemen, we did not find any murders.”
      The review is significant because it was carried out by some of the most respected and experienced neonatal and pediatric specialists in the world.

      The findings raise the most serious questions yet about a case that horrified Britain and led to Ms. Letby being called “the killer nurse” by the news media and vilified as one of the worst serial murderers of children in the country’s modern history. The prosecution told the jury in two trials that she had harmed babies through a macabre range of attacks: injecting them with air, overfeeding them with milk, infusing air into their gastrointestinal tracts and poisoning them with insulin.

      However, Ms. Letby was never seen harming a baby and has always maintained her innocence. She was sentenced to spend the rest of her life in prison in 2023, and has already been detained for more than four years, after being charged in November 2020.

      The review’s findings could fuel scrutiny of the state of Britain’s National Health Service, which has struggled after years of underfunding and staff shortages, while also highlighting weaknesses in the justice system when it comes to complex medical cases.

      Dr. Lee, who lives in Canada, became aware of Ms. Letby’s case after her conviction. The prosecution, in making its case, had relied heavily on a 1989 research paper that Dr. Lee coauthored, and her defense team wrote to him to ask if he would review the case.
      He concluded that the prosecution’s expert witness had misinterpreted his research, and later proposed chairing a panel of neonatal specialists to provide an impartial analysis of the causes of death or injury of all the babies. The experts had access to all available medical records and witness statements related to the babies, and they delivered their assessment pro bono. Although Ms. Letby was originally charged with harming 17 babies, two juries ultimately found her guilty in the murder or attempted murder of 14.

      Major questions about the case were first raised in a 13,000-word New Yorker article in May last year. Since then, dozens of experts in neonatology and statistics have raised concerns about the evidence and argued that there might have been a miscarriage of justice.

      The Countess of Chester Hospital, when contacted for comment about the new allegations, said the hospital was focused on the ongoing police investigations and a public inquiry related to the case.

      That inquiry has proceeded on the basis that Ms. Letby is guilty, considering questions such as whether the hospital failed to protect babies from her because of its culture and management.
      One senior doctor told the inquiry that at the time of the deaths, the unit, which cared for premature or seriously unwell infants, was “almost at breaking point” because of staffing shortages. And an earlier regulator’s assessment had warned of chronic understaffing, and said the unit lacked the resources to care for babies requiring strict infection control.

      Dr. Lee’s panel included specialists from Britain, Canada, Germany, Japan, Sweden and the United States. When they embarked on their investigation, Dr. Lee said, they were clear that the report would be released whether the findings were favorable or unfavorable for Ms. Letby.

      Dr. Lee’s 1989 academic paper looked into air embolisms in the bloodstreams of babies and noted that some babies showed signs of skin discoloration — a finding cited by Dr. Dewi Evans, the prosecution’s lead expert witness in the Letby case. Dr. Evans argued that some of the babies who died or deteriorated had exhibited similar patterns on their skin, and that, therefore, the babies must have been injected with air by Ms. Letby.

      Dr. Lee gave evidence in one of Ms. Letby’s attempts to appeal, telling a hearing that Dr. Evans had misinterpreted his findings about what could lead to skin discoloration, and that none of the babies should have been diagnosed with air embolism. But the court said his evidence would not be heard, arguing that Ms. Letby’s defense team should have called Dr. Lee in the original trial.

      Dr. Evans has stood by his evidence, and he told The Times of London this past weekend that he was “very concerned people are getting their facts wrong.”
      During the briefing, Dr. Lee gave a summary of the panel’s detailed findings, and highlighted a few of the cases. The report underlined the serious pre-existing conditions of some of the babies, as many were born prematurely or with health issues.

      In the case of “Baby 1,” whom prosecutors alleged was killed by Ms. Letby by injecting air into the infant’s veins, the panel determined the cause of death to be thrombosis from an existing issue.

      In the case of “Baby 11,” the prosecution had argued that Ms. Letby had deliberately dislodged a breathing tube. But the experts said there was no evidence to support that claim. They argued instead that an initial attempt by a consultant doctor to resuscitate the baby had been “traumatic and poorly supervised,” that the wrong equipment had been used and that the doctor “didn’t understand the basics” of how mechanical ventilation equipment worked.

      It was just that the consultant didn’t know what he was doing,” Dr. Lee said in summation.

      Dr. Neena Modi, a member of the panel and a neonatology professor at Imperial College London, said “there was a combination of babies being delivered in the wrong place, delayed diagnosis and inappropriate or absent treatment.”

      Also present at Tuesday’s briefing was David Davis, a Conservative lawmaker who has become a champion for Ms. Letby’s cause, raising her case in Parliament and calling for a retrial.
      Ms. Letby lost two separate attempts last year to appeal her convictions. In December, her lawyer, Mark McDonald, said he would ask the Court of Appeal to review them.

      On Tuesday he said he had also applied to the Criminal Cases Review Commission, which is responsible for investigating claims of miscarriages of justice. He noted that he had shared the evidence with Ms. Letby, and, while he declined to share further details of her state of mind, he said, “She has hope, and that’s all I can say.”

      “There is overwhelming evidence that the conviction is unsafe,” Mr. McDonald said.

      The commission confirmed that it had received a request to look at the case, but it was unclear how long that would take.

      “We are aware that there has been a great deal of speculation and commentary surrounding Lucy Letby’s case, much of it from parties with only a partial view of the evidence,” a spokesperson for the body said, adding that the families affected by the events should be kept in mind.

      It is not for the commission to “determine innocence or guilt in a case,” the spokesperson noted. “That’s a matter for the courts.”

  • Despite limited statistical power
    The backpack fallacy rears its ugly head once again | Statistical Modeling, Causal Inference, and Social Science
    https://statmodeling.stat.columbia.edu/2023/08/22/the-backpack-fallacy-rears-its-ugly-head-once-again

    Shravan points to this that he saw in Footnote 11 in some paper:

    “However, the fact that we get significant differences in spite of the relatively small samples provides further support for our results.”

    My response: Oh yes, this sort of thing happens all the time. Just google “Despite limited statistical power”.

    This is a big problem, a major fallacy that even leading researchers fall for. Which is why Eric Loken and I wrote this article a few years ago, “Measurement error and the replication crisis,” subtitled, “The assumption that measurement error always reduces effect sizes is false.”

    Anyway, we’ll just keep saying this over and over again. Maybe new generations of researchers will get the point.

    billet qui rappelle (et me fait découvrir) ce très intéressant papier (un poil technique)

    Measurement error and the replication crisis
    http://www.stat.columbia.edu/~gelman/research/published/measurement.pdf
    The assumption that measurement error always reduces effect sizes is false

    En présence de données bruitées et si la puissance du test est faible (taille d’échantillon trop petite) le bruit peut conduire à surestimer l’effet détecté particulièrement en présence de #biais_de_sélection … (dit aussi #cherry_picking qui consiste à ne retenir (et publier) que les expériences dont la #p-value (#probabilité-associée (à l’hypothèse nulle) est bonne. Pratique plus que courante, systématique…

    Article de 2017 qui éclaire une des causes de la crise de la réplication (les labos, y compris – fréquemment – celui qui a publié ne retrouvent pas les résultats publiés lorsqu’ils reproduisent l’expérience). On ne parle plus trop de cette crise aujourd’hui, bien que la question se posait (et se pose toujours…) dans la célèbre affaire du druide marseillais – où il ne s’agissait pas que d’erreurs de mesure et de variance un peu large…

    (non, c’est vrai, je n’ai toujours pas digéré les vaticinations sur la significativité particulière des effets détectés dans des essais à (très) faible puissance statistique !)

  • La sixième extinction de masse s’accélère à un rythme vertigineux
    https://reporterre.net/La-sixieme-extinction-de-masse-s-accelere-a-un-rythme-vertigineux

    La sixième extinction de masse s’accélère et met en péril la survie de la population humaine : c’est ce qu’affirme une étude, publiée le 1er juin dans la revue Proceedings of the National Academy of Sciences. Selon l’équipe de chercheurs ayant réalisé cette étude, 515 espèces de vertébrés terrestres sont sur le point de s’éteindre et disparaîtront probablement d’ici une vingtaine d’années.

    Alors je vais te dire coco. Moi les #selon_une_étude_récente, j’ai compris ce qu’il fallait désormais en faire. Faut les benner directement et sans explication. Parce qu’il n’y a qu’à attendre 2 ou 3 jours que les factcheckers Youtube reconnus internationalement dans leur domaine de spécialité te la démontent et que l’éditeur te dévoile qu’en fait, l’étude elle avait pas été vraiment relue, que bon, c’est pas vraiment une étude, que bon, quoi, attendez-vous à apprendre que les signataires de l’étude n’existe pas, voire que le sujet d’étude n’existe pas lui non plus !

    • Je ne faisais qu’exprimer (je déblatérais, je le confesse) une consternation face à cette boulimie que nous avons de faire et d’évoquer des études qui ne mènent rigoureusement à rien de déterminant sur le court et moyen terme. Une étude donne un résultat qui ne convient pas à l’époque ? Elle est rétractée. Une étude donne un résultat dont on ne sait que faire ? Elle est ignorée. En fait, on ne prend en compte que les études qui permettent d’appuyer une décision de court terme... Comme cette étude sur 24 patients (on a retiré les 2 patients qui ne correspondaient pas à l’intuition du directeur de l’étude), qui par la puissance de l’intuition du dit directeur, est supérieure à toutes les autres formes d’études.

    • Oui mais, finalement, avons-nous besoin de cette étude pour savoir ce qu’elle énonce. Elle vient simplement confirmer ce que l’on sait déjà. Ce genre d’étude est de l’ordre de la documentation du désastre en cours. On ne peut pas vraiment la comparer avec la course à l’échalote que nous connaissons aujourd’hui sur le front médical.