Il y a péril en la demeure. Le « système immunitaire de la science » connaît des ratés, comme le constate le psychologue Chris Chambers dans son livre, The Seven Deadly Sins of Psychology (« Les sept péchés mortels de la psychologie », Princeton University Press, non traduit). Le nom savant de cette défense est « reproductibilité », c’est-à-dire la possibilité de refaire et confirmer une expérience. « La reproductibilité et la réplication sont les pierres angulaires de la science. Sans elles, nous n’avons aucun moyen de savoir quelles découvertes sont vraies et lesquelles sont causées par le jeu du hasard, de l’erreur ou de la fraude, précise Chris Chambers, de l’université de Cardiff. On ne vole pas dans un avion qui n’a pas été rigoureusement testé, encore et encore. Il en va de même pour toutes les branches de la science. »
En 2014, devant l’impossibilité de plusieurs laboratoires à répéter un protocole prétendant obtenir des cellules souches pluripotentes, l’équipe japonaise qui avait clamé la découverte dans Nature est contrainte d’avouer qu’elle a fraudé. La biologiste fautive, Haruko Obokata, a démissionné, et l’un de ses coauteurs, Yoshiki Sasai, pourtant innocenté, se suicidera.
Idem pour une technique d’édition du génome, qui promettait de faire mieux que la très en vogue technique Crispr-Cas9. L’article, publié par Nature Biotechnology en 2016, a été retiré en août, après l’échec de plusieurs équipes à reproduire le résultat.
Pourtant, en 2005, John Ioannidis, de l’université Stanford, ébranlait la communauté par un article dans PloS Medicine suggérant que « la plupart des résultats scientifiques sont faux », car impossibles à reproduire. De nombreuses expériences de réplication ont depuis été conduites, montrant l’ampleur de la défaillance du système. En 2012, une équipe de la société de biotechnologie Amgen expliquait n’avoir retrouvé les résultats publiés que dans six cas sur 53 en oncologie.
En 2015, la première initiative du Centre pour la science ouverte aux Etats-Unis tente de reproduire 100 expériences de psychologie et n’y parvient que dans 39 cas. Deux ans plus tard, un programme identique de réplication en cancérologie publie ses premiers résultats. Sur sept études, quatre ont été reproduites, une autre n’a pu l’être et deux restent impossibles à interpréter. Reste encore 29 études à vérifier dans ce projet. Souvent, c’est la mauvaise interprétation de tests statistiques qui les rend fragiles à répliquer.
Preuve supplémentaire du malaise, en mai 2016, Nature publiait un sondage dévastateur : 70 % des 1 576 répondants déclarent avoir échoué à reproduire un résultat et même 50 % à refaire leur propre expérience…
L’heure est si grave qu’en janvier 2017, dix auteurs signent un « Manifeste pour la science reproductible », dans Nature Human Behaviour, appelant à plus de rigueur dans les méthodes, les comptes rendus et l’évaluation de la recherche.
La « crise », comme elle a été baptisée, ne touche pas seulement la psychologie ou l’oncologie. En imagerie cérébrale par IRM fonctionnelle, plusieurs études ont montré que des activations de pixels jugées significatives sont en réalité des faux positifs. L’une de ces études montre qu’en fonction des méthodes utilisées, les images produites peuvent être fort différentes. « Dans mon équipe, nous testons nos méthodes sur plusieurs jeux de données afin d’éviter ces pièges », explique Bertrand Thirion, de l’Institut national de recherche en informatique et en automatique.
En chimie, Raphaël Lévy de l’université de Liverpool cite, dans la revue Médecine/Sciences du 18 septembre, le cas de trois équipes dont les résultats publiés ne sont toujours pas corrigés malgré ses contestations et celles d’autres chercheurs auprès de la revue. « Le système n’encourage pas à la critique ni à la réplication des résultats. Il faut être un peu fou pour s’engager dans ces processus, même si ça ne nuit pas à ma carrière »,témoigne le chercheur. Les revues scientifiques ne sont en effet pas toujours promptes à corriger les erreurs publiées, qui entament leur réputation.
« Le public a le droit de fonder sa confiance en la science sur la réalité et non sur la fiction. La science est sans aucun doute le meilleur moyen de découvrir la vérité sur le monde et de prendre des décisions rationnelles. Mais cela ne veut pas dire qu’elle ne peut pas ou ne devrait pas être améliorée. Nous devons trouver des solutions pratiques face à ses défauts », estime Chris Chambers.
La liste qu’il propose dans son livre ou qui est reprise par le manifeste qu’il a cosigné fourmille d’idées. Comme relever les exigences en matière de rigueur statistique. Ou favoriser la transparence dans les procédures, en donnant accès aux données brutes, images, chiffres, méthodes utilisées… « Il y a encore des freins face à cette ouverture. Pour certains, les données c’est le pouvoir. Pour d’autres, c’est la peur qu’on trouve des défauts dans leur travail, regrette Bertrand Thirion. Mais justement, c’est bien de trouver des erreurs, pour pouvoir les corriger ! » Chris Chambers et d’autres ont d’ailleurs lancé en 2016 une charte pour les relecteurs d’articles qui s’engagent à n’évaluer des manuscrits que si les auteurs transmettent leurs données.
Une autre solution consiste dans les préenregistrements d’expérience, comme pratiqué depuis plusieurs années pour les essais cliniques. Les chercheurs doivent détailler leur protocole et les méthodes qu’ils utiliseront pour leur expérience, afin d’éviter la tentation d’adapter la méthode ou les tests aux observations. Des sites comme l’Open Science Framework, lancé par le Centre pour la science ouverte, permettent désormais de remplir facilement ce genre de recommandations. Autre idée, défendue par provocation par John Ioannidis en 2014 : sortir des « incitations » à publier à outrance afin de promouvoir les études de réplication, le partage des données…
« Nous avons la lourde responsabilité publique de veiller à ce que la prochaine génération de scientifiques ne souffre pas des problèmes de ma génération. Ce n’est que lorsque la science est aussi ouverte et solide que possible qu’elle peut apporter le maximum d’avantages à l’humanité », conclut Chris Chambers.
Anticiper les problèmes
En écologie, ce n’est pas encore la crise de la reproductibilité mais on s’y prépare. Un article, disponible depuis août sur BioRxiv, relate la collaboration de 14 laboratoires en Europe pour tester la robustesse de leur domaine face à cette difficulté à valider certains résultats publiés.
L’idée était de tester si la même expérience, à savoir l’effet d’une légumineuse sur la croissance d’une graminée plantée conjointement, pouvait être strictement reproduite dans différents laboratoires dans les mêmes conditions. « On avait quelques indices que la reproductibilité est inférieure à celle attendue, explique Alexandru Milcu de l’Ecotron à Montpellier et du Centre d’écologie fonctionnelle et évolutive (CNRS), à l’origine de cette collaboration. Il y a des conditions de laboratoire spécifiques qui nous échappent, comme la nature du micro-environnement, le rôle des expérimentateurs… »
Finalement, cette variabilité a bien été constatée. Mais l’équipe a aussi trouvé une parade consistant à multiplier les expériences avec des plantes aux génotypes différents. C’est contre-intuitif, mais cette variabilité ajoutée et contrôlée « noie » en quelque sorte les spécificités du lieu et augmente ainsi la reproductibilité des expériences. « Il faudra répéter ce genre d’étude. Ce qui au départ était une question de curiosité est devenu fascinant ! », note le chercheur.
