« Les grandes revues distordent la science »
▻http://www.lemonde.fr/sciences/article/2017/10/02/les-grandes-revues-distordent-la-science_5195086_1650684.html
Les fondateurs du site PubPeer plaident pour une évaluation des articles par la communauté scientifique à travers leur libre diffusion en ligne.
Brandon Stell et Boris Barbour sont tous deux neuroscientifiques au CNRS, respectivement à l’université Paris-Descartes et à l’Ecole normale supérieure à Paris. Ils sont responsables de PubPeer, lancé en 2012 par Brandon Stell, afin de permettre à la communauté scientifique de commenter anonymement des articles déjà publiés. Le site, vu 300 000 fois par mois, comporte désormais 18 170 articles publiés dans 3 231 journaux, enrichis de plus de 56 000 commentaires.
Que reprochez-vous au système actuel de publication de travaux de recherche ?
Boris Barbour : Les chercheurs sont obsédés par la publication dans des soi-disant grands journaux, parce que le succès d’une carrière ou de la recherche de fonds dépend de ces publications, quasi indépendamment de leur contenu. En fait, les grands journaux distordent la science, car les critères pour être accepté dans ces journaux favorisent la nouveauté extrême, les aspects révolutionnaires… Mais les révolutions sont rares, donc cela conduit des chercheurs à favoriser des projets irréalistes, à exagérer leurs interprétations, et finalement cela trompe le lecteur.
Brandon Stell : Dans une très grande école, il y a peu, lors d’une réunion des directeurs de recherche, la direction a clairement indiqué que son objectif était d’augmenter son classement en augmentant le nombre d’articles publiés dans les grands journaux. Pourquoi les éditeurs de ces « grands » journaux devraient décider de l’avenir de la recherche planétaire ?
Trouvez-vous que les travaux publiés sont de mauvaise qualité ?
B. B. : Tous les chercheurs peuvent citer des articles dont ils estiment inadmissible la publication, mais c’est bien sûr une petite minorité. Ensuite, il y a toute une gamme de pratiques courantes qui entament la fiabilité de la recherche publiée. Par exemple, dans certains domaines, les méthodes statistiques utilisées pour comparer des hypothèses sont mal comprises. C’est le cas de l’omniprésent test statistique de significativité avec la valeur seuil « p ».
Il y a aussi la tentation de multiplier les tests et de croiser les variables jusqu’à ce qu’on atteigne un seuil de significativité suffisant. Quand il y a beaucoup de variables, on peut aussi formuler des hypothèses a posteriori et montrer qu’elles sont « vraies »… Il y a aussi beaucoup de travaux avec des échantillons trop réduits et qui ne permettent pas d’affirmer avec force qu’il y a ou non un effet.
Mais la science ne se corrige-t-elle pas d’elle-même en permettant le retrait d’articles ou en publiant des rectificatifs ou des correspondances entre auteurs… ?
B. B. : Les journaux ne sont pas du tout enclins à publier des corrections ou des échanges critiques. Beaucoup n’ont aucun système de correspondance permettant la publication de ces critiques. Tous veulent préserver leur réputation et évitent donc de faire état des problèmes. La pression pour publier dans les journaux à fort impact, la compétition entre chercheurs pour les postes ou les fonds et les niveaux multiples de conflits d’intérêts créent un environnement extrêmement hostile à toute forme de correction de la science.
B. S. : C’est la frustration qu’il n’y ait pas un forum public pour discuter des problèmes sur des articles publiés qui m’a donné l’idée de PubPeer. On reçoit souvent des courriers de gens au bout du rouleau après leurs échecs à vouloir corriger la science.
Selon vous, les journaux scientifiques portent une forte responsabilité dans cette situation. Mais ils sont incontournables, non ?
B. S. : On devrait se moquer de savoir où un travail est publié. On peut se passer d’eux ! Il n’y a plus de raisons économiques pour les justifier, puisque aujourd’hui la diffusion numérique n’est pas chère. On peut aussi se passer d’eux pour les services qu’ils proposent comme la recommandation, car beaucoup de sites en ligne ont montré que des algorithmes « sociaux » peuvent grandement faciliter ces processus. Même la revue par les pairs (peer review, en anglais) est devenue un filtre de qualité peu fiable.
Comment voulez-vous vous passer du « peer review » ?
B. S. : Croire qu’en deux semaines on peut juger de la qualité et de l’importance d’un travail est souvent illusoire. En plus, ça fait reposer la décision sur quelques personnes [les referees] seulement. Des referees n’osent pas non plus avouer qu’ils n’ont pas compris l’article. Il existe aussi de nombreux biais, de mauvaises habitudes, comme les analyses statistiques déjà mentionnées…
Il faut inverser le processus – publier d’abord et discuter après. Et il existe déjà un système où les chercheurs déposent leurs articles en ligne dans des « archives », ArXiv en physique, bioRxiv en biologie… Ces preprints [prépublications] peuvent ensuite être commentés sur des sites comme PubPeer. Tous ces commentaires et avis d’experts alimenteraient une base de données permettant de se faire une opinion sur un article et d’en découvrir de nouveaux, grâce à des algorithmes de recommandations, des alertes automatiques… La multiplication rapide et interactive des commentaires clarifiera les idées mieux que le système de publication aujourd’hui.
Les expériences de commentaires d’articles n’ont pas eu beaucoup de succès jusqu’à présent. Comment comptez-vous les développer ?
B. S. : Il faut inciter les chercheurs à faire des commentaires. Après tout, ils font déjà un travail gratuit pour la revue des articles que les journaux leur envoient. Nous devons inventer un tel système d’incitation, ce que nous espérons proposer dans quelques mois.
Votre modèle « sans journal » est-il populaire dans la communauté ?
B. B. : Assez naturellement, ceux qui ont profité du système existant ne voient souvent pas pourquoi en changer. Les autres, notamment les jeunes, y sont plus favorables. Les choses bougent. Les biologistes déposent de plus en plus de preprints. Ils se mettent aussi à partager leurs données afin de permettre la réplication de leurs résultats. Sur PubPeer, souvent les commentaires consistaient à montrer que des images avaient été copiées, dupliquées, manipulées… Certes, c’est nécessaire, mais maintenant on voit de plus en plus de discussions sur les méthodes, les interprétations, les protocoles. Cela devient plus riche. Tout cela nous mène vers un système où on se focalise à nouveau sur la substance des travaux, où la publication n’est que le début de l’évaluation, et où les chercheurs reprennent le pouvoir sur leur métier.