Il est urgent d’améliorer les méthodes d’évaluation des résultats de la recherche scientifique par les agences de financement, les établissements d’enseignement et de recherche et d’autres parties. Pour régler cette question, un groupe de rédacteurs en chef et d’éditeurs de revues savantes s’est réuni à San Francisco en Californie le 16 décembre 2012, dans le cadre du congrès annuel de l’American Society for Cell Biology (ASCB). Ce groupe a élaboré un ensemble de recommandations, désormais appelé « Déclaration de San Francisco sur l’évaluation de la recherche ». Nous invitons les parties intéressées de toutes les disciplines scientifiques à manifester leur soutien en ajoutant leur nom à la présente Déclaration.
Les apports de la recherche sont nombreux et variés : articles contenant de nouvelles connaissances, données, réactifs, logiciels ainsi que propriété intellectuelle et jeunes scientifiques hautement qualifiés. Les agences de financement, les établissements qui emploient des chercheurs et ces scientifiques eux-mêmes éprouvent tous le désir et le besoin d’évaluer la qualité et l’impact de la production scientifique. Il est donc impératif que la production scientifique soit mesurée rigoureusement et évaluée avec discernement.
Le facteur d’impact des revues est souvent utilisé comme principal paramètre pour comparer la production scientifique individuelle et celle des établissements. Ce facteur d’impact, tel que calculé par Thomson Reuters*, a été créé à l’origine comme un outil d’aide pour les bibliothécaires servant à identifier les revues à acheter, et non pour mesurer la qualité scientifique de la recherche exposée dans un article. Dans cette optique, il est essentiel de comprendre que le facteur d’impact présente un certain nombre d’insuffisances bien documentées en tant qu’outil d’évaluation de la recherche. Ces limitations sont les suivantes : A) les distributions des citations dans les revues sont très asymétriques [1-3] ; B) les propriétés du facteur d’impact sont propres à chaque domaine : il s’agit d’un agrégat de types d’articles multiples et très divers, avec des articles primaires comme de synthèse [1, 4] ; C) les facteurs d’impact peuvent être manipulés (ou « instrumentalisés ») par une politique éditoriale [5] ; et D) les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public [4, 6, 7]. Ce qui suit formule des recommandations visant à améliorer la façon dont la qualité des résultats de la recherche est évaluée. D’autres éléments de production scientifique que les articles prendront une importance accrue dans l’évaluation de l’efficacité des travaux de recherche à l’avenir, mais l’article, contrôlé par des pairs, demeurera une production scientifique essentielle entrant dans l’évaluation de la recherche. Par conséquent, nos recommandations portent au premier chef sur les pratiques relatives aux articles publiés dans des revues à comité de lecture, mais elles peuvent et devraient s’étendre à d’autres productions, comme les jeux de données, en tant que résultantes importantes de la recherche. Ces recommandations s’adressent aux agences de financement, aux établissements d’enseignement et de recherche, aux revues, aux organismes pourvoyeurs d’indicateurs et à chaque chercheur.
Ces recommandations s’articulent autour d’un certain nombre de sujets :
la nécessité de mettre un terme à l’utilisation d’indicateurs basés sur les revues, comme les facteurs d’impact, dans le financement, les nominations et les promotions ;
celle d’évaluer la recherche sur sa valeur intrinsèque plutôt qu’en fonction de la revue où elle est publiée ; et
celle encore d’exploiter au mieux les possibilités offertes par la publication en ligne (comme la levée de restrictions inutiles sur le nombre de mots, de figures et de références dans les articles et l’exploration de nouveaux indicateurs d’importance et d’impact).
Nous reconnaissons que de nombreuses agences de financement, établissements, éditeurs et chercheurs encouragent déjà l’amélioration des pratiques d’évaluation de la recherche. De telles démarches commencent à donner de nouvelles perspectives à des approches d’évaluation de la recherche plus élaborées et plus pertinentes sur lesquelles il est possible de s’appuyer et qui puissent être adoptées par toutes les parties impliquées au premier chef.
Les signataires de la Déclaration de San Francisco sur l’évaluation de la recherche soutiennent l’adoption des pratiques suivantes pour l’évaluation de la recherche.
Recommandation générale
Ne pas utiliser les indicateurs basés sur les revues, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité des articles de recherche individuels, pour évaluer les contributions d’un scientifique en particulier ou pour prendre des décisions en matière de recrutement, de promotion ou de financement.
Pour les agences de financement
Indiquer explicitement les critères utilisés pour évaluer la productivité scientifique des porteurs de projet et souligner clairement, surtout pour les chercheurs débutants, que le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié.
Aux fins de l’évaluation de la recherche, tenir compte de la valeur et de l’impact de tous les résultats de travaux de recherche (y compris les jeux de données et les logiciels) en plus des publications scientifiques, et envisager un large éventail de mesures d’impact, y compris des indicateurs qualitatifs sur les retombées des travaux, comme leur influence sur les politiques et les pratiques.
Pour les établissements
Afficher explicitement les critères utilisés dans les décisions de recrutement, de titularisation et de promotion, en soulignant clairement, surtout pour les chercheurs débutants, que le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié.
Aux fins de l’évaluation de la recherche, tenir compte de la valeur et de l’impact de tous les résultats de travaux de recherche (y compris les jeux de données et les logiciels) en plus des publications scientifiques, et envisager un large éventail de mesures d’impact, y compris des indicateurs qualitatifs sur les retombées des travaux, comme leur influence sur les politiques et les pratiques.
Pour les éditeurs
Réduire considérablement l’importance accordée au facteur d’impact comme outil de promotion, idéalement en cessant de le promouvoir ou en présentant ce paramètre dans le contexte d’une variété d’indicateurs basés sur les revues (p. ex. facteur d’impact sur 5 ans, EigenFactor [8], SCImago [9], indice h, temps de traitement éditorial et de publication, etc.) qui offrent une vision plus riche de la performance d’une revue.
Proposer une série d’indicateurs à l’échelle de l’article pour encourager le passage à une évaluation qui soit fondée sur le contenu scientifique d’un article plutôt que sur les indicateurs de publication de la revue dans laquelle il a été publié.
Encourager des pratiques responsables en matière de paternité d’auteur et la fourniture d’informations sur les contributions spécifiques de chaque auteur.
Qu’une revue soit en libre accès ou sur abonnement, supprimer toutes les restrictions de réutilisation des listes de références dans les articles et les mettre à disposition dans le cadre du Creative Commons Public Domain Dedication [10].
Éliminer ou réduire les contraintes sur le nombre de références dans les articles et, le cas échéant, exiger la citation de la littérature primaire plutôt que celle des articles de synthèse afin de reconnaître le mérite du ou des groupes qui ont rapporté en premier une découverte.
Pour les organismes pourvoyeurs d’indicateurs
Faire preuve d’ouverture et de transparence en fournissant les données et les méthodes utilisées pour calculer tous les indicateurs.
Fournir les données en vertu d’une licence qui permette une réutilisation sans restriction et permettre un accès informatique aux données, dans la mesure du possible.
Préciser clairement que la manipulation inconsidérée des indicateurs ne sera pas tolérée ; désigner explicitement ce qui constitue une manipulation inconsidérée et les mesures qui seront prises pour y remédier.
Tenir compte de la diversité des types d’articles (p. ex., articles de synthèse par rapport aux articles de recherche) et des différents domaines lorsque les indicateurs sont utilisés, agrégés ou comparés.
Pour les chercheurs
Lors d’une participation à des commissions exerçant des décisions de financement, d’embauche, de titularisation ou de promotion, produire des évaluations fondées sur le contenu scientifique plutôt qu’en fonction des indicateurs de publication.
Le cas échéant, citer la littérature primaire dans laquelle les observations ont été rapportées en premier plutôt que les articles de synthèse afin d’en attribuer le mérite à bon escient.
Utiliser une gamme de paramètres et d’indicateurs d’articles sur les déclarations personnelles/de soutien, comme preuve de l’impact d’articles individuels publiés et d’autres résultats de recherche [11].
Remettre en question les pratiques d’évaluation de la recherche qui s’appuient inconsidérément sur les facteurs d’impact. Promouvoir et enseigner les bonnes pratiques qui mettent l’accent sur la valeur et l’influence des résultats spécifiques de la recherche.
