#h-index

  • Tribune : Ce que devient la #recherche quand elle doit se vendre

    Ce matin, en ouvrant ma boîte mail, j’ai revu une partie de ma vie défiler. Ce qui, à mon âge, commence à prendre un certain temps et nécessite parfois une chaise. Le message m’invitait à « déposer » un projet au Fonds de la Recherche en Haute École (FRHE). Le verbe est important. On ne propose pas un projet. On ne partage pas une idée. On ne confie pas une intuition fragile à la communauté scientifique. Non : on la « dépose ». Comme on dépose un colis, une plainte, un enfant à la garderie ou un animal malade chez le vétérinaire en espérant qu’il revienne vivant.

    J’ai donc relu le mail. Puis je l’ai relu encore, avec cette forme particulière d’attention que l’on réserve aux convocations administratives, aux résultats médicaux et aux messages commençant par « dans le cadre de la rationalisation de nos services ». Et là, une certitude m’est revenue : j’avais quitté la #recherche_académique il y a près de quinze ans non pas par accident, ni par paresse, ni parce que je préférais enfin dormir la nuit, mais par instinct de survie.

    Car être chercheur, au départ, c’est magnifique. C’est se tenir devant le monde avec la #stupéfaction d’un enfant qui démonte un réveil pour comprendre #pourquoi le temps fait du bruit. C’est poser des #questions là où tout le monde s’est habitué à répondre par des PowerPoint. C’est observer, douter, recommencer, se tromper, lire trop, boire trop de café, puis trouver parfois une petite chose vraie au milieu d’un grand tas de choses prétentieuses.

    La recherche, dans sa version primitive, presque sauvage, consiste à dire : « Je ne comprends pas, donc je vais chercher. » La recherche académique contemporaine consiste plus souvent à dire : « Je ne comprends pas encore, mais je peux déjà remplir la case 12B relative aux livrables transférables et aux indicateurs d’impact transversal. » C’est moins romantique, mais ça rentre mieux dans un tableur Excel.

    Et c’est là que le #pouvoir_politique intervient. Non pas pour dire aux chercheurs : « Allez, secouez-nous cette société, critiquez-nous, montrez-nous ce qui cloche, aidez-nous à inventer autre chose. » Ce serait dangereux. Des chercheurs qui cherchent vraiment finissent toujours par poser des questions désagréables. Pourquoi les pauvres sont-ils pauvres ? Pourquoi les riches sont-ils riches ? Pourquoi l’école reproduit-elle ce qu’elle prétend combattre ? Pourquoi l’innovation ressemble-t-elle si souvent à une machine à vendre des objets inutiles avec une application mobile ?

    Non. Le pouvoir politique préfère une recherche bien élevée. Une recherche coiffée, budgétée, évaluée, classée, managée. Une recherche qui dit « #impact_sociétal » avant même d’avoir eu le temps d’émettre une #pensée. Une recherche qui, comme un produit bien emballé, promet à l’avance qu’elle sera utile, rentable, transférable, valorisable, visible, durable, inclusive, innovante, interdisciplinaire et probablement biodégradable. Le tout pour une enveloppe qui permet de financer quelques projets et d’en laisser beaucoup d’autres sur le carreau.

    Lors de l’appel FRHE 2024, 37 projets éligibles ont été soumis et 9 ont été sélectionnés, soit environ un projet sur quatre. C’est un système qui demande à des équipes entières de consacrer des semaines, parfois des mois, à construire une cathédrale administrative dont les trois quarts finiront au cimetière des PDF. Il faut être banquier pour y voir une #politique_scientifique. Un terme plus approprié pourrait être « machine à trier les vocations » : quelques-unes ressortent financées, les autres apprennent à appeler leur découragement « résilience ».

    Le chercheur enthousiaste commence par lire le règlement. C’est son premier test. S’il survit, il découvre qu’il doit formuler une question de recherche, constituer un consortium, prévoir un calendrier, détailler les lots de travail, anticiper les résultats, décrire les risques, montrer l’impact, prouver la faisabilité, quantifier l’innovation, expliquer la dissémination, prévoir la valorisation, intégrer le genre, les objectifs de développement durable, la transition numérique, la transition écologique, la transition énergétique, la transition administrative et, si possible, la transition vers un état psychique compatible avec la poursuite de son existence.

    Ensuite vient l’#évaluation. Là aussi, tout est prévu pour rassurer. Votre projet ne sera pas abandonné à l’arbitraire d’une seule personne mal lunée ayant mal dormi dans un hôtel Ibis avant de lire votre résumé. Non. Il sera examiné par plusieurs experts, avec des critères pondérés. Pour le FRHE 2025-2026, les critères annoncés étaient par exemple la qualité scientifique, l’impact sociétal potentiel et la qualité de mise en œuvre, respectivement pondérés à 60 %, 30 % et 10 %. C’est beau, la pondération. Ça donne à l’injustice éventuelle une allure de recette de cake. Vous avez donc deux experts scientifiques. S’ils ne sont pas d’accord, on en ajoute un troisième, ce qui rappelle cette grande vérité démocratique : quand deux personnes ne suffisent pas à produire une décision discutable, il faut en trouver une troisième.

    Puis arrive le moment merveilleux de l’impact. L’impact, c’est l’avenir radieux de la recherche. Avant, on demandait à une recherche si elle était juste, rigoureuse, originale. Aujourd’hui, on lui demande si elle va avoir de l’impact, comme une campagne de publicité pour une lessive, une trottinette connectée ou une nouvelle gamme de yaourts au bifidus. Votre projet étudie les inégalités scolaires ? Très bien. Quel impact ? Votre projet analyse les violences institutionnelles ? Très bien. Quel impact ? Votre projet montre que l’obsession de l’impact détruit les conditions mêmes d’une pensée critique ? Très intéressant. Mais pourriez-vous préciser l’impact de votre critique de l’impact, idéalement sous forme d’indicateurs mesurables ?

    Et puis, au bout de la chaîne, il y a le #gouvernement. C’est lui qui sélectionne finalement les projets financés. Il faut reconnaître que c’est pratique. Si votre recherche risque d’être trop critique envers le #pouvoir, elle pourra toujours produire un effet mesurable : non pas sur la société, bien sûr, ni sur les politiques publiques ou sur votre compte bancaire, mais sur votre niveau de désillusion institutionnelle. Ce n’est pas exactement un indicateur d’impact, mais il a l’avantage d’être robuste. On me dira : « Mais enfin, tu exagères. Il faut bien évaluer. Il faut bien choisir. L’argent public n’est pas infini. » Bien sûr. C’est même précisément le problème : on organise la #rareté, puis on appelle « #excellence » la capacité à survivre dedans. On affame un secteur, puis on félicite les plus musclés d’avoir réussi à ramper jusqu’à la gamelle.

    Apparaît alors la figure centrale de la recherche contemporaine : celle du bon chercheur, reconnaissable à la taille de son H-index. Jadis, les savants avaient des idées, des controverses, des correspondances, parfois des barbes. Aujourd’hui, ils ont des #indicateurs. Le #H-index est cette merveilleuse invention qui permet de donner une #apparence_scientifique à une vieille passion humaine : comparer la taille de ses attributs symboliques en prétendant parler d’excellence.

    La communauté scientifique elle-même sait pourtant que ces métriques posent problème. La #Déclaration_de_San_Francisco_sur_l’évaluation_de_la_recherche#DORA — appelle à améliorer les façons d’évaluer la #production_scientifique et critique notamment l’usage abusif des #indicateurs_bibliométriques dans les décisions d’évaluation. Mais c’est comme les recommandations nutritionnelles : tout le monde sait qu’il faut manger moins gras, moins sucré, moins salé, et pourtant la frite sauce andalouse continue d’avoir un avenir institutionnel solide.

    Quand un chercheur devient vraiment « bon », c’est-à-dire quand ses indicateurs atteignent une taille socialement enviable, il est promu. Et quand il est promu, souvent, il ne cherche plus. Il coordonne, pilote, supervise. Il rédige des projets permettant d’obtenir l’argent qui permettra d’engager des chercheurs précaires qui, eux, chercheront vraiment, publieront vraiment, s’épuiseront vraiment, et contribueront discrètement à l’élargissement de l’attribut du chef.

    Le chercheur précaire devient alors une sorte de complément alimentaire pour carrière académique. On le recrute pour deux ans, parfois trois, le temps qu’il produise des données, des articles, des rapports intermédiaires, des rapports finaux, des communications, des annexes, des preuves d’impact, puis on lui explique avec beaucoup d’émotion que son contrat touche à sa fin, mais que son travail a été très apprécié. Et c’est bien vrai. Son travail a été tellement apprécié qu’il est désormais dans le CV de quelqu’un d’autre.

    Je force le trait ? À peine. La #précarité académique est devenue un sujet de recherche en soi. Admirez plutôt : le système produit de la précarité, puis finance des recherches précaires sur la précarité des chercheurs. Des articles récents parlent même du #precarity_dividend (prime à la précarité), le bénéfice que certains acteurs plus stables peuvent tirer du travail des chercheurs précaires. C’est la version universitaire de la spéculation boursière : on mise sur l’#exploitation à bas coût de travailleurs précaires pour gonfler son portefeuille de publications, puis on liquide l’humain dès que le dividende est encaissé.

    Et maintenant, voilà que les Hautes Écoles sont invitées à entrer pleinement dans cette grande fête. Elles aussi doivent devenir des actrices de la recherche, de l’innovation, du développement, du rayonnement, de la compétitivité, de l’écosystème. Elles aussi doivent parler la langue merveilleuse des appels à projets, des livrables, des partenariats stratégiques, de la valorisation, des objectifs transversaux et de l’impact sociétal potentiel.

    Je ne nie pas qu’il existe de beaux projets, des collègues sincères, des recherches utiles, des équipes courageuses. Bien sûr qu’il y en a, et c’est même ce qui rend la situation plus triste. Ce système fonctionne parce qu’il capture des désirs authentiques : celui de découvrir, de comprendre, d’agir, de faire mieux. Mais ces désirs, au lieu d’être soutenus, sont dévoyés pour exacerber la #compétition de chacun contre tous. On ne demande pas aux chercheurs de chercher. On leur dit :

    « Convainquez-nous que vous méritez peut-être d’avoir le droit de chercher, à condition de prouver avant de commencer que ce que vous n’avez pas encore trouvé produira des résultats mesurables dans les vingt-quatre mois. »

    La scène est presque belle, si l’on aime l’absurde. Pour avoir le droit de chercher, il faut d’abord expliquer ce que l’on va trouver. Pour avoir le droit de découvrir, il faut prédire la découverte. Pour avoir le droit de #douter, il faut remplir une grille dans laquelle le doute n’apparaît nulle part.

    Alors oui, cher·es collègues enthousiastes, déposez des projets si vous le voulez. Faites-le même, parfois, parce qu’il faut bien arracher quelques moyens là où ils se trouvent. Mais ne confondez pas le guichet avec la recherche. Ne confondez pas l’appel à projets avec l’appel du large. Ne confondez pas le formulaire avec la pensée. Le danger n’est pas seulement que quelques projets soient refusés. Le danger est plus discret, plus profond, plus quotidien : c’est que nous finissions par intérioriser cette logique. Que nous apprenions à nous vendre avant de penser. À calibrer nos questions avant de les poser. À traduire nos colères en livrables, nos doutes en indicateurs, nos intuitions en diagrammes de Gantt.

    Ce matin, en refermant ce mail, je me suis souvenu de la lettre de démission d’Annick Stevens que j’avais lue à la fin de ma thèse comme on lit un avertissement. Elle y décrivait une université renonçant peu à peu à sa fonction critique, absorbée par l’économisme, la concurrence et les standards productivistes. Je croyais alors lire le témoignage d’un monde que j’étais en train de quitter. Près de quinze ans plus tard, je comprends que je lisais peut-être la brochure d’accueil du monde qui arrivait.

    Les Hautes Écoles aussi ont désormais leur vocabulaire de start-up, leur arobase pour faire moderne et probablement bientôt leur baby-foot stratégique. On nous dira que c’est le progrès. Que c’est une reconnaissance. Que c’est une chance. Mais une chance de quoi ? De chercher vraiment ? Ou d’apprendre à promettre, à calibrer, à séduire, à convertir nos questions en dossiers recevables ?

    Si la recherche sert encore à quelque chose, c’est peut-être d’abord à refuser les évidences trop bien emballées. Et celle-ci en particulier : ce n’est pas parce qu’un système finance quelques recherches qu’il la soutient. Parfois, il l’organise simplement de manière à ce qu’elle ne dérange pas trop.

    – Un lecteur

    https://mrmondialisation.org/tribune-recherche-se-vendre
    #projets #appels_à_projets #financement #ESR #université

  • Derrière la promesse de l’#open_access, la #marchandisation renouvelée de l’#édition_scientifique

    Depuis le début du siècle, de nouveaux modèles de diffusion de la recherche scientifique sont apparus. Marchandisant à leur profit l’injonction à l’open access, ils piègent les chercheurs mal informés ou souhaitant répondre plus facilement aux demandes de leurs institutions. Pour éviter la dégradation de la qualité scientifique provoquée par ces mégarevues, il est urgent de repenser les modalités d’#expertise et d’#évaluation de la recherche.

    En France, la réforme de la recherche publique s’est accélérée à la fin des années 2000, visant notamment l’intensification et l’internationalisation de la #production_scientifique pour rivaliser avec les pays aux universités prestigieuses. Dans cette quête d’#excellence, une #concurrence accrue a été instaurée entre scientifiques comme entre institutions de recherche. Considérée comme vertueuse, elle a renforcé le besoin d’#indicateurs pour évaluer les travaux et faire converger les moyens vers les « meilleurs ».

    Déjà central, le rôle de l’article scientifique en tant qu’unité d’analyse de la #performance s’en est trouvé accentué. Comparer, classer et distribuer les ressources à cette aune est d’autant plus commode qu’un #facteur_d’impact (FI)[1] est attribué à la plupart des #revues anglo-saxonnes publiant ces articles, contribuant à leur #hiérarchisation. Certes, l’activité d’évaluation ne se résume pas à faire des additions et tient compte d’autres référentiels et supports de publication (liste de revues d’audience nationale, livres et chapitres d’ouvrages collectifs dans bien des disciplines des sciences humaines et sociales). Mais, comme le souligne Yves Gingras, cette #métrique internationale et ses déclinaisons (classement des revues par quartiles, #h-index, etc.) constituent un point d’appui pour établir les jugements, justifier et accélérer les sélections.

    (#paywall)

    https://aoc.media/analyse/2025/08/14/derriere-la-promesse-de-lopen-access-la-marchandisation-renouvelee-de-leditio
    #recherche #université

    –-

    ajouté à la métaliste sur la #publication_scientifique* :
    https://seenthis.net/messages/1036396

  • #Publish_or_perish”. Per ridere e riflettere sul mondo accademico

    Il gioco inventato da #Max_Hui_Bai è una satira ma anche un modo per far emergere le difficoltà dei ricercatori per stare al passo con le tempistiche di pubblicazione. Con la speranza che la loro condizione possa migliorare.

    “Benvenuti nella vita caotica dell’editoria accademica. In questo gioco, sei un ricercatore senza prospettive che cerca di fare l’unica cosa che conta: sfornare pubblicazioni, velocemente”. Sono le premesse del gioco da tavolo “Publish or perish. Un party game umoristico sulla pubblicazione accademica” realizzato e prodotto da Max Hui Bai, ricercatore e psicologo sociale indipendente, in cui i giocatori si danno battaglia a colpi di citazioni, pubblicazioni, workshop e convegni per prevalere come ricercatori e studiosi di successo. Un’occasione per divertirsi ma anche per riflettere sulle difficoltà affrontate ogni giorno da chi lavora nel mondo accademico. E forse portare a un cambiamento.

    “Il termine ‘Publish or perish’ si usa per indicare il fatto che, se si vuole sopravvivere nel mondo accademico, la valuta più importante è la quantità di articoli e ricerche che si riescono a produrre -racconta Max Bai ad Altreconomia-. Devi avere molte pubblicazioni, idealmente su riviste prestigiose. Ma allo stesso tempo un lavoro accademico può richiedere molto tempo e risorse e non sempre portare ai risultati sperati”. Può capitare che uno studioso resti bloccato per molto tempo in un lavoro i cui risultati non siano utilizzabili ma in quello stesso periodo di tempo sarà giudicato dal mondo accademico sul numero di pubblicazioni e di citazioni ottenute. Ma che cosa succede a chi non riesce a stare al passo con le tempistiche di pubblicazione richieste? “Si va incontro a una lenta ‘morte accademica’, cioè si avrà difficoltà a ottenere fondi e finanziamenti, avanzare nella propria carriera o ottenere una posizione di successo”, prosegue Bai. Un problema che è stato aggravato dalla pandemia da Covid-19. “Il settore universitario e della ricerca è stato colpito duramente ma non in modo uniforme. Le facoltà e gli studiosi che disponevano di maggiori risorse sono stati in grado di superare meglio questa crisi, ma chi non aveva questi fondi ha avuto forti difficoltà a pubblicare”.

    Lo scopo del gioco è proprio questo: ottenere il maggior numero possibile di citazioni attraverso la pubblicazione di articoli scientifici dai titoli bizzarri e improbabili come “Pattern di procrastinazione nel mondo accademico: un caso studio su me stesso”. Ricevendo in cambio citazioni, premi e recensioni. I giocatori possono accumulare riconoscimenti ma anche ostacolarsi a vicenda e allearsi. Fintanto che il giocatore con più riconoscimenti accademici non verrà eletto vincitore.

    Max Bai ha avuto l’idea di sviluppare “Publish or perish” durante una serata di giochi di ruolo tra colleghi. Il ricercatore si è reso conto che anche la vita accademica aveva aspetti interessanti e che potevano diventare oggetto di satira. Il gioco infatti contiene diversi elementi parodistici. Ad esempio le regole impongono che quando un giocatore “pubblica una ricerca” gli altri partecipanti gli devono tributare un applauso e fargli i complimenti. E chi non lo fa riceve una penalità.

    Chi ha potuto provare il gioco in anteprima ha espresso pareri per lo più favorevoli. Un successo sottolineato anche dalla campagna di raccolta fondi sul sito Kickstarter che ha raccolto oltre 260mila dollari (al 16 ottobre) su un obiettivo base di cinquemila. “Le persone hanno apprezzato il gioco per diversi motivi: alcuni accademici ne hanno visto una satira del loro mondo, altri un modo per comunicare a persone esterne le loro difficoltà quotidiane -prosegue Bai-, e alcuni hanno semplicemente apprezzato i quiz e le curiosità scientifiche proposte”. Infatti tra le carte del gioco ve ne sono ben cento che contengono domande a risposta multipla su curiosità scientifiche e di cultura generale (lo sapevate che il cervello è l’organo più grasso del corpo umano e che i polpi hanno il “sangue blu”?) a cui i giocatori possono rispondere per ottenere bonus.

    Lo scopo di “Publish or perish” però non è solo quello di divertire ma anche di lanciare un messaggio e denunciare una situazione che per molti sta diventando sempre più insostenibile. Un primo passo, secondo il ricercatore, consiste proprio nel superamento di un sistema che porta gli studiosi a essere valutati esclusivamente in base alle loro pubblicazioni. Dando maggior risalto ad altre attività e finalità che si possono intraprendere, al di fuori della ricerca, come iniziative sociali o attività di tutoraggio accademico.

    “Ho creato questo gioco anche per fare in modo che le persone che lo usano si fermino a riflettere sulla realtà del mondo accademico e magari fare qualcosa per cambiarlo -conclude il ricercatore-. Anche se so che questo gioco non avrà impatti rivoluzionari spero che spinga a dedicare più tempo alla riflessione e che infine porti il mondo accademico a cambiare in meglio”.

    https://altreconomia.it/publish-or-perish-per-ridere-e-riflettere-sul-mondo-accademico
    #édition_scientifique #ESR #recherche #université
    #jeu #satire #publications #citations #impact_factor #H-index

  • Mirage de l’excellence et naufrage de la recherche publique | AOC media - Analyse Opinion Critique
    https://aoc.media/analyse/2020/09/15/le-mirage-de-lexcellence-menera-t-il-au-naufrage-de-la-recherche-publique

    C’est pourtant l’orientation que semble prendre le projet de LPPR, qui s’inscrit dans la continuité d’un entêtement à faire entrer dans le moule néolibéral de la compétitivité la manière de gérer et de faire de la recherche publique, c’est à dire une recherche tournée vers le bien commun. Cela équivaut à imposer à des champions du 100m haies de porter des palmes sous prétexte qu’on nage mieux avec. Une fausse bonne idée, comme on va le voir.

    L’idéologie actuelle de la recherche se définit par l’excellence et la compétitivité. Le Président Macron le rappelle régulièrement : il nous faut retenir les talents, attirer ceux qui sont loin, faire revenir ceux qui sont partis afin d’avoir les laboratoires les plus performants face à la concurrence internationale. Il faut un système d’évaluation qui permette « la bonne différenciation et l’accélération de notre excellence en matière de recherche » (voir l’intervention du Président lors des 80 ans du CNRS, à 40’). Telle une religion, cette idéologie s’étend à tout dans l’enseignement supérieur et la recherche (ESR).

    Ainsi depuis quelques années, tout nouveau venu dans ce monde doit s’appeler « excellent » : les Idex (Investissements d’excellence), les Labex (laboratoire d’excellence), les Equipex (Equipement d’excellence), etc. Comme naguère les « ix » dans Astérix, les « ex » doivent dans l’ESR conclure le nom de chacun des protagonistes ; et sur les excellents l’argent pleuvra, sous forme de subventions, projets financés, bourses, etc. À terme, à l’horizon des réformes type Parcoursup à venir, des universités d’excellence pourront sans doute surpayer leurs professeurs (excellents) en faisant payer leurs étudiants (excellents), et les autres pourront gérer tranquillement leur délabrement matériel, financier, intellectuel.

    Pour preuve de rigueur intellectuelle, cette politique a prévu les critères externes de son évaluation, pour autant qu’elle n’en soit pas le symptôme : l’excellence des mesures qu’elle préconise doit être validée par la progression des ESR français dans le classement de Shanghaï, pot-pourri scientometrique qui agrège de manière arbitraire une série d’indicateurs « standards » de la production scientifique.

    Curieusement, le système actuel de la recherche excellente avait déjà été rêvé par le physicien théoricien Leo Szilard, père de nombreuses choses dont d’importantes théories de l’information ; pour lui c’était plutôt un cauchemar.

    Également écrivain, il imaginait dans un texte des années 50, un milliardaire, Mark Gable, posant la question suivante : « le progrès scientifique va trop vite, comment le ralentir ? »

    La réponse que lui apportait son interlocuteur est on ne peut plus actuelle :
    « Eh bien, je pense que cela ne devrait pas être très difficile. En fait, je pense que ce serait assez facile. Vous pourriez créer une fondation, avec une dotation annuelle de trente millions de dollars. Les chercheurs qui ont besoin de fonds pourraient demander des subventions, à condition d’avoir des arguments convaincants. Ayez dix comités, chacun composé de douze scientifiques, nommés pour traiter ces demandes. Sortez les scientifiques les plus actifs des laboratoires et faites-en des membres de ces comités. Et nommez les meilleurs chercheurs du domaine comme présidents avec des salaires de cinquante mille dollars chacun. Ayez aussi une vingtaine de prix de cent mille dollars chacun pour les meilleurs articles scientifiques de l’année. C’est à peu près tout ce que vous auriez à faire. Vos avocats pourraient facilement préparer une charte pour la fondation … »

    Devant l’incrédulité de Mark Gable sur la capacité de ce dispositif à retarder le progrès scientifique, son interlocuteur poursuivait :
    « Ça devrait être évident. Tout d’abord, les meilleurs scientifiques seraient retirés de leurs laboratoires et siégeraient dans des comités chargés de traiter les demandes de financement. Deuxièmement, les scientifiques ayant besoin de fonds se concentreraient sur des problèmes qui seraient considérés comme prometteurs et conduiraient avec une quasi-certitude à des résultats publiables. Pendant quelques années, il pourrait y avoir une forte augmentation de la production scientifique ; mais en s’attaquant à l’évidence, la science s’assècherait très vite. La science deviendrait quelque chose comme un jeu de société. Certaines choses seraient considérées comme intéressantes, d’autres non. Il y aurait des modes. Ceux qui suivraient la mode recevraient des subventions. Ceux qui ne le feraient n’en auraient pas, et très vite, ils apprendraient à suivre la mode. »

    Szilard avait mille fois raison, et nous voulons appuyer sur un seul point de sa démonstration : la détection de l’ « excellence » du chercheur. Nous soutenons que c’est aujourd’hui une vaste fadaise, fadaise sur laquelle on construit l’ESR de demain.

    Quel est donc ce problème fondamental ? Pensons un instant au football. L’attaquant, Lionel Messi ou Cristiano Ronaldo, marque un but. On le célèbre, il a fait gagner son équipe. Mais quel était exactement son apport causal ? Parfois, il aura simplement poussé du bout du pied un ballon qui se trouvait être au bon endroit – et s’il l’était, au bon endroit, ce fut justement à cause de trois ou quatre de ses coéquipiers. Mais marquer le but est bien l’épreuve décisive qui sépare l’équipe gagnante de l’équipe perdante, et ultimement les premiers des derniers du classement. L’attaquant, statistiquement le plus à même de marquer des buts, remporte donc les lauriers : de fait, le « ballon d’or » de l’UEFA récompense le plus souvent des attaquants. Ce prix repose sur ce qu’on appelle parfois une « fiction utile » : on fait comme si l’apport de tous les autres n’était pas si déterminant, et on concentre toute la grandeur sur le vecteur final de la victoire, afin de pouvoir distinguer et célébrer certains joueurs (et fournir au Mercato une échelle de prix).

    On retrouve en science un phénomène analogue : qui exactement a découvert la structure de l’ADN ? Crick et Watson, qui eurent le Nobel ? Rosalind Franklin qui a révélé les premières contraintes auxquelles devait se soumettre tout modèle de l’ADN, mais décéda 4 ans avant ce Nobel sans avoir pu cosigner les articles phares (possiblement écartée de la signature parce que c’était une femme) ? Que dire même des premiers chercheurs qui conçurent des modèles de la molécule, comme Linus Pauling (certes deux fois Nobel pour d’autre travaux) ? Comme le ballon d’or, le Nobel efface la contribution causale des autres acteurs.

    De tels dispositifs résolvent ainsi la question du crédit intellectuel, qui pourrait se formuler de la sorte : « à qui doit-on une idée ? » Mais ils la résolvent en la dissolvant, de la même manière que le ballon d’or dissout les innombrables contributions qui sous-tendent les centaines de buts de Messi. Pour la science, « l’excellence », mesurée au h-index ou un autre de ses substituts, récompensée par des dispositifs qui vont de la subvention post-doctorale au prix Nobel (peut-être moins sensible, justement, à l’excellence du h-index, mais représentant pour le présent propos un bon exemple didactique), est donc exactement le même type de fiction utile : le « publiant » apparaît seul auteur d’une masse de contributions à la science, comme Lionel Messi semble, lorsqu’il reçoit sa récompense, avoir porté tout seul des centaines de fois un ballon dans les filets adverses.

    Par ailleurs, si pour publier beaucoup, il est plus facile de viser des thématiques en vogue, comme l’indiquait déjà Szilard, alors il y aura sur-inflation de publications sur ces questions et pénurie sur le reste, ces voies intéressantes mais dans lesquelles on se risquera peu. Pour le dire à la manière des écologues, le système de l’excellence donne une prime à l’exploitation (creuser toujours le même filon, on est sûr d’avoir un certain rendement, même si il diminue) au détriment de l’exploration (aller voir d’autres sillons au risque de ne rien trouver). L’exploration induit une perte de temps (se familiariser avec de nouveaux sujets, etc.), laquelle se paye en nombre de publications et ainsi diminue les chances de remporter la compétition.

    #Science #Evaluation #Recherche_scientifique #Revues_scientifiques #Publications_scientifiques #H-index

  • Can research quality be measured quantitatively?

    In this article I reflect on ways in which the neoliberal university and its administrative counterpart, #new_public_management (NPM), affect academic publishing activity. One characteristic feature of NPM is the urge to use simple numerical indicators of research output as a tool to allocate funding and, in practice if not in theory, as a means of assessing research quality. This ranges from the use of journal impact factors (IF) and ranking of journals to publication points to determine what types of work in publishing is counted as meritorious for funding allocation. I argue that it is a fallacy to attempt to assess quality of scholarship through quantitative measures of publication output. I base my arguments on my experiences of editing a Norwegian geographical journal over a period of 16 years, along with my experiences as a scholar working for many years within the Norwegian university system.

    https://fennia.journal.fi/forthcoming/article/66602/27160
    https://fennia.journal.fi/forthcoming/view/index
    #qualité #recherche #quantitativisme #université #édition_scientifique #publications_scientifiques #indicateurs #indicateurs_numériques #impact_factor #impact-factor #ranking

    • How global university rankings are changing higher education

      EARLIER this month Peking University played host to perhaps the grandest global gathering ever of the higher-education business. Senior figures from the world’s most famous universities—Harvard and Yale, Oxford and Cambridge among them—enjoyed or endured a two-hour opening ceremony followed by a packed programme of mandatory cultural events interspersed with speeches lauding “Xi Jinping thought”. The party was thrown to celebrate Peking University’s 120th birthday—and, less explicitly, China’s success in a race that started 20 years ago.

      In May 1998 Jiang Zemin, China’s president at the time, announced Project 985, named for the year and the month. Its purpose was to create world-class universities. Nian Cai Liu, a professor of polymeric materials science and engineering at Shanghai Jiao Tong University, got swept up in this initiative. “I asked myself many questions, including: what is the definition of and criteria for a world-class university? What are the positions of top Chinese universities?” Once he started benchmarking them against foreign ones, he found that “governments, universities and stakeholders from all around the world” were interested. So, in 2003, he produced the first ranking of 500 leading global institutions. Nobody, least of all the modest Professor Liu, expected the Shanghai rankings to be so popular. “Indeed, it was a real surprise.”

      People are suckers for league tables, be they of wealth, beauty, fame—or institutions of higher education. University rankings do not just feed humanity’s competitive urges. They are also an important source of consumer intelligence about a good on which people spend huge amounts of time and money, and about which precious little other information is available. Hence the existence of national league tables, such as US News & World Report’s ranking of American universities. But the creation of global league tables—there are now around 20, with Shanghai, the Times Higher Education (THE) and QS the most important—took the competition to a new level. It set not just universities, but governments, against each other.

      When the Shanghai rankings were first published, the “knowledge economy” was emerging into the global consciousness. Governments realised that great universities were no longer just sources of cultural pride and finishing schools for the children of the well-off, but the engines of future prosperity—generators of human capital, of ideas and of innovative companies.

      The rankings focused the minds of governments, particularly in countries that did badly. Every government needed a few higher-educational stars; any government that failed to create them had failed its people and lost an important global race. Europe’s poor performance was particularly galling for Germany, home of the modern research university. The government responded swiftly, announcing in 2005 an Exzellenzinitiative to channel money to institutions that might become world-class universities, and has so far spent over €4.6bn ($5.5bn) on it.

      Propelled by a combination of national pride and economic pragmatism, the idea spread swiftly that this was a global competition in which all self-respecting countries should take part. Thirty-one rich and middle-income countries have announced an excellence initiative of some sort. India, where world rankings were once regarded with post-colonial disdain, is the latest to join the race: in 2016 the finance minister announced that 20 institutions would aim to become world-class universities. The most generously funded initiatives are in France, China, Singapore, South Korea and Taiwan. The most unrealistic targets are Nigeria’s, to get at least two universities in the world’s top 200, and Russia’s, to get five in the world’s top 100, both by 2020.

      The competition to rise up the rankings has had several effects. Below the very highest rankings, still dominated by America and western Europe—America has three of the THE’s top five slots and Britain two this year—the balance of power is shifting (see chart). The rise of China is the most obvious manifestation. It has 45 universities in the Shanghai top 500 and is now the only country other than Britain or America to have two universities in the THE’s top 30. Japan is doing poorly: its highest-ranked institution, the University of Tokyo, comes in at 48 in the THE’s table. Elsewhere, Latin America and eastern Europe have lagged behind.

      The rankings race has also increased the emphasis on research. Highly cited papers provide an easily available measure of success, and, lacking any other reliable metric, that is what the league tables are based on. None of the rankings includes teaching quality, which is hard to measure and compare. Shanghai’s is purely about research; THE and QS incorporate other measures, such as “reputation”. But since the league tables themselves are one of its main determinants, reputation is not an obviously independent variable.

      Hard times

      The research boom is excellent news for humanity, which will eventually reap the benefits, and for scientific researchers. But the social sciences and humanities are not faring so well. They tend to be at a disadvantage in rankings because there are fewer soft-science or humanities journals, so hard-science papers get more citations. Shanghai makes no allowance for that, and Professor Liu admits that his ranking tends to reinforce the dominance of hard science. Phil Baty, who edits the THE’s rankings, says they do take the hard sciences’ higher citation rates into account, scoring papers by the standards of the relevant discipline.

      The hard sciences have benefited from the bounty flowing from the “excellence initiatives”. According to a study of these programmes by Jamil Salmi, author of “The Challenge of Establishing World-Class Universities”, all the programmes except Taiwan’s focused on research rather than teaching, and most of them favoured STEM subjects (science, technology, engineering and mathematics). This is no doubt one of the reasons why the numbers of scientific papers produced globally nearly doubled between 2003 and 2016.

      The rankings may be contributing to a deterioration in teaching. The quality of the research academics produce has little bearing on the quality of their teaching. Indeed, academics who are passionate about their research may be less inclined to spend their energies on students, and so there may be an inverse relationship. Since students suffer when teaching quality declines, they might be expected to push back against this. But Ellen Hazelkorn, author of “Rankings and the Reshaping of Higher Education”, argues that students “are buying prestige in the labour market”. This means “they want to go to the highest-status university possible”—and the league tables are the only available measure of status. So students, too, in effect encourage universities to spend their money on research rather than teaching.

      The result, says Simon Marginson, Oxford University’s incoming professor of higher education, is “the distribution of teaching further down the academic hierarchy”, which fosters the growth of an “academic precariat”. These PhD students and non-tenured academics do the teaching that the star professors, hired for their research abilities, shun as a chore. The British government is trying to press universities to improve teaching, by creating a “teaching-excellence framework”; but the rating is made up of a student-satisfaction survey, dropout rates and alumni earnings—interesting, but not really a measure of teaching quality. Nevertheless, says Professor Marginson, “everybody recognises this as a problem, and everybody is watching what Britain is doing.”

      A third concern is that competition for rankings encourages stratification within university systems, which in turn exacerbates social inequality. “Excellence initiatives” funnel money to top universities, whose students, even if admission is highly competitive, tend to be the children of the well-off. “Those at the top get more government resources and those at the bottom get least,” points out Ms Hazelkorn. That’s true even in Britain, which, despite not having an excellence initiative, favours top universities through the allocation of research money. According to a study of over 120 universities by Alison Wolf of King’s College London and Andrew Jenkins of University College London, the Russell Group, a self-selected elite of 24 universities, get nearly half of the funding for the entire sector, and increased their share from 44.7% in 2001-02 to 49.1% in 2013-14.

      The rankings race draws other complaints. Some universities have hired “rankings managers”, which critics argue is not a good use of resources. Saudi Arabian universities have been accused of giving highly cited academics lucrative part-time contracts and requiring them to use their Saudi affiliation when publishing.

      Intellectual citizens of nowhere

      Notwithstanding its downsides, the rankings race has encouraged a benign trend with far-reaching implications: internationalisation. The top level of academia, particularly in the sciences, is perhaps the world’s most international community, as Professor Marginson’s work shows. Whereas around 4% of first-degree students in the OECD study abroad, a quarter of PhD students do. Research is getting more global: 22% of science and engineering papers were internationally co-authored in 2016, up from 16% in 2003. The rankings, which give marks for international co-authorship, encourage this trend. That is one reason why Japan, whose universities are as insular as its culture, lags. As research grows—in 2000-14 the annual number of PhDs awarded rose by half in America, doubled in Britain and quintupled in China—so does the size and importance of this multinational network.

      Researchers work together across borders on borderless problems—from climate change to artificial intelligence. They gather at conferences, spend time in each other’s universities and spread knowledge and scholarship across the world. Forced to publish in English, they share at least one language. They befriend each other, marry each other and support each other, politically as well as intellectually. Last year, for instance, when Cambridge University Press blocked online access to hundreds of articles on sensitive subjects, including the Tiananmen Square massacre, at the request of the Chinese government, it faced international protests, and an American academic launched a petition which was signed by over 1,500 academics around the world. CUP backed down.

      The rankings race is thus marked by a happy irony. Driven in part by nationalistic urges, it has fostered the growth of a community that knows no borders. Critics are right that governments and universities obsess too much about rankings. Yet the world benefits from the growth of this productive, international body of scholars.


      https://www.economist.com/international/2018/05/19/how-global-university-rankings-are-changing-higher-education?frsc=dg%7Ce

      #Chine #classement_de_Shanghai #compétition #classement #ranking #QS #Times_Higher_Education #THE #excellence #Exzellenzinitiative #Allemagne #Inde #France #Singapour #Taïwan #Corée_du_Sud #Nigeria #Russie #USA #Etats-Unis #Angleterre #UK #recherche #publications #publications_scientifiques #enseignement #réputation #sciences_sociales #sciences_dures #précarité #précarisation #travail #inégalités #anglais #langue #internationalisation #globalisation #mondialisation

      La fin est très en phase avec le journal qui a publié cet article, hélas :

      Critics are right that governments and universities obsess too much about rankings. Yet the world benefits from the growth of this productive, international body of scholars.

      La première version de cet article a été apparemment corrigée :

      Correction (May 22nd, 2018): An earlier version of this piece suggested that non-English data and books are not included in the rankings. This is incorrect. The article has been amended to remove that assertion.

      –-> mais en fait, en réalité, il n’aurait pas dû l’être. Pour avoir expérimenté moi-même une fois le #H-index sur ma liste de publications, je peux vous dire qu’aucun article en d’autres langues que l’anglais avait été retenu dans l’index. Et même pas tous les articles en anglais que j’ai publiés...

  • « #Publish_or_perish », quand la science met les chercheurs sous pression

    Les journaux scientifiques et leur système de #publications influencent lourdement la #recherche. Les chercheurs sont incités à produire, pas à avoir raison. Premier volet de notre série consacrée aux cinq plaies de la recherche

    https://www.letemps.ch/sciences/2017/09/19/publish-or-perish-science-met-chercheurs-pression
    #édition_scientifique #science #université #publications_scientifique

    cc @reka