« Je ne suis pas complotiste, mais… » : à propos de l’affaire Raoult – Allodoxia
►http://allodoxia.odilefillod.fr/2020/04/26/je-ne-suis-pas-complotiste-mais-a-propos-de-laffaire-raoult
Ce très long article est passionnant, pas seulement pour son sujet principal (la chloroquine et Raoult), mais pour tout ce qu’il présente comme étant la déontologie scientifique, les règles présidant aux publications scientifiques, le type de "preuves" que l’on peut espérer d’expérimentations, la durée de la création d’un consensus scientifique... Bref, une véritable leçon de chose sur le fonctionnement de la science et la capacité des charlatans (Raoult est loin, très loin d’être le seul) à manipuler le modèle scientifique pour faire avaliser des idées ou des carrières.
Merci à @rastapopoulos de l’avoir repéré.
Selon les normes de communication scientifique en vigueur, ce dernier point doit être rapporté comme une absence de différence entre les groupes, mais dans l’article publié dans Paris Match il est devenu la conclusion que l’hydroxychloroquine a « un effet puissant pour empêcher que l’infection passe d’une forme bénigne à une forme sévère » (idée reprise en gras et gros en intertitre), suivie de l’affirmation qu’« agir tôt avec ce produit est un moyen de réduire l’hécatombe et de désencombrer les unités de soins intensifs », mythe savant désormais répandu.
Le fait de rapporter autre chose que ce qui était prévu (appelé outcome switching) est une modalité classique de ce qu’on appelle le p-hacking. Le p-hacking consiste, lorsqu’on n’a pas trouvé le résultat positif confirmant l’hypothèse testée (i.e l’effet attendu statistiquement significatif à la valeur p inférieure à un seuil conventionnel), à triturer les données disponibles en faisant des analyses post hoc (i.e. non prévues au lancement de l’étude, décidées après coup au vu des observations recueillies) jusqu’à finalement avoir de quoi étayer ce qu’on cherchait à prouver, ou tout simplement jusqu’à trouver quelque-chose qui sera susceptible d’intéresser une revue scientifique (elles ont un biais de publication en défaveur des résultats négatifs, c’est-à-dire soutenant l’hypothèse nulle, qui est ici l’absence de différence entre les deux groupes).
Ce type de pratiques malheureusement assez courantes mine la qualité de la littérature en sciences biomédicales. Cela augmente en effet beaucoup le risque que les résultats rapportés ne soient que le fruit du hasard, c’est-à-dire dans le cas présent qu’ils ne soient pas représentatifs d’une efficacité réelle du traitement. Ce risque est ici en outre accru par le fait que deux des critères de jugement utilisés sont subjectifs et que l’insu est douteux. C’est principalement pour les raisons que je viens d’exposer qu’à juste titre, l’équipe de l’Université de Lyon qui suit l’actualité des essais enregistrés et publiés sur le Covid-19 a considéré que cette étude ne faisait que suggérer un apport possible de l’hydroxychloroquine et l’a classée à haut risque de biais.
Des analyses post hoc ont été faites pour tenter de voir si un effet de l’hydroxychloroquine était néanmoins observable dans certains sous-groupes de patients : âge inférieur à 45 ans ou non, IMC inférieur à 24 ou non, présence ou non de comorbidités, symptômes apparus depuis moins de 7 jours ou non, niveau normal ou non de CRP (une protéine synthétisée par le foie en cas d’inflammation) à l’inclusion, nombre de lymphocytes normal ou non à l’inclusion, et administration ou non d’autres agents antiviraux. Aucune différence statistiquement significative n’a été trouvée entre patients traités et témoins dans chacun de ces 14 sous-groupes.
Les auteurs ont fait tout ce qu’ils pouvaient pour arriver à trouver quand même quelque-chose : l’article rapporte les résultats de l’analyse de trois autres critères de jugement (non pré-enregistrés). Pour le premier, à savoir la disparition des symptômes cliniques, ni leur taux de disparition dans les 28 jours, ni leur délai médian de disparition n’a montré de différence statistiquement significative. Seule une différence de rapidité de leur disparition pendant la deuxième semaine a été observée, tout juste statistiquement significative (et entièrement attribuable au sous-groupe des 14 + 14 patients n’ayant pas reçu d’autre agent antiviral). Aucun effet statistique significatif de l’hydroxychloroquine n’a été trouvé dans les 13 autres sous-groupes. Pour les deux autres critères, à savoir la modification du niveau de CRP et celle du nombre de lymphocytes, un retour un peu plus rapide à la normale a été observé dans le groupe traité, mais à l’issue des 28 jours d’observation le taux de retour à la normale ne différait pas de manière statistiquement significative entre les deux groupes, seule l’ampleur de la réduction de la CRP différant, ici encore de justesse (p = 0.045). C’est vraiment très maigre, sans compter qu’une correction pour comparaisons multiples aurait dû être faite qui rendrait probablement ce(s) résultat(s) statistiquement non significatif(s).
La lecture du paragraphe concernant l’analyse de la sécurité du traitement réserve une surprise : on y découvre que six patients considérés comme appartenant au groupe traité n’ont en réalité pas reçu d’hydroxychloroquine (et ont donc été considérés comme non traités, mais seulement pour cette analyse de sécurité), et qu’un patient considéré comme témoin a en fait reçu par erreur 14 jours d’hydroxychloroquine (considéré ici seulement comme traité). Tout le reste de l’article est donc en fait une analyse en intention de traiter. Quoi qu’il en soit, une différence nettement significative a été observée sur ce plan : 30 % des patients traités à l’hydroxychloroquine ont eu des effets indésirables contre 9 % des non traités. Par ailleurs, aucun des patients non traités n’a vu son état s’altérer sérieusement, alors que deux traités ont eu des « effets indésirables graves dus à la progression de la maladie et à l’infection des voies respiratoires supérieures ».
Bien que mettant en avant le petit résultat positif concernant la CRP, les auteurs reconnaissent que cet essai n’est pas encourageant, et en particulier n’indique pas d’effet antiviral de l’hydroxychloroquine contrairement aux attentes. Discutant longuement leurs résultats, ils signalent que l’étude de l’IHU Méditerranée publiée en mars doit être interprétée avec précaution du fait de la petite taille de son échantillon et de l’absence de randomisation. « Contrastant avec ses excellents résultats », écrivent-ils, « nos résultats n’apportent pas de soutien à l’utilisation de l’hydroxychloroquine pour lutter contre la réplication du virus ».
En fait, il apparaît qu’Ella Roche et Laurent Mucchielli, qui a publié son texte sans tiquer sur ses erreurs factuelles grossières, ont écrit sur « la polémique Raoult » sans avoir examiné par eux-mêmes ce qui était à son principe : ni les déclarations délirantes de Didier Raoult du 25 février entre autres, ni les fondements supposés de celles-ci, ni l’étude sur la base de laquelle Didier Raoult a prétendu que son traitement, dont Laurent Mucchielli a réclamé à hauts cris la libéralisation, était efficace. Or l’examen de ces faits permet de comprendre ce qui a motivé les nombreuses prises de paroles très critiques, et pourquoi celles-ci ne relevaient ni de « querelles d’experts », ni d’une vaine « polémique ».
Rien que dans ses grandes lignes, la méthodologie de cette étude fait que ses résultats sont qualifiables d’anecdotiques : avec un échantillon de patients traités de petite taille et non représentatif de la population cible, avec une absence de randomisation, de placebo et de double-insu et une incomparabilité des groupes traités et témoin telle que ce dernier ne sert en fait à rien (l’abstract de l’article lui-même parle d’ailleurs de « single arm protocol »), et enfin avec un critère de jugement de l’efficacité limité à l’absence du virus dans un prélèvement nasopharyngé à J6 (soit en moyenne dix jours et demi après l’apparition des symptômes chez les patients traités avec hydroxychloroquine + azithromycine), difficile a priori d’en tirer des conclusions sachant qu’une clairance virale spontanée est observée dans ce délai et ce lieu de prélèvement chez de nombreuses personnes, d’autant que les patients sont ici particulièrement jeunes (plus que prévu[17]).
D’autres détails font qu’il est compréhensible que l’article de l’IHU Méditerranée ait été éreinté : de la chercheuse (de la CGT-campus 06) interviewée par La Marseillaise (journal local et de gauche) qui a trouvé ce travail indigne d’un étudiant de Master, « extravagant à ce niveau », à la directrice adjointe de l’Institut Pierre Louis d’Epidémiologie et de Santé Publique à qui le conseil scientifique du gouvernement a demandé d’analyser cet article, qui a conclu le 25 mars que cette étude « conduite, décrite et analysée de façon non rigoureuse » n’apportait « juste aucune information du tout sur un éventuel effet de l’hydroxychloroquine », en passant par d’innombrables spécialistes qui en France et à l’étranger l’ont commentée sévèrement[18], toutes les personnes compétentes qui se sont penchées dessus ont trouvé que c’était ce qu’on peut appeler une « petite étude pourrie », pour le dire crument comme je l’ai fait le 22 mars.
Fait rarissime, même la société savante qui possède la revue dans laquelle l’article a été publiée s’est fendue le 3 avril d’un communiqué dans lequel elle a déclaré estimer qu’il n’avait pas le niveau attendu. Il a certes été soumis à relecture par des pairs avant publication, mais il est difficile à croire qu’il aurait été publié en l’état si trois de ses co-signataires, employés de Didier Raoult, n’étaient pas pour l’un le rédacteur en chef de la revue (Jean-Marc Rolain) et pour les autres des membres de son comité éditorial (Philippe Colson et Jean-Christophe Lagier).
Il n’est pas scandaleux en soi ni extraordinaire que l’équipe dirigée par Didier Raoult ait produit une étude très mal fichue et ait réussi à la publier dans une revue scientifique : c’est juste désolant, et cela arrive malheureusement tous les jours en sciences biomédicales. C’est autre chose qui a fait sortir de leurs gonds un certain nombre de personnes dont je fais partie.
Inconduite scientifique et autres mauvaises pratiques de recherche
Tout d’abord, l’examen des vidéos et autres publications de l’IHU Méditerranée met en évidence le fait que l’équipe dirigée par Didier Raoult s’est livrée à des pratiques dont plusieurs relèvent de l’inconduite scientifique. Certaines sont qualifiables de « fraude scientifique » selon les termes du Vade-mecum intégrité scientifique du Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur, qui inclut sous cette rubrique l’exclusion sélective de données et l’interprétation frauduleuse de données. D’autres relèvent des « pratiques douteuses de recherche », incluant selon ce vade-mecum notamment « l’embellissement » des données, la segmentation de publications (« salami slicing »), la sélection biaisée de citations et la rétention de données vis à vis de la communauté scientifique. D’autres encore relèvent des « pratiques de recherche inappropriées », en l’occurrence la violation des protocoles liés à l’expérimentation humaine.
Leur action antivirale est en effet souvent constatée in vitro, mais les études pré-cliniques ou essais cliniques se sont toujours traduits par des échecs : que ce soit pour le sida, la dengue, ebola, le chincungunya, la grippe ou un précédent SRAS causé par un coronavirus, on n’a jamais obtenu de résultats permettant d’inclure l’une ou l’autre de ces molécules dans les protocoles de traitement de ces infections virales (sans doute parce qu’il est impossible d’obtenir in vivo la dose efficace sans intoxiquer gravement les gens). C’est à cela que faisait référence le directeur général de l’AP-HP le 1er mars sur Europe 1 lorsqu’il disait que ça n’avait jamais marché in vivo, propos qu’Ella Roche a jugé « surréaliste ». Elle semble avoir cru sur parole un certain anthropologue de la santé suisse dont Laurent Mucchielli a recommandé la lecture – qui a visiblement joué un grand rôle dans la propagation de la théorie du complot pro-(hydroxy)chloroquine dans les couches plutôt éduquées de la population mais ignorantes des sciences biomédicales –, qui a affirmé que la chloroquine avait « démontré une puissante efficacité thérapeutique contre la plupart des coronavirus, dont le redouté SRAS de sinistre mémoire »[20].
L’article comporte une phrase destinée à se débarrasser des questions gênantes concernant ce grossier outcome switching : « Le suivi clinique et l’apparition des effets secondaires seront décrits dans un autre article à la fin de l’essai ». Compte tenu du fait que les résultats de l’essai en cours ne justifiaient objectivement pas de publier précipitamment les données parcellaires rapportées dans cet article, cela relèverait pour moi de la pratique scientifique douteuse appelée salami slicing : on publie plusieurs articles sur la base d’une seule étude en tenant compte de données différentes dans chacun, ce qui permet de gonfler artificiellement le rendement de l’équipe évalué en nombre de publications et sert également à l’occasion de technique d’embellissement des données.
Quoi qu’il en soit, force est de constater que 40 jours après avoir soumis cet article pour publication, l’équipe de Didier Raoult a eu le temps d’en publier plusieurs autres, mais toujours pas ce suivi des vingt patients sur lesquels est basée sa conclusion que l’hydroxychloroquine fait mieux que la prise en charge standard. A ce stade, c’est qualifiable de rétention de données vis à vis de la communauté scientifique.
Communication trompeuse scandaleuse
Alors que les auteurs de l’étude chinoise sur l’hydroxychloroquine publiée le 6 mars ont à juste titre qualifié leurs résultats (pourtant plus robustes) de préliminaires, et sont comme il se doit restés discrets, Didier Raoult a considéré qu’il avait trouvé le traitement et l’a fait savoir à un public le plus large possible. Le titre et la conclusion de l’article étaient déjà osés, mais l’absence de modération avec laquelle Didier Raoult a assuré la diffusion de cette conclusion au grand public, après avoir déjà franchi la ligne rouge le 25 février au sujet de la chloroquine comme on l’a vu plus haut, est carrément scandaleuse.
Il n’a reculé devant aucune manipulation pour emberlificoter le public : jamais de mention que les résultats miraculeux de la bithérapie ne concernaient que six patients ; exagération des résultats, comme par exemple dans une interview publiée le 17 mars dans Les Echos où il prétend qu’associée à l’azithromycine, l’hydroxychloroquine a « totalement guéri les sujets dans la semaine » (alors qu’il ne s’agit que de clairance virale à J6 et non de guérison, qu’un des sujets est redevenu positif à J8 et qu’on savait déjà que le virus pouvait disparaître du prélèvement nasopharyngé mais rester présent ailleurs) ; discrédit jeté en bloc sur les personnes soulignant les défauts de l’essai, la fragilité de ses conclusions ou les dangers du traitement recommandé[21] ; instrumentalisation d’informations concernant la chloroquine ou l’hydroxychloroquine présentées de manière ambiguë (comme dans ses tweets du 25 mars et du 2 avril laissant croire à tort que l’une ou l’autre de ces molécules, présentées comme équivalentes, était devenue le traitement de référence en Chine[22], Corée du Sud, Italie, Belgique, etc) ; décomptes trompeurs affichés sur une page ad hoc du site de l’IHU laissant croire au succès incomparable de son traitement (alors qu’il est administré principalement à des personnes peu affectées par le virus) ; mensonges éhontés au besoin…
Après avoir déclaré le 17 mars dans Les Echos : « Il y a une urgence sanitaire et on sait guérir la maladie avec un médicament qu’on connaît parfaitement. Il faut savoir où on place les priorités. », voici par exemple ce qu’il a osé expliquer doctement dans une vidéo le 7 avril, en réponse à une question sur la « polémique » engendrée par sa proposition de traitement (ici habilement jamais décrit), se fichant du monde en faisant mine de ne pas comprendre ce qui lui était reproché :
« On connaît la sensibilité du virus à un certain nombre de produits quand on les teste. Dans ces produits il y a […] des molécules anciennes qu’on connait très bien, qui ont été prescrites des milliards de fois. Si vous voulez, les gens qui sont les sachants, c’est-à-dire en pratique les Chinois, puis les Coréens, qui ont eu la première vague, ont traité ça en utilisant ce produit que tout le monde connaît très bien, et ils disent, écoutez, ça marche. Comme preuve, ils contrôlent entièrement la maladie : depuis que moi j’ai dit ‘fin de partie’, effectivement c’est la fin de partie en Chine. C’est fini. Ils ont arrêté la maladie avec des mesures qui sont : détection, un peu de contention dans les zones à risque, et pas l’ensemble de la Chine, et puis traitement. » (souligné par moi)
Avec des propos de ce genre, il n’est pas étonnant que des millions de Français ayant pris au sérieux les balivernes du prétendu grand scientifique en soient arrivés à penser qu’il était scandaleux, et inexplicable autrement que par un complot, que le gouvernement français empêche l’administration de ce traitement à l’efficacité prouvée et déjà adopté par de nombreux pays.
L’équipe de Didier Raoult a pourtant administré ce traitement à plus de trois mille personnes à ce jour, selon le compteur déjà cité, et ce en dehors de tout essai clinique (hormis pour les 26 patients dont l’observation a donné lieu à la publication du 20 mars), dont au minimum 1008 ne présentant que des symptômes légers, voire aucun symptôme (95 % des patients inclus dans une étude prépubliée en avril). Outre que nombre de ces patients ont été traités après le 26 mars, on peut se demander s’il n’y a pas là encore une violation du Code de la santé publique, en l’occurrence de ses articles disposant que les médecins doivent limiter leurs prescriptions à ce qui est nécessaire et s’interdire de faire courir aux patients un risque injustifié (articles R.4127-8 et R.4127-40).
Signalons aussi que le fait d’avoir mené des recherches biomédicales sur les personnes en ne respectant pas les conditions prévues par la loi et en n’assurant pas de l’objectivité de leurs conclusions est également visé par un article du Code de la santé publique (R.4127-15).
Bref.
Quelles suites ?
Au vu de tout cela, j’ose espérer que les personnes qui m’ont accusée comme d’autres d’être dans la haine ou l’acharnement injustifié contre Didier Raoult comprendront pourquoi je me suis permis d’écrire « ce con » en parlant de lui. Et ce n’est qu’une partie de l’histoire, qui s’est notamment prolongée sous la forme de ce qui ressemble fort à un essai clinique sauvage, ce qu’une enquête de l’ANSM devrait à mon sens établir – en effet, la ligne de défense de Didier Raoult ne tient pas ne serait-ce que parce que comme on l’a vu, il disait encore le 17 mars qu’il avait l’intention de demander une autorisation pour tester la combinaison hydroxychloroquine/azithromycine.
Car si le coup de poker de ce mandarin autoritaire et bouffi de confiance en soi[24] s’avérait être gagnant – ce que rien n’indique à ce jour –, se serait à mes yeux désastreux : les millions d’adeptes de la théorie du complot y verront la confirmation de celle-ci, toutes les personnes ayant critiqué Didier Raoult ou ses études seront discréditées, ce sera un encouragement à retourner à la bonne vieille eminence-based medicine d’antan et pire encore, au développement d’un véritable populisme médical, pour reprendre les mots de deux médecins indignés par les agissements de Didier Raoult et ayant été confrontés à leurs effets délétères concrets au sein des équipes en charge des patients Covid-19, et de manière plus générale la défiance vis-à-vis des institutions montera encore d’un cran, avec des conséquences qui pourraient à terme largement dépasser celles de cette maladie.
J’espère bien qu’au contraire, cette histoire servira de leçon, et pas qu’à Didier Raoult.
Odile Fillod
#Publications_scientifiques #Chloroquine #Didier_Raoult #Complotisme #Déontologie_scientifique