#p-value

Oui, bon, je sais pas si on peut vraiment « croire » à l’étude. Si l’impact Factor du journal (Cell Metabolism) est élevé (environ 20), la taille du groupe sur laquelle l’étude a été effectuée est vraiment faible (20).
Au passage une bonne vulgarisation sur le sujet : ▻https://www.youtube.com/watch?v=NkdczX1Sq-U

#selon_un_sujet_YouTube_récent (30/04/19 :-)
#merci, très bonne présentation autour, entres autres de la #significativité, le #statistiquement_significatif, la #probabilité_associée (sous-entendu, comme pour l’original anglo-saxon la #p-value, au rejet à tort de l’hypothèse nulle…) terme qu’essaie de promouvoir un petit groupe de statisticiens francophones.

Et aussi, bien sûr, #selon_une_étude_récente (le tag en usage ici)

Highly Processed Food Intake Leads to Overeating and Weight Gain
▻https://www.medscape.com/viewarticle/913234

https://img.medscape.com/thumbnail_library/am_190520_frozen_pizza_processed_foods_supermarket_800x450.jpg

“Though we examined a small group, results from this tightly controlled experiment showed a clear and consistent difference between the two diets,” said Hall in a press release from NIH, adding that, “this is the first study to demonstrate causality — that ultra-processed foods cause people to eat too many calories and gain weight.”

 :-P

We are not calling for a ban on P values. Nor are we saying they cannot be used as a decision criterion in certain specialized applications (such as determining whether a manufacturing process meets some quality-control standard). And we are also not advocating for an anything-goes situation, in which weak evidence suddenly becomes credible. Rather, and in line with many others over the decades, we are calling for a stop to the use of P values in the conventional, dichotomous way — to decide whether a result refutes or supports a scientific hypothesis.

#p-value
en français on essaye de promouvoir
#probabilité_associée ( sous-entendu , au rejet de l’hypothèse nulle)

résumé de l’article (qui est payant) de The American Statistician

Why are p-Values Controversial?: The American Statistician: Vol 73, No 1
▻https://www.tandfonline.com/doi/abs/10.1080/00031305.2016.1277161

https://www.tandfonline.com/doi/cover-img/10.1080/00031305.2016.1277161#.jpg

ABSTRACT
While it is often argued that a p-value is a probability; see Wasserstein and Lazar, we argue that a p-value is not defined as a probability. A p-value is a bijection of the sufficient statistic for a given test which maps to the same scale as the Type I error probability. As such, the use of p-values in a test should be no more a source of controversy than the use of a sufficient statistic. It is demonstrated that there is, in fact, no ambiguity about what a p-value is, contrary to what has been claimed in recent public debates in the applied statistics community. We give a simple example to illustrate that rejecting the use of p-values in testing for a normal mean parameter is conceptually no different from rejecting the use of a sample mean. The p-value is innocent; the problem arises from its misuse and misinterpretation. The way that p-values have been informally defined and interpreted appears to have led to tremendous confusion and controversy regarding their place in statistical analysis.

Le supplément de ce même numéro contient plus de 40 contributions sur le sujet, toutes en accès libre…
(nécessitera un certain temps de lecture, statistiquement, il devrait y avoir du bon dans le lot…)

▻https://www.tandfonline.com/toc/utas20/73/sup1

Ce que j’aime bien dans l’article de Nature, c’est que plus que se débarrasser d’un outil mal-adapté et fétichisé, c’est surtout un appel à la nuance et à la mise en contexte.

Mais le véritable pouvoir de changement se trouve surtout du côté des éditeurs et des relecteurs ; si les scientifiques doivent danser la gigue de la p-valeur, c’est parce que le système de publication les y oblige, pas parce qu’ils y sont spécialement attachés.
Il n’y a qu’à voir l’édito dans le même numéro de Nature pour voir que c’est pas gagné :

There are reasonable viewpoints on all sides; Nature is not seeking to change how it considers statistical analysis in evaluation of papers at this time, but we encourage readers to share their views.

▻https://www.nature.com/articles/d41586-019-00874-8

–-

A p-value is a bijection of the sufficient statistic for a given test which maps to the same scale as the Type I error probability.

Ah ben dit comme ça, c’est tout de suite plus clair ! :)

#statistiques

L’article original :
Science Isn’t Broken | FiveThirtyEight

It’s just a hell of a lot harder than we give it credit for.

#p-value (entre autres)

Tiens,
@freakonometrics parle de p-value ici :
Test, valeur critique et p-value
▻http://freakonometrics.hypotheses.org/2462

#P-hacking is especially likely, says [psychologist Uri Simonsohn of the University of Pennsylvania], in today’s environment of studies that chase small effects hidden in noisy data

#gnark-gnark…

Sur le fond, après avoir pesté de nombreuses années contre les utilisations délirantes de la #p-value , j’ai fini par comprendre pourquoi , finalement, il est quasi-impossible de s’en passer. À la lecture de ce papier, il me semble que mon approche actuelle doit être plus ou moins celle de Fisher. L’approche Neyman-Pearson permet, certes, de répondre à une question, mais à une question que l’on ne se pose pas vraiment dans la vraie vie …

L’intérêt de la p-value est de fournir un indicateur universel, étalonné (entre 0 et 1) pour répondre à une problématique très générale.
• on dispose d’observations (obtenues n’importe comment…) et on souhaite les comparer à une situation de référence (typiquement, comparer une distribution à une loi de probabilités ou l’écart à l’indépendance d’un tableau de contigence — je prends les cas d’utilisation du χ ^2 vus habituellement dans tous les cours de base)
• on sait facilement calculer une distance entre ces deux situations
• problème, cette distance n’est pas « étalonnée » et son interprétation dépend de diverses choses : la taille de l’échantillon et des degrés de liberté par exemple
• c’est là que sort du chapeau la p-value qui mouline la distance (la statistique de test) sous la loi qui va bien avec le type de comparaison (et qu’on sort de son manuel de proba)

Miracle ! on a un indicateur unique qui permet de comparer divers traitements (comparaisons différentes, tailles différentes, nombre de paramètres différentes). Du coup, un moyen de faire le tri, vite fait, dans ce qu’il faut creuser ou pas.

Les ennuis commencent quand on prend au sérieux ce calcul… Déjà, qui dit loi de probabilités postule un certain formalisme et quelques hypothèses dont, souvent, les plus élémentaires sont ouvertement fausses. Notamment, l’échantillon aléatoire : qu’est-ce qui empêche de calculer des p-value sur des tableaux de comptage issus de l’analyse du corpus lexical des 3 derniers locuteurs du bororo ? Rien ! Quelle signification a la question à laquelle on répond dans l’approche NP ? Aucune ! (C’est quoi l’hypothèse nulle ? c’est quoi l’hypothèse alternative ?)

À mon avis, une partie de l’explication de l’hypertrophie de la p-value vient du rôle crucial qu’elle joue dans l’industrie pharmaceutique, où l’approche Neyman-Pearson permet de répondre formellement à la question ma molécule est-elle plus efficace que le placebo/la molécule existante ? qui est au centre de la phase III des essais.

Au passage, l’importance de cette question et donc de la façon de réaliser les calculs qui permettent d’y répondre a justifié, il y a longtemps, la labellisation des logiciels statistiques par la FDA pour les essais cliniques, aboutissant à l’hyperdomination du logiciel états-unien bien connu.

#statistiques #mathématiques #pharma #référence_commune_incomprise

j’avais aussi fait un billet plus historique

▻http://freakonometrics.hypotheses.org/9724

il me manque du temps pour faire la lecture Bayésienne, qui me semble la seule juste, d’une proba d’accepter une hypothèse étant données des observations...