#biais_de_sélection

  • Despite limited statistical power
    The backpack fallacy rears its ugly head once again | Statistical Modeling, Causal Inference, and Social Science
    https://statmodeling.stat.columbia.edu/2023/08/22/the-backpack-fallacy-rears-its-ugly-head-once-again

    Shravan points to this that he saw in Footnote 11 in some paper:

    “However, the fact that we get significant differences in spite of the relatively small samples provides further support for our results.”

    My response: Oh yes, this sort of thing happens all the time. Just google “Despite limited statistical power”.

    This is a big problem, a major fallacy that even leading researchers fall for. Which is why Eric Loken and I wrote this article a few years ago, “Measurement error and the replication crisis,” subtitled, “The assumption that measurement error always reduces effect sizes is false.”

    Anyway, we’ll just keep saying this over and over again. Maybe new generations of researchers will get the point.

    billet qui rappelle (et me fait découvrir) ce très intéressant papier (un poil technique)

    Measurement error and the replication crisis
    http://www.stat.columbia.edu/~gelman/research/published/measurement.pdf
    The assumption that measurement error always reduces effect sizes is false

    En présence de données bruitées et si la puissance du test est faible (taille d’échantillon trop petite) le bruit peut conduire à surestimer l’effet détecté particulièrement en présence de #biais_de_sélection … (dit aussi #cherry_picking qui consiste à ne retenir (et publier) que les expériences dont la #p-value (#probabilité-associée (à l’hypothèse nulle) est bonne. Pratique plus que courante, systématique…

    Article de 2017 qui éclaire une des causes de la crise de la réplication (les labos, y compris – fréquemment – celui qui a publié ne retrouvent pas les résultats publiés lorsqu’ils reproduisent l’expérience). On ne parle plus trop de cette crise aujourd’hui, bien que la question se posait (et se pose toujours…) dans la célèbre affaire du druide marseillais – où il ne s’agissait pas que d’erreurs de mesure et de variance un peu large…

    (non, c’est vrai, je n’ai toujours pas digéré les vaticinations sur la significativité particulière des effets détectés dans des essais à (très) faible puissance statistique !)

  • Les données se suivent...

    Thread by andreamatranga: According to Crisanti, the director of the virology lab of U Padua, as little as 10% of #COVID2019 carriers show any symptoms at all. He sam…
    https://threadreaderapp.com/thread/1239774862572277760.html

    ... et se contredisent (?)

    Josiah sur Twitter : “mitchellvii False positives likely account for over 50% of all asymptomatic positive tests” / Twitter
    https://twitter.com/ExhaustiveWill/status/1239804797441544192

    • Ouaouh !
      Au moins 50% de faux positifs ! peut-être même jusqu’à 80%…

      Deux conséquences :
      • le taux de propagation serait nettement plus faible
      • la mortalité serait nettement plus élevée

      Et, non, ce n’est pas contradictoire : si la moitié des positifs sont des faux positifs, on comprend pourquoi ils ne présentent pas de symptômes… En revanche, ça invalide assez largement les conclusions du premier intervenant.

    • L’article en question (publié le 5 mars) du moins l’abstract.
      (en principe l’article complet, en chinois, est accessible, mais le lien aboutit à une erreur 404…)

      [Potential false-positive rate among the ’asymptomatic infected individuals’ in close contacts of COVID-19 patients]. - PubMed - NCBI
      https://www.ncbi.nlm.nih.gov/pubmed/32133832

      Objective: As the prevention and control of COVID-19continues to advance, the active nucleic acid test screening in the close contacts of the patients has been carrying out in many parts of China. However, the false-positive rate of positive results in the screening has not been reported up to now. But to clearify the false-positive rate during screening is important in COVID-19 control and prevention.
      Methods: Point values and reasonable ranges of the indicators which impact the false-positive rate of positive results were estimated based on the information available to us at present. The false-positive rate of positive results in the active screening was deduced, and univariate and multivariate-probabilistic sensitivity analyses were performed to understand the robustness of the findings.
      Results: When the infection rate of the close contacts and the sensitivity and specificity of reported results were taken as the point estimates, the positive predictive value of the active screening was only 19.67%, in contrast, the false-positive rate of positive results was 80.33%. The multivariate-probabilistic sensitivity analysis results supported the base-case findings, with a 75% probability for the false-positive rate of positive results over 47%.
      Conclusions: In the close contacts of COVID-19 patients, nearly half or even more of the ’asymptomatic infected individuals’ reported in the active nucleic acid test screening might be false positives.

    • Tout le monde parle de Vo’ maintenant, apparemment le fait de tester tout le monde de manière volontariste permet de réduire l’épidémie.

    • C’est pas comme si on le savait pas depuis belle lurette… La mortalité calculée sur les cas confirmés est toujours surestimée. Et ça fait quelques pandémies qu’on le sait,… ou devrait le savoir.

      Bel exemple de #biais_de_sélection,… on ne (prend en) compte (parce que c’est plus facile, il faut bien le dire) que les cas confirmés / cas graves / décès.

      Une bonne partie du problème de l’évaluation initiale est d’estimer la part des porteurs sains ou asymptomatiques. Et ça devient très sensible dans le cas où on a un fort taux de transmission et un faible nombre de cas grave.