Statistical Modeling, Causal Inference, and Social Science

https://statmodeling.stat.columbia.edu

  • @simplicissimus
    Simplicissimus
    2
    @olaf
    @freakonometrics
    2

    Despite limited statistical power
    The backpack fallacy rears its ugly head once again | Statistical Modeling, Causal Inference, and Social Science
    ▻https://statmodeling.stat.columbia.edu/2023/08/22/the-backpack-fallacy-rears-its-ugly-head-once-again

    Shravan points to this that he saw in Footnote 11 in some paper:

    “However, the fact that we get significant differences in spite of the relatively small samples provides further support for our results.”

    My response: Oh yes, this sort of thing happens all the time. Just google “Despite limited statistical power”.

    This is a big problem, a major fallacy that even leading researchers fall for. Which is why Eric Loken and I wrote this article a few years ago, “Measurement error and the replication crisis,” subtitled, “The assumption that measurement error always reduces effect sizes is false.”

    Anyway, we’ll just keep saying this over and over again. Maybe new generations of researchers will get the point.

    billet qui rappelle (et me fait découvrir) ce très intéressant papier (un poil technique)

    Measurement error and the replication crisis
    ▻http://www.stat.columbia.edu/~gelman/research/published/measurement.pdf
    The assumption that measurement error always reduces effect sizes is false

    En présence de données bruitées et si la puissance du test est faible (taille d’échantillon trop petite) le bruit peut conduire à surestimer l’effet détecté particulièrement en présence de #biais_de_sélection … (dit aussi #cherry_picking qui consiste à ne retenir (et publier) que les expériences dont la #p-value (#probabilité-associée (à l’hypothèse nulle) est bonne. Pratique plus que courante, systématique…

    Article de 2017 qui éclaire une des causes de la crise de la réplication (les labos, y compris – fréquemment – celui qui a publié ne retrouvent pas les résultats publiés lorsqu’ils reproduisent l’expérience). On ne parle plus trop de cette crise aujourd’hui, bien que la question se posait (et se pose toujours…) dans la célèbre affaire du druide marseillais – où il ne s’agissait pas que d’erreurs de mesure et de variance un peu large…

    (non, c’est vrai, je n’ai toujours pas digéré les vaticinations sur la significativité particulière des effets détectés dans des essais à (très) faible puissance statistique !)

    Simplicissimus
    Écrire un commentaire
  • @koantig
    koantig CC BY-SA
    4
    @simplicissimus
    @arno
    @7h36
    @ericw
    4

    Really nice example of forensic statistics here: ▻https://datacolada.org/98

    https://datacolada.org/storage_strong/F1-Uniform-change-2021-07-03-768x473.png

    “A team of anonymous researchers downloaded [the data], and discovered that this field experiment suffers from a much bigger problem than a randomization failure: There is very strong evidence that the data were fabricated.”

    They even found evidence in the fonts used in the Excel sheet!
    (via ▻https://statmodeling.stat.columbia.edu, which has a bit more context)

    koantig CC BY-SA
    • @simplicissimus
      Simplicissimus

      excellent, merci !!!

      c’est assez stupéfiant de voir à quel point le bidonnage de données est grossier… et facile à détecter. J’ose espérer qu’aucun statisticien ne s’est compromis dans cette étude
      • parce que, s’il en est responsable, 1. il est vraiment mauvais, 2. on peut s’interroger sur son éthique professionnelle
      • s’il n’en est pas responsable, ie les données ont été fabriquées en amont, il n’a pas su (ou même cherché à) les détecter

      on en revient toujours au problème de qualité des données, préalablement à toute étude sérieuse, des explorations élémentaires des données sont absolument indispensables, de simples distributions univariées suffisent très largement

      l’article pointé est de ce point de vue un exemple très éclairant et très pédagogique : il n’y a absolument rien de compliqué et les résultats sont probants au delà de tout doute.

      Encore merci.

      Simplicissimus
    • @koantig
      koantig CC BY-SA

      Ils ont contacté les auteurs du papier, qui ont répondu chacun indépendemment. Seul Dan Ariely a eu accès aux données, qui venaient d’une entreprise d’assurance.

      Dans la réponse d’Ariely :

      . The work was conducted over ten years ago by an insurance company with whom I partnered on this study.The data were collected, entered, merged and anonymized by the company and then sent to me.This was the data file that was used for the analysis and then shared publicly.
      . I was not involved in the data collection, data entry,or merging data with information from the insurance database for privacy reasons.
      . I was the only author in contact with the insurance company. None of my co-authors were involved.
      (...)
      . I did not suspect any problems with the data.
      . I also did not test the data for irregularities, which after this painful lesson, I will start doing regularly.
      . I am committed to ensuring the integrity and validity of our research, and we are developing new policies to ensure that our data collection and analysis meets the highest standards

      ▻http://datacolada.org/storage_strong/DanBlogComment_Aug_16_2021_final.pdf

      La note 14 explique ce qu’on peut lire dans les métadonnées du fichier Excel : ▻https://datacolada.org/98#footnote_13_6142, qui semble pointer Ariely comme seul auteur du fichier. D’un autre côté, il a dû être d’accord pour rendre les données accessibles donc il ne se doutait peut-être de rien.

      koantig CC BY-SA
    Écrire un commentaire