New Statistical Guidelines for Journals of the Psychonomic Society

?SGWID=0-10126-6-1390050-0

    • J’avais vu l’article à l’époque (il avait été pointé 3 fois). En tous cas, le sujet déchaîne les passions : presque 150 commentaires en un mois sur le blog. Il faut dire que le buzz est un peu aidé par un titre plutôt racoleur (ce n’est pas toujours dans ses habitudes) : Doutes sur la fiabilité des neurosciences alors que dans l’article il mentionne tout de même :

      De bonnes pratiques existent aussi puisque l’analyse montre que près de 15 % des études ont une excellente puissance statistique, supérieure à 90 %.

      et qu’il précise bien que les études dont la puissance statistique est faible (voir très faible…) ne sont pas une exclusivité des neurosciences.

      Pour un exposé des bonnes pratiques statistiques, je (re)recommande l’étude des New Statistical Guidelines for Journals of the Psychonomic Society http://www.springer.com/psychology?SGWID=0-10126-6-1390050-0

    • Et pour une méta-analyse des effets des jeux vidéo, un peu antérieure au billet de P. Barthélémy,
      Effects of video-game play on information processing : A meta-analytic investigation - Online First - Springer
      http://link.springer.com/article/10.3758%2Fs13423-013-0418-z

      Do video games enhance cognitive functioning? We conducted two meta-analyses based on different research designs to investigate how video games impact information-processing skills (auditory processing, executive functions, motor skills, spatial imagery, and visual processing). Quasi-experimental studies (72 studies, 318 comparisons) compare habitual gamers with controls; true experiments (46 studies, 251 comparisons) use commercial video games in training. Using random-effects models, video games led to improved information processing in both the quasi-experimental studies, d = 0.61, 95 % CI [0.50, 0.73], and the true experiments, d = 0.48, 95 % CI [0.35, 0.60]. Whereas the quasi-experimental studies yielded small to large effect sizes across domains, the true experiments yielded negligible effects for executive functions, which contrasted with the small to medium effect sizes in other domains. The quasi-experimental studies appeared more susceptible to bias than were the true experiments, with larger effects being reported in higher-tier than in lower-tier journals, and larger effects reported by the most active research groups in comparison with other labs. The results are further discussed with respect to other moderators and limitations in the extant literature.

      Ce qui précède est l’intégralité de l’ abstract , le reste est malheureusement derrière #paywall

  • New Statistical Guidelines de la Psychonomic Bulletin & Review
    http://www.springer.com/psychology/cognitive+psychology/journal/13423

    (EDIT : apparemment, le bon lien est celui-ci http://www.springer.com/psychology?SGWID=0-10126-6-1390050-0 )

    Texte remarquable. À faire lire (et comprendre) à tout obsédé de la p-value (traduction française proposée : probabilité associée à la statistique de test sous l’hypothèse nulle, oui, je sais, c’est un peu plus long…, d’ailleurs, dans le texte qui suit, tout ça est résumé en NHST (Null Hypothesis Significance Testing))

    2. Multiple NHST tests inflate null-hypothesis rejection rates. (…)
    A. One concern is the practice of testing a small sample of participants and then analyzing the data and deciding what to do next depending on whether the predicted effect
    • (a) is statistically significant (stop and publish!),
    • (b) clearly is not being obtained (stop, tweak, and start a new experiment), or
    • (c) looks like it might become significant if more participants are added to the sample (test more participants, then reanalyze; repeat as needed).

    If this optional stopping rule has been followed without appropriate corrections, then report that fact and acknowledge that the Type I error rate is inflated by the multiple tests. Depending on the views of the Editor and reviewers, having used this stopping rule may not preclude publication, but unless appropriate corrections to the Type I error rate are made it will lessen confidence in the reported results.

    Note that Bayesian data analysis methods are less sensitive to problems related to optional stopping than NHST methods.

    Dans le même paragraphe, le point D est une mise en garde explicite traitant spécifiquement du point décrit par XKCD http://xkcd.com/882

    #statistiques #fréquentiste #bayésien