Out of One, Many : Using Language Models to Simulate Human Samples | Political Analysis

L’intention de vote des enseignants aux élections européennes - Ifop Group
▻https://www.ifop.com/article/lintention-de-vote-des-enseignants-aux-elections-europeennes

Méthodologie de recueil

L’enquête a été menée auprès d’un échantillon de 8 000 personnes
représentatif de la #population française âgée de 18 ans et plus,
incluant l’équivalent #statistique de 580 enseignants de collège et de
lycée (issus de 116 interviews #extrapolées par la technologie
#DataBoostAI).
La représentativité de l’#échantillon a été assurée par la méthode
des quotas (sexe, âge, profession de la personne interrogée) après
stratification par région et catégorie d’agglomération.
La technologie DataBoostAI développée par FAIRGEN a par
ailleurs été utilisée pour l’analyse. Basée sur l’#IA générative, elle
repose sur un principe de mise en relation holistique des données
recueillies lors du terrain de façon à améliorer la précision
statistique des résultats par génération d’échantillons
synthétiques.
Les #interviews ont été réalisées par #questionnaire #auto-administré
en ligne du 24 mai au 4 juin 2024.

20% ont l’intention de voter (...) Bardella.

grâce de l’IA, cela semble crédible, surtout si on ne néglige pas les contremaitres qui se sont recasés dans l’enseignement technique et professionnel qui renforcent la tendance.

#enseignants #extrême_droite

merci @freakonometrics !

Les données synthétiques peuvent être utiles. […] Mais elles demandent une discipline méthodologique stricte : distinguer le réel du synthétique, publier les effectifs réellement observés, décrire le modèle, mesurer la taille effective, propager l’incertitude de génération, tester la robustesse aux biais de sélection, et surtout ne pas présenter une prédiction comme une observation.

discipline méthodologique stricte … c’est pas gagné quand tu vois que, de façon totalement routinière, la « précision » (ou « marge d’erreur ») d’un sondage (par une méthode plus ou moins sophistiquée de quotas) est estimée avec la formule pour le sondage aléatoire simple d’un échantillon de même taille. Au diable, les biais et autres subtilités méthodologiques !

il y a aussi la suite ▻https://freakonometrics.hypotheses.org/90280 « Des sondages sans sondé(e)s » qui va encore plus loin...

Out of One, Many: Using Language Models to Simulate Human Samples | Political Analysis | Cambridge Core
▻https://www.cambridge.org/core/journals/political-analysis/article/out-of-one-many-using-language-models-to-simulate-human-samples/035D7C8A55B237942FB6DBAD7CAA4E49

Abstract

We propose and explore the possibility that language models can be studied as effective proxies for specific human subpopulations in social science research. Practical and research applications of artificial intelligence tools have sometimes been limited by problematic biases (such as racism or sexism), which are often treated as uniform properties of the models. We show that the “algorithmic bias” within one such tool—the GPT-3 language model—is instead both fine-grained and demographically correlated, meaning that proper conditioning will cause it to accurately emulate response distributions from a wide variety of human subgroups. We term this property algorithmic fidelity and explore its extent in GPT-3. We create “silicon samples” by conditioning the model on thousands of sociodemographic backstories from real human participants in multiple large surveys conducted in the United States. We then compare the silicon and human samples to demonstrate that the information contained in GPT-3 goes far beyond surface similarity. It is nuanced, multifaceted, and reflects the complex interplay between ideas, attitudes, and sociocultural context that characterize human attitudes. We suggest that language models with sufficient algorithmic fidelity thus constitute a novel and powerful tool to advance understanding of humans and society across a variety of disciplines.