Le cabinet Occurrence et la science fragile du comptage des manifestants
▻https://www.lemonde.fr/sciences/article/2020/01/20/le-decompte-des-manifestants-une-science-fragile_6026566_1650684.html
Manifestation contre la réforme des retraites, à Paris, le 9 janvier.
BENJAMIN GIRETTE POUR « LE MONDE »
Pour dépasser les habituelles guerres de chiffres entre police et organisateurs, un comptage semi-automatique semble pertinent. Mais la méthodologie fait débat.
Combien de personnes ont manifesté, jeudi 16 janvier, à Paris, contre la réforme des retraites ? 23 000, 28 000, 250 000… ? Pour sortir du traditionnel face-à-face « chiffre de la préfecture/chiffre des organisateurs », depuis la fin 2017, une troisième estimation est réalisée par Occurrence, cabinet d’études et de conseil en communication, et financée par un collectif représentant 80 médias, dont Le Monde. Une trentaine de comptages ont été réalisés, s’écartant, selon le bilan d’Occurrence, de + 15 % de ceux de la préfecture et plus bas de 250 % par rapport à ceux des organisateurs.
Forcément critiqués, les chiffres d’Occurrence l’ont été à nouveau en décembre 2019 de façon plus forte par le physicien Bruno Andreotti, professeur à l’université Paris-VII au Laboratoire de physique statistique de l’Ecole normale supérieure et spécialiste des milieux granulaires. Sans mandat politique ou syndical, il se considère comme un « savant engagé », notamment sur la politique de recherche et d’enseignement supérieur, et défend une « science citoyenne, pour insuffler dans le débat public des méthodes qui viennent de la science ». Le 26 mai 2018, il avait assisté à une séance de comptage d’Occurrence et a rendu publiques ses conclusions sur son compte Twitter, le 19 décembre 2019. Ses griefs, au ton qui a agacé Occurrence, concernent la présentation des résultats, la méthode et sa validation.
A l’unité près
Le premier reproche est un rappel pédagogique utile mais désormais caduc. En septembre et octobre 2017, par trois fois, le chiffre avait été communiqué aux médias à l’unité près. Ce qui n’a aucun sens statistique, à moins de considérer que la précision est de 0,1 % – ce qui n’est évidemment pas le cas. Puis les estimations ont été arrondies à la centaine, ce qui reste incorrect mathématiquement. Pour le dernier comptage du 16 janvier, c’est au millier près que les médias ont diffusé le chiffre, ce qui est une meilleure pratique, même si le flou demeure sur la marge d’erreur.
Ce détail amène au second grief sur la méthode elle-même. Occurrence est le seul à utiliser une détection automatique pour élaborer son chiffrage. Préfecture et organisateurs ont recours à des comptages manuels en « cliquant » en certains points du défilé, ainsi qu’en estimant la densité de manifestants et la surface du cortège. Les « gilets jaunes », par leurs groupes de comptage, Nombre Jaune et GJ Sciences, ont aussi eu recours à cette dernière technique. Occurrence dispose, au 4e ou 5e étage d’un immeuble, une caméra (dont le flux vidéo, sur lequel les personnes ne sont pas identifiables, n’est pas conservé) pour filmer le passage des manifestants. Un algorithme, développé par le fabricant des capteurs, Eurecam, compte alors les « personnes » qui franchissent une ligne virtuelle à l’aplomb de la caméra. Une « personne » est un ensemble de pixels appartenant au même objet et qui avance (ou recule). La technique sert surtout dans les grands magasins, les expositions ou les halls de gare. Ce comptage a lieu par tranches de 10 secondes, qui sont additionnées à la fin. Facile !
Non, car la fiabilité de cette technique se heurte à un obstacle bien connu : plus la foule est dense, moins la mesure est précise. « Les gens ont tendance à former des grumeaux », résume Guy Theraulaz, directeur de recherche au CNRS (université Paul-Sabatier, Toulouse), spécialiste des foules et dont les modèles dépendent fortement de la densité. Si bien que la précision chute. Pour tenir compte de cet effet, mais aussi des changements de luminosité, des fumigènes, ballons… Occurrence reprend la main sur son système automatique. Chaque tranche de 10 secondes est qualifiée, au jugé, de « très dense », « dense » et « peu dense ». Une catégorie « fumigène » ou « nuit » peut être ajoutée. Ensuite, deux ou trois fois par catégorie, un comptage à la main est effectué d’après le flux vidéo passé au ralenti pendant une trentaine de secondes. L’écart entre cette mesure et celles du capteur permet de calculer un facteur de redressement, qui est ensuite appliqué à toutes les séquences d’une même catégorie. Il peut être très important : le 16 janvier, les trois heures de la manifestation ont été redressées d’au moins 30 %. Une demi-heure a été augmentée de 45 %, 10 minutes multipliées presque par 2, et 9 minutes par plus de 3 (à cause de fumigènes). « Cela montre que les mesures brutes sont dans les choux intégralement ! », assène Bruno Andreotti.
On touche là au cœur du problème et à l’incompréhension entre les diverses parties. Si « redresser » un signal est une façon correcte de faire, cela ne vaut que si le signal lui-même est « bon », c’est-à-dire qu’il est bien en relation avec ce qu’il mesure. Personne n’aurait l’idée de « redresser » un thermomètre bloqué à 30 °C pour lui faire dire des choses sur des canicules à 40 ou 50 °C. « On multiplie du bruit par un nombre ! Si des étudiants me faisaient ça, je les corrigerais », réagit Bruno Andreotti, qui s’étonne aussi de la grande variation des facteurs de redressement entre deux manifestations : 6 % un jour, 30 % un autre dans les cas « peu denses ».
Ce problème rejoint alors celui de la présentation des chiffres car, au vu de la méthode, il est difficile d’estimer une marge d’erreur.
Redresser à la main, en théorie, réduit les erreurs dites systématiques, mais s’accompagne de fluctuations statistiques (des personnes différentes ne « redresseraient » pas de la même façon). S’ajoutent les erreurs statistiques, intrinsèques à toute méthode, et qui répètent que la même procédure ne donnerait pas le même résultat. « Je trouverais plus honnête de mettre une grosse barre d’erreur d’au moins 30 % sur ces chiffres », estime Bruno Andreotti.
Ses derniers griefs esquissent des pistes pour améliorer la situation. Le chercheur recommande, en bonne pratique expérimentale, de réaliser des mesures dites de calibration. C’est-à-dire étudier l’évolution des mesures brutes en fonction de la densité (à condition de pouvoir mesurer celle-ci), de la luminosité (non communiquée), de la largeur de la rue (les gens éloignés du capteur sont moins bien comptés), de la vitesse des manifestants, des reflux par les côtés… Avec ces informations, il serait possible d’estimer les « vrais » facteurs de correction, voire surtout de contrôler que la mesure des capteurs a bien du sens. Mesurer à deux endroits différents serait aussi utile (ce qui a été fait une fois par Occurrence et a montré environ 10 % d’écart). Occurrence met également en avant une autre validation : sa mesure comparée à trois compteurs « manuels » fin 2017 et qui a montré aussi des écarts inférieurs à 10 %. Enfin, la cohérence avec les chiffres de la préfecture rassure ses experts, qui cependant n’expliquent pas pourquoi ils sont parfois au-dessous.
Contre-mesures à partir de photos
« Il faudrait que les données soient publiées. Il y aurait plein de choses à faire avec », estime Guy Theraulaz, qui reprend les souhaits de Bruno Andreotti (à qui Occurrence a envoyé ses dernières données). Ce dernier tente aussi des contre-mesures, à partir de photos avec des volontaires.
Occurrence attend beaucoup de nouveaux capteurs, « plus précis », d’une autre entreprise, qui nécessiteraient moins de redressement. Il existe en outre une autre technique reconnue comme plus performante mais nécessitant deux capteurs qui calculent la taille des objets sous leurs yeux. A l’université d’Eindhoven (Pays-Bas), les meilleurs spécialistes de ces techniques utilisent de l’apprentissage automatique pour bien attribuer les « formes » à des personnes, sans augmenter les temps de calcul. Leur système s’approche des 95 % de précision, sans que cette performance chute avec l’augmentation de densité. L’inconvénient est que, sur une grande largeur de rue, il faudrait plusieurs paires de capteurs.
Mais tous ses efforts ne surmonteront pas un autre écueil. Les pratiques militantes et policières depuis plus de trois ans modifient la physionomie des manifestations : interruptions des flux, manifestants qui sortent avant la fin ou qui se donnent rendez-vous plus tard, reflux importants par les côtés…