81% of ’suspects’ flagged by Met’s police facial recognition technology innocent, independent report says | Science & Tech News

The first independent evaluation of the scheme was commissioned by Scotland Yard and conducted by academics from the University of Essex.

Professor Pete Fussey and Dr Daragh Murray evaluated the technology’s accuracy at six of the 10 police trials. They found that, of 42 matches, only eight were verified as correct - an error rate of 81%. Four of the 42 were people who were never found because they were absorbed into the crowd, so a match could not be verified.

The Met prefers to measure accuracy by comparing successful and unsuccessful matches with the total number of faces processed by the facial recognition system. According to this metric, the error rate was just 0.1%.

Taux d’erreur de 81% pour les observateurs indépendants, 0,1% pour la police.

Simple : les indépendants rapportent le nombre de fausses alertes au nombre d’alertes, la police le rapporte au nombre de personnes analysées, soit de l’ordre de 30000 personnes en utilisant le chiffre de 0,1%.

Au passage, le taux de faux positifs de 81% est une borne supérieure, puisque le statut de 4 personnes des 42 ayant déclenché l’alerte n’a pu être vérifié. En supposant les 4 méchants (d’ailleurs, ils se sont évaporés, c’est forcément qu’ils ont quelque chose à se reprocher), on trouve, quand même, une borne inférieur de 71% de faux positifs.

Bon, dans le détail, c’est encore un peu différent…

D’après le rapport (dont l’objet est beaucoup plus large et porte sur la technologie de reconnaissance faciale dans son ensemble, les résultats que j’utilise commencent à la page 69…) sur les 42 alertes, 16 ont été éliminées d’emblée par l’opérateur de police comme non-crédibles (c’est de l’IAHA, intelligence artificielle assistée humainement…) donc la police a couru après 26 personnes et n’en a attrapée que 22, dont 8 correspondaient au signalement et les 14 autres non. On retrouve bien les chiffres de l’article :
sur 42 alertes
• 30 fausses (16 éliminées d’emblée, 14 après vérification)
• 4 au statut inconnu
• 8 appariements corrects
(dont 2 alertes concernant le même individu à des moments différents)

▻https://48ba3m4eh2bf2sksp43rq8kk-wpengine.netdna-ssl.com/wp-content/uploads/2019/07/London-Met-Police-Trial-of-Facial-Recognition-Tech-Report.pdf

Pour sa part, le rapport (p. 75), après un exposé fort intéressant sur le calcul des faux positifs, s’en tient à 63,6% (14/22)

Across the six test deployments MPS officers engaged with 22 individuals as a direct result of a computer generated match judged to be credible by a human operator.238 14 of these (63.64%) were verified incorrect matches, eight were verified correct matches (36.36%). These figures do not take into account the overall number of alerts/matches generated by the LFR system as these are impossible to verify.

merci @simplicissimus !