• À #France_Travail, l’essor du #contrôle_algorithmique

    « #Score_de_suspicion » visant à évaluer l’honnêteté des chômeur·ses, « #score_d’employabilité » visant à mesurer leur « #attractivité », algorithmes de #détection des demandeur·ses d’emploi en situation de « perte de confiance », en « besoin de redynamisation » ou encore à « risque de dispersion »… France Travail multiplie les #expérimentations de #profilage_algorithmique des personnes sans emploi.

    Mise à jour du 12 juillet 2024 : le directeur général de France Travail a souhaité utiliser son droit de réponse. Vous la trouverez à la suite de l’article.

    Après avoir traité de l’utilisation par la #CAF d’un algorithme de notation des allocataires, nous montrons ici que cette pratique est aussi partagée par France Travail, ex-#Pôle_Emploi. À France Travail, elle s’inscrit plus largement dans le cadre d’un processus de #numérisation_forcée du #service_public de l’#emploi.

    –-> Retrouvez l’ensemble de nos publications sur l’utilisation par les organismes sociaux d’algorithmes à des fins de contrôle social sur notre page dédiée et notre Gitlab : https://git.laquadrature.net/la-quadrature-du-net/algo-et-controle.

    Au nom de la « #rationalisation » de l’action publique et d’une promesse « d’#accompagnement_personnalisé » et de « #relation_augmentée », se dessine ainsi l’horizon d’un service public de l’emploi largement automatisé. Cette #automatisation est rendue possible par le recours à une myriade d’algorithmes qui, de l’inscription au suivi régulier, se voient chargés d’analyser nos données afin de mieux nous évaluer, nous trier et nous classer. Soit une extension des logiques de #surveillance_de_masse visant à un #contrôle_social toujours plus fin et contribuant à une #déshumanisation de l’accompagnement social.

    De la CAF à France Travail : vers la multiplication des « scores de suspicion

    C’est, ici encore, au nom de la « #lutte_contre_la_fraude » que fut développé le premier algorithme de #profilage au sein de France Travail. Les premiers travaux visant à évaluer algorithmiquement l’#honnêteté des personnes sans emploi furent lancés dès 2013 dans la foulée de l’officialisation par la CAF de son algorithme de notation des allocataires. Après des premiers essais en interne jugés « frustrants » [1], France Travail – à l’époque Pôle Emploi – se tourne vers le secteur privé. C’est ainsi que le développement d’un outil de détermination de la probité des demandeur·ses d’emploi fut confié à #Cap_Gemini, une multinationale du CAC40 [2].

    La #notation des chômeur·ses est généralisée en 2018. La présentation qui en est faite par France Travail donne à voir, comme à la CAF, l’imaginaire d’une institution assiégée par des chômeur·ses présumé·es malhonnêtes. Ses dirigeant·es expliquent que l’algorithme assigne un « score de suspicion » – dans le texte – visant à détecter les chômeur·ses les plus susceptibles « d’#escroquerie » grâce à l’exploitation de « #signaux_faibles » [3]. Une fois l’ensemble des personnes sans emploi notées, un système d’« #alertes » déclenche ainsi des #contrôles lorsque l’algorithme détecte des situations « suspectes » (emploi fictif, usurpation d’identité, reprise d’emploi non déclarée) [4].

    Pour l’heure, France Travail s’est refusé à nous communiquer le code source de l’algorithme. Au passage, notons que ses dirigeants ont par ailleurs refusé, en violation flagrante du droit français, de fournir la moindre information aux demandeur·ses d’emploi que nous avions accompagné·es pour exercer leur droit d’accès au titre du #RGPD [5]. Nous avons cependant obtenu, via l’accès à certains documents techniques, la liste des variables utilisées.

    On y retrouve une grande partie des données détenues par France Travail. Aux variables personnelles comme la nationalité, l’âge ou les modalités de contact (mails, téléphone…) s’ajoutent les données relatives à notre vie professionnelle (employeur·se, dates de début et de fin de contrat, cause de rupture, emploi dans la fonction publique, secteur d’activité…) ainsi que nos #données financières (RIB, droits au chômage…). À ceci s’ajoute l’utilisation des données récupérées par France Travail lors de la connexion à l’espace personnel (adresse IP, cookies, user-agent). La liste complète permet d’entrevoir l’ampleur de la #surveillance_numérique à l’œuvre, tout comme les risques de #discriminations que ce système comporte [6].

    #Profilage_psychologique et gestion de masse

    Fort de ce premier « succès », France Travail décide d’accroître l’usage d’algorithmes de profilage. C’est ainsi que, dès 2018, ses dirigeant·es lancent le programme #Intelligence_Emploi [7]. Son ambition affichée est de mettre l’#intelligence_artificielle « au service de l’emploi » pour « révéler à chaque demandeur d’emploi son #potentiel_de_recrutement » [8].

    Un des axes de travail retient notre attention : « Accélérer l’accès et le retour à l’emploi [via un] #diagnostic “augmenté” pour un accompagnement plus personnalisé ». Ici, l’#IA doit permettre de d’« augmenter la capacité de diagnostic » relative aux « traitements des aspects motivationnels » via la « détection de signaux psychologiques » [9]. En son sein, deux cas d’usage retenus sont particulièrement frappants.

    Le premier est le développement d’algorithmes visant à « anticiper les éventuels #décrochages », prévenir les « #risques_de_rupture » [10] ou encore « détecter les moments où ils [les personnes au chômage] peuvent se sentir découragés ou en situation de fragilité » [11].

    Ces travaux ont trouvé, au moins en partie [12], un premier aboutissement dans l’outil du #Journal_de_la_Recherche_d’Emploi (#JRE) actuellement expérimenté dans plusieurs régions de France [13]. Le JRE assigne à chaque incrit·e quatre scores de « profilage psychologique » visant respectivement à évaluer la « dynamique de recherche » d’emploi, les « signes de perte de confiance », le « besoin de #redynamisation » ou les « risques de dispersion » [14].

    Ces informations sont synthétisées et présentées aux conseiller·es sous la forme d’un tableau de bord. « Parcours à analyser », « Situations à examiner », « Dynamique de recherche faible » : des alertes sont remontées concernant les chômeur·ses jugé·es déficient·es par tel ou tel algorithme. Le ou la conseiller·e doit alors faire un « #diagnostic_de_situation » – via l’interface numérique – afin d’« adapter l’intensité » des « actions d’accompagnement ». Et là encore, ils et elles peuvent s’appuyer sur des « #conseils_personnalisés » générés par un dernier algorithme [15].

    Contrôle, #mécanisation et déshumanisation de l’accompagnement : voilà la réalité de ce que le directeur de France Travail appelle « l’accompagnement sur mesure de masse » [16].

    Diagnostic et score d’#employabilité

    Le second cas d’usage est tout aussi inquiétant. Il s’agit de déterminer la « qualité » d’un·e demandeur·se d’emploi. Ou, pour reprendre les termes officiels, son « employabilité » [17]. Ce projet n’est pas encore déployé à grande échelle, mais nous savons qu’une première version – basée, elle, sur des techniques d’intelligence artificielle [18] – a été développée en 2021 [19].

    L’algorithme alloue à chaque inscrit·e un score prédisant ses « chances de retour à l’emploi ». Véritable outil automatique de #tri des chômeur·ses, il vise à organiser la « #priorisation des actions d’accompagnement » [20] en fonction d’un supposé #degré_d’autonomie de la personne sans emploi.

    Si les informations disponibles sur ce projet sont limitées, on peut imaginer que ce score permettra le contrôle en temps réel de la « progression de la #recherche_d’emploi » via les actions entreprises pour améliorer « l’attractivité [de leur] profil » [21]. Il serait alors un indicateur d’évaluation en continu de la bonne volonté des chômeur·ses.

    Mais on peut aussi penser qu’il sera utilisé pour inciter les personnes sans emploi à se diriger vers les « #métiers_en_tension », dont une majorité concentre les conditions de travail les plus difficiles. En demandant aux chômeur·ses d’améliorer leur score, via une #réorientation, ils et elles seraient encouragé·es à accepter un emploi au rabais.

    Agenda partagé & agences virtuelles

    Mais l’étendue du processus de numérisation à l’oeuvre à France Travail va bien au-delà de ces exemples. Côté contrôle numérique, citons l’interface « #XP_RSA » [22], l’outil numérique déployé dans le cadre de la récente réforme du #RSA. Cette interface n’est rien d’autre qu’un agenda partagé permettant de déclarer, et de contrôler, les quinze à vingt « #heures_d’activité » hebdomadaires dont vont devoir s’acquitter les bénéficiaires du minima social. Son remplissage forcé est un pas supplémentaire vers le #flicage des plus précaires.

    Côté IA, France Travail a lancé en 2024 le programme « #Data_IA » [23], successeur d’Intelligence Emploi mentionné plus haut. Présenté avec fracas au salon de l’« innovation technologique » VivaTech – organisé par le groupe Publicis –, on retrouve parmi les projets en développement une #IA_générative visant à numériser l’accompagnement et la #recherche_d’emploi (« #Match_FT ») [24]. France Travail s’intéresse aussi aux « #maraudes_numériques » pour « remobiliser les jeunes les plus éloignés de l’emploi » [25] et au développement d’« #agences_virtuelles » [26].

    #Austérité, automatisation et #précarisation

    La numérisation de France Travail signe la naissance d’un modèle de gestion de masse où coexistent une multitude d’algorithmes ayant chacun la tâche de nous classifier selon une dimension donnée. Risque de « fraude », de « dispersion », de « perte de confiance », suivi des diverses obligations : les capacités de collecte et de traitements de données sont mises au service de la détection, en temps réel, des moindres écarts à des normes et règles toujours plus complexes [27]. Cette numérisation à marche forcée sert avant tout à contrôler les personnes sans emploi [28].

    À l’heure où Gabriel Attal annonce une énième réforme de l’assurance-chômage passée en force alors que l’Assemblée nationale est dissoute, ce contrôle ne cache plus son but : forcer les plus précaires à accepter des #conditions_de_travail toujours plus dégradées [29].

    Loin des promesses de « libérer du temps pour les conseillers » ou d’offrir un accompagnement « plus réactif et plus personnalisé » [30] aux personnes sans emploi, cette numérisation contribue à la déshumanisation d’un service essentiel et à l’#exclusion des plus précaires, voire tend à une généralisation du #non-recours_aux_droits. Il ne s’agit pas d’idéaliser le traitement « au guichet », mais de rappeler que la numérisation forcée accentue les écueils de ce dernier. En accompagnant la fermeture des points d’accueil, elle transfère une partie du travail administratif aux personnes usagères du service public, participant à l’éloignement de celles et ceux qui ne sont pas en mesure de le prendre en charge [31].

    En standardisant les processus d’accompagnement, via la #quantification de chaque action et le profilage de toute une population, elle restreint les possibilités d’échange et supprime toute possibilité d’accompagnement réellement personnalisé [32].

    En facilitant le contrôle généralisé, elle accentue enfin la #stigmatisation des plus précaires et participe activement à leur #paupérisation.

    –-

    Mise à jour du 12 juillet 2024

    À la suite de notre article, France Travail, via son directeur général Thibaut Guilly, a souhaité exercer son droit de réponse que nous publions ci-dessous in extenso.

    « Madame, Monsieur,

    Je reviens vers vous suite à mon précédent courrier du 2 juillet.

    Bien que le délai de 3 jours prévu à l’article 1.1-III de la loi n°2004-575 du 21 juin 2004 pour la confiance dans l’économie numérique soit aujourd’hui expiré, je constate que le droit de réponse qui vous a été adressé n’a pas été publié. Pour rappel, le non-respect de cette obligation est passible d’une amende de 3 750 €.

    Aussi, je réitère par la présente ma demande de publication d’un droit de réponse suite à la parution le 25 juin 2024 de l’article intitulé « A France Travail, l’essor du contrôle algorithmique » (librement accessible à l’adresse : https://www.laquadrature.net/2024/06/25/a-france-travail-lessor-du-controle-algorithmique).

    Dans cet article, vous évoquez un « service public de l’emploi largement automatisé », ainsi qu’une utilisation des algorithmes qui « contribue à la déshumanisation d’un service essentiel », favorise « la stigmatisation des plus précaires et participe activement à leur paupérisation » et constitue « un pas supplémentaire vers le flicage des plus précaires ». Il s’agirait d’une « extension des logiques de surveillance de masse visant à un contrôle social toujours plus fin et contribuant à une déshumanisation de l’accompagnement social », cette « numérisation à marche forcée ser[van]t avant tout à contrôler les personnes sans emploi ». Vous faites également état de « la fermeture des points d’accueil ».

    Nous nous inscrivons en faux contre ces propos erronés qui conduisent à jeter un discrédit sur le travail des plus de 55 000 collaborateurs qui accompagnent chaque jour les demandeurs d’emploi et les entreprises et à travestir la réalité concernant l’usage que nous faisons de ces algorithmes.

    L’utilisation des algorithmes au sein de France Travail ne vise en aucun cas à remplacer le travail des conseillers. L’intelligence artificielle (IA) vient en complément et ne se substitue jamais à une intervention humaine. Au contraire, nous concevons les algorithmes et l’IA comme des outils d’aide à la décision pour les conseillers ou un moyen de leur libérer du temps administratif afin de leur permettre de se consacrer pleinement à l’accompagnement des demandeurs d’emploi.

    Toute utilisation d’algorithmes est en outre encadrée par une charte éthique (https://www.francetravail.org/accueil/communiques/pole-emploi-se-dote-dune-charte-pour-une-utilisation-ethique-de-linte) qui décrit nos engagements pour garantir un cadre de confiance respectueux des valeurs de France Travail, à l’opposé de toute « notation de chômeurs » que vous pointez dans votre article. Un comité d’éthique externe composé de personnalités qualifiées garantit le respect de ce cadre. En aucun cas, les algorithmes ne sont utilisés pour « encourager les demandeurs d’emploi à accepter des emplois au rabais ».

    Concernant la « mécanisation » ou la « déshumanisation » de l’accompagnement que vous avancez, c’est méconnaitre le travail que réalisent les conseillers quotidiennement dans plus de 900 agences ou par téléphone. Aucun projet de fermeture d’agence n’est d’ailleurs envisagé contrairement à ce que vous dites et France Travail est un des rares services publics à être ouvert tous les jours, sur flux le matin et sur rendez-vous l’après-midi. Plus de 8,8 millions de personnes sont venues dans nos agences l’année dernière. Cet accueil en agence reflète justement notre politique de proximité et d’accompagnement notamment des plus précaires. L’ambition de la loi pour le plein emploi est en outre de renforcer l’accompagnement humain des plus éloignés, en particulier des bénéficiaires du RSA.

    Vous parlez enfin de « flicage des plus précaires » à travers l’utilisation d’algorithmes concernant le contrôle de la recherche d’emploi et la lutte contre la fraude. Il convient tout d’abord de souligner que ce sont deux activités distinctes, le contrôle de la recherche d’emploi ne saurait être assimilé à de la lutte contre de la fraude, qui est, par définition, une activité illégale et susceptible de poursuites pénales. Sur ce dernier point, l’utilisation des données dans la lutte contre la fraude vise avant tout à protéger nos usagers. En effet, la majorité des situations recherchées par les équipes de France Travail ne concerne pas des demandeurs d’emploi mais des individus qui détournent les services d’indemnisation du chômage, bien souvent au préjudice de nos usagers : usurpation d’identité des demandeurs d’emploi pour s’approprier leurs droits à l’assurance chômage ou détourner leurs paiements, individus se fabricant un faux passé professionnel ou une fausse résidence en France pour ouvrir des droits indus. Concernant le contrôle de la recherche d’emploi, là encore nous réfutons vivement l’idée selon laquelle nous mènerions une chasse aux plus précaires. Tout demandeur d’emploi inscrit à France Travail bénéficie de droits mais a également des devoirs qui lui sont présentés dès son inscription, dont celui de rechercher activement un emploi. 600 conseillers sont dédiés à ce contrôle et là encore, l’IA est un outil d’aide et en aucun la pierre angulaire des contrôles réalisés par ces conseillers en contact avec les demandeurs d’emploi tout au long de ce processus de contrôle. Là encore votre article méconnaît le travail de nos conseillers et constitue une atteinte à leur engagement et à leur intégrité.

    Je vous remercie de publier sans délai ce droit de réponse. A défaut, je me réserve la possibilité de saisir les juridictions à cet effet.

    Je vous prie d’agréer, Madame, Monsieur, l’expression de mes sincères salutations.

    Thibaut Guilluy »

    Notre réponse :

    À la suite de notre article, France Travail, via son directeur général Thibaut Guilly, nous a initialement écrit pour faire des remarques d’ordre général sur notre article. Puis, dans une nouvelle lettre reçue aujourd’hui, il est subitement passé aux menaces : nous n’aurions, selon lui, pas fait droit à sa prétendue « demande de publication d’un droit de réponse ». Ces menaces sont particulièrement malvenues et, au demeurant, totalement vaines, puisque rien dans son courrier initial n’indiquait qu’il s’agissait d’une demande de droit de réponse…

    Le directeur général de France Travail s’en tient à une poignée d’éléments de langage sans jamais répondre sur le fond. Pas un mot sur la multiplication des algorithmes de profilage à des fins de contrôle. Tout au plus y apprend-on que des algorithmes d’IA sont aussi utilisés à des fins de « contrôle de la recherche d’emploi », ce que nous ignorions.

    Cette lettre se borne ainsi à un simple exercice, maladroit et malvenu, de communication. Elle s’essaye vainement à réfuter l’expression de « flicage des plus précaires » pour décrire les outils de surveillance des allocataires du RSA. La mise en place d’un agenda partagé pour le contrôle des 15 à 20 heures d’activité de ces dernier·ès serait ainsi – il faut savoir apprécier l’humour – une mesure visant à « renforcer l’accompagnement humain ».

    Quant à l’impact de la numérisation sur l’accueil des plus précaires, le directeur général de France Travail nie la réalité, tout comme son homologue de la CNAF, afin de minimiser l’étendue de la surveillance et le projet politique sous-jacent. Qu’a-t-il donc à répondre à la Défenseure des droits qui, en 2022 dans son deuxième rapportsur la dématérialisation des services publics, rappelait la hausse des inégalités et des réclamations en raison de cette dématérialisation « à marche forcée » ?

    Enfin, opposer, comme le fait cette lettre, le travail des salarié·es de France Travail et notre action de documentation et d’alerte sur les abus de l’administration est stérile : la déshumanisation et le changement de nature du service public se font non seulement au détriment des personnes au chômage mais également des agent·es de France Travail, comme l’ont dénoncé syndicats et associations au moment de la réforme de l’assurance chômage et la transformation de Pôle Emploi en France Travail [33].

    Ce que cette lettre souligne avant tout c’est donc l’absence de recul, de capacité de remise en cause et d’esprit critique du directeur général de France Travail quant à l’extension des logiques de contrôle numérique au sein de son institution. Ou sa pleine adhésion à ce projet.
    Notes

    [1] Voir cette note de synthèsenote de synthèse revenant sur les premières expérimentation faites par Pôle Emploi.

    [2] Voir cet article sur l’implication de Cap Gemini dans la réalisation de l’outil de scoring.

    [3] L’expression « score de suspicion » est extraite de l’analyse d’impact disponible ici, celle de « signaux faibles » d’une note de suivi des travaux OCAPI 2018 disponible ici, celle d’« indices » de l’ article présentant la collaboration de France Travail avec Cap Gemini. Quant au terme d’« escroquerie », il est issu d’un échange de mails avec un·e responsable de France Travail.

    [4] L’algorithme utilisé semble se baser sur des arbres de décisions, sélectionnés via XGBoost. Les principaux cas d’entraînement semblent être la détection de périodes d’activité dites « fictives » – soit des périodes de travail déclarées mais non travaillées – d’usurpation d’identité et de reprise d’emploi non déclarée. Voir ce document.

    [5] Nous accompagnons différentes personnes dans des demandes d’accès à leurs données personnelles. Pour l’instant, France Travail s’est systématiquement opposé à leur donner toute information, en violation du droit.

    [6] Voir notamment nos articles sur l’algorithme de la CAF, en tout point similaire à cette page.

    [7] Ce programme, financé à hauteur de 20 millions d’euros par le Fond de Transformation de l’Action Publique a été construit autour de 3 axes et s’est déroulé de 2018 à 2022. Voir notamment la note de 2020 envoyée à la DINUM par France Travail, disponible ici.

    [8] Rapport annuel 2018 de Pôle Emploi disponible ici.

    [9] Voir cette note envoyée par Pôle Emploi à la DINUM.

    [10] voir note 9

    [11] Voir ce support de webinaire.

    [12] En partie puisqu’au cœur des algorithmes du JRE, nulle trace de machine learning ou de traitements statistiques complexes. Chaque score résulte de l’application de règles simples, bien loin des ambitions initiales de recours à l’intelligence artificielle. Les dirigeant·es de France Travail semblent ici avoir éprouvé les limites d’un techno-solutionnisme béat. Voir ce document. À noter aussi que ce document évoque une « brique IA Mire » portant sur la détection de « situations de décrochage ». Il se pourrait donc que des algorithmes plus avancés soient en développement.

    [13] Le JRE est une refonte de l’interface numérique. Voir à ce sujet l’excellent article de Basta disponible ici. Si le JRE ne semble pas avoir été créé dans le cadre du programme Intelligence Emploi, il semble avoir été le cadre d’expérimentations de plusieurs des solutions produites. Voir ici.

    [14] Voir le document « Fiches pratiques à destination des conseillers » portant sur le JRE disponible ici.

    [15] Les documents les plus parlants sur la mécanisation de l’accompagnement via le JRE sont ce support et ce document à destination des conseiller·es. Voir aussi les documents que nous mettons en ligne sur l’utilisation d’IA pour générer des conseils automatisés, consultables par les personnes sans emploi et les conseiller·es.

    [16] Voir cette interview du directeur actuel de France Travail.

    [17] Pour un aperçu historique de la notion d’employabilité, voir le chapitre 5 de France Travail : Gérer le chômage de massse de J.-M Pillon.

    [18] Voir cette note envoyée par Pôle Emploi à la DINUM en 2020.

    [19] Voir cette autre note envoyée par Pôle Emploi à la DINUM en 2021.

    [20] voir note 18

    [21] Voir ce document sur l’utilisation de l’IA à Pôle Emploi.

    [22] Voir ce document de présentation de XP RSA.

    [23] Voir ce document de présentation du programme Data IA.

    [24] Pour Match FT, voir cet entretien, ce tweet et cet article de la Banque des Territoires. Voir aussi Chat FT, l’IA générative pour l’instant dédiée aux conseillers·es, dans ce document.

    [25] Voir ce tweet.

    [26] Voir ce tweet.

    [27] Sur la réforme à venir, voir notamment cet article du Monde. Sur le triplement des contrôles, voir cet articledu même journal.

    [28] Sur l’histoire du contrôle à France Travail, voir le livre Chômeurs, vos papiers de C. Vivès, L. Sigalo Santos, J.-M. Pillon, V. Dubois et H. Clouet, le rapport Le contrôle des chômeurs de J.-M. Méon, E. Pierru et V. Dubois disponible Sur le triplement des contrôles, voir ici et le livre France Travail : gérer le chômage de masse de Jean-Marie Pillon.

    [29] voir note 27

    [30] Voir, entre autres, cette vidéo du responsable du programme Data IA.

    [31] Voir le livre L’Etat social à distance de Clara Deville.

    [32] Voir le texte Déshumaniser le travail social de Keltoum Brahan et Muriel Bombardi, publié dans le numéro de février 2017 de CQFD.

    [33] La CGT a dénoncé une réforme qui n’« est pas favorable » aux personnes sans emploi. La CGT Pôle Emploi y voit une numérisation du service public qui « détruira les nécessaires relations humaines, et accentuera la fracture numérique et donc la précarité » et une réforme qui va « renforcer les devoirs au détriment des droits », ou encore « accroître les tensions entre les agents et les demandeurs d’emploi ». Solidaires a dénoncé le caractère « trompeur » de l’accompagnement. Côté personnes sans emploi, le constat est le même : cette transformation rend les personnes « Coupable[s] d’être au chômage » d’après le comité National CGT des Travailleurs Privés d’Emploi et Précaires. Enfin, les associations de solidarité et des syndicats ont ensemble dénoncé dans le Monde le « risque des contrôles abusifs de la situation globale des ménages ».

    https://lagrappe.info/?A-France-Travail-l-essor-du-controle-algorithmique-1132
    #algorithme #chômage #profilage

  • « L’algorithme de la #CAF conduit à un surcontrôle des populations les plus précaires » | Alternatives Economiques
    https://www.alternatives-economiques.fr/lalgorithme-de-caf-conduit-a-un-surcontrole-populations-plus-pr/00109069

    Fin novembre et début décembre, l’association La Quadrature du Net et le journal Le Monde ont chacun fait paraître une enquête sur l’utilisation du data mining (l’exploration de données) par les caisses d’allocations familiales (CAF), pour détecter les indus et les fraudes. Les deux enquêtes montrent que ce système, qui permet de scanner des milliers de données de 32 millions de personnes (les allocataires et leurs proches) et sur la base duquel sont déclenchés les contrôles, cible les plus pauvres, notamment les mères isolées.

    L’algorithme utilisé attribue un score de risque aux allocataires allant de 0 à 1. Plus on est proche de 1, plus on est exposé à la probabilité d’un contrôle. Parmi les critères pénalisants, le fait d’avoir changé de loyer plus de quatre fois en un an et demi, d’avoir un enfant à charge de 19 ans ou plus, ou encore de déclarer chaque trimestre ses ressources pour percevoir l’allocation adulte handicapé (AAH).

    • on sait _qui_ à pondu ledit algorithme, sur ordre de qui, et selon les specification de qui ? ou c’est secret défense ? (voire, secret défonce)

    • #Notation des allocataires : fébrile, la CAF s’enferme dans l’#opacité

      Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de #contrôle_social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

      Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de #profilage attribuant à chaque allocataire une note ou « #score_de_risque ». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

      Cet algorithme symbolise l’étendue des #dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de #tri et d’#évaluation continue de chacun de nos faits et gestes.

      Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

      Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le #code source de son algorithme1. Et sa réponse est affligeante2.

      Sortir de la précarité pour “tromper l’algorithme”

      Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

      En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de #critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »3.

      Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le #code_source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme »4. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

      La CAF croit-elle vraiment que les critères liés à la #précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire ? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté ?

      Ce raisonnement frise l’#absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

      Pire, le secrétaire général de la CAF entretient publiquement la confusion entre #fraudes et #erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.

      En réponse à un journaliste de Radio France5 l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter : « Il faut que l’on ait un coup d’avance ».

      Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires6. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».

      De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement7 ?

      #Déni_de_justice

      Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les #paramètres de cet algorithme8. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle9 sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

      Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.

      Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé10. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.

      Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.
      La discrimination : un savoir-faire à protéger

      Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.

      En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables11, la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable12.

      Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »13. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses ?

      A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.

      Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »14.
      Vingt ans de développement… et aucun compte-rendu de réunions

      Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…15

      Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.
      Le retour de l’alibi technique

      A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme16.

      A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.

      L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute17 de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».

      Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité18.

      On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.
      Communication mensongère

      La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.

      A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…

      A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de « prime sur leurs résultats », ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle19.

      A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire20.

      Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci. » Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».

      Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité21 qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.
      Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

      A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

      Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

      A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »22, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »23.

      A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

      Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours24. Comme si l’application des techniques de profilage à des fins « positives » pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.

      Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours25. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »26. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial27.

      Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »28.

      En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.

      Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.

      Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF29 en juin 2022. Parmi ses missions : « la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information. » Et le communiqué accompagnant sa nomination ajoute qu’elle « sera également la référente nationale déontologie ». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.
      Lutter au-delà de la transparence

      La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.

      La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.

      Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.

      A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.

      Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.

      Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.

      https://www.laquadrature.net/2022/12/23/notation-des-allocataires-febrile-la-caf-senferme-dans-lopacite
      déjà sur seenthis (via @colporteur) :
      https://seenthis.net/messages/984668

      #algorithme #discrimination #mères_isolées #risque

    • C’est la réponse qui a toujours été faite aux syndicats qui réclament depuis des années les barèmes et algo pour pouvoir contester dans le cadre des TRÈS nombreuses erreurs de calcul.

      « gna gna gna, vous allez tricher ! ».

      Marrant comme on accuse toujours l’autre de ses propres turpitudes.

      Oui, des fois, les gens pourraient refuser une miette de boulot de merde qui va faire sauter tous leurs droits de manière disproportionnée et les foutre encore plus dans la merde. Oui, des fois, les gens pourraient s’organiser pour ne pas se retrouver dans une trappe à contrôle ou une situation encore plus dégradée.

      Oui, t’imagine ? Les gens pourraient juste faire valoir leurs droits si souvent déniés sans même avoir à avancer un début de justification.

      Et ils pourraient se rendre compte que ce n’est pas l’algo, mais bien un agent malintentionné qui a niqué leur dossier.

    • y aurait pas moyen de « retourner » (comme une chaussette) leur truc de la caf ? Genre, une expérience de science participative :-) on pourrait : 1./ demander que le "score" soit communiqué à chaque administré (e.g. via CNIL), 2./ collecter score et infos perso sur la base du volontariat, éventuellement en anonymisant les données, et 3./ faire un modèle « externe » avec ces données, le publier, et enfin 4./ s’en servir pour identifier les cas de non-recours (et au moins les compter)

  • « Introducing Observable Plot » par Mike Bostock, 04.05.2021
    https://observablehq.com/@observablehq/introducing-observable-plot

    « We are thrilled to announce Observable Plot, a new open-source JavaScript library for exploratory data visualization.

    […] Plot is informed by ten years of maintaining D3 but does not replace it. We continue to support and develop D3, and recommend its low-level approach for bespoke explanatory visualizations and as a foundation for higher-level exploratory visualization tools.

    In fact, Plot is built on D3! Observable Plot is more akin to Vega-Lite, another great tool for exploration.

    We designed Plot to pair beautifully with Observable: to leverage Observable dataflow for fluid exploration and interaction. However, Plot does not depend on Observable; use it wherever you like. […] »

    #observable #notebook #plot #visualization #notation

  • Honest passengers first ! Beijing subway to pilot credit-based fast entry system
    https://www.globaltimes.cn/page/202103/1217953.shtml

    Beijing’s subway is mulling exempting people with good credit records from mandatory security checks as part of its new smart measures to speed up city commuters’ flow of entry into the subway. Beijing subway is expected to pilot the new measure based on passengers’ credit scores, according to a municipal government report on the city’s traffic. With this system, passengers carrying small bags can enter the subway station directly without going through security checks. The Global Times found (...)

    #algorithme #CCTV #biométrie #facial #reconnaissance #vidéo-surveillance #notation #SocialCreditSystem #surveillance (...)

    ##_

  • Derrière les grilles, Barbara Cassin
    https://www.fayard.fr/1001-nuits/derriere-les-grilles-9782755506020

    Instrument indispensable à toute gouvernance, forgé sur le modèle des pratiques des agences de notation financière, l’évaluation a étendu son empire à tous les domaines, tous les métiers, tous les instants, tout, vraiment tout, de la naissance à la mort. Et elle n’a cessé de prouver, de toutes les manières possibles, son inopérante bêtise et sa dangerosité. Pourtant, elle n’est jamais démentie : elle promet encore plus, si l’on évalue encore… Pour comprendre ce qui ne va plus, ce qui ne doit pas continuer, (...)

    #algorithme #technologisme #prédiction #notation #profiling #surveillance

  • Procès Ikea : des policiers trop zélés à la barre
    https://www.lemonde.fr/societe/article/2021/03/24/proces-ikea-des-policiers-trop-zeles-a-la-barre_6074285_3224.html

    Quatre fonctionnaires sont accusés de violation du secret professionnel pour avoir, à la demande d’Ikea, consulté les antécédents judiciaires de salariés.

    Huit ans d’instruction ont permis de décortiquer le mécanisme principal de la surveillance à grande échelle qui visait salariés et candidats à l’embauche chez Ikea, en France, dans les années 2000 : les directeurs d’une grande partie des magasins du pays envoyaient des listes de noms à Jean-François Paris, responsable des questions de sécurité au sein du groupe, qui les transmettait à Jean-Pierre Fourès, ancien policier des renseignements généraux, lequel obtenait les antécédents judiciaires des personnes concernées de façon plus ou moins légale – parfois auprès de policiers, selon l’accusation, ce que l’intéressé dément.

    Les choses étaient plus simples au magasin Ikea d’Avignon, où l’on ne s’embarrassait pas de tant d’intermédiaires : le directeur du site, Patrick Soavi, passait directement commande à un policier nommé Alain Straboni, qui avait la bonne idée d’être son cousin. « Au troisième degré », précise M. Soavi à la barre : « J’ai un lien familial avec Straboni, je me suis dit : “Pourquoi passer par Jean-François Paris ?” Je reconnais que j’ai fait preuve de beaucoup de naïveté et d’un peu d’excès de zèle, mais on nous demandait de faire ces contrôles et, une fois le doigt dans l’engrenage, il était trop tard. » Au deuxième jour du procès Ikea, mardi 23 mars, le tribunal correctionnel de Versailles s’intéressait au cas d’espèce avignonnais.

    Le magasin ouvre ses portes en août 2010. En avril, Patrick Soavi envoie un premier mail à Alain Straboni : une liste de quarante-neuf noms, prénoms, dates et lieux de naissance de candidats présélectionnés, à laquelle il faudrait « jeter un œil ». Réponse cinq jours plus tard : « Sur quarante-neuf, trois sont connus : C. pour menaces, B. pour usage de stup, et M. pour outrage à agent. En gros ce n’est pas bien méchant, bonne pioche. » Mi-juin, nouveau mail de Patrick Soavi à son cousin, soixante-huit nouveaux noms à passer dans le STIC, le fichier des antécédents judiciaires, qui n’est pourtant pas censé servir à faire le tri à l’embauche. Verdict : « Patrick, pour la liste, cinq noms à proscrire. »

    Syndicats et « barbus »

    « Si la personne était défavorablement connue, on lui disait poliment que le profil ne correspondait pas », explique M. Soavi, qui se justifie : « J’avais la hantise de la drogue et de la mise en place d’un marché parallèle dans mon magasin. » Quand il était directeur du magasin de Villiers-sur-Marne, en région parisienne, il avait déjà sollicité son cousin policier, qui a donné cette autre explication aux enquêteurs : « Sa peur était que les barbus infiltrent les syndicats de son entreprise. » Soavi, gêné, à la barre : « Ce sont des termes de policiers. “Barbus”, c’est pas trop mes propos, hein. »

    M. Straboni absent, il a fallu se contenter des réponses qu’il avait fournies à l’instruction : « Je savais que je n’avais pas le droit de le faire, je l’ai fait uniquement parce qu’il s’agissait d’un cousin, un discret, qui n’ébruiterait pas notre deal. » Un service sans « aucune contrepartie », hormis un coup de pouce pour que ses enfants ou ceux de ses collègues policiers décrochent un emploi saisonnier chez Ikea. Pour M. Straboni, cette affaire est une « catastrophe personnelle et professionnelle », il se sent « honteux ».

    Le même sentiment habite visiblement Jean-Philippe Dallies-Labourdette, qui arrive à la barre. Policier à la retraite, carrière exemplaire, rescapé d’un attentat au Kurdistan en 1992, officier de l’ordre national du Mérite depuis 2010, et désormais jugé pour avoir vérifié quarante-deux identités dans le STIC à la demande de Fabrice Cadet, responsable de la sécurité du magasin Ikea d’Avignon. Le policier bredouille qu’il s’est contenté de « considérations générales », qu’il n’est « pas entré dans la vie des gens » et n’a « pas donné la nature des infractions ». C’est illégal quand même. Il regrette sa « négligence ».

    Troubles sociaux

    « Je savais qu’on n’avait pas le droit de le faire, mais je l’ai fait quand même », enchaîne son adjoint Jean-Yves Huart, l’air contrit, qui peine à expliquer pourquoi. « On avait besoin de renseignements à l’époque, explique-t-il mollement. Il y avait des troubles sociaux dans le département, on était tiraillés entre différents syndicats, les entreprises pouvaient éventuellement nous aider à anticiper ces troubles.

    – Une sorte d’échange de bons procédés, dit la présidente.

    – Oui, sauf qu’on a été un peu trop loin dans l’échange. »

    En tout, 167 identités ont été passées au STIC concernant le magasin d’Avignon, qui compte 250 salariés.

    Un quatrième policier est actuellement jugé à Versailles. Contrairement aux trois autres, Laurent Hervieu plaide non coupable. En 2010 et 2011, alors qu’il était en poste à Ermont (Val-d’Oise), il a effectué des consultations STIC concernant vingt salariés – dont des leaders syndicaux – du magasin voisin de Franconville, foyer de contestation d’où était parti, en février 2010, un vaste mouvement de grève chez les salariés du groupe.

    « Dix personnes passées au STIC avec vos codes de connexion ont ensuite été licenciées par Ikea », remarque la procureure.

    « Euh… Malheureusement, je ne peux pas vous l’expliquer, je n’y peux rien, répond M. Hervieu, qui promet n’avoir jamais fait de recherches à la demande d’Ikea. Toutes mes consultations STIC se sont faites dans le cadre de procédures judiciaires régulières », affirme-t-il, évoquant notamment des affaires de vol par du personnel au sein du magasin. Problème : en huit ans d’instruction, on n’a jamais trouvé trace de ces procédures. La peine maximale encourue par les policiers est de cinq ans de prison. Le procès se poursuit jeudi avec les interrogatoires des deux anciens PDG d’Ikea France, accusés d’avoir cautionné le système de surveillance généralisé.

    #Ikea #données #justice #notation #profiling #STIC #surveillance #travail #police

  • Google Analytics : Stop feeding the beast
    https://casparwre.de/blog/stop-using-google-analytics

    The beast that is Google There was a time when Google was a small, quirky company with a single product so awesome that it blew away the competition. That time is long gone. These days Google is a gigantic multinational mega-corp. But that’s understating it a little. Think of Google as a kind of Godzilla that slurps up data about its users at one end and craps out gold ingots at the other. It does both of these at huge scale. When thinking about Google, there are three things that are not (...)

    #Google #GoogleAnalytics #GoogleMaps #GoogleSearch #algorithme #domination #bénéfices #microtargeting #notation #profiling (...)

    ##publicité

  • Amazon Mentor app tracks and disciplines delivery drivers
    https://www.cnbc.com/2021/02/12/amazon-mentor-app-tracks-and-disciplines-delivery-drivers.html

    Key Points Amazon confirmed last week it has started putting AI-equipped cameras in some delivery vans. It already requires contracted delivery workers to use an app, called Mentor, that tracks and scores their driving behavior. Like the cameras, the app is designed to improve driver safety, but Amazon employees say the technology produces errors and, in some cases, tracks their location after they clock out from work. Last week, Amazon triggered privacy concerns when it confirmed it’s (...)

    #Amazon #algorithme #comportement #notation #surveillance #travail

  • China’s social credit system was due by 2020 but is far from ready
    https://algorithmwatch.org/en/story/chinas-social-credit-system-overdue

    Six years after the government announced plans for a national social credit score, Chinese citizens face dozens of systems that are largely incompatible with each other. The central government is planning an overhaul. Research and planning for a national credit score in China started in 1999, according to Lin Junyue, one of the most important minds behind the system. It began as a research project led by the World Economics and Politics Institute of the Chinese Academy of Social Sciences. (...)

    #Alibaba #AntFinancial #algorithme #Sésame #données #SocialCreditSystem #finance #notation #surveillance (...)

    ##AlgorithmWatch

  • État d’urgence, fichage, couvre-feu... Sommes-nous en train de renoncer à nos libertés ?
    https://www.telerama.fr/debats-reportages/etat-durgence-fichage-couvre-feu...-sommes-nous-en-train-de-renoncer-a-nos-

    La sécurité, mais à quel prix ? Partout nos libertés régressent, et l’exception devient la règle. Un avocat, une philosophe, un historien et une sociologue nous font part de leurs inquiétudes. Et nous incitent à agir.

    La dernière alerte en date a sonné mi-décembre, avec un projet de loi inattendu, instituant « un régime pérenne de gestion des urgences sanitaires ». Sur le papier, on comprend bien le principe : puisqu’une catastrophe de type Covid-19 risque fort de se reproduire à l’avenir, autant doter les pouvoirs publics d’un cadre d’action clair, pour déployer rapidement les mesures ad hoc. Mais lesquelles ? Un alinéa du texte précisait que le Premier ministre pourrait « subordonner les déplacements des personnes, leur accès aux moyens de transports ou à certains lieux, ainsi que l’exercice de certaines activités à la présentation des résultats d’un test de dépistage, […] au suivi d’un traitement préventif, y compris à l’administration d’un vaccin, ou d’un traitement curatif ». En somme, un certificat de bonne santé ou de vaccination aurait pu devenir obligatoire pour entrer dans un train ou dans un musée… Sans compter que le texte prévoyait d’autoriser le recensement des citoyens potentiellement contaminés, avec ou sans leur consentement. Un « monde d’après » guère engageant.

    Face à la levée de boucliers politique, le projet fut retiré. Pour l’instant. Reste qu’il illustre bien les pressions auxquelles nos libertés publiques, consacrées dès 1789 avec la Déclaration des droits de l’homme et du citoyen, sont soumises depuis plusieurs années. Elles reculent, indubitablement. Des dispositions sécuritaires a priori exceptionnelles ne cessent de s’insinuer dans nos quotidiens, quitte à devenir… plus exceptionnelles du tout. Fin 2017, une loi a entériné plusieurs dispositions de l’état d’urgence décrété après les terrifiants attentats de novembre 2015 — et qui ne devait pas durer. Depuis ? Un autre état d’urgence, sanitaire cette fois, nous est tombé dessus, avec ses confinements, fermetures, limitations de déplacements ou de rassemblements, obligation du port du masque ; et même couvre-feu… Les mesures ont été globalement acceptées, puisqu’il faut bien faire face à l’incertitude épidémique et à l’engorgement des hôpitaux.

    Alors que le Conseil d’État vient de valider les décrets autorisant la police à ficher nos opinions politiques, religieuses et syndicales, d’autres mesures se sont fait jour ces derniers mois qui menacent elles aussi de restreindre nos libertés : le nouveau schéma du maintien de l’ordre, qui entrave la presse dans sa couverture des manifestations ; ou, bien sûr, la proposition de loi « sécurité globale », qui prône l’usage des drones, ou l’interdiction de diffuser la vidéo d’un policier ou d’un gendarme en intervention, permettant de l’identifier. Ce texte-ci passe beaucoup moins bien dans l’opinion publique. De nouvelles manifestations sont prévues le 16 janvier.

    L’heure de la contestation est-elle venue ? Pas sûr, car, dans une époque tourmentée, les mesures sécuritaires ont souvent le don de rassurer, quelle que soit leur efficacité. C’est tout le problème. Saisis par l’inquiétude, les peuples peuvent délibérément renoncer à des libertés qui leur semblaient essentielles la veille, convaincus que nécessité fait loi. Que tout cela n’est que provisoire. Ou juste prévu « au cas où »… D’ailleurs, au cas où, demain, au sommet de l’État, des dirigeants rêveraient de piétiner l’État de droit, ne sommes-nous pas en train de leur préparer le terrain en toute légalité ? Ce sont ces enjeux, fondamentaux, qui se déploient sous nos yeux. Pour les saisir, nous avons croisé les points de vue d’un avocat, d’une philosophe, d’un historien et d’une sociologue. Ils nous expliquent en quoi la démocratie tient à un équilibre, fragile par nature, entre la sécurité et la liberté. Qui n’avait pas paru aussi précaire depuis longtemps.Retour ligne automatique
    Arié Alimi, avocat : « Les citoyens doivent se défendre »

    « Depuis les attentats du 13 novembre 2015, l’état d’urgence se substitue progressivement à l’État de droit. D’abord sécuritaire, il est devenu sanitaire avec la pandémie de Covid-19. L’état d’urgence permet de transférer un certain nombre de pouvoirs de l’autorité judiciaire vers l’autorité administrative : ce sont le ministère de l’Intérieur et le préfet de police qui ordonnent directement des mesures restrictives de liberté et non plus des juges, plus indépendants du pouvoir politique. Instaurées en 2015, les assignations à résidence ou les perquisitions ont ensuite été pérennisées dans le droit commun avec la loi Silt (Sécurité intérieure et lutte contre le terrorisme) de 2017. Tout s’organise sous le contrôle de la police. Avec l’état d’urgence sanitaire, on instaure une assignation à résidence pour l’ensemble de la population, c’est-à-dire le confinement. On inverse la règle traditionnelle de la République, qui veut que la liberté soit le principe, et sa restriction, l’exception. À chaque fois qu’une peur renvoie l’individu à son instinct de survie, l’État en profite pour étendre son pouvoir et met en place de nouveaux outils de surveillance et de répression. La “loi sécurité globale” s’inscrit dans ce cheminement. Instaurer les drones, centraliser la gestion de caméras-piétons portées par des policiers ou interdire de filmer les forces de l’ordre permet aussi de légaliser ce qui était déjà pratiqué avant de manière illégale. C’est une stratégie de l’illégalisme. Exemple : le préfet de police de Paris déploie des drones alors qu’il n’en a pas le droit, il est condamné par le Conseil d’État mais persiste, histoire de tester les contre-pouvoirs.

    L’état d’urgence permanent crée un tourbillon incessant de nouvelles lois, une espèce de trou noir qui aspire et détruit progressivement le cadre de l’État de droit, dans une logique de “toujours plus”. L’individu est placé sous surveillance constante. Si la reconnaissance faciale est encore réalisée de façon individuelle et manuelle, je pense que les pouvoirs publics ont l’objectif de l’automatiser avant 2022. Il est fondamental que les citoyens se défendent, le droit est une arme parmi d’autres, avec la politique et la médiatisation. Les plaintes contre X déposées par certains d’entre eux ou des associations pendant le confinement ont permis de rappeler que les responsables politiques encourent des responsabilités pénales quand ils touchent aux libertés publiques. »

    Membre de la Ligue des droits de l’homme (LDH), Arié Alimi publie Le Coup d’état d’urgence (Seuil, 180 p., 15 €), à paraître le 21 janvier.

    Julia Christ, philosophe : « Opposer protection et libertés est un faux débat »

    « Un constat m’a extrêmement étonnée, quand les libertés ont été restreintes par le premier confinement : personne n’a fait remarquer que l’on voyait pour la première fois le lien inextricable entre les libertés individuelles et les droits sociaux. Il est pourtant évident que les gens devaient rester chez eux parce que nos hôpitaux ne pouvaient simplement pas accueillir tous les malades, et l’explication de cette situation est que le système hospitalier a été mis en pièces par les politiques des gouvernements successifs. Les libertés individuelles ont été restreintes non pas pour assurer notre sécurité mais au contraire parce que nous ne sommes socialement pas assez en sécurité.

    Opposer, comme on l’a entendu, “la protection de la vie” et les libertés individuelles est un faux débat car la sécurité est une assurance sociale dont dépend notre liberté. Ne pas avoir peur de tomber malade, pouvoir manger à sa faim ou être éduqué sont autant de choses indispensables pour exercer sa liberté raisonnablement. Ce sont donc les droits sociaux qui fondent à la fois la sécurité et les libertés fondamentales de chacun. La sécurité qui restreint les libertés survient parce que la sécurité qui produit les libertés a été démantelée : on interdit aux gens de sortir en temps de pandémie parce que nous n’avons pas assez de lits pour soigner tous les malades, tandis qu’on augmente la présence et la contrainte policières là où les défaillances du système éducatif et social produisent de la criminalité.

    L’aspect liberticide des récents projets de lois est le propre d’un gouvernement libéral dans la mesure où le libéralisme pense que les libertés individuelles doivent être limitées pour pouvoir coexister. L’idée que l’État doit mettre de l’ordre, sans quoi les individus se permettraient n’importe quoi dans la poursuite de leurs seuls intérêts, est une tendance autoritaire intrinsèque au système libéral. Je n’y vois pas une volonté de domination mais une incompétence totale à observer que les individus font toujours partie de groupes sociaux qui se régulent d’eux-mêmes et entre eux : à l’université, en manifestation, dans les religions, il existe déjà des normes et des contraintes internes. Le gouvernement français croit ne pas avoir d’autre moyen d’obtenir la cohésion sociale qu’en imposant ses valeurs, les fameux “principes républicains”. Cela témoigne d’une mécompréhension totale de ce qu’est une société et d’un aveuglement par rapport à la réalité sociale. »Retour ligne automatique
    Pascal Ory, historien : « On ne décrète pas la liberté »

    « Dans l’Histoire, toute situation d’exception génère, mécaniquement, des restrictions aux libertés publiques. En 2021 la question essentielle n’est pas là. Elle concerne le passé proche et l’avenir (encore) lointain. Le passé proche est celui de 2020 : une situation de crise sanitaire majeure a rappelé aux démocraties libérales leur fragilité. Après tout, d’un point de vue démographique, elles ne représentent jamais qu’une minorité à la surface de la Terre. La plupart des êtres humains vivent en régime de démocratie autoritaire ou de démocratie totalitaire. Comme dans les an-nées 30 (1930, pas encore 2030) la manière dont Pékin a utilisé successivement (au début de la pandémie) la censure puis la propagande a paru montrer l’efficacité — sur le court terme — de la mobilisation dictatoriale, face aux incertitudes consubstantielles aux régimes libéraux. Mais le plus problématique n’est pas encore là. Il est dans l’avenir.

    Posons deux prémisses : premièrement, dans l’histoire de l’humanité, il n’y a pas de causes, rien que des effets ; deuxièmement, l’effet suprême, celui qui rend compte du reste (un reste qui s’appelle ici économie, là culture), est l’effet politique. On ne décrète pas la liberté. C’est affaire de conjoncture, dans l’espace et dans le temps. Et le problème principal, ici, est dans le temps. Si la présente prophétie écologiste est vérifiée, avec son mélange d’anxiété sanitaire et d’angoisse climatique, tout se ramènera, comme dans toutes les sociétés, à une course de vitesse entre les facteurs d’intégration et les facteurs de désintégration. L’hypothèse la plus probable, à ce stade, est que l’ampleur du danger (c’est-à-dire de sa perception), au lieu de conduire les so-ciétés humaines vers toujours plus d’autonomie et de “participatif”, justifiera l’instauration de régimes autoritaires. Et c’est là qu’intervient la variable géographique, autrement dit la culture nationale : le chemin à parcourir sera sans doute un peu plus long pour les Islandais que pour les Nord-Coréens. Notre avenir lointain rejoindrait alors notre passé proche : l’humanité irait “globalement” vers des formes variées de dictature, mais dans l’ordre dispersé des expériences nationales.

    Cette hypothèse aura pour beaucoup de lecteurs quelque chose d’attristant. Mais où est-il écrit que le monde aille, de soi-même, vers plus de liberté ? Dans la définition de la démocratie, la souveraineté populaire est suffisante ; la liberté n’est pas nécessaire. Bref, comme le disait Renan : “Il se pourrait que la vérité fût triste.” Évidemment, on le voit, il parlait au conditionnel… » Retour ligne automatique
    Vanessa Codaccioni, sociologue : « A la fois surveillants et surveillés »

    « Michel Foucault a montré comment, dès les années 1970, se met en place une société de sécurité qui voit se multiplier les textes et les lois sécuritaires. Dans la “société de vigilance”, qui n’émerge qu’après les attentats du 11 septembre 2001, les populations sont à la fois “chasseuses” et “proies”. Elles sont l’objet d’une surveillance massive, généralisée et de plus en plus intrusive, comme l’a révélé Edward Snowden [en montrant l’existence de plusieurs programmes de surveillance de masse américains et britanniques, ndlr]. Mais ces populations sont aussi incitées à développer une surveillance latérale, dans toutes les sphères de la vie : à l’école, au travail, dans la rue, dans les transports en commun, sur Internet et les réseaux sociaux, parfois même au sein de la famille ou du cercle amical. Il y a ainsi un double usage sécuritaire du corps. D’une part, c’est une source directe d’informations, et donc la cible de la surveillance ou de la répression étatique (ADN, empreintes digitales, vidéosurveillance, reconnaissance faciale, etc.). D’autre part, ce corps est en permanence à l’affût. Si le plus important reste de “dire quelque chose” aux autorités, c’est-à-dire de signaler et de dénoncer des risques potentiels, jamais nos sens, et en particulier l’ouïe et la vue, n’ont autant été sollicités à des fins punitives.

    Dès lors, sommes-nous à la fois surveillants et surveillés ? Possiblement. Nous pouvons encore toutes et tous être l’objet d’une double surveillance : celle des agents de l’État et celle de nos concitoyennes et concitoyens. Mais il ne faut jamais oublier qu’elle est partielle et ciblée : certaines catégories de la population, désignées comme suspectes, déviantes, dangereuses, en sont les premières victimes. Dans le cadre de l’antiterrorisme, ce sont les musulmans qui la subissent, celle-ci se rajoutant à la stigmatisation et à la répression. Il s’agit de l’un des objectifs disciplinaires de ces appels constants à la vigilance : faire de l’autre une source d’insécurité permanente pour alimenter une suspicion mutuelle, pour désolidariser, isoler et séparer, et in fine pour accroître le contrôle de l’État. »

    Maîtresse de conférences à l’université Paris-8, Vanessa Codaccioni est l’autrice de La Société de vigilance, éd. Textuel, 160 p., 15,90 €.

    #algorithme #CCTV #drone #activisme #religion #vidéo-surveillance #COVID-19 #notation #profiling #santé #surveillance (...)

    ##santé ##LDH-France

  • In Poland, a law made loan algorithms transparent. Implementation is nonexistent.
    https://algorithmwatch.org/en/story/poland-credit-loan-transparency

    Since May 2019, and as a first in the EU, Polish consumers have the right to know in detail why a bank decided to grant or refuse them a loan, even for small amounts. But in practice, banks are still reluctant to provide such information. – “Hello, I would like to buy an Xbox One S, a game console, and pay in installments”, I am asking in a large electronics store. A saleswoman guides me to the sales pit, sits in front of a computer and begins an interview. Who do I work for and how much do I (...)

    #algorithme #[fr]Règlement_Général_sur_la_Protection_des_Données_(RGPD)[en]General_Data_Protection_Regulation_(GDPR)[nl]General_Data_Protection_Regulation_(GDPR) #données #consommation #notation (...)

    ##[fr]Règlement_Général_sur_la_Protection_des_Données__RGPD_[en]General_Data_Protection_Regulation__GDPR_[nl]General_Data_Protection_Regulation__GDPR_ ##profiling

  • L’« écoscore », une étiquette environnementale qui pourrait favoriser la nourriture industrielle
    https://reporterre.net/L-ecoscore-une-etiquette-environnementale-qui-pourrait-favoriser-la-nour

    Les aliments pourraient bientôt avoir eux aussi une étiquette environnementale, dite « écoscore ». Mais pour l’instant, la méthode choisie a tendance à privilégier les produits issus de l’agriculture intensive, qui pourraient être ainsi mieux notés que le bio. Si on vous propose de noter le coût écologique des produits alimentaires, quelle couleur attribueriez-vous aux œufs de poule en cage, ou à une pomme bio ? Spontanément, on pourrait penser que l’étiquette des premiers serait dans le rouge, alors que (...)

    #algorithme #écologie #biais #notation

  • Should We Use Search History for Credit Scores ? IMF Says Yes
    https://gizmodo.com/your-credit-score-should-be-based-on-your-web-history-1845912592

    With more services than ever collecting your data, it’s easy to start asking why anyone should care about most of it. This is why. Because people start having ideas like this. In a new blog post for the International Monetary Fund, four researchers presented their findings from a working paper that examines the current relationship between finance and tech as well as its potential future. Gazing into their crystal ball, the researchers see the possibility of using the data from your (...)

    #Apple #Google #Facebook #algorithme #fiscalité #historique #prédiction #GAFAM #notation (...)

    ##fiscalité ##profiling

  • The coming war on the hidden algorithms that trap people in poverty | MIT Technology Review
    https://www.technologyreview.com/2020/12/04/1013068/algorithms-create-a-poverty-trap-lawyers-fight-back

    A growing group of lawyers are uncovering, navigating, and fighting the automated systems that deny the poor housing, jobs, and basic services.

    Credit-scoring algorithms are not the only ones that affect people’s economic well-being and access to basic services. Algorithms now decide which children enter foster care, which patients receive medical care, which families get access to stable housing. Those of us with means can pass our lives unaware of any of this. But for low-income individuals, the rapid growth and adoption of automated decision-making systems has created a hidden web of interlocking traps.

    Fortunately, a growing group of civil lawyers are beginning to organize around this issue. Borrowing a playbook from the criminal defense world’s pushback against risk-assessment algorithms, they’re seeking to educate themselves on these systems, build a community, and develop litigation strategies. “Basically every civil lawyer is starting to deal with this stuff, because all of our clients are in some way or another being touched by these systems,” says Michele Gilman, a clinical law professor at the University of Baltimore. “We need to wake up, get training. If we want to be really good holistic lawyers, we need to be aware of that.”

    “This is happening across the board to our clients,” she says. “They’re enmeshed in so many different algorithms that are barring them from basic services. And the clients may not be aware of that, because a lot of these systems are invisible.”

    Government agencies, on the other hand, are driven to adopt algorithms when they want to modernize their systems. The push to adopt web-based apps and digital tools began in the early 2000s and has continued with a move toward more data-driven automated systems and AI. There are good reasons to seek these changes. During the pandemic, many unemployment benefit systems struggled to handle the massive volume of new requests, leading to significant delays. Modernizing these legacy systems promises faster and more reliable results.

    But the software procurement process is rarely transparent, and thus lacks accountability. Public agencies often buy automated decision-making tools directly from private vendors. The result is that when systems go awry, the individuals affected——and their lawyers—are left in the dark. “They don’t advertise it anywhere,” says Julia Simon-Mishel, an attorney at Philadelphia Legal Assistance. “It’s often not written in any sort of policy guides or policy manuals. We’re at a disadvantage.”

    The lack of public vetting also makes the systems more prone to error. One of the most egregious malfunctions happened in Michigan in 2013. After a big effort to automate the state’s unemployment benefits system, the algorithm incorrectly flagged over 34,000 people for fraud. “It caused a massive loss of benefits,” Simon-Mishel says. “There were bankruptcies; there were unfortunately suicides. It was a whole mess.”

    Low-income individuals bear the brunt of the shift toward algorithms. They are the people most vulnerable to temporary economic hardships that get codified into consumer reports, and the ones who need and seek public benefits. Over the years, Gilman has seen more and more cases where clients risk entering a vicious cycle. “One person walks through so many systems on a day-to-day basis,” she says. “I mean, we all do. But the consequences of it are much more harsh for poor people and minorities.”

    She brings up a current case in her clinic as an example. A family member lost work because of the pandemic and was denied unemployment benefits because of an automated system failure. The family then fell behind on rent payments, which led their landlord to sue them for eviction. While the eviction won’t be legal because of the CDC’s moratorium, the lawsuit will still be logged in public records. Those records could then feed into tenant-screening algorithms, which could make it harder for the family to find stable housing in the future. Their failure to pay rent and utilities could also be a ding on their credit score, which once again has repercussions. “If they are trying to set up cell-phone service or take out a loan or buy a car or apply for a job, it just has these cascading ripple effects,” Gilman says.

    “Every case is going to turn into an algorithm case”

    In September, Gilman, who is currently a faculty fellow at the Data and Society research institute, released a report documenting all the various algorithms that poverty lawyers might encounter. Called Poverty Lawgorithms, it’s meant to be a guide for her colleagues in the field. Divided into specific practice areas like consumer law, family law, housing, and public benefits, it explains how to deal with issues raised by algorithms and other data-driven technologies within the scope of existing laws.

    Rapport : https://datasociety.net/wp-content/uploads/2020/09/Poverty-Lawgorithms-20200915.pdf

    #Algorithme #Pauvreté #Credit_score #Notation

  • Sous pression, Microsoft rétropédale sur son logiciel de surveillance des salariés
    https://korii.slate.fr/tech/microsoft-retropedale-controverse-logiciel-surveillance-espionnage-salar

    Le score de productivité ne pourra plus être utilisé de manière individuelle. À peine quelques semaines après avoir lancé son outil pour mesurer la productivité des salariés (on vous en avait parlé pas plus tard que le 1er décembre), Microsoft fait marche arrière et apporte plusieurs changements à son score de productivité intégré aux logiciels et applications Microsoft 365. Sur son site officiel, la firme américaine annonce qu’elle va procéder à des modifications concernant les données privées, premier (...)

    #Microsoft #algorithme #ProductivityScore #notation #surveillance #travail

  • Microsoft’s New ‘Productivity Score’ Lets Your Boss Monitor How Often You Use Email And Attend Video Meetings
    https://www.forbes.com/sites/rachelsandler/2020/11/25/microsofts-new-productivity-score-lets-your-boss-monitor-how-often-you-use-email-and-attend-video-meetings/?sh=2a82f4801a46

    At Microsoft’s MSFT +1% annual Ignite conference in October, the company previewed a slick new tool called Productivity Score. During the virtual presentation, a senior product manager said the feature provides “insights that transform how work gets done” by showing employers how workers use Microsoft 365 services like Outlook, Teams, SharePoint and OneDrive. Productivity Score officially launched less than a month later to little fanfare, but a closer look at what data Microsoft lets (...)

    #Microsoft #algorithme #ProductivityScore #notation #surveillance #travail #télétravail

  • Productivity Score : le logiciel Microsoft qui surveille les salariés
    https://korii.slate.fr/biz/productivity-score-logiciel-microsoft-qui-surveille-salaries-surveillanc

    Chaque activité est enregistrée et donne un certain nombre de points. Les jeux vidéo, les applications sur nos téléphones et les réseaux sociaux nous ont rendu accro aux doses de dopamine que délivrent notifications, likes et micro-accomplissements constants. Microsoft l’a bien compris, et a intégré cette mécanique dans son nouveau software d’évaluation de la productivité : le Productivity Score. Soixante-douze critères sont ainsi évalués puis compilés dans plusieurs catégories. Combien de fois (...)

    #Microsoft #algorithme #Windows #notation #surveillance #télétravail #travail

  • Faut-il se méfier du « score de productivité » proposé par Microsoft pour doper l’efficacité des entreprises ?
    https://www.franceinter.fr/faut-il-se-mefier-du-score-de-productivite-propose-par-microsoft-pour-do

    Le géant américain Microsoft propose désormais aux entreprises d’améliorer leur efficacité grâce à un « score de productivité », calculé avec les données de travail des salariés. Mais la pertinence et l’utilisation de ces données pose question, alors que le télétravail est privilégié à cause de la crise sanitaire. Le « score de productivité » est un « outil » présenté par le géant Microsoft en octobre et qui, selon le géant américain, doit permettre au manager « de comprendre comment son entreprise fonctionne », et d’ (...)

    #Microsoft #[fr]Règlement_Général_sur_la_Protection_des_Données_(RGPD)[en]General_Data_Protection_Regulation_(GDPR)[nl]General_Data_Protection_Regulation_(GDPR) #notation #surveillance #télétravail #travail (...)

    ##[fr]Règlement_Général_sur_la_Protection_des_Données__RGPD_[en]General_Data_Protection_Regulation__GDPR_[nl]General_Data_Protection_Regulation__GDPR_ ##visioconférence

  • La société automatisée au risque de l’opacité
    http://www.internetactu.net/a-lire-ailleurs/la-societe-automatisee-au-risque-de-lopacite

    L’association européenne et militante Algorithm Watch (@algorithmwatch) vient de publier son rapport annuel sur la société automatisée. Son constat est sévère : les systèmes de prise de décision automatisés se généralisent dans la plus grande opacité. Fabio Chiusi (@fabiochiusi) dans son introduction revient sur le fiasco de la notation automatisée des résultats du bac 2020 britannique… Il rappelle que le choix du gouvernement pour un système automatique de production de résultats était motivé par (...)

    #algorithme #technologisme #consentement #prédiction #discrimination #enseignement #notation #santé (...)

    ##santé ##AlgorithmWatch
    /assets/images/logo_ia.png

  • Benefitting whom ? An overview of companies profiting from “digital welfare”
    https://www.privacyinternational.org/long-read/4144/benefitting-whom-overview-companies-profiting-digital-welfare

    Could private companies be the only ones really profitting from digital welfare ? This overview looks at the big players. Key findings Companies like IBM, MasterCard and credit scoring agencies are developping programmes that reshape our access to welfare. A particular example is the case of the London Counter Fraud Hub were an investigation by Privacy International revealed how several London councils (Camden, Croydon, Ealing and Islington) were exploiting data about their own residents (...)

    #IBM #MasterCard #PrivacyInternational #notation #pauvreté #profiling #fraude #BigData #SmartCity #santé #Sodexo #Visa #carte #prison (...)

    ##pauvreté ##santé ##algorithme

  • The Obama Campaign’s Digital Masterminds Cash In
    https://www.nytimes.com/2013/06/23/magazine/the-obama-campaigns-digital-masterminds-cash-in.html

    Earlier this year, senior members of President Barack Obama’s campaign team took a trip to Las Vegas. Nevada holds a special place in Obama-wonk lore as the place where his monthslong strategy of defeating Hillary Clinton by slowly and surely amassing delegates emerged. But the operatives were not there in March for any political reason. They were there to make money — specifically to land what they hoped would be the first corporate client for their new advertising business, Analytics Media (...)

    #algorithme #élections #marketing #notation #profiling #BigData

  • How Bristol assesses citizens’ risk of harm – using an algorithm
    https://www.theguardian.com/uk-news/2019/oct/15/bristol-algorithm-assess-citizens-risk-harm-guide-frontline-staff

    Almost a quarter of population of city is processed by algorithm used to guide actions of frontline staff Day and night, an IBM computer algorithm whirrs through reams of data about the lives of 170,000 citizens of Bristol. The city council’s servers teem with information from the police, NHS, Department for Work and Pensions and the local authority about these individuals’ work, alcohol, drug and mental health problems, crime, antisocial behaviour, school absences, teenage pregnancies and (...)

    #NHS #algorithme #criminalité #police #données #discrimination #notation #profiling #santé (...)

    ##criminalité ##santé ##surveillance
    https://i.guim.co.uk/img/media/3f79dd805115e74d5fe5ef542bb92e3df3354ff4/0_0_5218_3131/master/5218.jpg

  • Ant Group, la firme qui a uberisé la Chine, prête à faire sauter la bourse
    https://korii.slate.fr/biz/ant-group-ipo-bourse-record-jack-ma-uberise-chine-alipay-app-banque-assu

    Propriétaire de l’application Alipay, elle devrait lever 29,5 milliards d’euros lors de son arrivée sur les marchés. L’histoire commence en 2004 : Alibaba Group, le géant chinois du e-commerce, crée le système de paiement Alipay pour sa plateforme Taobao, le « eBay chinois » –à l’époque, celle-ci n’accepte que les paiements en liquide. En 2009, Alipay lance son application mobile et commence à utiliser les codes QR. Ant Financial (future Ant Group) lance ensuite Yu’e Bao, qui sera un temps le plus grand (...)

    #Alibaba #Taobao #Alipay #payement #QRcode #domination #bénéfices #finance #AntGroup #notation (...)

    ##SocialCreditSystem

  • ICO takes enforcement action against Experian after data broking investigation
    https://ico.org.uk/about-the-ico/news-and-events/news-and-blogs/2020/10/ico-takes-enforcement-action-against-experian-after-data-broking-investigati

    The Information Commissioner’s Office (ICO) orders the credit reference agency Experian Limited to make fundamental changes to how it handles people’s personal data within its direct marketing services. The enforcement notice follows a two-year investigation by the ICO into how Experian, Equifax and TransUnion used personal data within their data broking businesses for direct marketing purposes. A complaint from the campaign group Privacy International to the ICO also raised concerns about (...)

    #Equifax #Experian #Transunion #consentement #BigData #DataBrokers #marketing #notation #PrivacyInternational (...)

    ##ICO-UK