• « L’algorithme de la #CAF conduit à un surcontrôle des populations les plus précaires » | Alternatives Economiques
    https://www.alternatives-economiques.fr/lalgorithme-de-caf-conduit-a-un-surcontrole-populations-plus-pr/00109069

    Fin novembre et début décembre, l’association La Quadrature du Net et le journal Le Monde ont chacun fait paraître une enquête sur l’utilisation du data mining (l’exploration de données) par les caisses d’allocations familiales (CAF), pour détecter les indus et les fraudes. Les deux enquêtes montrent que ce système, qui permet de scanner des milliers de données de 32 millions de personnes (les allocataires et leurs proches) et sur la base duquel sont déclenchés les contrôles, cible les plus pauvres, notamment les mères isolées.

    L’algorithme utilisé attribue un score de risque aux allocataires allant de 0 à 1. Plus on est proche de 1, plus on est exposé à la probabilité d’un contrôle. Parmi les critères pénalisants, le fait d’avoir changé de loyer plus de quatre fois en un an et demi, d’avoir un enfant à charge de 19 ans ou plus, ou encore de déclarer chaque trimestre ses ressources pour percevoir l’allocation adulte handicapé (AAH).

    • on sait _qui_ à pondu ledit algorithme, sur ordre de qui, et selon les specification de qui ? ou c’est secret défense ? (voire, secret défonce)

    • #Notation des allocataires : fébrile, la CAF s’enferme dans l’#opacité

      Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de #contrôle_social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

      Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de #profilage attribuant à chaque allocataire une note ou « #score_de_risque ». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

      Cet algorithme symbolise l’étendue des #dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de #tri et d’#évaluation continue de chacun de nos faits et gestes.

      Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

      Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le #code source de son algorithme1. Et sa réponse est affligeante2.

      Sortir de la précarité pour “tromper l’algorithme”

      Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

      En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de #critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »3.

      Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le #code_source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme »4. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

      La CAF croit-elle vraiment que les critères liés à la #précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire ? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté ?

      Ce raisonnement frise l’#absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

      Pire, le secrétaire général de la CAF entretient publiquement la confusion entre #fraudes et #erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.

      En réponse à un journaliste de Radio France5 l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter : « Il faut que l’on ait un coup d’avance ».

      Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires6. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».

      De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement7 ?

      #Déni_de_justice

      Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les #paramètres de cet algorithme8. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle9 sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

      Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.

      Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé10. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.

      Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.
      La discrimination : un savoir-faire à protéger

      Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.

      En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables11, la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable12.

      Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »13. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses ?

      A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.

      Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »14.
      Vingt ans de développement… et aucun compte-rendu de réunions

      Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…15

      Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.
      Le retour de l’alibi technique

      A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme16.

      A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.

      L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute17 de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».

      Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité18.

      On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.
      Communication mensongère

      La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.

      A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…

      A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de « prime sur leurs résultats », ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle19.

      A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire20.

      Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci. » Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».

      Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité21 qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.
      Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

      A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

      Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

      A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »22, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »23.

      A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

      Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours24. Comme si l’application des techniques de profilage à des fins « positives » pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.

      Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours25. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »26. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial27.

      Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »28.

      En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.

      Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.

      Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF29 en juin 2022. Parmi ses missions : « la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information. » Et le communiqué accompagnant sa nomination ajoute qu’elle « sera également la référente nationale déontologie ». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.
      Lutter au-delà de la transparence

      La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.

      La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.

      Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.

      A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.

      Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.

      Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.

      https://www.laquadrature.net/2022/12/23/notation-des-allocataires-febrile-la-caf-senferme-dans-lopacite
      déjà sur seenthis (via @colporteur) :
      https://seenthis.net/messages/984668

      #algorithme #discrimination #mères_isolées #risque

    • C’est la réponse qui a toujours été faite aux syndicats qui réclament depuis des années les barèmes et algo pour pouvoir contester dans le cadre des TRÈS nombreuses erreurs de calcul.

      « gna gna gna, vous allez tricher ! ».

      Marrant comme on accuse toujours l’autre de ses propres turpitudes.

      Oui, des fois, les gens pourraient refuser une miette de boulot de merde qui va faire sauter tous leurs droits de manière disproportionnée et les foutre encore plus dans la merde. Oui, des fois, les gens pourraient s’organiser pour ne pas se retrouver dans une trappe à contrôle ou une situation encore plus dégradée.

      Oui, t’imagine ? Les gens pourraient juste faire valoir leurs droits si souvent déniés sans même avoir à avancer un début de justification.

      Et ils pourraient se rendre compte que ce n’est pas l’algo, mais bien un agent malintentionné qui a niqué leur dossier.

    • y aurait pas moyen de « retourner » (comme une chaussette) leur truc de la caf ? Genre, une expérience de science participative :-) on pourrait : 1./ demander que le "score" soit communiqué à chaque administré (e.g. via CNIL), 2./ collecter score et infos perso sur la base du volontariat, éventuellement en anonymisant les données, et 3./ faire un modèle « externe » avec ces données, le publier, et enfin 4./ s’en servir pour identifier les cas de non-recours (et au moins les compter)

  • « Introducing Observable Plot » par Mike Bostock, 04.05.2021
    https://observablehq.com/@observablehq/introducing-observable-plot

    « We are thrilled to announce Observable Plot, a new open-source JavaScript library for exploratory data visualization.

    […] Plot is informed by ten years of maintaining D3 but does not replace it. We continue to support and develop D3, and recommend its low-level approach for bespoke explanatory visualizations and as a foundation for higher-level exploratory visualization tools.

    In fact, Plot is built on D3! Observable Plot is more akin to Vega-Lite, another great tool for exploration.

    We designed Plot to pair beautifully with Observable: to leverage Observable dataflow for fluid exploration and interaction. However, Plot does not depend on Observable; use it wherever you like. […] »

    #observable #notebook #plot #visualization #notation

  • Honest passengers first ! Beijing subway to pilot credit-based fast entry system
    https://www.globaltimes.cn/page/202103/1217953.shtml

    Beijing’s subway is mulling exempting people with good credit records from mandatory security checks as part of its new smart measures to speed up city commuters’ flow of entry into the subway. Beijing subway is expected to pilot the new measure based on passengers’ credit scores, according to a municipal government report on the city’s traffic. With this system, passengers carrying small bags can enter the subway station directly without going through security checks. The Global Times found (...)

    #algorithme #CCTV #biométrie #facial #reconnaissance #vidéo-surveillance #notation #SocialCreditSystem #surveillance (...)

    ##_

  • Derrière les grilles, Barbara Cassin
    https://www.fayard.fr/1001-nuits/derriere-les-grilles-9782755506020

    Instrument indispensable à toute gouvernance, forgé sur le modèle des pratiques des agences de notation financière, l’évaluation a étendu son empire à tous les domaines, tous les métiers, tous les instants, tout, vraiment tout, de la naissance à la mort. Et elle n’a cessé de prouver, de toutes les manières possibles, son inopérante bêtise et sa dangerosité. Pourtant, elle n’est jamais démentie : elle promet encore plus, si l’on évalue encore… Pour comprendre ce qui ne va plus, ce qui ne doit pas continuer, (...)

    #algorithme #technologisme #prédiction #notation #profiling #surveillance

  • Procès Ikea : des policiers trop zélés à la barre
    https://www.lemonde.fr/societe/article/2021/03/24/proces-ikea-des-policiers-trop-zeles-a-la-barre_6074285_3224.html

    Quatre fonctionnaires sont accusés de violation du secret professionnel pour avoir, à la demande d’Ikea, consulté les antécédents judiciaires de salariés.

    Huit ans d’instruction ont permis de décortiquer le mécanisme principal de la surveillance à grande échelle qui visait salariés et candidats à l’embauche chez Ikea, en France, dans les années 2000 : les directeurs d’une grande partie des magasins du pays envoyaient des listes de noms à Jean-François Paris, responsable des questions de sécurité au sein du groupe, qui les transmettait à Jean-Pierre Fourès, ancien policier des renseignements généraux, lequel obtenait les antécédents judiciaires des personnes concernées de façon plus ou moins légale – parfois auprès de policiers, selon l’accusation, ce que l’intéressé dément.

    Les choses étaient plus simples au magasin Ikea d’Avignon, où l’on ne s’embarrassait pas de tant d’intermédiaires : le directeur du site, Patrick Soavi, passait directement commande à un policier nommé Alain Straboni, qui avait la bonne idée d’être son cousin. « Au troisième degré », précise M. Soavi à la barre : « J’ai un lien familial avec Straboni, je me suis dit : “Pourquoi passer par Jean-François Paris ?” Je reconnais que j’ai fait preuve de beaucoup de naïveté et d’un peu d’excès de zèle, mais on nous demandait de faire ces contrôles et, une fois le doigt dans l’engrenage, il était trop tard. » Au deuxième jour du procès Ikea, mardi 23 mars, le tribunal correctionnel de Versailles s’intéressait au cas d’espèce avignonnais.

    Le magasin ouvre ses portes en août 2010. En avril, Patrick Soavi envoie un premier mail à Alain Straboni : une liste de quarante-neuf noms, prénoms, dates et lieux de naissance de candidats présélectionnés, à laquelle il faudrait « jeter un œil ». Réponse cinq jours plus tard : « Sur quarante-neuf, trois sont connus : C. pour menaces, B. pour usage de stup, et M. pour outrage à agent. En gros ce n’est pas bien méchant, bonne pioche. » Mi-juin, nouveau mail de Patrick Soavi à son cousin, soixante-huit nouveaux noms à passer dans le STIC, le fichier des antécédents judiciaires, qui n’est pourtant pas censé servir à faire le tri à l’embauche. Verdict : « Patrick, pour la liste, cinq noms à proscrire. »

    Syndicats et « barbus »

    « Si la personne était défavorablement connue, on lui disait poliment que le profil ne correspondait pas », explique M. Soavi, qui se justifie : « J’avais la hantise de la drogue et de la mise en place d’un marché parallèle dans mon magasin. » Quand il était directeur du magasin de Villiers-sur-Marne, en région parisienne, il avait déjà sollicité son cousin policier, qui a donné cette autre explication aux enquêteurs : « Sa peur était que les barbus infiltrent les syndicats de son entreprise. » Soavi, gêné, à la barre : « Ce sont des termes de policiers. “Barbus”, c’est pas trop mes propos, hein. »

    M. Straboni absent, il a fallu se contenter des réponses qu’il avait fournies à l’instruction : « Je savais que je n’avais pas le droit de le faire, je l’ai fait uniquement parce qu’il s’agissait d’un cousin, un discret, qui n’ébruiterait pas notre deal. » Un service sans « aucune contrepartie », hormis un coup de pouce pour que ses enfants ou ceux de ses collègues policiers décrochent un emploi saisonnier chez Ikea. Pour M. Straboni, cette affaire est une « catastrophe personnelle et professionnelle », il se sent « honteux ».

    Le même sentiment habite visiblement Jean-Philippe Dallies-Labourdette, qui arrive à la barre. Policier à la retraite, carrière exemplaire, rescapé d’un attentat au Kurdistan en 1992, officier de l’ordre national du Mérite depuis 2010, et désormais jugé pour avoir vérifié quarante-deux identités dans le STIC à la demande de Fabrice Cadet, responsable de la sécurité du magasin Ikea d’Avignon. Le policier bredouille qu’il s’est contenté de « considérations générales », qu’il n’est « pas entré dans la vie des gens » et n’a « pas donné la nature des infractions ». C’est illégal quand même. Il regrette sa « négligence ».

    Troubles sociaux

    « Je savais qu’on n’avait pas le droit de le faire, mais je l’ai fait quand même », enchaîne son adjoint Jean-Yves Huart, l’air contrit, qui peine à expliquer pourquoi. « On avait besoin de renseignements à l’époque, explique-t-il mollement. Il y avait des troubles sociaux dans le département, on était tiraillés entre différents syndicats, les entreprises pouvaient éventuellement nous aider à anticiper ces troubles.

    – Une sorte d’échange de bons procédés, dit la présidente.

    – Oui, sauf qu’on a été un peu trop loin dans l’échange. »

    En tout, 167 identités ont été passées au STIC concernant le magasin d’Avignon, qui compte 250 salariés.

    Un quatrième policier est actuellement jugé à Versailles. Contrairement aux trois autres, Laurent Hervieu plaide non coupable. En 2010 et 2011, alors qu’il était en poste à Ermont (Val-d’Oise), il a effectué des consultations STIC concernant vingt salariés – dont des leaders syndicaux – du magasin voisin de Franconville, foyer de contestation d’où était parti, en février 2010, un vaste mouvement de grève chez les salariés du groupe.

    « Dix personnes passées au STIC avec vos codes de connexion ont ensuite été licenciées par Ikea », remarque la procureure.

    « Euh… Malheureusement, je ne peux pas vous l’expliquer, je n’y peux rien, répond M. Hervieu, qui promet n’avoir jamais fait de recherches à la demande d’Ikea. Toutes mes consultations STIC se sont faites dans le cadre de procédures judiciaires régulières », affirme-t-il, évoquant notamment des affaires de vol par du personnel au sein du magasin. Problème : en huit ans d’instruction, on n’a jamais trouvé trace de ces procédures. La peine maximale encourue par les policiers est de cinq ans de prison. Le procès se poursuit jeudi avec les interrogatoires des deux anciens PDG d’Ikea France, accusés d’avoir cautionné le système de surveillance généralisé.

    #Ikea #données #justice #notation #profiling #STIC #surveillance #travail #police

  • Google Analytics : Stop feeding the beast
    https://casparwre.de/blog/stop-using-google-analytics

    The beast that is Google There was a time when Google was a small, quirky company with a single product so awesome that it blew away the competition. That time is long gone. These days Google is a gigantic multinational mega-corp. But that’s understating it a little. Think of Google as a kind of Godzilla that slurps up data about its users at one end and craps out gold ingots at the other. It does both of these at huge scale. When thinking about Google, there are three things that are not (...)

    #Google #GoogleAnalytics #GoogleMaps #GoogleSearch #algorithme #domination #bénéfices #microtargeting #notation #profiling (...)

    ##publicité

  • Amazon Mentor app tracks and disciplines delivery drivers
    https://www.cnbc.com/2021/02/12/amazon-mentor-app-tracks-and-disciplines-delivery-drivers.html

    Key Points Amazon confirmed last week it has started putting AI-equipped cameras in some delivery vans. It already requires contracted delivery workers to use an app, called Mentor, that tracks and scores their driving behavior. Like the cameras, the app is designed to improve driver safety, but Amazon employees say the technology produces errors and, in some cases, tracks their location after they clock out from work. Last week, Amazon triggered privacy concerns when it confirmed it’s (...)

    #Amazon #algorithme #comportement #notation #surveillance #travail

  • China’s social credit system was due by 2020 but is far from ready
    https://algorithmwatch.org/en/story/chinas-social-credit-system-overdue

    Six years after the government announced plans for a national social credit score, Chinese citizens face dozens of systems that are largely incompatible with each other. The central government is planning an overhaul. Research and planning for a national credit score in China started in 1999, according to Lin Junyue, one of the most important minds behind the system. It began as a research project led by the World Economics and Politics Institute of the Chinese Academy of Social Sciences. (...)

    #Alibaba #AntFinancial #algorithme #Sésame #données #SocialCreditSystem #finance #notation #surveillance (...)

    ##AlgorithmWatch

  • État d’urgence, fichage, couvre-feu... Sommes-nous en train de renoncer à nos libertés ?
    https://www.telerama.fr/debats-reportages/etat-durgence-fichage-couvre-feu...-sommes-nous-en-train-de-renoncer-a-nos-

    La sécurité, mais à quel prix ? Partout nos libertés régressent, et l’exception devient la règle. Un avocat, une philosophe, un historien et une sociologue nous font part de leurs inquiétudes. Et nous incitent à agir.

    La dernière alerte en date a sonné mi-décembre, avec un projet de loi inattendu, instituant « un régime pérenne de gestion des urgences sanitaires ». Sur le papier, on comprend bien le principe : puisqu’une catastrophe de type Covid-19 risque fort de se reproduire à l’avenir, autant doter les pouvoirs publics d’un cadre d’action clair, pour déployer rapidement les mesures ad hoc. Mais lesquelles ? Un alinéa du texte précisait que le Premier ministre pourrait « subordonner les déplacements des personnes, leur accès aux moyens de transports ou à certains lieux, ainsi que l’exercice de certaines activités à la présentation des résultats d’un test de dépistage, […] au suivi d’un traitement préventif, y compris à l’administration d’un vaccin, ou d’un traitement curatif ». En somme, un certificat de bonne santé ou de vaccination aurait pu devenir obligatoire pour entrer dans un train ou dans un musée… Sans compter que le texte prévoyait d’autoriser le recensement des citoyens potentiellement contaminés, avec ou sans leur consentement. Un « monde d’après » guère engageant.

    Face à la levée de boucliers politique, le projet fut retiré. Pour l’instant. Reste qu’il illustre bien les pressions auxquelles nos libertés publiques, consacrées dès 1789 avec la Déclaration des droits de l’homme et du citoyen, sont soumises depuis plusieurs années. Elles reculent, indubitablement. Des dispositions sécuritaires a priori exceptionnelles ne cessent de s’insinuer dans nos quotidiens, quitte à devenir… plus exceptionnelles du tout. Fin 2017, une loi a entériné plusieurs dispositions de l’état d’urgence décrété après les terrifiants attentats de novembre 2015 — et qui ne devait pas durer. Depuis ? Un autre état d’urgence, sanitaire cette fois, nous est tombé dessus, avec ses confinements, fermetures, limitations de déplacements ou de rassemblements, obligation du port du masque ; et même couvre-feu… Les mesures ont été globalement acceptées, puisqu’il faut bien faire face à l’incertitude épidémique et à l’engorgement des hôpitaux.

    Alors que le Conseil d’État vient de valider les décrets autorisant la police à ficher nos opinions politiques, religieuses et syndicales, d’autres mesures se sont fait jour ces derniers mois qui menacent elles aussi de restreindre nos libertés : le nouveau schéma du maintien de l’ordre, qui entrave la presse dans sa couverture des manifestations ; ou, bien sûr, la proposition de loi « sécurité globale », qui prône l’usage des drones, ou l’interdiction de diffuser la vidéo d’un policier ou d’un gendarme en intervention, permettant de l’identifier. Ce texte-ci passe beaucoup moins bien dans l’opinion publique. De nouvelles manifestations sont prévues le 16 janvier.

    L’heure de la contestation est-elle venue ? Pas sûr, car, dans une époque tourmentée, les mesures sécuritaires ont souvent le don de rassurer, quelle que soit leur efficacité. C’est tout le problème. Saisis par l’inquiétude, les peuples peuvent délibérément renoncer à des libertés qui leur semblaient essentielles la veille, convaincus que nécessité fait loi. Que tout cela n’est que provisoire. Ou juste prévu « au cas où »… D’ailleurs, au cas où, demain, au sommet de l’État, des dirigeants rêveraient de piétiner l’État de droit, ne sommes-nous pas en train de leur préparer le terrain en toute légalité ? Ce sont ces enjeux, fondamentaux, qui se déploient sous nos yeux. Pour les saisir, nous avons croisé les points de vue d’un avocat, d’une philosophe, d’un historien et d’une sociologue. Ils nous expliquent en quoi la démocratie tient à un équilibre, fragile par nature, entre la sécurité et la liberté. Qui n’avait pas paru aussi précaire depuis longtemps.Retour ligne automatique
    Arié Alimi, avocat : « Les citoyens doivent se défendre »

    « Depuis les attentats du 13 novembre 2015, l’état d’urgence se substitue progressivement à l’État de droit. D’abord sécuritaire, il est devenu sanitaire avec la pandémie de Covid-19. L’état d’urgence permet de transférer un certain nombre de pouvoirs de l’autorité judiciaire vers l’autorité administrative : ce sont le ministère de l’Intérieur et le préfet de police qui ordonnent directement des mesures restrictives de liberté et non plus des juges, plus indépendants du pouvoir politique. Instaurées en 2015, les assignations à résidence ou les perquisitions ont ensuite été pérennisées dans le droit commun avec la loi Silt (Sécurité intérieure et lutte contre le terrorisme) de 2017. Tout s’organise sous le contrôle de la police. Avec l’état d’urgence sanitaire, on instaure une assignation à résidence pour l’ensemble de la population, c’est-à-dire le confinement. On inverse la règle traditionnelle de la République, qui veut que la liberté soit le principe, et sa restriction, l’exception. À chaque fois qu’une peur renvoie l’individu à son instinct de survie, l’État en profite pour étendre son pouvoir et met en place de nouveaux outils de surveillance et de répression. La “loi sécurité globale” s’inscrit dans ce cheminement. Instaurer les drones, centraliser la gestion de caméras-piétons portées par des policiers ou interdire de filmer les forces de l’ordre permet aussi de légaliser ce qui était déjà pratiqué avant de manière illégale. C’est une stratégie de l’illégalisme. Exemple : le préfet de police de Paris déploie des drones alors qu’il n’en a pas le droit, il est condamné par le Conseil d’État mais persiste, histoire de tester les contre-pouvoirs.

    L’état d’urgence permanent crée un tourbillon incessant de nouvelles lois, une espèce de trou noir qui aspire et détruit progressivement le cadre de l’État de droit, dans une logique de “toujours plus”. L’individu est placé sous surveillance constante. Si la reconnaissance faciale est encore réalisée de façon individuelle et manuelle, je pense que les pouvoirs publics ont l’objectif de l’automatiser avant 2022. Il est fondamental que les citoyens se défendent, le droit est une arme parmi d’autres, avec la politique et la médiatisation. Les plaintes contre X déposées par certains d’entre eux ou des associations pendant le confinement ont permis de rappeler que les responsables politiques encourent des responsabilités pénales quand ils touchent aux libertés publiques. »

    Membre de la Ligue des droits de l’homme (LDH), Arié Alimi publie Le Coup d’état d’urgence (Seuil, 180 p., 15 €), à paraître le 21 janvier.

    Julia Christ, philosophe : « Opposer protection et libertés est un faux débat »

    « Un constat m’a extrêmement étonnée, quand les libertés ont été restreintes par le premier confinement : personne n’a fait remarquer que l’on voyait pour la première fois le lien inextricable entre les libertés individuelles et les droits sociaux. Il est pourtant évident que les gens devaient rester chez eux parce que nos hôpitaux ne pouvaient simplement pas accueillir tous les malades, et l’explication de cette situation est que le système hospitalier a été mis en pièces par les politiques des gouvernements successifs. Les libertés individuelles ont été restreintes non pas pour assurer notre sécurité mais au contraire parce que nous ne sommes socialement pas assez en sécurité.

    Opposer, comme on l’a entendu, “la protection de la vie” et les libertés individuelles est un faux débat car la sécurité est une assurance sociale dont dépend notre liberté. Ne pas avoir peur de tomber malade, pouvoir manger à sa faim ou être éduqué sont autant de choses indispensables pour exercer sa liberté raisonnablement. Ce sont donc les droits sociaux qui fondent à la fois la sécurité et les libertés fondamentales de chacun. La sécurité qui restreint les libertés survient parce que la sécurité qui produit les libertés a été démantelée : on interdit aux gens de sortir en temps de pandémie parce que nous n’avons pas assez de lits pour soigner tous les malades, tandis qu’on augmente la présence et la contrainte policières là où les défaillances du système éducatif et social produisent de la criminalité.

    L’aspect liberticide des récents projets de lois est le propre d’un gouvernement libéral dans la mesure où le libéralisme pense que les libertés individuelles doivent être limitées pour pouvoir coexister. L’idée que l’État doit mettre de l’ordre, sans quoi les individus se permettraient n’importe quoi dans la poursuite de leurs seuls intérêts, est une tendance autoritaire intrinsèque au système libéral. Je n’y vois pas une volonté de domination mais une incompétence totale à observer que les individus font toujours partie de groupes sociaux qui se régulent d’eux-mêmes et entre eux : à l’université, en manifestation, dans les religions, il existe déjà des normes et des contraintes internes. Le gouvernement français croit ne pas avoir d’autre moyen d’obtenir la cohésion sociale qu’en imposant ses valeurs, les fameux “principes républicains”. Cela témoigne d’une mécompréhension totale de ce qu’est une société et d’un aveuglement par rapport à la réalité sociale. »Retour ligne automatique
    Pascal Ory, historien : « On ne décrète pas la liberté »

    « Dans l’Histoire, toute situation d’exception génère, mécaniquement, des restrictions aux libertés publiques. En 2021 la question essentielle n’est pas là. Elle concerne le passé proche et l’avenir (encore) lointain. Le passé proche est celui de 2020 : une situation de crise sanitaire majeure a rappelé aux démocraties libérales leur fragilité. Après tout, d’un point de vue démographique, elles ne représentent jamais qu’une minorité à la surface de la Terre. La plupart des êtres humains vivent en régime de démocratie autoritaire ou de démocratie totalitaire. Comme dans les an-nées 30 (1930, pas encore 2030) la manière dont Pékin a utilisé successivement (au début de la pandémie) la censure puis la propagande a paru montrer l’efficacité — sur le court terme — de la mobilisation dictatoriale, face aux incertitudes consubstantielles aux régimes libéraux. Mais le plus problématique n’est pas encore là. Il est dans l’avenir.

    Posons deux prémisses : premièrement, dans l’histoire de l’humanité, il n’y a pas de causes, rien que des effets ; deuxièmement, l’effet suprême, celui qui rend compte du reste (un reste qui s’appelle ici économie, là culture), est l’effet politique. On ne décrète pas la liberté. C’est affaire de conjoncture, dans l’espace et dans le temps. Et le problème principal, ici, est dans le temps. Si la présente prophétie écologiste est vérifiée, avec son mélange d’anxiété sanitaire et d’angoisse climatique, tout se ramènera, comme dans toutes les sociétés, à une course de vitesse entre les facteurs d’intégration et les facteurs de désintégration. L’hypothèse la plus probable, à ce stade, est que l’ampleur du danger (c’est-à-dire de sa perception), au lieu de conduire les so-ciétés humaines vers toujours plus d’autonomie et de “participatif”, justifiera l’instauration de régimes autoritaires. Et c’est là qu’intervient la variable géographique, autrement dit la culture nationale : le chemin à parcourir sera sans doute un peu plus long pour les Islandais que pour les Nord-Coréens. Notre avenir lointain rejoindrait alors notre passé proche : l’humanité irait “globalement” vers des formes variées de dictature, mais dans l’ordre dispersé des expériences nationales.

    Cette hypothèse aura pour beaucoup de lecteurs quelque chose d’attristant. Mais où est-il écrit que le monde aille, de soi-même, vers plus de liberté ? Dans la définition de la démocratie, la souveraineté populaire est suffisante ; la liberté n’est pas nécessaire. Bref, comme le disait Renan : “Il se pourrait que la vérité fût triste.” Évidemment, on le voit, il parlait au conditionnel… » Retour ligne automatique
    Vanessa Codaccioni, sociologue : « A la fois surveillants et surveillés »

    « Michel Foucault a montré comment, dès les années 1970, se met en place une société de sécurité qui voit se multiplier les textes et les lois sécuritaires. Dans la “société de vigilance”, qui n’émerge qu’après les attentats du 11 septembre 2001, les populations sont à la fois “chasseuses” et “proies”. Elles sont l’objet d’une surveillance massive, généralisée et de plus en plus intrusive, comme l’a révélé Edward Snowden [en montrant l’existence de plusieurs programmes de surveillance de masse américains et britanniques, ndlr]. Mais ces populations sont aussi incitées à développer une surveillance latérale, dans toutes les sphères de la vie : à l’école, au travail, dans la rue, dans les transports en commun, sur Internet et les réseaux sociaux, parfois même au sein de la famille ou du cercle amical. Il y a ainsi un double usage sécuritaire du corps. D’une part, c’est une source directe d’informations, et donc la cible de la surveillance ou de la répression étatique (ADN, empreintes digitales, vidéosurveillance, reconnaissance faciale, etc.). D’autre part, ce corps est en permanence à l’affût. Si le plus important reste de “dire quelque chose” aux autorités, c’est-à-dire de signaler et de dénoncer des risques potentiels, jamais nos sens, et en particulier l’ouïe et la vue, n’ont autant été sollicités à des fins punitives.

    Dès lors, sommes-nous à la fois surveillants et surveillés ? Possiblement. Nous pouvons encore toutes et tous être l’objet d’une double surveillance : celle des agents de l’État et celle de nos concitoyennes et concitoyens. Mais il ne faut jamais oublier qu’elle est partielle et ciblée : certaines catégories de la population, désignées comme suspectes, déviantes, dangereuses, en sont les premières victimes. Dans le cadre de l’antiterrorisme, ce sont les musulmans qui la subissent, celle-ci se rajoutant à la stigmatisation et à la répression. Il s’agit de l’un des objectifs disciplinaires de ces appels constants à la vigilance : faire de l’autre une source d’insécurité permanente pour alimenter une suspicion mutuelle, pour désolidariser, isoler et séparer, et in fine pour accroître le contrôle de l’État. »

    Maîtresse de conférences à l’université Paris-8, Vanessa Codaccioni est l’autrice de La Société de vigilance, éd. Textuel, 160 p., 15,90 €.

    #algorithme #CCTV #drone #activisme #religion #vidéo-surveillance #COVID-19 #notation #profiling #santé #surveillance (...)

    ##santé ##LDH-France

  • In Poland, a law made loan algorithms transparent. Implementation is nonexistent.
    https://algorithmwatch.org/en/story/poland-credit-loan-transparency

    Since May 2019, and as a first in the EU, Polish consumers have the right to know in detail why a bank decided to grant or refuse them a loan, even for small amounts. But in practice, banks are still reluctant to provide such information. – “Hello, I would like to buy an Xbox One S, a game console, and pay in installments”, I am asking in a large electronics store. A saleswoman guides me to the sales pit, sits in front of a computer and begins an interview. Who do I work for and how much do I (...)

    #algorithme #[fr]Règlement_Général_sur_la_Protection_des_Données_(RGPD)[en]General_Data_Protection_Regulation_(GDPR)[nl]General_Data_Protection_Regulation_(GDPR) #données #consommation #notation (...)

    ##[fr]Règlement_Général_sur_la_Protection_des_Données__RGPD_[en]General_Data_Protection_Regulation__GDPR_[nl]General_Data_Protection_Regulation__GDPR_ ##profiling

  • L’« écoscore », une étiquette environnementale qui pourrait favoriser la nourriture industrielle
    https://reporterre.net/L-ecoscore-une-etiquette-environnementale-qui-pourrait-favoriser-la-nour

    Les aliments pourraient bientôt avoir eux aussi une étiquette environnementale, dite « écoscore ». Mais pour l’instant, la méthode choisie a tendance à privilégier les produits issus de l’agriculture intensive, qui pourraient être ainsi mieux notés que le bio. Si on vous propose de noter le coût écologique des produits alimentaires, quelle couleur attribueriez-vous aux œufs de poule en cage, ou à une pomme bio ? Spontanément, on pourrait penser que l’étiquette des premiers serait dans le rouge, alors que (...)

    #algorithme #écologie #biais #notation

  • Should We Use Search History for Credit Scores ? IMF Says Yes
    https://gizmodo.com/your-credit-score-should-be-based-on-your-web-history-1845912592

    With more services than ever collecting your data, it’s easy to start asking why anyone should care about most of it. This is why. Because people start having ideas like this. In a new blog post for the International Monetary Fund, four researchers presented their findings from a working paper that examines the current relationship between finance and tech as well as its potential future. Gazing into their crystal ball, the researchers see the possibility of using the data from your (...)

    #Apple #Google #Facebook #algorithme #fiscalité #historique #prédiction #GAFAM #notation (...)

    ##fiscalité ##profiling

  • The coming war on the hidden algorithms that trap people in poverty | MIT Technology Review
    https://www.technologyreview.com/2020/12/04/1013068/algorithms-create-a-poverty-trap-lawyers-fight-back

    A growing group of lawyers are uncovering, navigating, and fighting the automated systems that deny the poor housing, jobs, and basic services.

    Credit-scoring algorithms are not the only ones that affect people’s economic well-being and access to basic services. Algorithms now decide which children enter foster care, which patients receive medical care, which families get access to stable housing. Those of us with means can pass our lives unaware of any of this. But for low-income individuals, the rapid growth and adoption of automated decision-making systems has created a hidden web of interlocking traps.

    Fortunately, a growing group of civil lawyers are beginning to organize around this issue. Borrowing a playbook from the criminal defense world’s pushback against risk-assessment algorithms, they’re seeking to educate themselves on these systems, build a community, and develop litigation strategies. “Basically every civil lawyer is starting to deal with this stuff, because all of our clients are in some way or another being touched by these systems,” says Michele Gilman, a clinical law professor at the University of Baltimore. “We need to wake up, get training. If we want to be really good holistic lawyers, we need to be aware of that.”

    “This is happening across the board to our clients,” she says. “They’re enmeshed in so many different algorithms that are barring them from basic services. And the clients may not be aware of that, because a lot of these systems are invisible.”

    Government agencies, on the other hand, are driven to adopt algorithms when they want to modernize their systems. The push to adopt web-based apps and digital tools began in the early 2000s and has continued with a move toward more data-driven automated systems and AI. There are good reasons to seek these changes. During the pandemic, many unemployment benefit systems struggled to handle the massive volume of new requests, leading to significant delays. Modernizing these legacy systems promises faster and more reliable results.

    But the software procurement process is rarely transparent, and thus lacks accountability. Public agencies often buy automated decision-making tools directly from private vendors. The result is that when systems go awry, the individuals affected——and their lawyers—are left in the dark. “They don’t advertise it anywhere,” says Julia Simon-Mishel, an attorney at Philadelphia Legal Assistance. “It’s often not written in any sort of policy guides or policy manuals. We’re at a disadvantage.”

    The lack of public vetting also makes the systems more prone to error. One of the most egregious malfunctions happened in Michigan in 2013. After a big effort to automate the state’s unemployment benefits system, the algorithm incorrectly flagged over 34,000 people for fraud. “It caused a massive loss of benefits,” Simon-Mishel says. “There were bankruptcies; there were unfortunately suicides. It was a whole mess.”

    Low-income individuals bear the brunt of the shift toward algorithms. They are the people most vulnerable to temporary economic hardships that get codified into consumer reports, and the ones who need and seek public benefits. Over the years, Gilman has seen more and more cases where clients risk entering a vicious cycle. “One person walks through so many systems on a day-to-day basis,” she says. “I mean, we all do. But the consequences of it are much more harsh for poor people and minorities.”

    She brings up a current case in her clinic as an example. A family member lost work because of the pandemic and was denied unemployment benefits because of an automated system failure. The family then fell behind on rent payments, which led their landlord to sue them for eviction. While the eviction won’t be legal because of the CDC’s moratorium, the lawsuit will still be logged in public records. Those records could then feed into tenant-screening algorithms, which could make it harder for the family to find stable housing in the future. Their failure to pay rent and utilities could also be a ding on their credit score, which once again has repercussions. “If they are trying to set up cell-phone service or take out a loan or buy a car or apply for a job, it just has these cascading ripple effects,” Gilman says.

    “Every case is going to turn into an algorithm case”

    In September, Gilman, who is currently a faculty fellow at the Data and Society research institute, released a report documenting all the various algorithms that poverty lawyers might encounter. Called Poverty Lawgorithms, it’s meant to be a guide for her colleagues in the field. Divided into specific practice areas like consumer law, family law, housing, and public benefits, it explains how to deal with issues raised by algorithms and other data-driven technologies within the scope of existing laws.

    Rapport : https://datasociety.net/wp-content/uploads/2020/09/Poverty-Lawgorithms-20200915.pdf

    #Algorithme #Pauvreté #Credit_score #Notation

  • Sous pression, Microsoft rétropédale sur son logiciel de surveillance des salariés
    https://korii.slate.fr/tech/microsoft-retropedale-controverse-logiciel-surveillance-espionnage-salar

    Le score de productivité ne pourra plus être utilisé de manière individuelle. À peine quelques semaines après avoir lancé son outil pour mesurer la productivité des salariés (on vous en avait parlé pas plus tard que le 1er décembre), Microsoft fait marche arrière et apporte plusieurs changements à son score de productivité intégré aux logiciels et applications Microsoft 365. Sur son site officiel, la firme américaine annonce qu’elle va procéder à des modifications concernant les données privées, premier (...)

    #Microsoft #algorithme #ProductivityScore #notation #surveillance #travail

  • Microsoft’s New ‘Productivity Score’ Lets Your Boss Monitor How Often You Use Email And Attend Video Meetings
    https://www.forbes.com/sites/rachelsandler/2020/11/25/microsofts-new-productivity-score-lets-your-boss-monitor-how-often-you-use-email-and-attend-video-meetings/?sh=2a82f4801a46

    At Microsoft’s MSFT +1% annual Ignite conference in October, the company previewed a slick new tool called Productivity Score. During the virtual presentation, a senior product manager said the feature provides “insights that transform how work gets done” by showing employers how workers use Microsoft 365 services like Outlook, Teams, SharePoint and OneDrive. Productivity Score officially launched less than a month later to little fanfare, but a closer look at what data Microsoft lets (...)

    #Microsoft #algorithme #ProductivityScore #notation #surveillance #travail #télétravail

  • Productivity Score : le logiciel Microsoft qui surveille les salariés
    https://korii.slate.fr/biz/productivity-score-logiciel-microsoft-qui-surveille-salaries-surveillanc

    Chaque activité est enregistrée et donne un certain nombre de points. Les jeux vidéo, les applications sur nos téléphones et les réseaux sociaux nous ont rendu accro aux doses de dopamine que délivrent notifications, likes et micro-accomplissements constants. Microsoft l’a bien compris, et a intégré cette mécanique dans son nouveau software d’évaluation de la productivité : le Productivity Score. Soixante-douze critères sont ainsi évalués puis compilés dans plusieurs catégories. Combien de fois (...)

    #Microsoft #algorithme #Windows #notation #surveillance #télétravail #travail

  • Faut-il se méfier du « score de productivité » proposé par Microsoft pour doper l’efficacité des entreprises ?
    https://www.franceinter.fr/faut-il-se-mefier-du-score-de-productivite-propose-par-microsoft-pour-do

    Le géant américain Microsoft propose désormais aux entreprises d’améliorer leur efficacité grâce à un « score de productivité », calculé avec les données de travail des salariés. Mais la pertinence et l’utilisation de ces données pose question, alors que le télétravail est privilégié à cause de la crise sanitaire. Le « score de productivité » est un « outil » présenté par le géant Microsoft en octobre et qui, selon le géant américain, doit permettre au manager « de comprendre comment son entreprise fonctionne », et d’ (...)

    #Microsoft #[fr]Règlement_Général_sur_la_Protection_des_Données_(RGPD)[en]General_Data_Protection_Regulation_(GDPR)[nl]General_Data_Protection_Regulation_(GDPR) #notation #surveillance #télétravail #travail (...)

    ##[fr]Règlement_Général_sur_la_Protection_des_Données__RGPD_[en]General_Data_Protection_Regulation__GDPR_[nl]General_Data_Protection_Regulation__GDPR_ ##visioconférence

  • La société automatisée au risque de l’opacité
    http://www.internetactu.net/a-lire-ailleurs/la-societe-automatisee-au-risque-de-lopacite

    L’association européenne et militante Algorithm Watch (@algorithmwatch) vient de publier son rapport annuel sur la société automatisée. Son constat est sévère : les systèmes de prise de décision automatisés se généralisent dans la plus grande opacité. Fabio Chiusi (@fabiochiusi) dans son introduction revient sur le fiasco de la notation automatisée des résultats du bac 2020 britannique… Il rappelle que le choix du gouvernement pour un système automatique de production de résultats était motivé par (...)

    #algorithme #technologisme #consentement #prédiction #discrimination #enseignement #notation #santé (...)

    ##santé ##AlgorithmWatch
    /assets/images/logo_ia.png

  • Benefitting whom ? An overview of companies profiting from “digital welfare”
    https://www.privacyinternational.org/long-read/4144/benefitting-whom-overview-companies-profiting-digital-welfare

    Could private companies be the only ones really profitting from digital welfare ? This overview looks at the big players. Key findings Companies like IBM, MasterCard and credit scoring agencies are developping programmes that reshape our access to welfare. A particular example is the case of the London Counter Fraud Hub were an investigation by Privacy International revealed how several London councils (Camden, Croydon, Ealing and Islington) were exploiting data about their own residents (...)

    #IBM #MasterCard #PrivacyInternational #notation #pauvreté #profiling #fraude #BigData #SmartCity #santé #Sodexo #Visa #carte #prison (...)

    ##pauvreté ##santé ##algorithme

  • The Obama Campaign’s Digital Masterminds Cash In
    https://www.nytimes.com/2013/06/23/magazine/the-obama-campaigns-digital-masterminds-cash-in.html

    Earlier this year, senior members of President Barack Obama’s campaign team took a trip to Las Vegas. Nevada holds a special place in Obama-wonk lore as the place where his monthslong strategy of defeating Hillary Clinton by slowly and surely amassing delegates emerged. But the operatives were not there in March for any political reason. They were there to make money — specifically to land what they hoped would be the first corporate client for their new advertising business, Analytics Media (...)

    #algorithme #élections #marketing #notation #profiling #BigData

  • How Bristol assesses citizens’ risk of harm – using an algorithm
    https://www.theguardian.com/uk-news/2019/oct/15/bristol-algorithm-assess-citizens-risk-harm-guide-frontline-staff

    Almost a quarter of population of city is processed by algorithm used to guide actions of frontline staff Day and night, an IBM computer algorithm whirrs through reams of data about the lives of 170,000 citizens of Bristol. The city council’s servers teem with information from the police, NHS, Department for Work and Pensions and the local authority about these individuals’ work, alcohol, drug and mental health problems, crime, antisocial behaviour, school absences, teenage pregnancies and (...)

    #NHS #algorithme #criminalité #police #données #discrimination #notation #profiling #santé (...)

    ##criminalité ##santé ##surveillance
    https://i.guim.co.uk/img/media/3f79dd805115e74d5fe5ef542bb92e3df3354ff4/0_0_5218_3131/master/5218.jpg

  • Ant Group, la firme qui a uberisé la Chine, prête à faire sauter la bourse
    https://korii.slate.fr/biz/ant-group-ipo-bourse-record-jack-ma-uberise-chine-alipay-app-banque-assu

    Propriétaire de l’application Alipay, elle devrait lever 29,5 milliards d’euros lors de son arrivée sur les marchés. L’histoire commence en 2004 : Alibaba Group, le géant chinois du e-commerce, crée le système de paiement Alipay pour sa plateforme Taobao, le « eBay chinois » –à l’époque, celle-ci n’accepte que les paiements en liquide. En 2009, Alipay lance son application mobile et commence à utiliser les codes QR. Ant Financial (future Ant Group) lance ensuite Yu’e Bao, qui sera un temps le plus grand (...)

    #Alibaba #Taobao #Alipay #payement #QRcode #domination #bénéfices #finance #AntGroup #notation (...)

    ##SocialCreditSystem

  • ICO takes enforcement action against Experian after data broking investigation
    https://ico.org.uk/about-the-ico/news-and-events/news-and-blogs/2020/10/ico-takes-enforcement-action-against-experian-after-data-broking-investigati

    The Information Commissioner’s Office (ICO) orders the credit reference agency Experian Limited to make fundamental changes to how it handles people’s personal data within its direct marketing services. The enforcement notice follows a two-year investigation by the ICO into how Experian, Equifax and TransUnion used personal data within their data broking businesses for direct marketing purposes. A complaint from the campaign group Privacy International to the ICO also raised concerns about (...)

    #Equifax #Experian #Transunion #consentement #BigData #DataBrokers #marketing #notation #PrivacyInternational (...)

    ##ICO-UK

  • Pourquoi s’est-on mis à tout noter ? avec Vincent Coquaz
    https://www.franceinter.fr/emissions/le-code-a-change/pourquoi-s-est-on-mis-tout-noter-avec-vincent-coquaz

    Etoiles et notes sont apparues un jour sur Internet pour classer des produits. Aujourd’hui c’est nous qui sommes classés : bons payeurs, bons citoyens. Ce que ça raconte de notre monde. Comme beaucoup de gens qui ont regardé la saison 3 de Black Mirror, j’ai été horrifié par le premier épisode, “Chute libre”. Il raconte un monde où les gens se notent les uns les autres, constamment. D’un petit mouvement du pouce sur leur téléphone, ils passent leur temps à se mettre des étoiles les uns aux autres : au (...)

    #GigEconomy #notation #surveillance #travail