La Quadrature du Net | Internet & Libertés

https://www.laquadrature.net

  • Notation des allocataires : la CAF étend sa surveillance à l’analyse des revenus en temps réel – La Quadrature du Net
    https://www.laquadrature.net/2024/03/13/notation-des-allocataires-la-caf-etend-sa-surveillance-a-lanalyse-des-

    La délibération de la CNIL qui acte l’autorisation accordée à la CAF de ce renforcement sans précédent des capacités de surveillance de son algorithme de notation laisse sans voix12. Loin de s’opposer au projet, ses recommandations se limitent à demander à ce qu’une attention particulière soit « accordée à la transparence » de l’algorithme et à ce que… le « gain de productivité du dispositif » fasse l’objet d’un « rapport circonstancié et chiffré ». La violation de l’intimité des plus de 30 millions de personnes vivant dans un foyer bénéficiant d’une aide de la CAF est donc ramenée à une simple question d’argent…

    Nulle part n’apparaît la moindre critique politique d’un tel dispositif, alors même que cela fait plus d’un an que, aux côtés de différents collectifs et de la Défenseure des Droits, nous alertons sur les conséquences humaines désastreuses de cet algorithme. La CNIL alerte par contre la CNAF sur le risque médiatique auquelle elle s’expose en rappelant qu’un scandale autour d’un algorithme en tout point similaire a « conduit le gouvernement néerlandais à démissionner en janvier 2021 ». Une illustration caricaturale de la transformation du « gendarme des données » en simple agence de communication pour administrations désireuses de ficher la population.

    On relèvera également un bref passage de la CNIL sur les « conséquences dramatiques » du risque de « décisions individuelles biaisées » conduisant l’autorité à demander à ce que l’algorithme soit « conçu avec soin ». Celui-ci démontre – au mieux – l’incompétence technique de ses membres. Rappelons que cet algorithme ne vise pas à détecter la fraude mais les indus ayant pour origine des erreurs déclaratives. Or, ces erreurs se concentrent, structurellement, sur les allocataires aux minima sociaux, en raison de la complexité des règles d’encadrement de ces prestations13. Le ciblage des plus précaires par l’algorithme de la CAF n’est donc pas accidentel mais nécessaire à l’atteinte de son objectif politique : assurer le « rendement des contrôles ». La seule façon d’éviter de tels « biais » est donc de s’opposer à l’usage même de l’algorithme.

  • Notation des allocataires : la CAF étend sa surveillance à l’analyse des revenus en temps réel – La Quadrature du Net
    https://www.laquadrature.net/2024/03/13/notation-des-allocataires-la-caf-etend-sa-surveillance-a-lanalyse-des-

    Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérement la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation1, les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.

    À la remise en question, les responsables de la CAF ont préféré la fuite en avant. La première étape fut un contre-feu médiatique où son directeur, Nicolas Grivel, est allé jusqu’à déclarer publiquement que la CAF n’avait ni « à rougir » ni à s’« excuser » de telles pratiques. La deuxième étape, dont nous venons de prendre connaissance2, est bien plus inquiétante. Car parallèlement à ses déclarations, ce dernier cherchait à obtenir l’autorisation de démultiplier les capacités de surveillance de l’algorithme via l’intégration du suivi en « temps réel »3 des revenus de l’ensemble des allocataires. Autorisation qu’il a obtenue, avec la bénédiction de la CNIL, le 29 janvier dernier4.
    Surveillance et « productivité » des contrôles

    Pour rappel, le revenu est une des quelques quarante variables utilisées par la CAF pour noter les allocataires. Comme nous l’avions montré, plus le revenu d’un·e allocataire est faible, plus son score de suspicion est élevé et plus ses risques d’être contrôlé·e sont grands. C’est donc un des paramètres contribuant directement au ciblage et à la discrimination des personnes défavorisées.

    Jusqu’à présent, les informations sur les revenus des allocataires étaient soit récupérées annuellement auprès des impôts, soit collectées via les déclarations trimestrielles auprès des allocataires concerné·es (titulaires du RSA, de l’AAH…)5. Désormais, l’algorithme de la CAF bénéficiera d’un accès en « temps réel » aux ressources financières de l’ensemble des 12 millions d’allocataires (salaires et prestations sociales).

    Pour ce faire, l’algorithme de la CAF sera alimenté par une gigantesque base de données agrégeant, pour chaque personne, les déclarations salariales transmises par les employeurs ainsi que les prestations sociales versées par les organismes sociaux (retraites, chômage, RSA, AAH, APL…)6 : c’est le « Dispositif des Ressources Mensuelles » (DRM). Cette base, créée en 2019 lors de mise en place de la réforme de la « contemporanéisation » des APL7, est mise à jour quotidiennement, et offre des capacités inégalées de surveillance des allocataires.

    La justification d’une telle extension de la surveillance à l’œuvre à des fins de notation des allocataires est d’accroître la « productivité du dispositif [de l’algorithme] » selon les propres termes des responsables de la CAF8. Qu’importe que se multiplient les témoignages révélant les violences subies par les plus précaires lors des contrôles9. Qu’importe aussi que les montants récupérés par l’algorithme soient dérisoires au regard du volume des prestations sociales versées par l’institution10. Les logiques gestionnaires ont fait de la course aux « rendements des contrôles » une fin en soi à laquelle tout peut être sacrifié.

    #Surveillance #CAF #Chasse_aux_pauvres #Inégalités

  • Notation des allocataires : la CAF étend sa #Surveillance à l’analyse des revenus en temps réel
    https://www.laquadrature.net/2024/03/13/notation-des-allocataires-la-caf-etend-sa-surveillance-a-lanalyse-des-

    Retrouvez l’ensemble de nos publications, documentations et prises de positions sur l’utilisation par les organismes sociaux – CAF, Pôle Emploi, Assurance Maladie, Assurance Vieillesse – d’algorithmes à des fins de contrôle social sur notre page dédiée et notre gitlab.

    Il…

  • La France crée un fichier des personnes trans
    https://www.laquadrature.net/2024/01/30/la-france-cree-un-fichier-des-personnes-trans

    Révélé et dénoncé par plusieurs associations de défense des droits des personnes transgenres, un récent arrêté ministériel autorise la création d’un fichier de recensement des changements d’état civil. Accessible par la police et présenté comme…

    #Données_personnelles #Surveillance

  • " Après plusieurs mois d’enquête, en lien avec une initiative de l’ONG britannique @fairtrials, La Quadrature du Net publie aujourd’hui un rapport sur l’état de la police prédictive en France. "

    "Ce rapport s’intéresse aux technologies de « police prédictive » fondées sur une approche géographique (« hotspots »). Après avoir décrit l’objectif de cette recherche et notre méthode d’enquête, le rapport propose ensuite une synthèse descriptive à partir des données disponibles, en s’intéressant plus particulièrement à trois technologies de police prédictive : Paved, une technologie développée par la Gendarmerie nationale ; Smart Police, un produit vendu par la startup Edicia aux forces de police municipale ; M-Pulse, un projet anciennement baptisé « Observatoire Big Data de la Tranquillité Publique » et développé par la mairie de Marseille en partenariat avec la société Engie Solutions. Dans la partie analytique, nous soulignons que, alors même que ces systèmes ne parviennent apparemment pas à atteindre leurs objectifs – avec un impact nul ou négligeable sur la criminalité –, ils présentent un risque important de conduire les forces de l’ordre à abuser de leurs prérogatives en outrepassant les limites légales qui encadrent l’action policière et en
    accentuant la surveillance de populations en proie aux discriminations structurelles. Ce risque est d’autant plus important que ces déploiements ont lieu dans un contexte marqué par l’absence d’évaluation, la défaillance des organismes de contrôle et un manque de transparence. C’est pourquoi nous appelons à l’interdiction de ces systèmes d’aide à la décision. "

    https://www.laquadrature.net/wp-content/uploads/sites/8/2024/01/20240118_LQDN_policepredictive.pdf

  • Le #règlement européen sur l’IA n’interdira pas la #surveillance_biométrique de masse

    Le 8 décembre 2023, les législateurs de l’#Union_européenne se sont félicités d’être parvenus à un accord sur la proposition de #règlement tant attendue relative l’intelligence artificielle (« #règlement_IA »). Les principaux parlementaires avaient alors assuré à leurs collègues qu’ils avaient réussi à inscrire de solides protections aux #droits_humains dans le texte, notamment en excluant la #surveillance_biométrique_de_masse (#SBM).

    Pourtant, malgré les annonces des décideurs européens faites alors, le règlement IA n’interdira pas la grande majorité des pratiques dangereuses liées à la surveillance biométrique de masse. Au contraire, elle définit, pour la première fois dans l’#UE, des conditions d’utilisation licites de ces systèmes. Les eurodéputés et les ministres des États membres de l’UE se prononceront sur l’acceptation de l’accord final au printemps 2024.

    L’UE entre dans l’histoire – pour de mauvaises raisons

    La coalition #Reclaim_Your_Face soutient depuis longtemps que les pratiques des SBM sont sujettes aux erreurs et risquées de par leur conception, et qu’elles n’ont pas leur place dans une société démocratique. La police et les autorités publiques disposent déjà d’un grand nombre de données sur chacun d’entre nous ; elles n’ont pas besoin de pouvoir nous identifier et nous profiler en permanence, en objectifiant nos #visages et nos #corps sur simple pression d’un bouton.

    Pourtant, malgré une position de négociation forte de la part du Parlement européen qui demandait l’interdiction de la plupart des pratiques de SBM, très peu de choses avaient survécu aux négociations du règlement relatif à l’IA. Sous la pression des représentants des #forces_de_l’ordre, le Parlement a été contraint d’accepter des limitations particulièrement faibles autour des pratiques intrusives en matière de SBM.

    L’une des rares garanties en la matière ayant apparemment survécu aux négociations – une restriction sur l’utilisation de la #reconnaissance_faciale a posteriori [par opposition à l’utilisation en temps réel] – a depuis été vidée de sa substance lors de discussions ultérieures dites « techniques » qui se sont tenues ces dernière semaines.

    Malgré les promesses des représentants espagnols en charge des négociations, qui juraient que rien de substantiel ne changerait après le 8 décembre, cette édulcoration des protections contre la reconnaissance faciale a posteriori est une nouvelle déception dans notre lutte contre la #société_de_surveillance.

    Quel est le contenu de l’accord ?

    D’après ce que nous avons pu voir du texte final, le règlement IA est une occasion manquée de protéger les #libertés_publiques. Nos droits de participer à une #manifestation, d’accéder à des soins de #santé_reproductive ou même de nous asseoir sur un #banc pourraient ainsi être menacés par une surveillance biométrique omniprésente de l’#espace_public. Les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives.

    Nous sommes également déçus de voir qu’en matière de « #reconnaissance_des_émotions » et les pratiques de #catégorisation_biométrique, seuls des cas d’utilisation très limités sont interdits dans le texte final, avec d’énormes lacunes.

    Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la #vérité – bien que ces systèmes ne reposent sur aucune base scientifique crédible. Si elle est adoptée sous cette forme, le règlement IA légitimera une pratique qui, tout au long de l’histoire, a partie liée à l’#eugénisme.

    Le texte final prévoit également d’autoriser la police à classer les personnes filmées par les caméras de #vidéosurveillance en fonction de leur #couleur_de_peau. Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute #discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles #discriminations comme acceptables.

    Une seule chose positive était ressorti des travaux techniques menés à la suite des négociations finales du mois de décembre : l’accord entendait limiter la reconnaissance faciale publique a posteriori aux cas ayant trait à la poursuite de crimes transfrontaliers graves. Bien que la campagne « Reclaim Your Face » ait réclamé des règles encore plus strictes en la matière, cela constituait un progrès significatif par rapport à la situation actuelle, caractérisée par un recours massif à ces pratiques par les États membres de l’UE.

    Il s’agissait d’une victoire pour le Parlement européen, dans un contexte où tant de largesses sont concédées à la surveillance biométrique. Or, les négociations menées ces derniers jours, sous la pression des gouvernements des États membres, ont conduit le Parlement à accepter de supprimer cette limitation aux #crimes_transfrontaliers graves tout en affaiblissant les garanties qui subsistent. Désormais, un vague lien avec la « #menace » d’un crime pourrait suffire à justifier l’utilisation de la #reconnaissance_faciale_rétrospective dans les espaces publics.

    Il semblerait que ce soit la #France qui ait mené l’offensive visant à faire passer au rouleau compresseur notre droit à être protégés contre les abus de nos données biométriques. À l’approche des #Jeux_olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche.

    En vertu du règlement IA, nous serons donc tous coupables par défaut et mis sous #surveillance_algorithmique, l’UE ayant accordé un blanc-seing à la surveillance biométrique de masse. Les pays de l’UE auront ainsi carte blanche pour renforcer la surveillance de nos visages et de nos corps, ce qui créera un précédent mondial à faire froid dans le dos.

    https://www.laquadrature.net/2024/01/19/le-reglement-europeen-sur-lia-ninterdira-pas-la-surveillance-biometriq
    #surveillance_de_masse #surveillance #intelligence_artificielle #AI #IA #algorithme

    voir aussi :
    https://seenthis.net/messages/1037288

  • Le règlement européen sur l’IA n’interdira pas la #Surveillance biométrique de masse
    https://www.laquadrature.net/2024/01/19/le-reglement-europeen-sur-lia-ninterdira-pas-la-surveillance-biometriq

    Traduction du communiqué de presse de la coalition Reclaim Your Face.

    Le 8 décembre 2023, les législateurs de l’Union européenne se sont félicités d’être parvenus à un accord sur la proposition de règlement tant attendue relative…

  • La police prédictive en France : contre l’opacité et les discriminations, la nécessité d’une interdiction
    https://www.laquadrature.net/2024/01/18/la-police-predictive-en-france-contre-lopacite-et-les-discriminations-

    Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies…

    #Surveillance

  • QSPTAG #302 — 12 janvier 2024
    https://www.laquadrature.net/2024/01/12/qsptag-302-12-janvier-2024

    Société de contrôle (1) : les outils illégaux de la surveillance municipale Notre campagne Technopolice a déjà quatre ans, et les acteurs de l’industrie française de la surveillance sont bien identifiés. Lobby industriel, député porte-cause, discours sécuritaire…

    #Que_se_passe-t-il_au_Garage_ ?

  • Notation des allocataires : face aux faits, la CAF s’enferme dans le déni et la mauvaise foi
    https://www.laquadrature.net/2024/01/11/notation-des-allocataires-face-aux-faits-la-caf-senferme-dans-le-deni-

    Retrouvez l’ensemble de nos travaux sur l’utilisation par les administrations sociales d’algorithmes de notations sur notre page dédiée et notre Gitlab. « Nous n’avons pas à rougir ou à nous excuser ». Voilà comment le directeur de la…

    #Surveillance

  • Smart Police d’Edicia, le logiciel à tout faire des polices municipales
    https://www.laquadrature.net/2024/01/10/smart-police-dedicia-le-logiciel-a-tout-faire-des-polices-municipales

    Dans le cadre d’une enquête sur les technologies de police prédictive dont nous vous reparlerons très bientôt, La Quadrature s’est intéressée de près à Edicia. Cette startup est peu connue du grand public. Elle joue…

  • « L’algorithme de la #CAF conduit à un surcontrôle des populations les plus précaires » | Alternatives Economiques
    https://www.alternatives-economiques.fr/lalgorithme-de-caf-conduit-a-un-surcontrole-populations-plus-pr/00109069

    Fin novembre et début décembre, l’association La Quadrature du Net et le journal Le Monde ont chacun fait paraître une enquête sur l’utilisation du data mining (l’exploration de données) par les caisses d’allocations familiales (CAF), pour détecter les indus et les fraudes. Les deux enquêtes montrent que ce système, qui permet de scanner des milliers de données de 32 millions de personnes (les allocataires et leurs proches) et sur la base duquel sont déclenchés les contrôles, cible les plus pauvres, notamment les mères isolées.

    L’algorithme utilisé attribue un score de risque aux allocataires allant de 0 à 1. Plus on est proche de 1, plus on est exposé à la probabilité d’un contrôle. Parmi les critères pénalisants, le fait d’avoir changé de loyer plus de quatre fois en un an et demi, d’avoir un enfant à charge de 19 ans ou plus, ou encore de déclarer chaque trimestre ses ressources pour percevoir l’allocation adulte handicapé (AAH).

    • on sait _qui_ à pondu ledit algorithme, sur ordre de qui, et selon les specification de qui ? ou c’est secret défense ? (voire, secret défonce)

    • #Notation des allocataires : fébrile, la CAF s’enferme dans l’#opacité

      Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de #contrôle_social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

      Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de #profilage attribuant à chaque allocataire une note ou « #score_de_risque ». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

      Cet algorithme symbolise l’étendue des #dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de #tri et d’#évaluation continue de chacun de nos faits et gestes.

      Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

      Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le #code source de son algorithme1. Et sa réponse est affligeante2.

      Sortir de la précarité pour “tromper l’algorithme”

      Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

      En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de #critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »3.

      Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le #code_source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme »4. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

      La CAF croit-elle vraiment que les critères liés à la #précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire ? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté ?

      Ce raisonnement frise l’#absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

      Pire, le secrétaire général de la CAF entretient publiquement la confusion entre #fraudes et #erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.

      En réponse à un journaliste de Radio France5 l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter : « Il faut que l’on ait un coup d’avance ».

      Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires6. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».

      De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement7 ?

      #Déni_de_justice

      Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les #paramètres de cet algorithme8. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle9 sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

      Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.

      Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé10. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.

      Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.
      La discrimination : un savoir-faire à protéger

      Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.

      En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables11, la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable12.

      Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »13. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses ?

      A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.

      Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »14.
      Vingt ans de développement… et aucun compte-rendu de réunions

      Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…15

      Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.
      Le retour de l’alibi technique

      A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme16.

      A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.

      L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute17 de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».

      Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité18.

      On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.
      Communication mensongère

      La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.

      A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…

      A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de « prime sur leurs résultats », ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle19.

      A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire20.

      Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci. » Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».

      Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité21 qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.
      Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

      A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

      Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

      A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »22, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »23.

      A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

      Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours24. Comme si l’application des techniques de profilage à des fins « positives » pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.

      Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours25. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »26. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial27.

      Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »28.

      En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.

      Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.

      Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF29 en juin 2022. Parmi ses missions : « la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information. » Et le communiqué accompagnant sa nomination ajoute qu’elle « sera également la référente nationale déontologie ». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.
      Lutter au-delà de la transparence

      La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.

      La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.

      Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.

      A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.

      Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.

      Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.

      https://www.laquadrature.net/2022/12/23/notation-des-allocataires-febrile-la-caf-senferme-dans-lopacite
      déjà sur seenthis (via @colporteur) :
      https://seenthis.net/messages/984668

      #algorithme #discrimination #mères_isolées #risque

    • C’est la réponse qui a toujours été faite aux syndicats qui réclament depuis des années les barèmes et algo pour pouvoir contester dans le cadre des TRÈS nombreuses erreurs de calcul.

      « gna gna gna, vous allez tricher ! ».

      Marrant comme on accuse toujours l’autre de ses propres turpitudes.

      Oui, des fois, les gens pourraient refuser une miette de boulot de merde qui va faire sauter tous leurs droits de manière disproportionnée et les foutre encore plus dans la merde. Oui, des fois, les gens pourraient s’organiser pour ne pas se retrouver dans une trappe à contrôle ou une situation encore plus dégradée.

      Oui, t’imagine ? Les gens pourraient juste faire valoir leurs droits si souvent déniés sans même avoir à avancer un début de justification.

      Et ils pourraient se rendre compte que ce n’est pas l’algo, mais bien un agent malintentionné qui a niqué leur dossier.

    • y aurait pas moyen de « retourner » (comme une chaussette) leur truc de la caf ? Genre, une expérience de science participative :-) on pourrait : 1./ demander que le "score" soit communiqué à chaque administré (e.g. via CNIL), 2./ collecter score et infos perso sur la base du volontariat, éventuellement en anonymisant les données, et 3./ faire un modèle « externe » avec ces données, le publier, et enfin 4./ s’en servir pour identifier les cas de non-recours (et au moins les compter)

  • « Affaire du 8 décembre » : l’inquiétante condamnation de militants comme terroristes - POLITIS
    https://www.politis.fr/articles/2023/12/affaire-du-8-decembre-linquietante-condamnation-de-militants-comme-terrorist

    Pour Me Raphaël Kempf, la décision dans son ensemble est dangereuse. « Ce jugement signe l’extension à la sphère politique et militante de la notion de terrorisme. Les juges disent que le fait d’exprimer un ressentiment à l’égard de l’institution policière pourrait constituer un acte de terrorisme. Le fait de vouloir s’en prendre à des véhicules de police au cours d’une manifestation peut désormais constituer une intention terroriste. C’est-à-dire que l’intention de commettre des dégradations matérielles au cours d’une manifestation constituera un acte de terrorisme. C’est extrêmement dangereux et contraire au droit. »

  • France : des peines de prison pour sept militants de l’ultragauche jugé à Paris
    https://www.ouest-france.fr/societe/justice/projet-daction-violente-sept-militants-dultragauche-condamnes-a-des-pei

    Publié le : 22/12/2023 - 14:13

    Des peines allant de deux ans de prison avec sursis à cinq ans de prison, dont trente mois avec sursis probatoire, ont été prononcées vendredi par le tribunal correctionnel de Paris à l’encontre de sept sympathisants d’ultragauche jugés pour association de malfaiteurs terroriste dans le cadre de « l’affaire du 8 décembre 2020 ».

    (...)

    Après l’énoncé de la décision, Me Raphaël Kempf, un de ses avocats, a estimé que les motivations étaient « extrêmement problématiques ». Tout en se disant soulagé que son client ne retourne pas en prison, il s’est inquiété de l’ « extension à la sphère politique et militante de la notion de terrorisme que signe ce jugement ». « Les juges disent clairement que le fait d’exprimer des critiques ou du ressentiment à l’égard de l’institution policière pouvait constituer un acte de terrorisme », a déclaré l’avocat.

    (...)

  • L’activisme écologiste, nouveau terrain d’expérimentation de la Technopolice
    https://www.laquadrature.net/2023/12/19/lactivisme-ecologiste-nouveau-terrain-dexperimentation-de-la-technopol

    Plusieurs affaires récentes ont mis en lumière la #Surveillance particulièrement intensive subie par les militantes écologistes. Outre l’arsenal administratif et répressif déployé par l’État pour les punir, c’est la nature des moyens utilisés qui interpelle :…

  • Outils de chiffrement lors du procès du 8 décembre : du fantasme à la réalité
    https://www.laquadrature.net/2023/12/14/outils-de-chiffrement-lors-du-proces-du-8-decembre-du-fantasme-a-la-re

    Durant quatre semaines, en octobre dernier, se sont tenues au tribunal de Paris les audiences du procès du « 8 décembre ». Dans cette affaire, sept personnes sont poursuivies pour « association de malfaiteurs terroristes ». Toutes contestent les…

    #Surveillance

  • Pour l’interopérabilité des réseaux sociaux
    https://www.laquadrature.net/2023/12/04/pour-linteroperabilite-des-reseaux-sociaux

    L’interopérabilité, c’est-à-dire la capacité pour différents systèmes de communiquer entre eux, est omniprésente dans notre quotidien. Partout où sont établis des standards – dans la langue et l’écriture, dans la circulation routière, dans les pièces…

    #Non_classé