#Parcoursup : archéologie des « #algorithmes_locaux » et de leur #dissimulation
#Pierre_Ouzoulias, sénateur des Hauts-de-seine, un des meilleurs connaisseurs du dossier Parcoursup, complexe, technique et éminemment politique, nous a confié sa chronique de la discussion des « algorithmes locaux » qui ont précédé leur reconnaissance officielle par le Conseil constitutionnel ce jour. Academia l’en remercie vivement.
8 mars 2018. La loi ORELa loi n° 2018-166 du 8 mars 2018 relative à l’orientation et à la réussite des étudiants a introduit dans l’article L. 612-3 du code de l’éducation cette disposition :
« Afin de garantir la nécessaire protection du secret des délibérations des équipes pédagogiques chargées de l’examen des candidatures présentées dans le cadre de la procédure nationale de préinscription prévue au même deuxième alinéa, les obligations résultant des articles L. 311-3-1 et L. 312-1-3 du code des relations entre le public et l’administration sont réputées satisfaites dès lors que les candidats sont informés de la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise ».
Cette disposition, dérogatoire au principe de la communication des documents administratifs, a été introduite par le biais d’un amendement (n° 204), déposé en séance par le Gouvernement, au Sénat, le 7 février 2018. La ministre le justifiait ainsi :
« Cet amendement a pour objet de garantir la protection du secret des délibérations des équipes pédagogiques, conformément au principe posé par le Conseil d’État, tout en permettant la communication aux étudiants qui le demanderont des raisons pour lesquelles on leur propose de suivre une formation ne correspondant pas à leur souhait initial, ce qui pourra se produire s’ils n’ont demandé que des filières sélectives ou sous tension ».
Lors de la discussion, la ministre a précisé ses intentions :
« La publication des algorithmes est inscrite dans la loi : ce n’est pas le sujet ici. Cet amendement vise simplement à permettre à un candidat d’obtenir communication, dans le cadre d’une démarche individuelle, des raisons de la décision le concernant, tout en préservant le secret des délibérations des équipes pédagogiques, que le Conseil d’État a consacré il y a deux ans ».
« Parmi ces algorithmes, on trouve aussi ce qu’on appelle des outils d’aide à la décision, qui vont permettre aux établissements d’appliquer des critères plus ou moins spécifiques. Ces outils d’aide à la décision existaient déjà dans APB ; ils étaient notamment utilisés pour les admissions en classes préparatoires, en STS ou en IUT. Je signale au passage que les équipes pédagogiques de ces établissements reçoivent environ 30 000 dossiers en moyenne et savent parfaitement les gérer, en particulier grâce à ces outils d’aide à la décision. Par ailleurs, il pourra effectivement exister d’autres outils d’aide à la décision spécifiques à un établissement ou à une formation, définis à l’échelon local. Les critères utilisés devront être connus, y compris pour les outils de type fichier Excel ».
22 mars 2018. Décision de la CNIL sur le projet d’arrêté autorisant Parcoursup
Dans sa délibération n° 2018-119 du 22 mars 2018, la CNIL observe que le dispositif mis en place par la loi ORE est dérogatoire par rapport au principe général de la communication des documents administratifs. Elle explique pourquoi les algorithmes locaux vont être mis en œuvre par les établissements secondaires :
« La commission constate que le dispositif global, prévu par la loi, conduit les établissements d’enseignement supérieur dont les capacités d’accueil sont inférieures aux demandes à examiner les candidatures au regard de la cohérence entre, d’une part, le projet de formation du candidat, les acquis de sa formation antérieure et ses compétences et, d’autre part, les caractéristiques de la formation. Or, il est vraisemblable que, pour examiner les candidatures qui leur sont soumises, en particulier lorsqu’elles sont très nombreuses, des établissements d’enseignement supérieur recourent à des traitements algorithmiques. À cet égard, la commission relève d’ailleurs qu’un outil d’aide à la décision est mis à la disposition des établissements d’enseignement supérieur.
Dans la mesure où les commissions d’examen des vœux des établissements d’enseignement supérieur définissent librement les modalités et les critères d’examen des candidatures qu’ils reçoivent ainsi que, le cas échéant, le paramétrage dudit outil en fonction de leurs besoins et des choix pédagogiques qu’elles ont faits, la commission estime que le ministère n’est pas responsable des traitements mis en œuvre dans les établissements d’enseignement supérieur, à des fins de classement des candidatures quand bien même ils choisiraient d’utiliser cet outil d’aide à la décision. Elle rappelle dès lors que les établissements d’enseignement supérieur, en tant que responsables de traitement, devront respecter les principes régissant la protection des données personnelles, ce sur quoi elle sera vigilante ».
Sur le fond juridique, elle souligne que la disposition de la loi ORE « introduit une limitation au droit de communication précité », c’est-à-dire celui qui résulte des dispositions de l’article L. 311-3-1 du code des relations entre le public et l’administration ». Néanmoins, elle rappelle que « les établissements d’enseignement supérieur qui recourraient à un traitement algorithmique pour examiner les candidatures qui leur sont soumises devront également fournir l’ensemble des éléments permettant de comprendre la logique qui sous-tend cet algorithme ».
19 avril 2018. Examen par le Sénat, en nouvelle lecture, du projet de loi, adopté par l’Assemblée nationale relatif à la protection des données personnelles
Lors de la première lecture de ce texte, le Sénat avait supprimé la disposition dérogatoire de la loi ORE (dernier alinéa du I de l’article L. 612-3 du code de l’éducation). Après son rétablissement par l’Assemblée nationale, en nouvelle lecture au Sénat, Mme Sophie Joissains, rapporteure pour la commission des lois, présente un long argumentaire juridique sur la nécessité de préserver les libertés individuelles et de ne pas autoriser des procédures réduisant la portée du principe général de la communicabilité des documents administratifs.
Voici quelques extraits des débats de la séance du 21 mars 2018 :
Mounir Mahjoubi, secrétaire d’État. – […] À partir d’octobre 2018, l’administration sera obligée de publier en ligne les données concernant les algorithmes dont elle fait l’usage pour les décisions individuelles ; une information systématique est également prévue pour chaque personne concernée par une décision par une mention bien visible dans la décision.
Pierre Ouzoulias. – J’aimerais être sûr d’avoir compris toute votre analyse. (Sourires) En partie, elle nous rassure.
Revenons à Parcoursup, qui permet un pré-tri des demandes arrivant aux universités, avant leur examen par un jury : les algorithmes locaux mis au point par les universités à cette fin seront-ils soumis aux mêmes règles ? Me le confirmez-vous ?
Mounir Mahjoubi, secrétaire d’État. – C’est oui ! Et je le défendrai au prochain amendement.
Pierre Ouzoulias. – Cela vous engage, Monsieur le Ministre.
[après une interruption de séance]
Mounir Mahjoubi, secrétaire d’État. – Cet amendement très important rétablit une disposition, supprimée par la commission des lois, adoptée par le Sénat en février, de la loi relative à l’orientation et à la réussite des étudiants, tout juste entrée en vigueur il y a deux semaines.
Notre débat suscite de très vives inquiétudes dans les établissements d’enseignement supérieur qui vont commencer à examiner les vœux de plusieurs millions de lycéens dans une dizaine de jours.
Cette disposition protège le secret des délibérations des équipes pédagogiques. La commission des lois a considéré, au contraire, que cette disposition, à la lumière des autres dispositions du présent projet de loi, ouvre la voie à une prise de décision par des algorithmes locaux sans aucune intervention humaine.
Le Gouvernement ne partage pas cette position.
Pour mettre un terme au désastre d’APB, dès notre arrivée au pouvoir, le Gouvernement a construit une solution sur deux piliers : remettre de l’humain en écartant toute prise de décision automatique et garantir la transparence sur la procédure d’affectation, les critères de choix et de traitement. […]
Les équipes pédagogiques suivront une procédure manuelle. L’outil d’aide à la décision n’est qu’un appui : la commission d’examen des demandes peut décider de ne pas l’utiliser – certaines le font. Il permet une pondération des critères. […]
Seule la commission d’examen des vœux est souveraine. L’outil ne se substitue pas à la délibération. Chaque dossier doit être examiné par la commission. Tel est l’esprit de la loi. […]
Mme Sophie Joissains, rapporteur. – Lors de l’examen du projet de loi relatif à l’orientation et à la réussite des étudiants, le 7 février dernier, le Gouvernement a fait adopter un amendement de dernière minute, déposé en séance publique sans que notre commission de la culture ait pu l’examiner, qui exonère ces algorithmes de classement des obligations de transparence prévues par le code des relations entre le public et l’administration, alors que notre commission de la culture avait déposé un amendement imposant la publication des règles de l’algorithme et de ses principales caractéristiques.
La commission des lois a souhaité revenir sur cette première entorse aux règles de transparence définies par la loi pour une République numérique.
Cet article 14, avec la suppression de la procédure dérogatoire, a été adopté à l’unanimité.
28 juin 2018, Sénat. Commission de la culture, audition de Frédérique Vidal
La Ministre Frédérique Vidal a été auditionnée par la Commission de la culture du Sénat le 28 juin 2018. En voici quelques extraits :
Mme Frédérique Vidal, ministre. – Parcoursup est fondé sur le principe du dernier mot à l’étudiant, gravé dans la loi : l’objectif n’est pas seulement de faire une proposition à chaque candidat, c’est de lui faire une proposition qui lui convienne. Cette idée simple permet d’accomplir l’objectif cardinal de cette réforme : démocratiser l’accès à l’enseignement supérieur et accompagner la réussite des étudiants. Pour cela, il faut donner à chaque futur étudiant le plus grand choix possible, multiplier les réponses et lui permettre de choisir non pas de manière abstraite, en classant des vœux sur une liste, mais concrètement, en répondant aux différentes propositions.
Les « algorithmes locaux » ont fait couler beaucoup d’encre. Le décret d’application confie l’examen des vœux à des commissions pédagogiques sous le contrôle du chef d’établissement. On peut toujours jouer sur les mots avec les fichiers Excel… Il n’y a pas d’algorithmes locaux mais un outil d’aide à la décision, mis à disposition des établissements, qui est totalement facultatif et qui doit être retravaillé. Il est commun à toutes les filières, qu’elles soient ou non sélectives. Certains points restent à améliorer, mais le dispositif n’est qu’un filtre à poser sur l’algorithme Parcoursup, et est transparent : certains établissements ont choisi de l’utiliser, d’autres non.
[…]
Pierre Ouzoulias. – Nous sommes tous des sénatrices et des sénateurs de la République française, décidés à faire avancer les choses. Ne doutez pas de ma loyauté républicaine, madame la ministre.
Mahjoubi a tenu à nous rassurer sur les algorithmes locaux, mais l’université de Pau et des pays de l’Adour m’a communiqué le sien, avec le nombre de points associés aux différents éléments contenus dans les dossiers des lycéens : le brevet d’aptitude aux fonctions d’animateur (BAFA), par exemple, contrairement aux assurances que vous me donniez en séance en janvier dernier, en rapporte quinze ! Si l’université de Pau publie son algorithme, pourquoi les autres ne le feraient-elles pas ? Il est en effet essentiel, pour les candidats et leurs familles, de savoir comment les universités cotent les différentes composantes de leur dossier : je demande donc de nouveau la publication de ces algorithmes locaux.
Ces outils auront un rôle majeur dans la reconfiguration du paysage universitaire et le choix que feront les lycéens et leurs familles. Nous avons donc besoin de transparence. En l’état, les universités peuvent se passer de tout contrôle national et sélectionner les étudiants selon des critères qui leur sont propres. Or je tiens à un enseignement supérieur national, dans lequel l’État est garant de l’orientation et du respect de la loi. Dans un système de concurrence généralisée des universités entre elles, tout le monde sait qui seront les gagnants, et qui seront les perdants.
Mme Frédérique Vidal, ministre. – S’agissant des algorithmes locaux, si une recette de cuisine est un algorithme, alors, en effet, nous ne parlons pas de la même chose, monsieur Ouzoulias, et c’est moi qui suis probablement ignorante.
La pondération des données sera évidemment essentielle. La très grande majorité des universités a dû accomplir une tâche à laquelle elles n’avaient jamais été confrontées ; elles ont beaucoup tâtonné. Elles se sont appuyées sur l’expérience des IUT, qui font ce travail de classement des dossiers depuis très longtemps. Certaines conférences de doyens avaient anticipé, en STAPS notamment, de façon à ce que les choses se déroulent de manière uniforme dans toutes les universités.
Monsieur Ouzoulias, j’imagine que vous demandez leurs algorithmes locaux à tous les établissements d’enseignement supérieur, et pas seulement aux universités ; ces dernières ne sont que 73, alors qu’il existe plus de 350 établissements d’enseignement supérieur non universitaires.
Pierre Ouzoulias. – Mais 73, dans un premier temps, cela nous suffirait !
Mme Frédérique Vidal, ministre. – Les formations sélectives classent depuis des années en utilisant des algorithmes, sans que personne ne s’intéresse à la façon dont ces algorithmes sont conçus.
Mme Frédérique Vidal, ministre. – Comment la pondération des données paramétrable est-elle effectuée ? Cette question est évidemment très importante. Reste que les commissions sont totalement libres de décider si elles souhaitent rendre publiques ces données ou, au contraire, ne pas briser ce qu’elles appellent le secret des délibérations. Les positions, de ce point de vue, sont très variables d’un établissement à un autre. La grille que vous mentionnez concernant l’université de Pau m’est inconnue, parce qu’aucune université ne se sent dans l’obligation de me faire remonter ce genre d’informations. Les universités sont autonomes.
Pierre Ouzoulias. – C’est le problème.
23 octobre 2018, Sénat, Commission de la culture, audition de Frédérique Vidal
Nouvelle audition à l’automne. Extraits
« Je suis prête à étudier la question de l’anonymisation des dossiers analysés dans le cadre de la procédure nationale de préinscription, pour préserver le lien de confiance entre les jeunes et l’enseignement supérieur, même si les chiffres montrent que la discrimination dans l’accès à l’enseignement supérieur a diminué ».
« En ce qui concerne les algorithmes locaux, les attendus sont précisés sur la plateforme et les formations peuvent ajouter des spécificités. Là aussi nous sommes parvenus à un équilibre qui concilie la délibération du jury et sa souveraineté, tout en permettant à chaque étudiant de demander à savoir comment son dossier a été traité. Cet équilibre a fait ses preuves car les demandes de justification ont été peu nombreuses ».
10 janvier 2019. Avis n° 20184400 de la Commission d’accès aux documents administratifs (CADA)
« La commission prend acte, tout en le déplorant, de ce que, par ces dispositions, le législateur a d’une part instauré un régime spécial d’accès, pour les candidats qui le demandent, aux procédés algorithmiques lorsque ceux-ci sont élaborés par les équipes pédagogiques chargées de l’examen des candidatures, et d’autre part a fait obstacle, pour ce type de documents administratifs, à l’obligation de publication en ligne prévue par l’article L312-1-3, ce qui exclut nécessairement le droit d’accès des tiers ».
18 janvier 2019. Décision n° 2019-021, du Défenseur des droits
« Le secret des délibérations du jury ne doit pas s’opposer à l’information des candidats sur le contenu exact et la manière précise d’évaluation de leurs candidatures. Le Défenseur des droits estime que la publication de ces informations ne porte pas atteinte aux principes de souveraineté du jury et du secret de ses délibérations, étant donné qu’il ne vise pas à dévoiler le contenu de l’appréciation portée sur chaque candidature mais uniquement les critères pris en compte dans cette appréciation ainsi que leur méthode d’application. Il est donc recommandé de rendre publiques ces informations ».
« Le Défenseur des droits recommande à la ministre de l’enseignement supérieur, de la recherche et de l’innovation de prendre les mesures nécessaires, d’ordre législatif et d’ordre réglementaire, afin de rendre publiques toutes les informations relatives au traitement, y compris algorithmique, et à l’évaluation des dossiers des candidats par les commissions locales des établissements d’enseignement supérieur en amont du processus de leur affectation dans les formations de premier cycle de l’enseignement supérieur, afin d’assurer la transparence de la procédure et de permettre aux candidats d’effectuer leurs choix en toute connaissance de cause ».
27 mars 2019, Sénat, Commission de la culture, audition de Frédérique Vidal
« Je veux aussi redire que les algorithmes locaux n’existent pas : il n’existe pas de système de traitement entièrement automatisé pour affecter les étudiants dans les formations. Il y a des commissions pédagogiques d’examen des vœux, des outils d’aide à la décision utilisés par environ 25 % des formations. Les critères généraux d’examen des vœux sont affichés sur la plateforme et varient selon des pondérations qui sont à la discrétion des commissions pédagogiques d’examen des vœux ».
17 juillet 2019. Commission de la Culture, communication de Jacques Grosperrin, rapporteur
« Parcoursup, c’est d’abord un algorithme central qui transforme les listes ordonnées de candidats transmises par les formations en réponses auxdits candidats et qui ensuite les réponses des candidats. Le code source et le cahier des charges de cet algorithme ont bien été publiés, conformément à l’objet d’un amendement de notre collègue député Cédric Villani, adopté lors de l’examen de la loi ORE.
Toutefois, contrairement à admission post-bac (APB), son prédécesseur, ce n’est pas au niveau central que tout se joue dans Parcoursup. C’est le rang du candidat sur la liste établie par la commission d’examen des vœux de la formation concernée qui va déterminer ses chances d’inscription.
Les dossiers sont regardés un à un et classés manuellement dans les formations ne comportant qu’un petit nombre de candidats, conformément aux engagements de la ministre d’assurer un traitement humain des dossiers.
Toutefois, dans la plupart des formations, chaque candidat pouvant faire jusqu’à dix vœux et vingt sous-vœux non hiérarchisés, les équipes pédagogiques ont eu recours soit à des tableurs Excel de leur facture, soit à l’outil d’aide à la décision du ministère. En 2018, un petit quart des 14 500 formations avait eu recours à cet outil, dont 56 % des licences et 47 % des instituts universitaires de technologie (IUT).
À partir de tels tableurs, les commissions d’examen des vœux ont pu sélectionner les notes des matières et les éléments de la fiche Avenir qu’elles souhaitaient retenir, ainsi que les pondérations souhaitées. Le tableur leur a ainsi permis d’établir une liste classée de candidats, au sein de laquelle les commissions n’avaient plus qu’à départager les éventuels ex æquo et à réintégrer les dossiers atypiques. Comme le souligne depuis déjà longtemps notre collègue Pierre Ouzoulias, le travail de la commission d’examen des vœux s’opère clairement en deux phases. De même, l’existence des algorithmes locaux est indéniable, contrairement à ce que soutient la ministre qui s’obstine à nier cette évidence ».
9 janvier 2020. Deuxième rapport du Comité éthique et scientifique de Parcoursup
« Les débats sur la transparence de Parcoursup se sont focalisés en 2018 sur les procédures d’examen des vœux par les commissions pédagogiques des formations non sélectives, typiquement les licences, pour lesquelles la loi ORE introduit l’obligation d’examen de dossiers des candidats. Ces débats ont plus précisément porté sur les mal nommés « algorithmes locaux ». C’est un fait que les jurys et les commissions utilisent des tableurs pour classer les candidats lors de leurs délibérations, et ce depuis que les tableurs existent, mais rien de plus, et il est inapproprié de parler d’algorithmes locaux. Sur les feuilles, au format « Excel » ou « Open Office », figurent en lignes les candidats et en colonnes les critères de classement. Les données sont extraites des dossiers des candidats dans la plate-forme et les critères sont déterminés par les commissions locales d’examen des vœux. Si tout ou partie de ces critères sont quantifiés, un pré-classement est établi, qui définit l’ordre d’examen des dossiers et sert d’aide aux délibérations. Pour les commissions de Parcoursup, la loi oblige à l’examen individuel des dossiers des candidats, autrement dit elle interdit l’automaticité. […]
Parcoursup met en évidence la nécessité de trouver un équilibre entre l’appréciation qualitative des commissions, relevant du secret des délibérations, et la quantification précise des dossiers de candidature, facteur de transparence. Où que soit placé le curseur à cet égard, la transparence vise à informer au mieux les candidats sur la façon, qualitative ou quantitative, dont seront examinés leurs dossiers. Cette question complexe, qui ne doit pas s’enliser dans la docimologie, dépasse certes les seules considérations sur la plate-forme ; cependant, celle-ci sera au centre de la mise en œuvre de toute orientation ou inflexion à ce sujet. Le CESP sera très attentif aux résultats de l’analyse lancée par le ministère. […]
On peut ajouter à cette liste la question délicate de l’opportunité d’une rectification automatique des notes. On sait par exemple que les échelles de notation diffèrent sensiblement d’un lycée à l’autre, et que la prise en compte de ces pratiques est un argument pour ne pas anonymiser l’établissement d’origine dans les dossiers, quitte à nourrir des suspicions de discriminations territoriales ».
26 février 2020. Rapport de la Cour des comptes
« Les attendus publiés, dont les énoncés mériteraient une nouvelle revue, ne correspondent pas toujours aux paramétrages retenus in fine par les commissions d’examen des vœux. Ces dernières fonctionnent de manière de plus en plus automatisée, utilisant de façon croissante un outil d’aide à la décision informatique pour effectuer un pré-classement des candidats. Cette situation plaide pour la publication des algorithmes ayant servi à effectuer ces premiers tris. Au-delà, le ministère pourrait utilement publier une analyse des variables clés des classements afin de permettre aux lycéens de mieux préparer leur orientation et leur affectation. Il pourrait saisir cette occasion pour examiner la pertinence de certains critères de classement. En effet, la forte disparité de notations entre les lycées a conduit certaines formations à prendre en compte le lycée d’origine des candidats pour effectuer leur classement, sans que l’objectivité de la méthode retenue ne soit garantie. La réforme du baccalauréat et le renforcement de la part du contrôle continu doit mener le ministère de l’enseignement supérieur à réfléchir aux améliorations à apporter pour rendre la procédure de classement plus efficace et équitable ». […]
« La diversité des pratiques des CEV ne permet pas de discerner une approche d’ensemble ou des règles de fonctionnement communes. Considérant que ces commissions procédaient toutes à un travail qui s’assimilait à celui d’un jury, le législateur a décidé que les éléments qui participaient à l’analyse de chaque dossier de candidature, fussent-ils algorithmiques, ne pouvaient pas être communiqués a priori. Le candidat peut seulement obtenir a posteriori, c’est-à-dire après la notification de la réponse à sa candidature, et à titre individuel, les éléments motivant la décision prise à son propos. La dérogation consentie par la loi à l’article L.311-3-1 du code des relations entre le public et l’administration dispense ainsi l’établissement de toute publication des éventuels algorithmes utilisés pour classer les candidatures. Il n’a pas à indiquer non plus au candidat qu’il a utilisé ce moyen de classement ». […]
« La publication des « algorithmes locaux » répond ensuite à un impératif de transparence, dont le Conseil constitutionnel a pu rappeler qu’il constitue, en toutes circonstances, un objectif d’intérêt général. L’utilisation « d’algorithmes locaux » pour opérer des classements ne saurait être remise en cause, au regard du volume des candidatures, mais le fait de ne pas les publier et d’en refuser la communication crée un risque de défiance ». […]
« Cette hypothèse, régulièrement évoquée auprès des différents représentants des CEV rencontrés dans le cadre de la présente enquête, n’a pas soulevé d’objections particulières. Les enseignants sont, dans la grande majorité des cas, favorables à la plus grande transparence, et conscients que cette publication serait le meilleur moyen d’éteindre toute suspicion liée au fonctionnement des commissions d’examen des vœux ».
Recommandations de la Cour des comptes
« Rendre publics les « algorithmes locaux » utilisés par les commissions d’examen des vœux pour l’ensemble des formations proposées ».
▻https://academia.hypotheses.org/22032
#algorithme #université #lycées #France #facs #universités #chronologie #parcours-sup
