• The Judge Statistical Data Ban – My Story – Michaël Benesty – Artificial Lawyer
    https://www.artificiallawyer.com/2019/06/07/the-judge-statistical-data-ban-my-story-michael-benesty

    The basic issue was that some judges had a very high asylum rejection ratio (close to 100%, with hundreds of cases per year), while others from the same court had a very low ratio, and in France cases are randomly distributed among judges from the same courts (there is no judge specialised in Moroccan asylum and the other in Chinese asylum for instance).

    Basically, we believed there was no reasonable explanation to such discrepancies, which were stable year afters year.

    #droit #machine-learning #biais #asile #france #juges

    • #rapport_Cadiet #open_data #justice

      sur ce sujet, et d’autres (notation des avocats,…) un point de vue détaillé et argumenté, avec des options affirmées,…

      Notation des Avocats, algorithmes et Open Data des décisions de justice : les liaisons dangereuses. Par Fabien Drey, Avocat.
      https://www.village-justice.com/articles/notation-des-avocats-algorithmes-open-data-des-decisions-justice-le

      II. Algorithmes partout, justice nulle part.
      […]
      A. Le véritable Open Data doit être une réalité.
      […]
      1. Nous sommes en faveur de l’Open Data des décisions de justice.
      […]
      2. Nous sommes pour le développement d’outils de recherches poussés.
      […]
      3. Nous sommes pour la transparence totale et le contrôle des algorithmes.
      […]
      B. L’Open Data des décisions de justice doit être régulé.
      […]
      1. Pour une interdiction des traitements statistiques des décisions de justice.
      […]
      2. Pour l’interdiction de l’automatisation des décisions de justice.
      […]
      C. Le « traçage » des Avocats doit être interdit.
      […]
      1. Pour une interdiction du traçage des Avocats (si, les Avocats veulent rester anonymes.)
      […]
      2. Traçage et notation des Avocats, la fin de l’Etat de Droit ?
      […]
      III. Et maintenant, que fait-on ?

    • et ce passage, plus particulièrement sur les traitements,…

      Le premier constat fait par nos confrères réside dans le fait que la justice est « rendue publiquement ». Nous ne pouvons à cet égard qu’être d’accord avec une telle affirmation, bien que de nombreuses exceptions soient prévues.

      Cependant, le caractère public des décisions de justice ne signifie pas que l’ensemble des données issues des décisions de justice doivent être rendues publiques.

      Il y a à notre sens une large différence entre le fait d’ouvrir les portes d’un tribunal (ce qui permet d’assister au procès, d’entendre les plaidoiries, d’apprécier la personnalité des personnes en cause, etc.) et publier sur Internet le contenu aride de l’ensemble des décisions de justice…

      En effet, cette large publication a un triple effet pervers :
      • D’une part, devant la masse d’information à traiter, aucun être humain ne serait capable de lire l’ensemble des décisions publiées sur un sujet, il est donc nécessaire d’être assisté d’un algorithme permettant de trier et synthétiser la ou les décisions recherchées. Or, comment nous l’avons vu, rien ne permet de dire que l’algorithme n’est pas orienté ou imparfait. Dans ce cadre, la publication n’est que de façade et nos recherches sont plus orientées par l’algorithme que par la véritable recherche d’un point juridique ;
      • D’autre part, la masse des informations publiées oblige à effectuer des statistiques. La masse des décisions publiées nous oblige donc à faire confiance aux taux calculés par l’algorithme. Or, qui est en mesure de véritablement vérifier la pertinence de ces calculs ?
      • Enfin, l’automatisation de nos recherches et la synthétisation qui en est faite nous amène à penser et réagir comme des algorithmes, en fonction simplement du passé et de ce qui a été déjà été fait. Dans ce cadre, quelle place aura la création ? Où se placera l’innovation ?

      Nous rappelons à cet égard que l’innovation repose sur le fait de s’affranchir de toute règle, de ne pas raisonner en fonction du passé mais par l’intermédiaire d’un nouveau système, voire de raisonner par l’absurde… bref, tout le contraire du deep learning…

      A trop vouloir analyser le passé pour essayer de prédire les décisions futures, nous en perdrons notre âme et ce qui a toujours fait le sel de notre profession, à savoir l’audace et l’ingéniosité.

      Le rapport Cadiet avait là-encore cerné ce problème, faisant de la transparence des algorithmes un enjeu majeur.

      Or, force est de constater que nous en sommes encore loin.

      La publication de l’ensemble des décisions de justice ne pose pas véritablement problème, ce sont les traitements issus de ces publications qui peuvent poser d’énormes difficultés, notamment en ce qui concerne l’identité des Avocats.

    • nous en perdrons notre âme et ce qui a toujours fait le sel de notre profession, à savoir l’audace et l’ingéniosité

      C’est du grand art, ça me rappelle la complainte des génies de la chirurgie esthétique.

      Or, qui est en mesure de véritablement vérifier la pertinence de ces calculs ?

      On pourrait croire que les avocats seraient sensibles à la notion d’un débat entre argumentation et contre-argumentation, au service de la justice. Apparemment pas :)