[1712.05526] Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning

/1712.05526

  • Une intelligence artificielle pour griller les menteurs au tribunal
    https://motherboard.vice.com/fr/article/ev5ny4/une-intelligence-artificielle-pour-griller-les-menteurs-au-tribuna

    L’analyse des micro-expressions du visage permet d’identifier les menteurs avec 90% de précision. Les tribunaux sont les lieux du doute perpétuel. Si les procédures qui encadrent l’activité des magistrats et des jurés sont très rigides, un procès reste, à de nombreux égards, une affaire de subjectivité. Aux États-Unis, on parle de reasonable doubt : pour décider de la culpabilité d’un accusé, un juge ou un jury doit se forger une opinion qui dépasse le « doute raisonnable » en s’appuyant sur des preuves (...)

    #biométrie #émotions

    • Le système est parvenu à identifier les menteurs avec 90% de précision, un score bien supérieur aux performances humaines en la matière.

      bien supérieur, #mouais
      Extrait de l’abstract de l’article original :

      Using various classifiers, our automated system obtains an AUC of 0.877 (10-fold cross-validation) when evaluated on subjects which were not part of the training set. Even though state-of-the-art methods use human annotations of micro-expressions for deception detection, our fully automated approach outperforms them by 5%. When combined with human annotations of micro-expressions, our AUC improves to 0.922.

      D’ailleurs, le véritable lien vers l’article commenté est celui-ci
      • pour le résumé
      Deception Detection in Videos
      https://arxiv.org/abs/1712.04415

      • pour l’article en pdf
      https://arxiv.org/pdf/1712.04415.pdf

      Le lien, erroné donc, dans le texte est cependant fort intéressant : il pointe vers un article montrant l’extrême facilité pour un « attaquant » de perturber les résultats des algorithmes de #deep_learning en polluant, même légèrement, la base d’apprentissage sans intervenir sur l’algorithme. Ce type d’attaque est difficilement détectable.

      [1712.05526] Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
      https://arxiv.org/abs/1712.05526

      We conduct evaluation to demonstrate that a backdoor adversary can inject only around 50 poisoning samples, while achieving an attack success rate of above 90%. We are also the first work to show that a data poisoning attack can create physically implementable backdoors without touching the training process. Our work demonstrates that backdoor poisoning attacks pose real threats to a learning system, and thus highlights the importance of further investigation and proposing defense strategies against them.

      #data_poisoning
      variante malveillante du célèbre principe #GIGO #garbage_in_garbage_out

    • Par ailleurs, un risque d’erreur de 1 sur 8 (pour 0,877 sous la courbe, sans intervention humaine) est très largement supérieur à l’estimation du taux d’erreur judiciaire dans les condamnations à mort états-uniennes (4,1%) …

      Il est vrai que l’étude sur le sujet mentionne que les cours sont plus exigeantes sur les critères de preuve lorsque la peine encourue est plus élevée, a fortiori capitale.

      États-Unis : plus de 4% des condamnés à mort seraient innocents (avril 2014)
      http://www.lefigaro.fr/international/2014/04/29/01003-20140429ARTFIG00151-etats-unis-plus-de-4-des-condamnes-a-mort-seraien
      et l’étude référencée
      Rate of false conviction of criminal defendants who are sentenced to death
      http://www.pnas.org/content/111/20/7230

      Significance
      The rate of erroneous conviction of innocent criminal defendants is often described as not merely unknown but unknowable. We use survival analysis to model this effect, and estimate that if all death-sentenced defendants remained under sentence of death indefinitely at least 4.1% would be exonerated. We conclude that this is a conservative estimate of the proportion of false conviction among death sentences in the United States.