Piéger une voiture autonome
Une équipe de chercheurs de l’Université de Washington a trompé un système de pilotage automatique avec de simples autocollants.
▻http://www.lessentiel.lu/fr/hi_tech/story/Des-autocollants-piegent-une-voiture-autonome-30629111
Appelés à écrire l’avenir de l’automobile, les véhicules autonomes doivent encore prouver leur fiabilité en matière de sécurité. En analysant la manière dont le système de reconnaissance d’images en temps réel de l’une de ces voitures fonctionnait, des chercheurs de l’Université de Washington ont découvert qu’il était facile de le piéger. Il suffit d’altérer des panneaux de signalisation avec de simples autocollants.
Ce procédé peut amener les algorithmes à « se comporter de manière inattendue et potentiellement dangereuse », expliquent les chercheurs. Par exemple, en ajoutant les mots « Love » et « Hate » (amour et haine, en français) sur un panneau Stop, ce dernier a été interprété comme une limitation de vitesse. De quoi causer de potentiels accidents. Dans un autre cas, modifier la couleur de la flèche d’un panneau d’obligation de tourner à droite, avec des stickers, a provoqué son interprétation comme un Stop.
Pour éviter ces attaques, l’équipe suggère que le système prenne en compte des infos contextuelles afin de s’assurer qu’un panneau est légitime ou pas, comme par exemple l’étrange présence d’un Stop sur une autoroute. Ce n’est pas la première fois que des chercheurs ont réussi à tromper les capteurs des véhicules autonomes. En 2015, en utilisant un pointeur laser et un micro-ordinateur, il a été possible de simuler de faux obstacles à éviter.
(L’essentiel/man)
#Voiture_autonome #signalisation #route
▻https://arxiv.org/abs/1707.08945
Robust Physical-World Attacks on Machine Learning Models
Subjects: Cryptography and Security (cs.CR); Learning (cs.LG)
Deep neural network-based classifiers are known to be vulnerable to adversarial examples that can fool them into misclassifying their input through the addition of small-magnitude perturbations. However, recent studies have demonstrated that such adversarial examples are not very effective in the physical world—they either completely fail to cause misclassification or only work in restricted cases where a relatively complex image is perturbed and printed on paper. In this paper we propose a new attack algorithm—Robust Physical Perturbations (RP2)— that generates perturbations by taking images under different conditions into account. Our algorithm can create spatially-constrained perturbations that mimic vandalism or art to reduce the likelihood of detection by a casual observer. We show that adversarial examples generated by RP2 achieve high success rates under various conditions for real road sign recognition by using an evaluation methodology that captures physical world conditions. We physically realized and evaluated two attacks, one that causes a Stop sign to be misclassified as a Speed Limit sign in 100% of the testing conditions, and one that causes a Right Turn sign to be misclassified as either a Stop or Added Lane sign in 100% of the testing conditions.
