• Making deepfake tools doesn’t have to be irresponsible. Here’s how. - MIT Technology Review

    Synthetic media technologies—popularly known as deepfakes—have real potential for positive impact. Voice synthesis, for example, will allow us to speak in hundreds of languages in our own voice. Video synthesis may help us simulate self-driving-car accidents to avoid mistakes in the future. And text synthesis can accelerate our ability to write both programs and prose. 

    But these advances can come at a gargantuan cost if we aren’t careful: the same underlying technologies can also enable deception with global ramifications. 

    Thankfully, we can both enable the technology’s promise and mitigate its peril. It will just take some hard work.

    Approach 2: Discouraging malicious use
    For synthetic media tools that are general and may be made widely available, there are still many possible ways to reduce malicious use. Here are some examples.

    – Clear disclosure: Request that synthesized media be clearly indicated as such—particularly material that might be used to mislead. Tools may be able to support this by including clear visual or audible notices in output files, such as visible warnings or spoken disclosures. At minimum, metadata should indicate how media was synthesized or manipulated.
    – Consent protection: Require the consent of those being impersonated. The voice cloning tool Lyrebird requires users to speak particular phrases in order to model their voice. This makes it more difficult to impersonate someone without consent, which would be very possible if it simply generated voices using any provided data set. This, of course, is applicable only for tools that enable impersonation.
    – Detection friendliness: Ensure that the synthesized media is not inordinately difficult to detect; keep detector tools up to date; collaborate with those working on detection to keep them in the loop on new developments.
    – Hidden watermarks: Embed context about synthesis—or even the original media—through robust watermarks, both using methods that are accessible to anyone with the proper tools, and through approaches that are secret and difficult to remove. (For example, Modulate.ai watermarks audio that it generates, while products like Imatag and their open-source equivalents enable watermarking for imagery.)
    – Usage logs: Store information about usage and media outputs in a way that researchers and journalists can access to identify if, for example, a video was probably synthesized using a particular tool. This could include storing timestamps of synthesis with a robust hash or media embedding.
    – Use restrictions: Provide and enforce contractual terms of use that prohibit and penalize unwanted actions, such as attempting to remove disclosures or watermarks, or violating the consent of other people. A stronger version of this approach involves explicitly elaborating allowed uses of the technology or resulting outputs.

    Not all these strategies are applicable to every system. Some may have their risks, and none are perfect—or sufficient on their own. They are all part of a “defense in depth,” where more is more.

    #Deep_fakes #Deepfakes #Fake_news #Ethique

  • Internet Companies Prepare to Fight the ‘Deepfake’ Future - The New York Times

    Deepfakes — a term that generally describes videos doctored with cutting-edge artificial intelligence — have already challenged our assumptions about what is real and what is not.

    In recent months, video evidence was at the center of prominent incidents in Brazil, Gabon in Central Africa and China. Each was colored by the same question: Is the video real? The Gabonese president, for example, was out of the country for medical care and his government released a so-called proof-of-life video. Opponents claimed it had been faked. Experts call that confusion “the liar’s dividend.”

    Though activists and artists occasionally release deepfakes as a way of showing how these videos could shift the political discourse online, these techniques are not widely used to spread disinformation. They are mostly used to spread humor or fake pornography, according to Facebook, Google and others who track the progress of deepfakes.

    Right now, deepfake videos have subtle imperfections that can be readily detected by automated systems, if not by the naked eye. But some researchers argue that the improved technology will be powerful enough to create fake images without these tiny defects. Companies like Google and Facebook hope they will have reliable detectors in place before that happens.

    “In the short term, detection will be reasonably effective,” said Mr. Kambhampati, the Arizona State professor. “In the longer term, I think it will be impossible to distinguish between the real pictures and the fake pictures.”

    #Fake_news #Deepfakes #Plateformes

  • Mapping the Deepfake Landscape - Deeptrace

    Our research revealed that the deepfake phenomenon is growing rapidly online, with the number of deepfake videos almost doubling over the last seven months to 14,678. This increase is supported by the growing commodification of tools and services that lower the barrier for non-experts to create deepfakes. Perhaps unsurprisingly, we observed a significant contribution to the creation and use of synthetic media tools from web users in China and South Korea, despite the totality of our sources coming from the English-speaking Internet.

    Another key trend we identified is the prominence of non-consensual deepfake pornography, which accounted for 96% of the total deepfake videos online. We also found that the top four websites dedicated to deepfake pornography received more than 134 million views on videos targeting hundreds of female celebrities worldwide. This significant viewership demonstrates a market for websites creating and hosting deepfake pornography, a trend that will continue to grow unless decisive action is taken.

    Non seulement c’est la pornographie qui est le support des deepfakes, mais ce sont les visages des femmes qui sont visés.

    #Fake_news #Deepfakes #Pornographie #Culture_viol

  • « Deepfakes » : faut-il avoir peur de ces vidéos trafiquées ?

    Les regards se tournent aussi vers les grandes plates-formes où ces vidéos sont diffusées. Certaines, comme le site pornographique Pornhub, les ont interdites dans leur règlement – il en subsiste toutefois, comme nous avons pu le constater. Du côté des grands réseaux sociaux, on reste frileux : pas de traitement particulier chez Facebook, et Twitter a évoqué l’idée de signaler, sans les interdire, les deepfakes aux internautes. Certaines grandes entreprises comme Google, Facebook et Microsoft encouragent par ailleurs la création de logiciels de détection à travers des concours.

    Mais les géants du Web ne se concentrent peut-être pas sur le vrai problème, laisse entendre Alexandre Alaphilippe :

    « On se focalise trop sur la création de la désinformation, qui de toute façon va exploser. Mais il faut aussi s’intéresser à la façon dont ce contenu est distribué. Pourquoi à partir d’une vidéo de rats sur YouTube, vous tombez en deux clics sur une vidéo sur l’immigration ? On ne peut pas mettre toutes les ressources sur la recherche pour repérer les deepfakes, il faut aussi en faire sur les algorithmes de recommandation. »

    L’histoire montre que l’existence même de la technologie contribue à semer le doute, et celui-ci peut être exploité pour manipuler l’opinion. Comme l’expliquait Claire Wardle, directrice exécutive de l’association de lutte contre la désinformation First Draft au New York Times : « Ce qui m’empêche de dormir n’est pas tant la technologie, mais comment est-ce qu’en tant que société, nous réagissons face à l’idée que nous ne pouvons plus croire ce que nous voyons ou ce que nous entendons. »

    #Fake_news #Deepfakes

  • The world’s top deepfake artist is wrestling with the monster he created - MIT Technology Review

    Misinformation has long been a popular tool of geopolitical sabotage, but social media has injected rocket fuel into the spread of fake news. When fake video footage is as easy to make as fake news articles, it is a virtual guarantee that it will be weaponized. Want to sway an election, ruin the career and reputation of an enemy, or spark ethnic violence? It’s hard to imagine a more effective vehicle than a clip that looks authentic, spreading like wildfire through Facebook, WhatsApp, or Twitter, faster than people can figure out they’ve been duped.

    As a pioneer of digital fakery, Li worries that deepfakes are only the beginning. Despite having helped usher in an era when our eyes cannot always be trusted, he wants to use his skills to do something about the looming problem of ubiquitous, near-perfect video deception.

    Li isn’t your typical deepfaker. He doesn’t lurk on Reddit posting fake porn or reshoots of famous movies modified to star Nicolas Cage. He’s spent his career developing cutting-edge techniques to forge faces more easily and convincingly. He has also messed with some of the most famous faces in the world for modern blockbusters, fooling millions of people into believing in a smile or a wink that was never actually there. Talking over Skype from his office in Los Angeles one afternoon, he casually mentions that Will Smith stopped in recently, for a movie he’s working on.

    Actors often come to Li’s lab at the University of Southern California (USC) to have their likeness digitally scanned. They are put inside a spherical array of lights and machine vision cameras to capture the shape of their face, facial expressions, and skin tone and texture down to the level of individual pores. A special-effects team working on a movie can then manipulate scenes that have already been shot, or even add an actor to a new one in post-production.

    Shortly after joining USC, Li created facial tracking technology used to make a digital version of the late actor Paul Walker for the action movie Furious 7. It was a big achievement, since Walker, who died in a car accident halfway through shooting, had not been scanned beforehand, and his character needed to appear in so many scenes. Li’s technology was used to paste Walker’s face onto the bodies of his two brothers, who took turns acting in his place in more than 200 scenes.

    The movie, which grossed $1.5 billion at the box office, was the first to depend so heavily on a digitally re-created star. Li mentions Walker’s virtual role when talking about how good video trickery is becoming. “Even I can’t tell which ones are fake,” he says with a shake of his head.

    La vague des repentis s’élargit... Mais c’est intéressant cette façon de voir : tant que ce sont quelques personnes bien intentionnées, les technologies sont magiques, mais quand cela devient accessible à tout le monde, les problèmes arrivent. On a vu ce discours se répéter depuis que l’internet s’est ouvert au public.

    Underneath the digital silliness, though, is an important trend: AI is rapidly making advanced image manipulation the province of the smartphone rather than the desktop. FaceApp, developed by a company in Saint Petersburg, Russia, has drawn millions of users, and recent controversy, by offering a one-click way to change a face on your phone. You can add a smile to a photo, remove blemishes, or mess with your age or gender (or someone else’s). Dozens more apps offer similar manipulations at the click of a button.

    Not everyone is excited about the prospect of this technology becoming ubiquitous. Li and others are “basically trying to make one-image, mobile, and real-time deepfakes,” says Sam Gregory, director of Witness, a nonprofit focused on video and human rights. “That’s the threat level that worries me, when it [becomes] something that’s less easily controlled and more accessible to a range of actors.”

    Fortunately, most deepfakes still look a bit off. A flickering face, a wonky eye, or an odd skin tone make them easy enough to spot. But just as an expert can remove such flaws, advances in AI promise to smooth them out automatically, making the fake videos both simpler to create and harder to detect.

    Even as Li races ahead with digital fakery, he is also troubled by the potential for harm. “We’re sitting in front of a problem,” he says.

    (Medifor : programme de la DARPA our reconnaître les deepfakes)

    Earlier this year, Matt Turek, DARPA program manager for MediFor, asked Li to demonstrate his fakes to the MediFor researchers. This led to a collaboration with Hany Farid, a professor at UC Berkeley and one of the world’s foremost authorities on digital forensics. The pair are now engaged in a digital game of cat-and-mouse, with Li developing deepfakes for Farid to catch, and then refining them to evade detection.

    Farid, Li, and others recently released a paper outlining a new, more powerful way to spot deepfakes. It hinges on training a machine-learning algorithm to recognize the quirks of a specific individual’s facial expressions and head movements. If you simply paste someone’s likeness onto another face, those features won’t be carried over. It would require a lot of computer power and training data—i.e., images or video of the person—to make a deepfake that incorporates these characteristics. But one day it will be possible. “Technical solutions will continue to improve on the defensive side,” says Turek. “But will that be perfect? I doubt it.”

    #Fake_news #deepfakes #Intelligence_artificielle #Art #Cinéma

  • Les «deepfakes», ces vidéos hyper réalistes bientôt au service des fake news ?

    Au départ, les deepfakes permettaient surtout à incruster le visage d’une star dans un film porno ou à faire dire des énormités à des personnalités politiques. Mais aujourd’hui, la technologie étant plus accessible, la crainte est qu’elle soit utilisée à des fins de propagande ou de chantage. Réticent à l’idée de prendre position à ce sujet, le PDG de Facebook Mark Zuckerberg vient finalement de déclarer qu’il serait "sensé que le réseau social se dote d’une politique spécifique en la matière".
    "Nos ennemis peuvent nous faire dire n’importe quoi, quand ils le souhaitent"

    Quoi de plus parlant qu’un exemple ? L’an dernier, une vidéo publiée par le média Buzzfeed a été massivement commentée. On y apercevait l’ex-président américain Barack Obama déclarer face à la caméra que “Donald Trump est un abruti total”. Barack Obama ferait-il une telle déclaration publiquement ? Probablement pas. Et en effet : c’est en réalité l’acteur Jordan Peele qui est derrière ce "deepfake" bluffant (voir ci-dessous).

    "Nos ennemis peuvent nous faire dire n’importe quoi, quand ils le souhaitent […] ’Nous devons être plus prudents avec ce que nous trouvons sur internet”, précise l’acteur.

    Arrêter de croire aux vidéos ?

    Dans un webdoc consacré aux deepfake, CNN s’interroge également sur l’impact que ces vidéos pourraient avoir sur notre rapport à la vérité. “L’audio et la vidéo apparaissent depuis plus d’un siècle comme le socle de la vérité", écrit CNN. Pourtant, "malgré des preuves vidéos, certains questionnent déjà des événements comme l’Holocauste ou les attentats du 11 septembre (...) le conspirationnisme va encore empirer (...) Le risque principal de ces deepfakes est qu’elles altèrent pour toujours la confiance”.

    Ainsi, explique Xavier de La Porte, chroniqueur de France Inter, "toute image circulant dans les réseaux deviendrait par essence suspecte, l’image numérique basculerait dans le monde du faux, de la fabrication, on n’y croirait plus du tout”. Et à l’inverse, "quelqu’un qui aura été filmé en train de dire ou faire quelque chose de répréhensible ou de gênant pourra toujours, en l’absence d’autre source, crier au ’deepfake’".

    #Deepfakes #Fake_news #Fake_Obama

  • Le « #deep_fake » : vers la fin de la vérité dans l’#image #numérique ?

    Depuis quelques mois, on parle de plus en plus de ce qu’on appelle les "deep fakes". "Fake", c’est le "faux", le "trucage" et "deep" pour "#deep_learning", une de modalités de l’intelligence artificielle.

    De quoi s’agit-il ?

    Grâce aux progrès de l’intelligence artificielle - et plus particulièrement des réseaux de neurones - des programmes sont aujourd’hui capables d’utiliser des images existantes pour générer d’autres images. Ça signifie que vous pouvez animer un visage, lui donner des expressions, l’insérer dans une autre image.


    [...] si [..] vous trafiquez à la fois le visage et la voix -, ça devient plus problématique : vous arrivez à produire une vidéo à peu près crédible dans laquelle Barack Obama tient des propos qu’il n’a jamais tenus.


    A partir du moment où les #algorithmes ont à leur disposition suffisamment d’images et de discours existants, des #logiciels des plus faciles à manier et de plus en plus efficaces permettent de faire dire n’importe quoi à n’importe qui. C’est assez abyssal. 

    Jusqu’ici, la #vidéo faisait malgré tout office de preuve. Avec des outils comme ceux-là, ça risque de ne plus être le cas. On risque de voir apparaître plein de fausses déclarations, qui paraîtront très crédibles. C’est un problème.

    Mais, autre conséquence possible, quelqu’un qui aura été filmé en train de dire ou faire quelque chose de répréhensible ou de gênant pourra toujours, en l’absence d’autre source, crier au “deepfake”. 

    Peut-être qu’on s’inquiète pour rien ?

    Peut-être que les "deep fakes" resteront à jamais un gadget à usage plus ou moins de bon goût mais sans grande conséquence. C’est tout à fait possible. Le monde des technologies nous a habitués à se tromper d’inquiétude. Mais si elles se développent et sont utilisées à grande échelle pour créer de fausses déclarations d’hommes politiques, par exemple, on entrerait dans ce qu’un expert a désigné comme un monde de la “fake news sous stéroïde”. Parce que, aux dires des chercheurs, il n’est pas facile de déterminer techniquement si une image a été trafiquée par ce type de programmes (il faut créer des logiciels qui puissent détecter des défauts dans les mouvements des cils par exemple). Ce serait une guerre de programme informatique contre programme informatique, un fact checking technique. 

    Mais il pourrait y avoir une autre conséquence, d’ordre quasi philosophique : toute image circulant dans les réseaux deviendrait par essence suspecte, l’image numérique basculerait dans le monde du faux, de la fabrication, on n’y croirait plus du tout. 

    Elle tomberait dans un autre registre, celui de la #fiction, on regarderait les images qui circulent sur Internet comme on regarde des films de fiction. Le "deep fake" aurait tué l’idée même qu’il y ait une #vérité dans l’image numérique. On y chercherait autre chose. Ce serait étrange, ça inaugurerait une nouvelle ère du journalisme. Mais pas sûr que ce soit pire qu’aujourd’hui.


  • How blockchains can and can’t be used in authenticating video and countering #deepfakes

    The merits of #blockchain to Amber Video’s missionA few years ago it became clear that Photoshop-ing of video, in a way that looks indistinguishable from authentic video, was quickly approaching. When it does, it will have a serious impact on visual evidence and specifically our ability to rely on them for facts and to make judgements. A world where video is duplicitous will delegitimize even genuine visual evidence and society will veer to the negative aspects of tribalism to help decide what is their version of “truth”.Blockchains*, the cryptography-based technology that records transactions in a verifiable and permanent way, hold a lot of promise and will positively impact the Internet in years to come. But they are not the solution to this problem: writing manipulated video data to a (...)

    #blockchain-deep-fakes #fake-video #artificial-intelligence