• Microsoft brings DALL-E 2 to the masses with Designer and Image Creator
    Microsoft is making a major investment in DALL-E 2, OpenAI’s AI-powered system that generates images from text, by bringing it to first-party apps and services. During its Ignite conference this week, Microsoft announced that it’s integrating DALL-E 2 with the newly announced Microsoft Designer app and Image Creator tool in Bing and Microsoft Edge.

    Seeking to bring OpenAI’s tech to an even wider audience, Microsoft is launching Designer, a Canva-like web app that can generate designs for presentations, posters, digital postcards, invitations, graphics and more to share on social media and other channels. Designer — whose announcement leaked repeatedly this spring and summer — leverages user-created content and DALL-E 2 to ideate designs, with drop-downs and text boxes for further customization and personalization.

    Another new Microsoft-developed app underpinned by DALL-E 2 is Image Creator, heading to Bing and Edge in the coming weeks. As the name implies, Image Creator — accessed via the Bing Images tab or bing.com/create, or through the Image Creator icon in the sidebar within Edge — generates art given a text prompt by funneling requests to DALL-E 2, acting like a frontend client for OpenAI’s still-in-beta DALL-E 2 service.

    L’article évoque aussi la question des #droit liés aux images générés, le #deepfake violent ou pornographique et la question des #dataset utilisés pour entraîner ce #programme appelé #ia ou #reseau_de_neurones génératif d’images.

  • Les deepfakes de l’Hôtel du Temps par Thierry Ardisson

    La bande-annonce, publiée en début de semaine, montre des discussions entre Thierry Ardisson (qui sera rajeuni pour l’occasion) et l’acteur français Jean Gabin (incarné par Cédric Weber), le président français François Mitterrand et Lady Diana. Le tout repose sur la technique du faceswap et une bonne dose d’imitation. C’est le studio Mac Guff, spécialisé dans les effets spéciaux qui produirait les deepfakes.



  • An Indian politician is using deepfake technology to win new voters - MIT Technology Review

    On avait tendance à penser que les deepfakes servaient à moquer ou ridiculiser ses opposants. On a ici une forme intéressante : un candidat qui produit plusieurs deepfakes de son discours dans les diverses langues de l’Inde pour mieux le partager.

    The news: A deepfake of the President of India’s ruling Bharatiya Janata Party (BJP), Manoj Tiwari, went viral on WhatsApp in the country earlier this month, ahead of Legislative Assembly elections in Delhi, according to Vice. It’s the first time a deepfake has been used by a political party anywhere for campaigning purposes. In the original video Tiwari speaks in English, criticizing his political opponent Arvind Kejriwal and encouraging voters to vote for the BJP. The second video has been manipulated using deepfake technology so he is mouth moves convincingly as he speaks in the Hindi dialect of Haryanvi, whose people are target voters for the BJP.

    The purpose: The BJP has partnered with political communications firm The Ideaz Factory to create deepfakes which let it target voters across the over 20 different languages used in India. The party told Vice that the Tiwari deepfake reached approximately 15 million people across 5,800 WhatsApp groups.

    Causing alarm: This isn’t the first time deepfakes have popped up during a political campaign. For example, last December, researchers made a fake video of the two candidates in the UK’s general election endorsing each other. It wasn’t supposed to sway the vote however—merely to raise awareness about deepfake technology. This case in India seems to be the first time deepfakes have been used for a political campaign. The big risk is that we reach a point where people can no longer trust what they see or hear. In that scenario, a video wouldn’t even need to be digitally altered for people to denounce it as fake. It’s not hard to imagine the corrosive impact that would have on an already fragile political landscape.

    #Deepfake #Fake_news #Elections #Inde

  • Vidéos manipulées : Facebook interdit désormais tous les deepfakes, ou presque

    Facebook annonce une mise à jour de ses règles de modération afin d’avoir un plan pour combattre les deepfakes, ces vidéos truquées qui sont susceptibles d’induire le public en erreur. C’est l’un des nouveaux domaines de lutte contre la manipulation de l’information. Et c’est un domaine dans lequel Facebook entend agir. Le 6 janvier, le réseau social a présenté ses intentions à l’égard des « deepfakes », ces trucages vidéo très élaborés qui, grâce à l’emploi d’algorithmes et de méthodes relatives à (...)

    #Facebook #algorithme #manipulation #élections #DeepFake


  • Making deepfake tools doesn’t have to be irresponsible. Here’s how. - MIT Technology Review

    Synthetic media technologies—popularly known as deepfakes—have real potential for positive impact. Voice synthesis, for example, will allow us to speak in hundreds of languages in our own voice. Video synthesis may help us simulate self-driving-car accidents to avoid mistakes in the future. And text synthesis can accelerate our ability to write both programs and prose. 

    But these advances can come at a gargantuan cost if we aren’t careful: the same underlying technologies can also enable deception with global ramifications. 

    Thankfully, we can both enable the technology’s promise and mitigate its peril. It will just take some hard work.

    Approach 2: Discouraging malicious use
    For synthetic media tools that are general and may be made widely available, there are still many possible ways to reduce malicious use. Here are some examples.

    – Clear disclosure: Request that synthesized media be clearly indicated as such—particularly material that might be used to mislead. Tools may be able to support this by including clear visual or audible notices in output files, such as visible warnings or spoken disclosures. At minimum, metadata should indicate how media was synthesized or manipulated.
    – Consent protection: Require the consent of those being impersonated. The voice cloning tool Lyrebird requires users to speak particular phrases in order to model their voice. This makes it more difficult to impersonate someone without consent, which would be very possible if it simply generated voices using any provided data set. This, of course, is applicable only for tools that enable impersonation.
    – Detection friendliness: Ensure that the synthesized media is not inordinately difficult to detect; keep detector tools up to date; collaborate with those working on detection to keep them in the loop on new developments.
    – Hidden watermarks: Embed context about synthesis—or even the original media—through robust watermarks, both using methods that are accessible to anyone with the proper tools, and through approaches that are secret and difficult to remove. (For example, Modulate.ai watermarks audio that it generates, while products like Imatag and their open-source equivalents enable watermarking for imagery.)
    – Usage logs: Store information about usage and media outputs in a way that researchers and journalists can access to identify if, for example, a video was probably synthesized using a particular tool. This could include storing timestamps of synthesis with a robust hash or media embedding.
    – Use restrictions: Provide and enforce contractual terms of use that prohibit and penalize unwanted actions, such as attempting to remove disclosures or watermarks, or violating the consent of other people. A stronger version of this approach involves explicitly elaborating allowed uses of the technology or resulting outputs.

    Not all these strategies are applicable to every system. Some may have their risks, and none are perfect—or sufficient on their own. They are all part of a “defense in depth,” where more is more.

    #Deep_fakes #Deepfakes #Fake_news #Ethique

  • Internet Companies Prepare to Fight the ‘Deepfake’ Future - The New York Times

    Deepfakes — a term that generally describes videos doctored with cutting-edge artificial intelligence — have already challenged our assumptions about what is real and what is not.

    In recent months, video evidence was at the center of prominent incidents in Brazil, Gabon in Central Africa and China. Each was colored by the same question: Is the video real? The Gabonese president, for example, was out of the country for medical care and his government released a so-called proof-of-life video. Opponents claimed it had been faked. Experts call that confusion “the liar’s dividend.”

    Though activists and artists occasionally release deepfakes as a way of showing how these videos could shift the political discourse online, these techniques are not widely used to spread disinformation. They are mostly used to spread humor or fake pornography, according to Facebook, Google and others who track the progress of deepfakes.

    Right now, deepfake videos have subtle imperfections that can be readily detected by automated systems, if not by the naked eye. But some researchers argue that the improved technology will be powerful enough to create fake images without these tiny defects. Companies like Google and Facebook hope they will have reliable detectors in place before that happens.

    “In the short term, detection will be reasonably effective,” said Mr. Kambhampati, the Arizona State professor. “In the longer term, I think it will be impossible to distinguish between the real pictures and the fake pictures.”

    #Fake_news #Deepfakes #Plateformes

  • Mapping the Deepfake Landscape - Deeptrace

    Our research revealed that the deepfake phenomenon is growing rapidly online, with the number of deepfake videos almost doubling over the last seven months to 14,678. This increase is supported by the growing commodification of tools and services that lower the barrier for non-experts to create deepfakes. Perhaps unsurprisingly, we observed a significant contribution to the creation and use of synthetic media tools from web users in China and South Korea, despite the totality of our sources coming from the English-speaking Internet.

    Another key trend we identified is the prominence of non-consensual deepfake pornography, which accounted for 96% of the total deepfake videos online. We also found that the top four websites dedicated to deepfake pornography received more than 134 million views on videos targeting hundreds of female celebrities worldwide. This significant viewership demonstrates a market for websites creating and hosting deepfake pornography, a trend that will continue to grow unless decisive action is taken.

    Non seulement c’est la pornographie qui est le support des deepfakes, mais ce sont les visages des femmes qui sont visés.

    #Fake_news #Deepfakes #Pornographie #Culture_viol

  • « Deepfakes » : faut-il avoir peur de ces vidéos trafiquées ?

    Les regards se tournent aussi vers les grandes plates-formes où ces vidéos sont diffusées. Certaines, comme le site pornographique Pornhub, les ont interdites dans leur règlement – il en subsiste toutefois, comme nous avons pu le constater. Du côté des grands réseaux sociaux, on reste frileux : pas de traitement particulier chez Facebook, et Twitter a évoqué l’idée de signaler, sans les interdire, les deepfakes aux internautes. Certaines grandes entreprises comme Google, Facebook et Microsoft encouragent par ailleurs la création de logiciels de détection à travers des concours.

    Mais les géants du Web ne se concentrent peut-être pas sur le vrai problème, laisse entendre Alexandre Alaphilippe :

    « On se focalise trop sur la création de la désinformation, qui de toute façon va exploser. Mais il faut aussi s’intéresser à la façon dont ce contenu est distribué. Pourquoi à partir d’une vidéo de rats sur YouTube, vous tombez en deux clics sur une vidéo sur l’immigration ? On ne peut pas mettre toutes les ressources sur la recherche pour repérer les deepfakes, il faut aussi en faire sur les algorithmes de recommandation. »

    L’histoire montre que l’existence même de la technologie contribue à semer le doute, et celui-ci peut être exploité pour manipuler l’opinion. Comme l’expliquait Claire Wardle, directrice exécutive de l’association de lutte contre la désinformation First Draft au New York Times : « Ce qui m’empêche de dormir n’est pas tant la technologie, mais comment est-ce qu’en tant que société, nous réagissons face à l’idée que nous ne pouvons plus croire ce que nous voyons ou ce que nous entendons. »

    #Fake_news #Deepfakes

  • Et si on parlait de la cybercriminalité boursière ?

    ANALYSE. L’autorité des marchés financiers (AMF) a fait part d’une intéressante étude prospective sur la manière dont elle perçoit l’évolution en mode cyber des trois principales infractions boursières qu’elle poursuit : le délit d’initié, la manipulation de cours et la diffusion de fausse information. Par Jean-Jacques Quisquater, Université de Louvain, et Charles Cuvelliez, Université de Bruxelles.

    Délit d’initié
    On pourrait dire, à lire cette étude, que le délit d’initié est de moins en moins réservé aux initiés : lors d’un fusion-acquisition, explique par exemple l’AMF, toute une chaîne d’acteurs se met en place pour la réaliser. Chaque acteur, banque-conseil, cabinet d’avocats ou cabinet comptable, consultants, le régulateur, les diffuseurs d’informations financières, les agences de relations publiques et même des bureaux de traductions sont autant de portes d’entrée supplémentaire, pendant l’opération, pour un hacker qui peut se procurer des informations privilégiées sur la fusion/acquisition. Plusieurs cas concrets sont cités par l’étude où chaque fois un acteur différent a pu être pénétré avec succès. Le phishing reste la manière la plus simple et la plus efficace de pénétrer le maillon faible car il y en a souvent un dans cette longue chaîne.
    Manipulations de cours
    Les manipulations de cours ont, elles, lieu par la prise de contrôle de comptes de traders de particuliers, même en petit nombre, pour donner des tendances au marché via un comportement coordonné de ces comptes piratés, comprend-t-on, sur des actions peu liquides ou des penny stocks dont les cours peuvent varier rapidement avec quelques dizaines d’acheteurs. C’est la technique du pump & dump. En Asie, les autorités ont même peur des activités de trading qui vont se faire de plus en plus sur des interfaces non dédiées comme les messageries instantanées ou les réseaux sociaux. L’AMF met en avant le problème de la sécurisation, plus vaste qu’imaginé, des applications de comptes de trading des acteurs non bancaires. Ce sont surtout les applications de trading mobile qui sont peu sécurisées (certaines données envoyées au serveur ne sont même pas chiffrées a repéré une étude).

    Enfin, il y a aussi le risque futur de manipulation des cours via un piratage des algorithmes de trading qui occupent déjà 50 % à 80 % des échanges quotidiens sur certaines classes d’actifs. Il y a aussi le risque de manipulations d’algorithmes d’intelligence artificielle via des données volontairement erronées et orientées au profit de certains.

    Fausses informations
    La diffusion de fausses informations est sans doute l’attaque le plus facile à mettre en œuvre : elle nécessite peu de moyens et est facilement anonyme (utilisation d’un wifi public, du réseau TOR...) et ce d’autant plus que l’enregistrement de noms de domaine et l’hébergement de sites inernet qui servent à diffuser l’information ne brillent pas, rappelle l’AMF, par leurs précautions quant à celui qui les ouvre (sans compter la durée de conservation de ces informations qui est faible). Quand il y a une enquête, elle aboutit le plus souvent en regardant plutôt les transactions boursières que laissent les criminels qui ont diffusé les fausses informations et qui veulent en tirer bénéfice (quid alors quand ce sont des activistes qui ont lancé les rumeurs, sans appât du gain). Les enquêtes sont internationales par nature, ce qui les complique puisque, selon le pays, les pouvoirs d’investigation des autorités ou des régulateurs sont différents. Seuls les coupe-circuit des Bourses permettent de limiter les mouvements trop importants en capitalisation boursière qui en résultent.

    Pour l’AMF, la chaîne de diffusion des informations financières doit être sérieusement revue et contrôlée (au sens, comprend-t-on, de l’assurance-qualité) : il y a tellement d’intervenants qu’on n’en arrive à ne plus savoir qui est habilité à diffuser une information correcte et quand. Il faudrait clarifier le canal officiel de diffusion de l’information financière et renforcer la sensibilisation des agences de presse pour éviter le piratage en amont (réception d’un faux communiqué de presse considéré à tort comme vrai) ou en aval (diffusion d’un faux communiqué injecté dans les systèmes d’information même de l’agence de presse). De ce point de vue, Twitter tient le pompon. L’AMF relève à juste titre combien les gens sur des réseaux comme Twitter ont tendance à plus vite relayer du faux sensationnaliste que du vrai. Il y a, en plus, dit l’AMF, des algorithmes spécifiques qui collectent le contenu circulant sur les médias sociaux pour pouvoir réagir très vite en cas d’information cruciale. Ces algorithmes de lecture automatisée sont sensibles aux fausses informations plus que les humains, le filtrage par ces derniers reste essentiel.

    L’AMF remarque enfin qu’il existe, au-delà de la diffusion de fausses informations directement liées à une société pour en influencer le cours de Bourse, quantité d’autres voies pour arriver à ces mêmes fins. Et de citer tous les indicateurs qui influencent la Bourse comme les indices de matières premières, la confiance des ménages MCSI (calculé par l’université de Michigan puis transmis à Thomson Reuters), les conditions météorologiques... Enfin, les deepfakes représentent le défi le plus aigu : comment distinguer un deepfake du président de la FED qui fait une annonce sur les taux.

    #fake_news boursières #deepfake

    (la graisse vient de moi)

  • The world’s top deepfake artist is wrestling with the monster he created - MIT Technology Review

    Misinformation has long been a popular tool of geopolitical sabotage, but social media has injected rocket fuel into the spread of fake news. When fake video footage is as easy to make as fake news articles, it is a virtual guarantee that it will be weaponized. Want to sway an election, ruin the career and reputation of an enemy, or spark ethnic violence? It’s hard to imagine a more effective vehicle than a clip that looks authentic, spreading like wildfire through Facebook, WhatsApp, or Twitter, faster than people can figure out they’ve been duped.

    As a pioneer of digital fakery, Li worries that deepfakes are only the beginning. Despite having helped usher in an era when our eyes cannot always be trusted, he wants to use his skills to do something about the looming problem of ubiquitous, near-perfect video deception.

    Li isn’t your typical deepfaker. He doesn’t lurk on Reddit posting fake porn or reshoots of famous movies modified to star Nicolas Cage. He’s spent his career developing cutting-edge techniques to forge faces more easily and convincingly. He has also messed with some of the most famous faces in the world for modern blockbusters, fooling millions of people into believing in a smile or a wink that was never actually there. Talking over Skype from his office in Los Angeles one afternoon, he casually mentions that Will Smith stopped in recently, for a movie he’s working on.

    Actors often come to Li’s lab at the University of Southern California (USC) to have their likeness digitally scanned. They are put inside a spherical array of lights and machine vision cameras to capture the shape of their face, facial expressions, and skin tone and texture down to the level of individual pores. A special-effects team working on a movie can then manipulate scenes that have already been shot, or even add an actor to a new one in post-production.

    Shortly after joining USC, Li created facial tracking technology used to make a digital version of the late actor Paul Walker for the action movie Furious 7. It was a big achievement, since Walker, who died in a car accident halfway through shooting, had not been scanned beforehand, and his character needed to appear in so many scenes. Li’s technology was used to paste Walker’s face onto the bodies of his two brothers, who took turns acting in his place in more than 200 scenes.

    The movie, which grossed $1.5 billion at the box office, was the first to depend so heavily on a digitally re-created star. Li mentions Walker’s virtual role when talking about how good video trickery is becoming. “Even I can’t tell which ones are fake,” he says with a shake of his head.

    La vague des repentis s’élargit... Mais c’est intéressant cette façon de voir : tant que ce sont quelques personnes bien intentionnées, les technologies sont magiques, mais quand cela devient accessible à tout le monde, les problèmes arrivent. On a vu ce discours se répéter depuis que l’internet s’est ouvert au public.

    Underneath the digital silliness, though, is an important trend: AI is rapidly making advanced image manipulation the province of the smartphone rather than the desktop. FaceApp, developed by a company in Saint Petersburg, Russia, has drawn millions of users, and recent controversy, by offering a one-click way to change a face on your phone. You can add a smile to a photo, remove blemishes, or mess with your age or gender (or someone else’s). Dozens more apps offer similar manipulations at the click of a button.

    Not everyone is excited about the prospect of this technology becoming ubiquitous. Li and others are “basically trying to make one-image, mobile, and real-time deepfakes,” says Sam Gregory, director of Witness, a nonprofit focused on video and human rights. “That’s the threat level that worries me, when it [becomes] something that’s less easily controlled and more accessible to a range of actors.”

    Fortunately, most deepfakes still look a bit off. A flickering face, a wonky eye, or an odd skin tone make them easy enough to spot. But just as an expert can remove such flaws, advances in AI promise to smooth them out automatically, making the fake videos both simpler to create and harder to detect.

    Even as Li races ahead with digital fakery, he is also troubled by the potential for harm. “We’re sitting in front of a problem,” he says.

    (Medifor : programme de la DARPA our reconnaître les deepfakes)

    Earlier this year, Matt Turek, DARPA program manager for MediFor, asked Li to demonstrate his fakes to the MediFor researchers. This led to a collaboration with Hany Farid, a professor at UC Berkeley and one of the world’s foremost authorities on digital forensics. The pair are now engaged in a digital game of cat-and-mouse, with Li developing deepfakes for Farid to catch, and then refining them to evade detection.

    Farid, Li, and others recently released a paper outlining a new, more powerful way to spot deepfakes. It hinges on training a machine-learning algorithm to recognize the quirks of a specific individual’s facial expressions and head movements. If you simply paste someone’s likeness onto another face, those features won’t be carried over. It would require a lot of computer power and training data—i.e., images or video of the person—to make a deepfake that incorporates these characteristics. But one day it will be possible. “Technical solutions will continue to improve on the defensive side,” says Turek. “But will that be perfect? I doubt it.”

    #Fake_news #deepfakes #Intelligence_artificielle #Art #Cinéma

  • Les «deepfakes», ces vidéos hyper réalistes bientôt au service des fake news ?

    Au départ, les deepfakes permettaient surtout à incruster le visage d’une star dans un film porno ou à faire dire des énormités à des personnalités politiques. Mais aujourd’hui, la technologie étant plus accessible, la crainte est qu’elle soit utilisée à des fins de propagande ou de chantage. Réticent à l’idée de prendre position à ce sujet, le PDG de Facebook Mark Zuckerberg vient finalement de déclarer qu’il serait "sensé que le réseau social se dote d’une politique spécifique en la matière".
    "Nos ennemis peuvent nous faire dire n’importe quoi, quand ils le souhaitent"

    Quoi de plus parlant qu’un exemple ? L’an dernier, une vidéo publiée par le média Buzzfeed a été massivement commentée. On y apercevait l’ex-président américain Barack Obama déclarer face à la caméra que “Donald Trump est un abruti total”. Barack Obama ferait-il une telle déclaration publiquement ? Probablement pas. Et en effet : c’est en réalité l’acteur Jordan Peele qui est derrière ce "deepfake" bluffant (voir ci-dessous).

    "Nos ennemis peuvent nous faire dire n’importe quoi, quand ils le souhaitent […] ’Nous devons être plus prudents avec ce que nous trouvons sur internet”, précise l’acteur.

    Arrêter de croire aux vidéos ?

    Dans un webdoc consacré aux deepfake, CNN s’interroge également sur l’impact que ces vidéos pourraient avoir sur notre rapport à la vérité. “L’audio et la vidéo apparaissent depuis plus d’un siècle comme le socle de la vérité", écrit CNN. Pourtant, "malgré des preuves vidéos, certains questionnent déjà des événements comme l’Holocauste ou les attentats du 11 septembre (...) le conspirationnisme va encore empirer (...) Le risque principal de ces deepfakes est qu’elles altèrent pour toujours la confiance”.

    Ainsi, explique Xavier de La Porte, chroniqueur de France Inter, "toute image circulant dans les réseaux deviendrait par essence suspecte, l’image numérique basculerait dans le monde du faux, de la fabrication, on n’y croirait plus du tout”. Et à l’inverse, "quelqu’un qui aura été filmé en train de dire ou faire quelque chose de répréhensible ou de gênant pourra toujours, en l’absence d’autre source, crier au ’deepfake’".

    #Deepfakes #Fake_news #Fake_Obama

  • A new deepfake detection tool should keep world leaders safe—for now - MIT Technology Review

    An AI-produced video could show Donald Trump saying or doing something extremely outrageous and inflammatory. It would be only too believable, and in a worst-case scenario it might sway an election, trigger violence in the streets, or spark an international armed conflict.

    Fortunately, a new digital forensics technique promises to protect President Trump, other world leaders, and celebrities against such deepfakes—for the time being, at least. The new method uses machine learning to analyze a specific individual’s style of speech and movement, what the researchers call a “softbiometric signature.”

    The team then used machine learning to distinguish the head and face movements that characterize the real person. These subtle signals—the way Bernie Sanders nods while saying a particular word, perhaps, or the way Trump smirks after a comeback—are not currently modeled by deepfake algorithms.

    In experiments the technique was at least 92% accurate in spotting several variations of deepfakes, including face swaps and ones in which an impersonator is using a digital puppet. It was also able to deal with artifacts in the files that come from recompressing a video, which can confuse other detection techniques. The researchers plan to improve the technique by accounting for characteristics of a person’s speech as well. The research, which was presented at a computer vision conference in California this week, was funded by Google and DARPA, a research wing of the Pentagon. DARPA is funding a program to devise better detection techniques.

    The problem facing world leaders (and everyone else) is that it has become ridiculously simple to generate video forgeries with artificial intelligence. False news reports, bogus social-media accounts, and doctored videos have already undermined political news coverage and discourse. Politicians are especially concerned that fake media could be used to sow misinformation during the 2020 presidential election.

    Some tools for catching deepfake videos have been produced already, but forgers have quickly adapted. For example, for a while it was possible to spot a deepfake by tracking the speaker’s eye movements, which tended to be unnatural in deepfakes. Shortly after this method was identified, however, deepfake algorithms were tweaked to include better blinking.

    “We are witnessing an arms race between digital manipulations and the ability to detect those, and the advancements of AI-based algorithms are catalyzing both sides,” says Hao Li, a professor at the University of Southern California who helped develop the new technique. For this reason, his team has not yet released the code behind the method .

    Li says it will be particularly difficult for deepfake-makers to adapt to the new technique, but he concedes that they probably will eventually. “The next step to go around this form of detection would be to synthesize motions and behaviors based on prior observations of this particular person,” he says.

    Li also says that as deepfakes get easier to use and more powerful, it may become necessary for everyone to consider protecting themselves. “Celebrities and political figures have been the main targets so far,” he says. “But I would not be surprised if in a year or two, artificial humans that look indistinguishable from real ones can be synthesized by any end user.”

    #fake_news #Deepfake #Video #Détection

  • ’Politicians fear this like fire’ : The rise of the deepfake and the threat to democracy

    On 4 May 2016, Jimmy Fallon, the host of NBC’s The Tonight Show, appeared in a sketch dressed as Donald Trump, then the Republican presidential nominee. Wearing a blond wig and three coats of bronzer, he pretended to phone Barack Obama – played by Dion Flynn – to brag about his latest primary win in Indiana. Both men appeared side by side in split screen, facing the camera. Flynn’s straight-man impression of Obama, particularly his soothing, expectant voice, was convincing, while Fallon played (...)

    #Facebook #Twitter #DeepFake #manipulation #élections


  • Le « #deep_fake » : vers la fin de la vérité dans l’#image #numérique ?

    Depuis quelques mois, on parle de plus en plus de ce qu’on appelle les "deep fakes". "Fake", c’est le "faux", le "trucage" et "deep" pour "#deep_learning", une de modalités de l’intelligence artificielle.

    De quoi s’agit-il ?

    Grâce aux progrès de l’intelligence artificielle - et plus particulièrement des réseaux de neurones - des programmes sont aujourd’hui capables d’utiliser des images existantes pour générer d’autres images. Ça signifie que vous pouvez animer un visage, lui donner des expressions, l’insérer dans une autre image.


    [...] si [..] vous trafiquez à la fois le visage et la voix -, ça devient plus problématique : vous arrivez à produire une vidéo à peu près crédible dans laquelle Barack Obama tient des propos qu’il n’a jamais tenus.


    A partir du moment où les #algorithmes ont à leur disposition suffisamment d’images et de discours existants, des #logiciels des plus faciles à manier et de plus en plus efficaces permettent de faire dire n’importe quoi à n’importe qui. C’est assez abyssal. 

    Jusqu’ici, la #vidéo faisait malgré tout office de preuve. Avec des outils comme ceux-là, ça risque de ne plus être le cas. On risque de voir apparaître plein de fausses déclarations, qui paraîtront très crédibles. C’est un problème.

    Mais, autre conséquence possible, quelqu’un qui aura été filmé en train de dire ou faire quelque chose de répréhensible ou de gênant pourra toujours, en l’absence d’autre source, crier au “deepfake”. 

    Peut-être qu’on s’inquiète pour rien ?

    Peut-être que les "deep fakes" resteront à jamais un gadget à usage plus ou moins de bon goût mais sans grande conséquence. C’est tout à fait possible. Le monde des technologies nous a habitués à se tromper d’inquiétude. Mais si elles se développent et sont utilisées à grande échelle pour créer de fausses déclarations d’hommes politiques, par exemple, on entrerait dans ce qu’un expert a désigné comme un monde de la “fake news sous stéroïde”. Parce que, aux dires des chercheurs, il n’est pas facile de déterminer techniquement si une image a été trafiquée par ce type de programmes (il faut créer des logiciels qui puissent détecter des défauts dans les mouvements des cils par exemple). Ce serait une guerre de programme informatique contre programme informatique, un fact checking technique. 

    Mais il pourrait y avoir une autre conséquence, d’ordre quasi philosophique : toute image circulant dans les réseaux deviendrait par essence suspecte, l’image numérique basculerait dans le monde du faux, de la fabrication, on n’y croirait plus du tout. 

    Elle tomberait dans un autre registre, celui de la #fiction, on regarderait les images qui circulent sur Internet comme on regarde des films de fiction. Le "deep fake" aurait tué l’idée même qu’il y ait une #vérité dans l’image numérique. On y chercherait autre chose. Ce serait étrange, ça inaugurerait une nouvelle ère du journalisme. Mais pas sûr que ce soit pire qu’aujourd’hui.


  • Deepfakes have got Congress panicking. This is what it needs to do. - MIT Technology Review

    In response, the House of Representatives will hold its first dedicated hearing tomorrow on deepfakes, the class of synthetic media generated by AI. In parallel, Representative Yvette Clarke will introduce a bill on the same subject. A new research report released by a nonprofit this week also highlights a strategy for coping when deepfakes and other doctored media proliferate.

    The deepfake bill
    The draft bill, a product of several months of discussion with computer scientists, disinformation experts, and human rights advocates, will include three provisions. The first would require companies and researchers who create tools that can be used to make deepfakes to automatically add watermarks to forged creations.

    The second would require social-media companies to build better manipulation detection directly into their platforms. Finally, the third provision would create sanctions, like fines or even jail time, to punish offenders for creating malicious deepfakes that harm individuals or threaten national security. In particular, it would attempt to introduce a new mechanism for legal recourse if people’s reputations are damaged by synthetic media.

    “This issue doesn’t just affect politicians,” says Mutale Nkonde, a fellow at the Data & Society Research Institute and an advisor on the bill. “Deepfake videos are much more likely to be deployed against women, minorities, people from the LGBT community, poor people. And those people aren’t going to have the resources to fight back against reputational risks.”

    But the technology has advanced at a rapid pace, and the amount of data required to fake a video has dropped dramatically. Two weeks ago, Samsung demonstrated that it was possible to create an entire video out of a single photo; this week university and industry researchers demoed a new tool that allows users to edit someone’s words by typing what they want the subject to say.

    It’s thus only a matter of time before deepfakes proliferate, says Sam Gregory, the program director of Witness. “Many of the ways that people would consider using deepfakes—to attack journalists, to imply corruption by politicians, to manipulate evidence—are clearly evolutions of existing problems, so we should expect people to try on the latest ways to do those effectively,” he says.

    The report outlines a strategy for how to prepare for such an impending future. Many of the recommendations and much of the supporting evidence also aligns with the proposals that will appear in the House bill.

    The report found that current investments by researchers and tech companies into deepfake generation far outweigh those into deepfake detection. Adobe, for example, has produced many tools to make media alterations easier, including a recent feature for removing objects in videos; it has not, however, provided a foil to them.

    The result is a mismatch between the real-world nature of media manipulation and the tools available to fight it. “If you’re creating a tool for synthesis or forgery that is seamless to the human eye or the human ear, you should be creating tools that are specifically designed to detect that forgery,” says Gregory. The question is how to get toolmakers to redress that imbalance.

    #Deepfake #Fake_news #Synthetic_media #Médias_de_synthèse #Projet_loi

  • Avancées en machine learning vidéo

    Un nouvel algorithme permet de créer des vidéos de type « deepfake » simplement en saisissant du texte. À ne pas mettre entre toutes les mains.

    Ajouts notoires :
    – mouvement des mains
    – ajout / remplacement de mots
    – traduction en direct
    – compléments sonores non prononcés


  • How blockchains can and can’t be used in authenticating video and countering #deepfakes

    The merits of #blockchain to Amber Video’s missionA few years ago it became clear that Photoshop-ing of video, in a way that looks indistinguishable from authentic video, was quickly approaching. When it does, it will have a serious impact on visual evidence and specifically our ability to rely on them for facts and to make judgements. A world where video is duplicitous will delegitimize even genuine visual evidence and society will veer to the negative aspects of tribalism to help decide what is their version of “truth”.Blockchains*, the cryptography-based technology that records transactions in a verifiable and permanent way, hold a lot of promise and will positively impact the Internet in years to come. But they are not the solution to this problem: writing manipulated video data to a (...)

    #blockchain-deep-fakes #fake-video #artificial-intelligence