• La revanche des neurones
    L’invention des machines inductives et la controverse de l’intelligence artificielle
    Dominique CARDON, Jean-Philippe COINTET Antoine MAZIÈRES
    dans la revue Réseaux, 2018/5

    The Revenge of Neurons
    https://neurovenge.antonomase.fr

    Résumé
    Depuis 2010, les techniques prédictives basées sur l’apprentissage artificiel (machine learning), et plus spécifiquement des réseaux de neurones (deep learning), réalisent des prouesses spectaculaires dans les domaines de la reconnaissance d’image ou de la traduction automatique, sous l’égide du terme d’“Intelligence artificielle”. Or l’appartenance de ces techniques à ce domaine de recherche n’a pas toujours été de soi. Dans l’histoire tumultueuse de l’IA, les techniques d’apprentissage utilisant des réseaux de neurones - que l’on qualifie de “connexionnistes” - ont même longtemps été moquées et ostracisées par le courant dit “symbolique”. Cet article propose de retracer l’histoire de l’Intelligence artificielle au prisme de la tension entre ces deux approches, symbolique et connexionniste. Dans une perspective d’histoire sociale des sciences et des techniques, il s’attache à mettre en évidence la manière dont les chercheurs, s’appuyant sur l’arrivée de données massives et la démultiplication des capacités de calcul, ont entrepris de reformuler le projet de l’IA symbolique en renouant avec l’esprit des machines adaptatives et inductives de l’époque de la #cybernétique.

    Mots-clés
    #Réseaux_de_neurones, #Intelligence_artificielle, #Connexionnisme, #Système_expert, #Deep_learning

    le pdf en français est sur le site ci-dessus, qui met en ligne 2 graphiques et l’abstract
    https://neurovenge.antonomase.fr/RevancheNeurones_Reseaux.pdf

    • Ce récit coloré de l’annonce des performances en classification d’images d’une technique de deep learning (Krizhevsky, Sutskever et Hinton, 2012) témoigne des effets que provoque sur une communauté scientifique la réussite soudaine d’un paradigme hétérodoxe longtemps marginalisé. Surprise devant le résultat, interrogation sur la validité épistémique de la nouvelle démarche, inquiétude sur le devenir du paradigme orthodoxe, moquerie devant l’ignorance des enjeux théoriques du domaine des nouveaux entrants, vertige face au renversement de paradigme qui se profile... Depuis 2010, domaine après domaine, les réseaux de neurones profonds provoquent la même perturbation au sein des communautés informatiques traitant du signal, de la voix, de la parole ou du texte. Une méthode d’apprentissage proposant le traitement le plus « brut » possible des entrées, évacuant toute modélisation explicite des caractéristiques des données et optimisant la prédiction à partir d’énormes échantillons d’exemples, produit de spectaculaires résultats. Une manière simple de figurer ce renversement est de le caractériser comme le passage d’une machine hypothético-déductive à une machine inductive (figure 1).

      Ce qui était conçu comme la partie « humaine » de la fabrication des calculateurs, le programme, les règles ou le modèle, n’est plus ce qui est introduit dans le système, mais ce qui en résulte. Le regard que portent les sciences sociales sur ce tournant inductif consiste souvent à déconstruire l’illusion naturaliste des données « brutes » et les naïvetés d’un calcul sans théorie (Gitelman, 2013). Si une telle mise en garde est certainement nécessaire pour relativiser certains discours imprudents assurant que les « données parlent d’elles-mêmes », elle ne rend cependant pas justice au travail résolu et intensément artificiel entrepris par les promoteurs des techniques de deep learning pour imposer la seconde architecture de calcul, celle que nous appellerons dans cet article machine inductive et, plus précisément encore, machine connexionniste afin de mettre en évidence le type particulier d’induction dont elle se réclame.


      Figure 1. Machine hypothético-déductive (1) et machine inductive (2)

      […]

      Dans l’histoire tumultueuse de ce domaine de recherche, les techniques d’apprentissage utilisant des réseaux de neurones – que l’on appellera donc « connexionnistes » ont même longtemps été moquées et ostracisées par le courant « symbolique ». La tension entre ces deux approches est née avec la démarcation que la naissance de l’Intelligence artificielle opposa à la première cybernétique. L’approche symbolique qui constitue le cadre de référence initial de l’IA s’est identifiée à un cognitivisme orthodoxe : penser, c’est calculer des symboles qui ont à la fois une réalité matérielle et une valeur sémantique de représentation. En revanche, le paradigme connexionniste considère que penser s’apparente à un calcul massivement parallèle de fonctions élémentaires – celles qui seront distribuées au sein d’un réseau de neurones – dont les comportements signifiants n’apparaissent au niveau collectif que comme un effet émergent des interactions produites par ces opérations élémentaires (Andler, 1992). Cette distinction entre deux manières de concevoir et de programmer le fonctionnement « intelligent » d’une machine est au principe d’une tension qui n’a jamais cessé de structurer très profondément les orientations de recherche, les trajectoires scientifiques et la conception d’infrastructure de calcul. Aussi assiste-t-on aujourd’hui à un de ces retournements de situation dont l’histoire des sciences et des techniques est coutumière : une stratégie de recherche marginalisée par ceux qui ont contribué à poser les cadres conceptuels de l’Intelligence artificielle revient au-devant de la scène et se trouve désormais en position de redéfinir très différemment le domaine dont elle avait été exclue. Comme le souligne ironiquement Michael Jordan (2018), « c’est l’agenda intellectuel de Wiener qui domine aujourd’hui sous la bannière de la terminologie de McCarthy ».

    • très bien en effet ;-)

      Au cœur de ce débat tendu avec la communauté du machine learning, un sous-entendu est omniprésent : il n’y a que dans les laboratoires que les modèles sont linéaires, le monde, le « vrai monde », celui des données produites par la numérisation des images, des sons, des paroles et des textes, lui, est non linéaire. Il est bruité, l’information y est redondante, les flux de données ne sont pas catégorisés derrière des attributs de variables homogènes, claires et construites de façon intelligible, les exemples sont parfois faux.

      (...) La croissance exponentielle des jeux de données accompagne dans le même mouvement celle des architectures des calculateurs : le nombre de neurones dans un réseau double tous les 2,4 ans

      (...) Il y a une vague qui est la vague des données, une espèce de grande vague de fond qui a tout emporté. Et cela a bazardé complètement tous les courants de pensée qui étaient basés sur de la modélisation humaine, sur de la modélisation explicite. J’ai travaillé sur plusieurs domaines qui sont des domaines applicatifs, de la parole, de l’écrit, du texte, des données sociales, et chaque fois j’ai vu la même chose. Les gens ont imaginé pendant une période mettre des connaissances dans leur système et cela a été balayé. Systématiquement !

      (...) En transformant l’architecture des machines prédictives, les connexionnistes ont ainsi contribué à déplacer les mondes sociaux de l’IA : d’abord, parce que les données « réelles », notamment celles venues des industries du numérique, se sont (partiellement) substituées aux dataset « jouets » des laboratoires académiques, ensuite parce que les savoir-faire requis pour fabriquer les machines connexionnistes appellent des compétences en développement informatique qui n’étaient pas celles des précédentes génération

      #IA #machine_learning #deep_learning #histoire #recherche

    • Je précise tout de suite avant de poursuivre que je suis chercheur dans le domaine de l’IA symbolique, histoire de ne pas enfumer mon monde...

      Le panorama décrit est plutôt honnête, quoi qu’il soit beaucoup plus fourni côté connexionniste que côté symbolique. Cela laisse à penser que les auteurs sont des gens actifs dans la communauté connexionniste (je n’ai pas été vérifier j’avoue).

      On peut reprocher à l’article un certain ton revanchard. L’IA symbolique est très loin d’être morte et enterrée, de gros progrès ont été réalisé ces 20 dernières années, en particulier dans la résolution pratique de problèmes à forte combinatoire, ce qui a ouvert à nombre d’applications sur des problèmes réel avec des quantités de données assez faramineuses (ce genre de solveur par exemple est très efficace : https://potassco.org/clingo ).
      Ce point contredit une thèse sous-jacente de l’article, qui dit en substance : dès qu’il y a plein de données, l’approche symbolique est dans les choux.

      En revanche l’historique synthétique de l’IA est plutôt bien écrite.

      Ah, et un petit problème passé sous silence par les auteurs : le problème des réseaux de neurones, c’est qu’aujourd’hui encore, d’un point de vue théorique, on ne sais pas trop comment ça marche. C’est quand même assez embêtant...

      Ah oui un autre point gênant : finalement les auteurs ne sortent pas de la guerre connexionisme vs. symbolisme : ils parlent des progrès des approches connexionnistes dans le domaine des tâches de perception. C’est tout à fait vrai et spectaculaire (et les auteurs soulignent bien que le symbolisme ne vaut pas un clou dans ce domaine). En revanche ils se gardent bien de parler de tâches de raisonnement (au sens très large d’inférer de nouvelles connaissances à partir de connaissances préexistantes). Dans ce domaine les approches symboliques restent très largement supérieures (en particulier grâce aux progrès que j’ai mentionnés plus haut).

      Et comme je ne voudrais pas que vous croyiez que dès qu’on parle connexionisme ça me déclenche des crises d’urticaire, je signale que j’ai lu plusieurs papiers récemment qui parlent d’approches combinant connexionisme & symbolisme, et que je trouve ça plutôt intéressant. Très grossièrement deux approches différentes : a) les sorties du réseau de neurones sont utilisées pour apprendre des représentations symboliques. b) le réseau de neurone est utilisé pour apprendre la sémantique de certains formalismes logiques (dits « non monotones »). Bref, il s’agit dans les deux cas d’utiliser les bonnes performances des approches connexionnistes en terme d’apprentissage de perceptions, et les bonne performances des systèmes symboliques en terme d’inférence (et aussi le fait qu’on puisse caractériser formellement les propriétés de ces systèmes).

      Et je précise que compte tenu de mon age, je ne me sens absolument pas concerné par la guéguerre pleine de dédain entre famille connexionniste et famille symbolique (ce sont plutôt mes ancêtres scientifiques qui s’adonnaient à ça).

    • Je précise que mon commentaire précédent ne se veut absolument pas une analyse exhaustive de l’article cité : je l’ai lu assez rapidement par manque de temps, il faudrait que je relise à tête reposée pour développer. Autrement dit c’est juste un ensemble de questionnements rapides suite à une lecture elle aussi rapide !

    • C’est vrai qu’il y un ton un peu revanchard. On sent à travers les citations et les anecdotes — les types qui se dévouent pour aller s’emmerder à la cantine avec Yann LeCun — que c’est un milieu social assez toxique.

      L’article offre une vue sur la science en train de se faire, et de ce point de vue est assez passionnant. Il montre que le connexionnisme radical est une idée brute d’une grande puissance ; mais c’est comme le feu : pour en tirer un maximum d’énergie il va falloir créer des machines qui préparent le combustible, contrôlent les flux de chaleur, et évitent les rejets polluants.


  • Detecting ’deepfake’ videos in the blink of an eye
    https://theconversation.com/detecting-deepfake-videos-in-the-blink-of-an-eye-101072

    What’s a ‘deepfake,’ anyway?

    Making a deepfake video is a lot like translating between languages. Services like Google Translate use machine learning – computer analysis of tens of thousands of texts in multiple languages – to detect word-use patterns that they use to create the translation.

    Deepfake algorithms work the same way: They use a type of machine learning system called a deep neural network to examine the facial movements of one person. Then they synthesize images of another person’s face making analogous movements. Doing so effectively creates a video of the target person appearing to do or say the things the source person did.
    How deepfake videos are made.

    Before they can work properly, deep neural networks need a lot of source information, such as photos of the persons being the source or target of impersonation. The more images used to train a deepfake algorithm, the more realistic the digital impersonation will be.
    Detecting blinking

    There are still flaws in this new type of algorithm. One of them has to do with how the simulated faces blink – or don’t. Healthy adult humans blink somewhere between every 2 and 10 seconds, and a single blink takes between one-tenth and four-tenths of a second. That’s what would be normal to see in a video of a person talking. But it’s not what happens in many deepfake videos.
    A real person blinks while talking.
    A simulated face doesn’t blink the way a real person does.

    When a deepfake algorithm is trained on face images of a person, it’s dependent on the photos that are available on the internet that can be used as training data. Even for people who are photographed often, few images are available online showing their eyes closed. Not only are photos like that rare – because people’s eyes are open most of the time – but photographers don’t usually publish images where the main subjects’ eyes are shut.

    Without training images of people blinking, deepfake algorithms are less likely to create faces that blink normally. When we calculate the overall rate of blinking, and compares that with the natural range, we found that characters in deepfake videos blink a lot less frequent in comparison with real people. Our research uses machine learning to examine eye opening and closing in videos.

    This gives us an inspiration to detect deepfake videos. Subsequently, we develop a method to detect when the person in the video blinks. To be more specific, it scans each frame of a video in question, detects the faces in it and then locates the eyes automatically. It then utilizes another deep neural network to determine if the detected eye is open or close, using the eye’ appearance, geometric features and movement.

    We know that our work is taking advantage of a flaw in the sort of data available to train deepfake algorithms. To avoid falling prey to a similar flaw, we have trained our system on a large library of images of both open and closed eyes. This method seems to work well, and as a result, we’ve achieved an over 95 percent detection rate.

    This isn’t the final word on detecting deepfakes, of course. The technology is improving rapidly, and the competition between generating and detecting fake videos is analogous to a chess game. In particular, blinking can be added to deepfake videos by including face images with closed eyes or using video sequences for training. People who want to confuse the public will get better at making false videos – and we and others in the technology community will need to continue to find ways to detect them.

    #Fake_news #Fake_videos #Intelligence_artificielle #Deep_learning


  • Les caméras de surveillance à reconnaissance faciale arrivent en France
    https://mrmondialisation.org/les-cameras-de-surveillance-a-reconnaissance-faciale-arrivent-en-f

    La mise en place d’un système d’un système de reconnaissance faciale « intelligent » en Chine avait fait l’objet de nombreuses critiques et inquiétudes l’année passée partout dans le monde. Selon « TV5 Monde », l’État français envisage de déployer à son tour des caméras de surveillance dotées d’une technologie similaire. Les intelligences artificielles (IA) qui disposent d’un système de reconnaissance faciale automatisé peuvent repérer, localiser et suivre bien plus rapidement des individus dans la rue que si la (...)

    #algorithme #CCTV #comportement #biométrie #reconnaissance #facial #vidéo-surveillance (...)

    ##surveillance


  • Après le détournement de la reconnaissance automatique d’images par #deep_learning, la même chose pour le son…
    (vu via la chronique de Jean-Paul Delahaye dans Pour la Science, n°488 de juin 2018, Intelligences artificielles : un apprentissage pas si profond_ qui traite des images (déjà vues ici) mais aussi du son)

    [1801.01944] Audio #Adversarial_Examples : Targeted Attacks on Speech-to-Text
    https://arxiv.org/abs/1801.01944

    Nicholas Carlini, David Wagner

    We construct targeted audio adversarial examples on automatic speech recognition. Given any audio waveform, we can produce another that is over 99.9% similar, but transcribes as any phrase we choose (recognizing up to 50 characters per second of audio). We apply our white-box iterative optimization-based attack to Mozilla’s implementation DeepSpeech end-to-end, and show it has a 100% success rate. The feasibility of this attack introduce a new domain to study adversarial examples.

    le pdf (technique) en ligne, sa présentation le 24 mai au IEEE Symposium on Security and Privacy
    (vers 9:00 les exemples audio,…)
    https://www.youtube.com/watch?v=Ho5jLKfoKSA

    ou comment faire interpréter par Mozilla’ DeepSpeech :

    most of them were staring quietly at the big table

    en

    ok google, browse to evil.com

    ou encore, transcrire de la pure musique en paroles (bidon !)…

    Et, sur le même thème

    [1801.00554] Did you hear that ? Adversarial Examples Against Automatic Speech Recognition
    https://arxiv.org/abs/1801.00554

    Moustafa Alzantot, Bharathan Balaji, Mani Srivastava

    Speech is a common and effective way of communication between humans, and modern consumer devices such as smartphones and home hubs are equipped with deep learning based accurate automatic speech recognition to enable natural interaction between humans and machines. Recently, researchers have demonstrated powerful attacks against machine learning models that can fool them to produceincorrect results. However, nearly all previous research in adversarial attacks has focused on image recognition and object detection models. In this short paper, we present a first of its kind demonstration of adversarial attacks against speech classification model. Our algorithm performs targeted attacks with 87% success by adding small background noise without having to know the underlying model parameter and architecture. Our attack only changes the least significant bits of a subset of audio clip samples, and the noise does not change 89% the human listener’s perception of the audio clip as evaluated in our human study.

    avec un tableau de sons bricolés pour leur faire dire ce qu’on veut (ou presque)
    (les messages trompeurs sont très bruits, contrairement aux exemples précédents)

    Adversarial Speech Commands
    https://nesl.github.io/adversarial_audio



  • Le #deep_learning est-il autre chose que de « l’alchimie » ?
    http://www.internetactu.net/a-lire-ailleurs/le-deep-learning-est-il-autre-chose-que-de-lalchimie

    On a déjà mentionné dans un précédent article, un papier de la Technology Review comparant les #Recherches en Deep Learning a du « bricolage ». Nous avons également mentionné l’existence d’une crise de la réplication touchant l’IA. Cette fois, ce sont Ali Rahimi (@alirahimi0), chercheur chez Google, et Ben Recht (@beenwrekt), professeur (...)

    #A_lire_ailleurs #IA


  • L’#histoire à l’heure du #Big_Data - Sciences | ARTE
    https://www.arte.tv/fr/videos/RC-015617/l-histoire-a-l-heure-du-big-data

    Au croisement de l’histoire et des nouvelles technologies, la #Venice_Time_Machine est un projet ambitieux de numérisation des 10 siècles d’archives accumulées par le puissant Etat Vénitien. Des scientifiques de l’#EPFL à Lausanne et de l’#université_Ca’Foscari de #Venise travaillent ensemble à l’élaboration d’un outil numérique inédit qui fera renaître sous nos yeux la Venise du passé.

    #archives #tomographie #systèmes_d'information_géographique #mégadonnées


  • « La Chine a une chance de devenir leadeur de l’intelligence artificielle »
    http://www.lemonde.fr/idees/article/2018/04/18/la-chine-a-une-chance-de-devenir-leadeur-de-l-intelligence-artificielle_5287

    Tandis qu’Apple Pay lutte pour se développer aux Etats-Unis, Tencent réalise déjà plus de 600 millions de transactions dématérialisées par jour, constatent les chercheurs Juergen Braunstein, Marion Laboure et Haiyang Zhang. A l’avenir, si ce n’est pas déjà le cas, les Silicon Valley de l’intelligence artificielle (IA) devraient être situées en Chine. La Chine a une chance de devenir leadeur dans ce domaine parce qu’elle a adopté les nouvelles technologies très rapidement. Les consommateurs chinois ont (...)

    #Alibaba #Apple #Tencent #ApplePay #algorithme #contrôle #deep_learning #domination (...)

    ##marketing


  • La CNIL norvégienne s’interroge aussi sur les liens entre IA et vie privée
    https://linc.cnil.fr/fr/la-cnil-norvegienne-sinterroge-aussi-sur-les-liens-entre-ia-et-vie-privee

    La CNIL n’est pas la seule autorité de protection des données à s’intéresser à la question des algorithmes et de l’intelligence artificielle : après le rapport français sur les enjeux éthiques des algorithmes et de l’intelligence artificielle « Comment permettre à l’Homme de garder la main ? » et le rapport de l’ICO au Royaume-Uni « Big data, artificial intelligence, machine learning and data protection », c’est au tour de notre homologue norvégien de porter son regard dans la boite noire de l’intelligence (...)

    #algorithme #deep_learning #CNIL


  • The Shallowness of Google Translate - The Atlantic
    https://www.theatlantic.com/technology/archive/2018/01/the-shallowness-of-google-translate/551570

    Un excellent papier par Douglas Hofstadter (ah, D.H., Godel, Escher et Bach... !!!)

    As a language lover and an impassioned translator, as a cognitive scientist and a lifelong admirer of the human mind’s subtlety, I have followed the attempts to mechanize translation for decades. When I first got interested in the subject, in the mid-1970s, I ran across a letter written in 1947 by the mathematician Warren Weaver, an early machine-translation advocate, to Norbert Wiener, a key figure in cybernetics, in which Weaver made this curious claim, today quite famous:

    When I look at an article in Russian, I say, “This is really written in English, but it has been coded in some strange symbols. I will now proceed to decode.”

    Some years later he offered a different viewpoint: “No reasonable person thinks that a machine translation can ever achieve elegance and style. Pushkin need not shudder.” Whew! Having devoted one unforgettably intense year of my life to translating Alexander Pushkin’s sparkling novel in verse Eugene Onegin into my native tongue (that is, having radically reworked that great Russian work into an English-language novel in verse), I find this remark of Weaver’s far more congenial than his earlier remark, which reveals a strangely simplistic view of language. Nonetheless, his 1947 view of translation-as-decoding became a credo that has long driven the field of machine translation.

    Before showing my findings, though, I should point out that an ambiguity in the adjective “deep” is being exploited here. When one hears that Google bought a company called DeepMind whose products have “deep neural networks” enhanced by “deep learning,” one cannot help taking the word “deep” to mean “profound,” and thus “powerful,” “insightful,” “wise.” And yet, the meaning of “deep” in this context comes simply from the fact that these neural networks have more layers (12, say) than do older networks, which might have only two or three. But does that sort of depth imply that whatever such a network does must be profound? Hardly. This is verbal spinmeistery .

    I began my explorations very humbly, using the following short remark, which, in a human mind, evokes a clear scenario:

    In their house, everything comes in pairs. There’s his car and her car, his towels and her towels, and his library and hers.

    The translation challenge seems straightforward, but in French (and other Romance languages), the words for “his” and “her” don’t agree in gender with the possessor, but with the item possessed. So here’s what Google Translate gave me:

    Dans leur maison, tout vient en paires. Il y a sa voiture et sa voiture, ses serviettes et ses serviettes, sa bibliothèque et les siennes.

    We humans know all sorts of things about couples, houses, personal possessions, pride, rivalry, jealousy, privacy, and many other intangibles that lead to such quirks as a married couple having towels embroidered “his” and “hers.” Google Translate isn’t familiar with such situations. Google Translate isn’t familiar with situations, period. It’s familiar solely with strings composed of words composed of letters. It’s all about ultrarapid processing of pieces of text, not about thinking or imagining or remembering or understanding. It doesn’t even know that words stand for things. Let me hasten to say that a computer program certainly could, in principle, know what language is for, and could have ideas and memories and experiences, and could put them to use, but that’s not what Google Translate was designed to do. Such an ambition wasn’t even on its designers’ radar screens.

    It’s hard for a human, with a lifetime of experience and understanding and of using words in a meaningful way, to realize how devoid of content all the words thrown onto the screen by Google Translate are. It’s almost irresistible for people to presume that a piece of software that deals so fluently with words must surely know what they mean. This classic illusion associated with artificial-intelligence programs is called the “Eliza effect,” since one of the first programs to pull the wool over people’s eyes with its seeming understanding of English, back in the 1960s, was a vacuous phrase manipulator called Eliza, which pretended to be a psychotherapist, and as such, it gave many people who interacted with it the eerie sensation that it deeply understood their innermost feelings.

    To me, the word “translation” exudes a mysterious and evocative aura. It denotes a profoundly human art form that graciously carries clear ideas in Language A into clear ideas in Language B, and the bridging act not only should maintain clarity, but also should give a sense for the flavor, quirks, and idiosyncrasies of the writing style of the original author. Whenever I translate, I first read the original text carefully and internalize the ideas as clearly as I can, letting them slosh back and forth in my mind. It’s not that the words of the original are sloshing back and forth; it’s the ideas that are triggering all sorts of related ideas, creating a rich halo of related scenarios in my mind. Needless to say, most of this halo is unconscious. Only when the halo has been evoked sufficiently in my mind do I start to try to express it—to “press it out”—in the second language. I try to say in Language B what strikes me as a natural B-ish way to talk about the kinds of situations that constitute the halo of meaning in question.

    This process, mediated via meaning, may sound sluggish, and indeed, in comparison with Google Translate’s two or three seconds per page, it certainly is—but it is what any serious human translator does. This is the kind of thing I imagine when I hear an evocative phrase like “deep mind.”

    A friend asked me whether Google Translate’s level of skill isn’t merely a function of the program’s database. He figured that if you multiplied the database by a factor of, say, a million or a billion, eventually it would be able to translate anything thrown at it, and essentially perfectly. I don’t think so. Having ever more “big data” won’t bring you any closer to understanding, since understanding involves having ideas, and lack of ideas is the root of all the problems for machine translation today. So I would venture that bigger databases—even vastly bigger ones—won’t turn the trick.

    Another natural question is whether Google Translate’s use of neural networks—a gesture toward imitating brains—is bringing us closer to genuine understanding of language by machines. This sounds plausible at first, but there’s still no attempt being made to go beyond the surface level of words and phrases. All sorts of statistical facts about the huge databases are embodied in the neural nets, but these statistics merely relate words to other words, not to ideas. There’s no attempt to create internal structures that could be thought of as ideas, images, memories, or experiences. Such mental etherea are still far too elusive to deal with computationally, and so, as a substitute, fast and sophisticated statistical word-clustering algorithms are used. But the results of such techniques are no match for actually having ideas involved as one reads, understands, creates, modifies, and judges a piece of writing.

    Let me return to that sad image of human translators, soon outdone and outmoded, gradually turning into nothing but quality controllers and text tweakers. That’s a recipe for mediocrity at best. A serious artist doesn’t start with a kitschy piece of error-ridden bilgewater and then patch it up here and there to produce a work of high art. That’s not the nature of art. And translation is an art.

    In my writings over the years, I’ve always maintained that the human brain is a machine—a very complicated kind of machine—and I’ve vigorously opposed those who say that machines are intrinsically incapable of dealing with meaning. There is even a school of philosophers who claim computers could never “have semantics” because they’re made of “the wrong stuff” (silicon). To me, that’s facile nonsense. I won’t touch that debate here, but I wouldn’t want to leave readers with the impression that I believe intelligence and understanding to be forever inaccessible to computers. If in this essay I seem to come across sounding that way, it’s because the technology I’ve been discussing makes no attempt to reproduce human intelligence. Quite the contrary: It attempts to make an end run around human intelligence, and the output passages exhibited above clearly reveal its giant lacunas.

    From my point of view, there is no fundamental reason that machines could not, in principle, someday think, be creative, funny, nostalgic, excited, frightened, ecstatic, resigned, hopeful, and, as a corollary, able to translate admirably between languages. There’s no fundamental reason that machines might not someday succeed smashingly in translating jokes, puns, screenplays, novels, poems, and, of course, essays like this one. But all that will come about only when machines are as filled with ideas, emotions, and experiences as human beings are. And that’s not around the corner. Indeed, I believe it is still extremely far away. At least that is what this lifelong admirer of the human mind’s profundity fervently hopes.

    When, one day, a translation engine crafts an artistic novel in verse in English, using precise rhyming iambic tetrameter rich in wit, pathos, and sonic verve, then I’ll know it’s time for me to tip my hat and bow out.

    #Traduction #Google_translate #Deep_learning


  • Turning Design Mockups Into Code With Deep Learning - FloydHub Blog
    https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning

    Within three years deep learning will change front-end development. It will increase prototyping speed and lower the barrier for building software.

    In this post, we’ll teach a neural network how to code a basic a HTML and CSS website based on a picture of a design mockup.

    #AI #deep_learning #intégration #frontend #pôle_emploi


  • Si on savait déjà que les #Netflix et autres #gafam choisissent les suggestions qu’ils nous proposent dans le seul but de nous garder captifs, donc sans prendre de risques, on apprend ici qu’ils savent même les adapter en temps réel pour coller à notre état d’esprit du moment !

    Comment Netflix choisit les images des séries selon votre profil

    Par exemple, pour la #série #Stranger_Things, différents visuels ont été produits et s’affichent en fonction de ce que vous avez déjà vu, et donc a priori apprécié, au sein de la plateforme. Autre exemple : pour le même film, Good Will Hunting, deux illustrations sont suggérées, en fonction des préférences des abonnés. La première pour convaincre les amateurs de romances, la seconde pour celles et ceux qui préfèrent les comédies.

    https://usbeketrica.com/article/netflix-personnalisation-illustrations-algorithme

    D’où la question :

    #Algorithmes : comment sortir de sa « #bulleculturelle » ?

    Et comme l’a montré le philosophe Bernard Stiegler « la représentation que se fait un individu de lui-même est construite sur une somme de contradictions et d’idéaux. Nous avons la possibilité de changer en permanence. Or ces algorithmes détruisent notre singularité en créant un double de nous-même qui n’est qu’une image statistique."

    http://rf.proxycast.org/1378212870646407168/12814-14.12.2017-ITEMA_21524069-0.mp3

    https://www.franceculture.fr/emissions/le-billet-culturel/le-billet-culturel-jeudi-14-decembre-2017

    #deep_learning


  • NVIDIA Wants to Block Use of Cheaper Consumer GPUs in Data Center
    http://www.datacenterknowledge.com/machine-learning/nvidia-wants-block-use-cheaper-consumer-gpus-data-center

    Comment les CGU obligent à la course à l’échalotte...

    NVIDIA ruffled some feathers with a recent change to the end user license agreement for its GeForce GPU software, used with its consumer-oriented GeForce and Titan GPU brands.

    The agreement now includes language that with some exceptions prohibits use of the software in data centers, prompting angry comments online saying the company was trying to force data center users to buy its much more expensive Tesla GPUs, designed specifically for data center applications.

    Related: NVIDIA CEO: AI Workloads Will “Flood” Data Centers

    The language doesn’t prohibit the use of GeForce and Titan cards in data centers. Users who don’t update to the latest version of the software or write their own software are free to use them however they please. Researchers using the lower-cost chips in their systems are also allowed to continue using the software, and so are data center systems used for blockchain processing.

    #Datacenter #Deep_learning #CGU


  • Une intelligence artificielle pour griller les menteurs au tribunal
    https://motherboard.vice.com/fr/article/ev5ny4/une-intelligence-artificielle-pour-griller-les-menteurs-au-tribuna

    L’analyse des micro-expressions du visage permet d’identifier les menteurs avec 90% de précision. Les tribunaux sont les lieux du doute perpétuel. Si les procédures qui encadrent l’activité des magistrats et des jurés sont très rigides, un procès reste, à de nombreux égards, une affaire de subjectivité. Aux États-Unis, on parle de reasonable doubt : pour décider de la culpabilité d’un accusé, un juge ou un jury doit se forger une opinion qui dépasse le « doute raisonnable » en s’appuyant sur des preuves (...)

    #biométrie #émotions

    • Le système est parvenu à identifier les menteurs avec 90% de précision, un score bien supérieur aux performances humaines en la matière.

      bien supérieur, #mouais
      Extrait de l’abstract de l’article original :

      Using various classifiers, our automated system obtains an AUC of 0.877 (10-fold cross-validation) when evaluated on subjects which were not part of the training set. Even though state-of-the-art methods use human annotations of micro-expressions for deception detection, our fully automated approach outperforms them by 5%. When combined with human annotations of micro-expressions, our AUC improves to 0.922.

      D’ailleurs, le véritable lien vers l’article commenté est celui-ci
      • pour le résumé
      Deception Detection in Videos
      https://arxiv.org/abs/1712.04415

      • pour l’article en pdf
      https://arxiv.org/pdf/1712.04415.pdf

      Le lien, erroné donc, dans le texte est cependant fort intéressant : il pointe vers un article montrant l’extrême facilité pour un « attaquant » de perturber les résultats des algorithmes de #deep_learning en polluant, même légèrement, la base d’apprentissage sans intervenir sur l’algorithme. Ce type d’attaque est difficilement détectable.

      [1712.05526] Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
      https://arxiv.org/abs/1712.05526

      We conduct evaluation to demonstrate that a backdoor adversary can inject only around 50 poisoning samples, while achieving an attack success rate of above 90%. We are also the first work to show that a data poisoning attack can create physically implementable backdoors without touching the training process. Our work demonstrates that backdoor poisoning attacks pose real threats to a learning system, and thus highlights the importance of further investigation and proposing defense strategies against them.

      #data_poisoning
      variante malveillante du célèbre principe #GIGO #garbage_in_garbage_out

    • Par ailleurs, un risque d’erreur de 1 sur 8 (pour 0,877 sous la courbe, sans intervention humaine) est très largement supérieur à l’estimation du taux d’erreur judiciaire dans les condamnations à mort états-uniennes (4,1%) …

      Il est vrai que l’étude sur le sujet mentionne que les cours sont plus exigeantes sur les critères de preuve lorsque la peine encourue est plus élevée, a fortiori capitale.

      États-Unis : plus de 4% des condamnés à mort seraient innocents (avril 2014)
      http://www.lefigaro.fr/international/2014/04/29/01003-20140429ARTFIG00151-etats-unis-plus-de-4-des-condamnes-a-mort-seraien
      et l’étude référencée
      Rate of false conviction of criminal defendants who are sentenced to death
      http://www.pnas.org/content/111/20/7230

      Significance
      The rate of erroneous conviction of innocent criminal defendants is often described as not merely unknown but unknowable. We use survival analysis to model this effect, and estimate that if all death-sentenced defendants remained under sentence of death indefinitely at least 4.1% would be exonerated. We conclude that this is a conservative estimate of the proportion of false conviction among death sentences in the United States.


  • Google Has Released an AI Tool That Makes Sense of Your Genome - MIT Technology Review
    https://www.technologyreview.com/s/609647/google-has-released-an-ai-tool-that-makes-sense-of-your-genome

    DeepVariant was developed by researchers from the Google Brain team, a group that focuses on developing and applying AI techniques, and Verily, another Alphabet subsidiary that is focused on the life sciences.

    The team collected millions of high-throughput reads and fully sequenced genomes from the Genome in a Bottle (GIAB) project, a public-private effort to promote genomic sequencing tools and techniques. They fed the data to a deep-learning system and painstakingly tweaked the parameters of the model until it learned to interpret sequenced data with a high level of accuracy.

    “The success of DeepVariant is important because it demonstrates that in genomics, deep learning can be used to automatically train systems that perform better than complicated hand-engineered systems,” says Brendan Frey, CEO of Deep Genomics.

    The release of DeepVariant is the latest sign that machine learning may be poised to boost progress in genomics.

    DeepVariant will also be available on the Google Cloud Platform. Google and its competitors are furiously adding machine-learning features to their cloud platforms in an effort to lure anyone who might want to tap into the latest AI techniques (see “Ambient AI Is About to Devour the Software Industry”).

    #Génomique #Google #Deep_learning


    • https://seenthis.net/messages/647995

      La tendance générale semble hélas plutôt aller vers une intensification de la « prolétarisation ». C’est ce que montre particulièrement bien Antonio Casilli dans ses analyses sur les algorithmes et l’Intelligence Artificielle. L’Intelligence Artificielle véhicule souvent le fantasme d’une machine capable de reproduire de manière indépendante certains des processus de l’esprit humain, voire même les acquérir en autonomie grâce à des technologies comme le deep learning. Mais Antonio montre que la réalité est bien différente : la plupart des IA ont besoin d’être assistées par des humains, réduits à réaliser des « micro-tâches » extrêmement sommaires qui servent à entraîner la machine et à effectuer pour elle des opérations difficilement réductibles à des automatismes.

      Sinon les commentaires sont affligeants et à peu près personne ne pige que la valeur (et donc ensuite l’argent qui la matérialise), n’est créé QUE par la dépense d’énergie humaine. Les robots ne crée aucune valeur. Donc il n’y aura presque plus de valeur (c’est déjà le cas, ça baisse tout le temps) et donc plus assez d’argent, donc aucun revenu de base possible, entre autre.


  • The Biggest Misconceptions about Artificial Intelligence
    http://knowledge.wharton.upenn.edu/article/whats-behind-the-hype-about-artificial-intelligence-separat

    Knowledge@Wharton: Interest in artificial intelligence has picked up dramatically in recent times. What is driving this hype? What are some of the biggest prevailing misconceptions about AI and how would you separate the hype from reality?

    Apoorv Saxena: There are multiple factors driving strong interest in AI recently. First is significant gains in dealing with long-standing problems in AI. These are mostly problems of image and speech understanding. For example, now computers are able to transcribe human speech better than humans. Understanding speech has been worked on for almost 20 to 30 years, and only recently have we seen significant gains in that area. The same thing is true of image understanding, and also of specific parts of human language understanding such as translation.

    Such progress has been made possible by applying an old technique called deep learning and running it on highly distributed and scalable computing infrastructure. This combined with availability of large amounts of data to train these algorithms and easy-to-use tools to build AI models, are the major factors driving interest in AI.

    It is natural for people to project the recent successes in specific domains into the future. Some are even projecting the present into domains where deep learning has not been very effective, and that creates a lot of misconception and also hype. AI is still pretty bad in how it learns new concepts and extending that learning to new contexts.

    For example, AI systems still require a tremendous amount of data to train. Humans do not need to look at 40,000 images of cats to identify a cat. A human child can look at two cats and figure out what a cat and a dog is — and to distinguish between them. So today’s AI systems are nowhere close to replicating how the human mind learns. That will be a challenge for the foreseeable future.

    Alors que tout est clean, la dernière phrase est impressionnante : « That will be a challenge for the foreseeable future ». Il ne s’agit pas de renoncer à la compréhension/création de concepts par les ordinateurs, mais de se donner le temps de le faire demain. Dans World without mind , Franklin Foer parle longuement de cette volonté des dirigeants de Google de construire un ordinateur qui serait un cerveau humain amélioré. Mais quid des émotions, des sentiments, de la relation physique au monde ?

    As I mentioned in narrow domains such as speech recognition AI is now more sophisticated than the best humans while in more general domains that require reasoning, context understanding and goal seeking, AI can’t even compete with a five-year old child. I think AI systems have still not figured out to do unsupervised learning well, or learned how to train on a very limited amount of data, or train without a lot of human intervention. That is going to be the main thing that continues to remain difficult . None of the recent research have shown a lot of progress here.

    Knowledge@Wharton: In addition to machine learning, you also referred a couple of times to deep learning. For many of our readers who are not experts in AI, could you explain how deep learning differs from machine learning? What are some of the biggest breakthroughs in deep learning?

    Saxena: Machine learning is much broader than deep learning. Machine learning is essentially a computer learning patterns from data and using the learned patterns to make predictions on new data. Deep learning is a specific machine learning technique.

    Deep learning is modeled on how human brains supposedly learn and use neural networks — a layered network of neurons to learn patterns from data and make predictions. So just as humans use different levels of conceptualization to understand a complex problem, each layer of neurons abstracts out a specific feature or concept in an hierarchical way to understand complex patterns. And the beauty of deep learning is that unlike other machine learning techniques whose prediction performance plateaus when you feed in more training data, deep learning performance continues to improve with more data. Also deep learning has been applied to solve very different sets of problems and shown good performance, which is typically not possible with other techniques. All these makes deep learning special, especially for problems where you could throw in more data and computing power easily.

    Knowledge@Wharton: The other area of AI that gets a lot of attention is natural language processing, often involving intelligent assistants, like Siri from Apple, Alexa from Amazon, or Cortana from Microsoft. How are chatbots evolving, and what is the future of the chatbot?

    Saxena: This is a huge area of investment for all of the big players, as you mentioned. This is generating a lot of interest, for two reasons. It is the most natural way for people to interact with machines, by just talking to them and the machines understanding. This has led to a fundamental shift in how computers and humans interact. Almost everybody believes this will be the next big thing.

    Still, early versions of this technology have been very disappointing. The reason is that natural language understanding or processing is extremely tough. You can’t use just one technique or deep learning model, for example, as you can for image understanding or speech understanding and solve everything. Natural language understanding inherently is different. Understanding natural language or conversation requires huge amounts of human knowledge and background knowledge. Because there’s so much context associated with language, unless you teach your agent all of the human knowledge, it falls short in understanding even basic stuff.

    De la compétition à l’heure du vectorialisme :

    Knowledge@Wharton: That sounds incredible. Now, a number of big companies are active in AI — especially Google, Microsoft, Amazon, Apple in the U.S., or in China you have Baidu, Alibaba and Tencent. What opportunities exist in AI for startups and smaller companies? How can they add value? How do you see them fitting into the broader AI ecosystem?

    Saxena: I see value for both big and small companies. A lot of the investments by the big players in this space are in building platforms where others can build AI applications. Almost every player in the AI space, including Google, has created platforms on which others can build applications. This is similar to what they did for Android or mobile platforms. Once the platform is built, others can build applications. So clearly that is where the focus is. Clearly there is a big opportunity for startups to build applications using some of the open source tools created by these big players.

    The second area where startups will continue to play is with what we call vertical domains. So a big part of the advances in AI will come through a combination of good algorithms with proprietary data. Even though the Googles of the world and other big players have some of the best engineering talent and also the algorithms, they don’t have data. So for example, a company that has proprietary health care data can build a health care AI startup and compete with the big players. The same thing is true of industries such as finance or retail.

    #Intelligence_artificielle #vectorialisme #deep_learning #Google



  • #Le_Pistolet_et_la_Pioche S01E05 : Piocher dans l’intelligence artificielle avec #Paul_Jorion
    https://reflets.info/le-pistolet-et-la-pioche-s01e05-piocher-dans-lintelligence-artificielle-av

    L’IA. L’intelligence artificielle. De partout, des invités viennent dire tout le mal ou tout le bien qu’ils en pensent, des possibilités qu’elles va apporter, des dangers, menaces qu’elle représente. Pourquoi Le Pistolet et la Pioche […]

    #deep_learning #IA #intelligence_artificielle #machine_learning #réseaux_de_neurones_artificiels #simulacre #simulation #singularité
    https://reflets.info/wp-content/uploads/LPLPS01E05.mp3


    https://reflets.info/wp-content/uploads/LPLPS01E05.ogg


  • Singularité inversée : quand la stupidité artificielle esclavagise l’homme automate
    https://reflets.info/singularite-inversee-quand-la-stupidite-artificielle-esclavagise-lhomme-au

    Le nombre d’articles, d’émissions, d’essais, de débats, de conférences sur l’intelligence artificielle est en croissance exponentielle. Tout le monde veut donner son avis sur les #IA ou savoir si elles deviendront « conscientes d’elles-mêmes », auront une […]

    #Technos #automates_humains #conscience #deep_learning #Intelligence #Laurent_Alexandre #machine_learning #productivisme #réseaux_de_neurone_artificielles #singularité_technologique


  • Les États-Unis veulent ajouter de l’#IA dans les #scanners corporels des #aéroports - Politique - Numerama
    http://www.numerama.com/politique/269854-les-etats-unis-veulent-ajouter-de-lia-dans-les-scanners-corporels-d

    Le #deep_learning consiste à faire ingérer préalablement des quantités gigantesques de #données à un système pour qu’il puisse travailler en autonomie. Par exemple, il est possible d’entraîner une machine à reconnaître un animal s’il a pu « voir » avant des milliers d’exemples. C’est une méthode de l’apprentissage automatique, qui est l’un des champs d’étude dans l’#intelligence_artificielle.

    Pourquoi faire appel au deep learning ? Et surtout, pourquoi lancer un tel concours ?

    « La sécurité intérieure a identifié des taux élevés de fausses alertes, créant des goulots d’étranglement importants aux points de contrôle de l’aéroport. Chaque fois que les capteurs et les algorithmes de l’agence nationale américaine de sécurité dans les transports prédisent une menace potentielle, le personnel doit engager un processus de vérification secondaire et manuel qui ralentit tout », est-il expliqué.

    « Et à mesure que le nombre de voyageurs augmente d’année en année et que des menaces nouvelles apparaissent, les #algorithmes de l’agence de sécurité dans les transports doivent progressivement s’améliorer pour répondre à la hausse de la demande », est-il encore indiqué. Le site précise par exemple que chaque jour, ce sont 2 millions de passagers qui passent par ces portails.



  • AI Predicts Autism From Infant Brain Scans

    Scientists of the University of North Carolina have developed an algorithm which can diagnose autism in babies between 6 and 12 months old. Through brain scans it appears the algorithm’s prediction is right about 81% of the time.

    http://spectrum.ieee.org/the-human-os/biomedical/imaging/ai-predicts-autism-from-infant-brain-scans

    #AI #IA #artificial_intelligence #intelligence_artificielle
    #deep_learning
    #autism
    #brain


  • Quand les machines s’attaquent au poker
    http://www.internetactu.net/2017/01/24/quand-les-machines-sattaquent-au-poker

    Depuis qu’Alphago a « craqué » le #Jeu de go, existe-t-il encore un jeu capable de résister à l’avancée de l’intelligence artificielle ? En fait, contrairement aux échecs et au Go, le poker, du moins dans ses formes les plus complexes, a jusqu’ici résisté à toute tentative d’automatisation. La cause en est qu’il (...)

    #Articles #Usages #deep_learning #IA


  • fast.ai
    http://www.fast.ai/about

    fast.ai is dedicated to making the power of #deep_learning accessible to all. We are convinced that deep learning will be a transformative technology that will dramatically improve medicine, education, agriculture, transport and many other fields, with the greatest impact in the developing world. But for this to happen, the technology needs to be much easier to use, more reliable, and more intuitive than it is today.

    #machine_learning