• Pour Geoffrey Hinton, le père fondateur de l’#IA, les progrès actuels sont « effrayants »

    Mercredi, pour sa première apparition publique depuis la parution de l’article, #Geoffrey_Hinton s’est expliqué longuement sur les raisons de son départ [de #Google]. Interrogé en visioconférence lors de la conférence EmTech Digital, organisée à Boston par la « MIT Technology Review », le chercheur a indiqué avoir « très récemment changé d’avis » sur la capacité des modèles informatiques à apprendre mieux que le cerveau humain. « Plusieurs éléments m’ont amené à cette conclusion, l’un d’entre eux étant la performance de systèmes tels que #GPT-4. »

    Avec seulement 1.000 milliards de connexions, ces systèmes ont, selon lui, « une sorte de sens commun sur tout, et en savent probablement mille fois plus qu’une personne, dont le cerveau a plus de 100.000 milliards de connexions. Cela veut dire que leur algorithme d’apprentissage pourrait être bien meilleur que le nôtre, et c’est effrayant ! »

    D’autant que, comme ces nouvelles formes d’intelligence sont numériques, elles peuvent partager instantanément ce qu’elles ont appris, ce dont les humains sont bien incapables… Reconnaissant qu’il avait longtemps refusé de croire aux dangers existentiels posés par l’#intelligence_artificielle, et en particulier à celui d’une « prise de contrôle » de l’humanité par des machines devenues superintelligentes, Geoffrey Hinton n’hésite plus à évoquer ce scénario catastrophe. « Ces choses auront tout appris de nous, lu tous les livres de Machiavel, et si elles sont plus intelligentes que nous, elles n’auront pas de mal à nous manipuler. » Avant d’ajouter, avec un humour pince-sans-rire : « Et si on sait manipuler les gens, on peut envahir un bâtiment à Washington sans être sur place. »
    Face à un tel risque, le chercheur avoue « ne pas avoir de solution simple à proposer. Mais je pense qu’il faut y réfléchir sérieusement. »

    (Les Échos)

  • Comprendre ChatGPT (avec DefendIntelligence)
    https://www.youtube.com/watch?v=j3fvoM5Er2k

    Mieux comprendre ChatGPT, sans pour autant l’excuser pour ses fakes éhontés. Pour tout comprendre aux IA génératives.
    __________________________
    00:00 Introduction
    03:45 Un peu de contexte
    05:06 Les modèles de langage
    05:37 L’énigme
    06:45 La chambre chinoise
    12:05 Comment ça fonctionne ?
    17:12 L’exposition médiatique
    22:50 Bien interroger ChatGPT
    26:39 Bien vérifier ce que dit ChatGPT
    28:01 Détecter des textes générés par IA
    33:45 Problématiques sur les données
    39:24 À venir dans les moteurs de recherche
    46:43 Conclusion

    ___________________________
    ERREURS SIGNALEES
    – à 13min : selon OpenAI le modèle GPT3 a été entraîné à partir de 570 Go de textes, pas juste 50Go (ça c’est la taille des données Wikipedia)
    – à 48min : la citation n’est pas de Saint Thomas d’Aquin, mais bien de Saint-Thomas, l’apôtre.

    #IA #ChatGPT

  • Galilée contre GPT-3 ? | Hubert Krivine 1 mars 2023
    https://www.contretemps.eu/galilee-gpt-3-intelligence-artificielle-krivine

    Dans cet article, le physicien Hubert Krivine – auteur de nombreux ouvrages, dont L’#IA peut-elle penser ? – analyse la manière dont fonctionne #GPT-3 (Generative Pre-trained Transformer 3) et, à partir de réflexions sur les sciences modernes qu’il poursuit depuis plusieurs livres, revient sur les limites de l’intelligence artificielle.

    ...Ce très bref rappel des limitations de l’IA fait, venons-en à son utilisation avec GPT-3. GTP-3 est un traitement automatique de langue (TAL). Même s’il donne l’impression de répondre à des questions, il n’est pas du tout fait pour ça. Sur une base gigantesque de données, il cherche dès qu’un mot (ou une phrase) est proposée, l’occurrence la plus vraisemblable du mot suivant, puis il itère. Un peu comme votre téléphone portable le fait, mais ici sur une base de données des milliards de fois plus grande. Il a beaucoup de problèmes, mais la recherche du vrai est le cadet de ses soucis. Un exemple que je connais assez bien : qui est l’auteur de ce papier ? La réponse a été :

    Hubert Krivine est un médecin, ancien militant politique et écrivain français. Il est surtout connu pour son engagement politique dans les années 60 et 70 en France, comme membre de l’Organisation communiste internationaliste (OCI) et de Lutte Ouvrière. Il a été également membre du Parti de Gauche pendant quelques années. Il est aussi connu pour son engagement en faveur de la cause palestinienne et pour ses positions controversées en matière de politique étrangère. Il a écrit plusieurs livres sur les sujets politiques et historiques. Il est aujourd’hui retraité de la politique active mais continue de s’exprimer sur des sujets qui lui tiennent à cœur.

    Pour quelqu’un ignorant tout de l’affaire, la réponse, écrite en bon français, est bluffante de véracité. Mais elle est simplement fantaisiste, elle met bout à bout des mots qui peuvent « aller ensemble » qui ont été pêchés par proximité dans des textes différents. C’est une source inépuisable et automatique de fake news. Sur la même requête faite un peu plus tard (les réponses ne sont jamais les mêmes)j’apprends que je suis mort en 2020. Ce que j’ignorais…

    Wikipédia fonctionne, pourrait-on dire, à rebours de cette logique. Il est le fruit de connaissances (et pas de mots) collectées, en principe vérifiées et surtout il fournit ses sources. C’était un pari audacieux dans les années 2000 que de faire fonctionner une encyclopédie sans rédacteur attitré, mais reposant sur une collaboration autodisciplinée de ses lecteurs. Pari gagné : en nombre d’erreurs il le dispute aux grandes encyclopédies, comme l’Encyclopédia Britannica ou Universalis. Et surtout il se réactualise en permanence, ce que ne peut pas faire GPT-3. On nous promet une nouvelle version GPT-4, avec correction humaine des plus gros biais. Reviendriait-on alors à une logique Wikipédia ?… On verra.

    Mais quel rapport avec ce vieux Galilée cité en prologue de ce papier ? C’est qu’au lieu de chercher la vérité « dans le monde et la nature », GPT-3 ne peut que se limiter à la chercher dans « les textes » déjà produits et même pire, dans les assemblages de mots fabriqués sur leur probabilité d’occurrence piquée un peu partout. La démarche scientifique interroge certainement la littérature. Pas pour y trouver une réponse, mais pour aller au-delà. Pour questionner intelligemment la nature, en s’aidant des connaissances acquises...

    • Le groupe de médias allemand Axel Springer invoque l’intelligence artificielle pour supprimer des postes
      https://www.letemps.ch/economie/groupe-medias-allemand-axel-springer-invoque-lintelligence-artificielle-supp

      Le groupe de médias allemand Axel Springer a annoncé mardi des suppressions d’emplois chez le tabloïd Bild et le généraliste Die Welt, motivées par l’intelligence artificielle susceptible désormais de « remplacer » les journalistes.

      « L’intelligence artificielle va révolutionner le journalisme et l’industrie des médias, en pouvant soutenir – ou remplacer – le journalisme », affirme le patron du groupe, Mathias Döpfner, dans une lettre aux salariés obtenue par l’agence de presse AFP.

      « La création journalistique (avec les reportages, scoops et éditoriaux) devient le cœur » de métier tandis que la « production » journalistique va devenir un « sous-produit », poursuit-il.
      La mise en page, la correction, la production sont visées

      Ce travail de production est « de plus en plus automatisé » en raison de l’importance croissante de l’intelligence artificielle, affirme Mathias Döpfner, cité également dans un communiqué.

      Il y aura par conséquent « une réduction significative des emplois dans les domaines de la production, de la mise en page, de la correction et de l’administration », selon ce courrier, qui ne mentionne pas de nombre de départs précis.
      Il faut, aussi, améliorer les résultats

      L’objectif du groupe berlinois est « d’améliorer les bénéfices d’environ 100 millions d’euros au cours des trois prochaines années grâce à une augmentation des ventes et à des économies de coûts ». Axel Springer emploie actuellement environ 18 000 personnes dans le monde, dont 3 400 journalistes.

      La stratégie affirmée ces derniers temps est celle du « tout numérique », selon Mathias Döpfner. En 2022, 85% des ventes et plus de 95% des bénéfices provenaient des activités numériques, selon le groupe.

      Les contenus imprimés restent toutefois « rentables et indispensables pour les lecteurs et les annonceurs », faisant que « la transition complète vers le numérique prendra encore quelques années », reconnaît Mathias Döpfner.

  • What I learned using #gpt-2 to write a novel
    https://hackernoon.com/what-i-learned-using-gpt-2-to-write-a-novel-b74a6294c813?source=rss----3

    The storyOn February the 14th 2019 Open AI posted their peculiar love-letter to the AI community. They shared a 21-minute long blog talking about their new language model named GPT-2, examples of the text it had generated, and a slight warning. The blog ends with a series of possible policy implications and a release strategy.“…we expect that safety and security concerns will reduce our traditional publishing in the future, while increasing the importance of sharing safety, policy, and standards research” OpenAI CharterWhile we have grown accustomed to OpenAI sharing their full code bases alongside announcements, OpenAI is committed to making AI safe. On this occasion, releasing the full code was deemed unsafe, citing concerns around impersonation, misleading news, fake content, and (...)

    #artificial-intelligence #machine-novel #novel-written-by-machine #machine-written-noval

  • Twenty minutes into the future with OpenAI’s Deep Fake Text AI
    https://arstechnica.com/information-technology/2019/02/twenty-minutes-into-the-future-with-openais-deep-fake-text-ai

    In 1985, the TV film Max Headroom : 20 Minutes into the Future presented a science fictional cyberpunk world where an evil media company tried to create an artificial intelligence based on a reporter’s brain to generate content to fill airtime. There were somewhat unintended results. Replace “reporter” with “redditors,” "evil media company" with “well meaning artificial intelligence researchers,” and “airtime” with “a very concerned blog post,” and you’ve got what Ars reported about last week (...)

    #OpenAI #algorithme #GPT2 #manipulation

  • OpenAI a créé un générateur de texte tellement intelligent qu’il en devient dangereux
    https://www.numerama.com/tech/464605-openai-a-cree-un-generateur-de-texte-tellement-intelligent-quil-en-

    L’organisation OpenAI a décidé de ne pas publier tous les résultats de ses recherches, de peur que des utilisateurs malintentionnés détournent son nouveau générateur de texte à des fins malveillantes. La démo mise en ligne est impressionnante. Dans un tweet publié le 14 février 2019, OpenAI a présenté GPT-2, la deuxième version de son générateur automatique de texte si performant qu’il ne sera, pour l’instant, pas diffusé au grand public librement. OpenAI est une organisation à but non lucratif soutenue à (...)

    #Tesla #algorithme #GPT2 #manipulation #OpenAI

    //c1.lestechnophiles.com/www.numerama.com/content/uploads/2019/02/openai-langage.png