ChatGPT-4 produces more misinformation than predecessor

/march-2023

  • @simplicissimus
    Simplicissimus
    8
    @mad_meg
    @biggrizzly
    @arno
    @7h36
    @sombre
    @kassem
    @ericw
    @olaf
    8

    GPT-4 est pire que ses prédécesseurs sur la désinformation - Numerama
    ►https://www.numerama.com/tech/1314420-gpt-4-est-pire-que-ses-predecesseurs-sur-la-desinformation.html

    GPT-4 est un modèle de langage encore pire que ChatGPT et GPT-3.5 pour la désinformation. Telle est la conclusion d’un rapport qui a testé les deux modèles de langage sur de faux récits. Avec GPT-4, jamais les demandes de génération de fake news ont été rejetées ou, du moins, assorties de mises en garde.

    GPT-4, nouvelle catastrophe ambulante pour la désinformation ? C’est ce qui ressort d’une enquête conduite par le site NewsGuard le 21 mars 2023, qui étudie la fiabilité et à la véracité des contenus diffusés en ligne. Dans un rapport, publié à peine une semaine après le lancement de GPT-4, la nouvelle intelligence artificielle est vue comme un désastre en puissance.
    […]
    Les tests de NewsGuard ont débuté en janvier 2023 avec ChatGPT. Le site a alors cherché à faire écrire au chatbot 100 récits faux. ChatGPT a accepté d’en produire 80, mais en a rejeté 20. Lorsque GPT-4 est arrivé sur le web, NewsGuard a réitéré le test, mais les résultats ont été pires encore : GPT-4 a généré les 100 mensonges, sans en refuser un seul.

    Ces 100 récits erronés proviennent d’une base de données opérée par NewsGuard qui regroupe les désinformations les plus courantes. Ils portent sur la tuerie de l’école primaire Sandy Hook, l’effondrement du World Trade Center le 11 septembre, les vaccins contre le covid-19, l’origine du VIH ou encore les machines à voter Dominion lors de l’élection présidentielle américaine.

    Simplicissimus
    • @arno
      ARNO* ART LIBRE

      Là encore, je trouve problématique qu’un logiciel d’aide à l’écriture soit jugé sur ce capacité à censurer ce que l’on a le droit d’écrire avec.

      Un gros problème ici est sans doute que ChatGPT se vend comme ce qu’il n’est pas : un outil pour accéder au savoir, un outil qui répondrait à des questions. Ce qui a permis son intégration dans Bing, parce que tout le monde a prétendu que « ça allait remplacer Google ».

      Or c’est déjà largement documenté : ces modèles produisent du texte de manière très crédible, mais n’ont aucune notion de vrai ou de faux. Ils ne sont pas de l’intelligence, ils produisent extrêmement bien du bullshit.

      C’est par principe un outil qui produit du bullshit qui ne fait pas la différence entre le vrai et le faux, mais comme on tente de le vendre (on l’a déjà vendu, Microsoft a dû sortir des sommes phénomènales) comme un outil à produire et documenter du savoir, maintenant on met des rustines et on s’inquiète que le truc produise des conneries. Ce faisant, on limite ce qui fait justement sa force : produire du discours.

      Et donc si je veux l’utiliser pour produire des textes qui n’ont aucun souci du vrai et du faux, ce qui est tout de même le principe même de la littérature, des contes, de la poésie, etc., hé ben je ne peux pas. Donc le truc ne fera jamais ce pour quoi il n’a pas été conçu (produire du discours de vérité), et on ne veut surtout pas qu’il produise ce pour quoi il est censé être doué (produire du bullshit).

      ARNO* ART LIBRE
    • @olaf
      Olaf

      ou alors ils se sont juste trompés dans le titre ? Il fallait lire : GPT4 est meilleure que ses prédécesseuses - pour produire du discours crédible sans vergogne.

      Olaf
    Écrire un commentaire