• The Open Letter to Stop ‘Dangerous’ AI Race Is a Huge Mess | Chloe Xiang
    https://www.vice.com/en/article/qjvppm/the-open-letter-to-stop-dangerous-ai-race-is-a-huge-mess

    The letter was penned by the Future of Life Institute, a nonprofit organization with the stated mission to “reduce global catastrophic and existential risk from powerful technologies.” It is also host to some of the biggest proponents of longtermism, a kind of secular religion boosted by many members of the Silicon Valley tech elite since it preaches seeking massive wealth to direct towards problems facing humans in the far future. One notable recent adherent to this idea is disgraced FTX CEO Sam Bankman-Fried. Source: Motherboard

    • Gary Marcus a signé la lettre, il est très loin de la « AI Hype », et a un point de vue beaucoup plus pondéré.

      I am not afraid of robots. I am afraid of people.
      https://garymarcus.substack.com/p/i-am-not-afraid-of-robots-i-am-afraid

      For now, all the technolibertarians are probably cackling; if they had wanted to sabotage the “develop AI with care” crowd, they couldn’t have found a better way to divide and conquer.

      In truth, over 50,000 people signed the letter, including a lot of people who have nothing to do with the long term risk movement that the FLI itself is associated with. These include, for example, Yoshua Bengio (the most cited AI researcher in recent years), Stuart Russell (a well-known AI researcher at Berkeley), Pattie Maes (a prominent AI researcher at MIT), John Hopfield (a physicist whose original work on machine learning has been massively influential), Victoria Krakovna (a leading researcher at DeepMind working on how to get machines to do what we want them to do), and Grady Booch (a pioneering software architect who has been speaking out about the unreliability of current techniques as an approach to software engineering).

      But a few loud voices have overshadowed the 50,000 who have signed.

    • Un aspect qui me chagrine un peu, c’est que même chez Gary Marcus, ça se focalise sur des travers que seraient des utilisations frauduleuses de l’IA : désinformation et fishing essentiellement. (Et tout le monde nous fait un peu chier avec ces histoires de désinformation, comme si Trump, QAnon, les climatosceptiques et les covidiots, les gouvernements qui mentent, avaient besoin de la moindre IA pour générer et rendre « crédibles » leurs foutaises délirantes.)

      Pourtant il y a toutes les utilisations qui sont soit déjà légales, soit prochainement légales, et qui sont totalement épouvantables : « aide » à la justice (lui est noir et pauvre, il ira en prison parce que l’IA super-finaude a trouvé qu’il avait une tête à récidiver), « aide » aux contrôles des aides sociales (elle selon l’IA, elle a un profil à picoler sont argent de la CAAF, alors on va lui couper les vivres), pourquoi pas l’orientation des gamins avec des algorithmes qui font flipper tout le monde (je sais, Parcoursup est loin de l’IA, mais je n’ai aucun doute que c’est la prochaine étape), aide aux flics (celui-là, l’IA a décidé de te me le ficher S illico, vu qu’il est abonné au flux RSS de rezo.net et qu’il lit Bastamag…), automatisation complète de la médecine (au lieu d’une aide au diagnostic, on remplacera carrément le médecin avec une IA), etc.

      Automatisation des accès aux droits (immigration, solidarités, logement, éducation…), et incompétence organisées des personnels. Et renforcement de ce principe d’autorité (« le logiciel se trompe moins que les humains ») que déjà beaucoup de personnels ne sont plus en position de prendre la responsabilité d’aller à l’encontre d’une décision prise par un algorithme.

    • Ouais enfin quand tu t’impliques dans un débat, tu es censé te renseigner un peu sur ce qui s’est passé avant dans le champs.

    • Il faut que tu soies plus explicite.

      Ça fait un moment que je suis Gary Marcus, parce qu’il est justement opposé à la « AI Hype », qu’il a déjà publié plusieurs textes expliquant qu’il ne croit pas à l’avénement intelligence générale avec les outils actuels (ce n’est pas un gourou qui annonce la singularité grâce à Bitcoin et ChatGPT, ni un adepte du longtermisme). Et que dans le même temps, il avait déjà publié des textes de méfiance envers les outils actuels, avant de signer l’appel en question (dont il reconnaît explicitement des limites et des problèmes dans le texte qu’il a publié cette nuit – et il y évoque explicitement le texte de Timnit Gebru que tu as posté ci-dessus).

    • Je suppose que « se renseigner » fait référence au paragraphe 6.2 du document On the Dangers of Stochastic Parrots : Can Language Models Be Too Big ? (mars 2021)
      https://dl.acm.org/doi/pdf/10.1145/3442188.3445922

      6.2 Risks and Harms
      The ersatz fluency and coherence of LMs raises several risks, precisely because humans are prepared to interpret strings belonging to languages they speak as meaningful and corresponding to the communicative intent of some individual or group of individuals who have accountability for what is said. We now turn to examples, laying out the potential follow-on harms.

      Là où Gary Marcus a tendance à insister sur des usages plus volontairement nuisibles (« bad actors ») :
      https://www.theatlantic.com/technology/archive/2023/03/ai-chatbots-large-language-model-misinformation/673376

      Et quand ça passe au grand public, ça devient particulièrement éthéré. L’édito d’Ezra Klein dans le NY Times (il y a 15 jours) a peut-être influencé l’émergence de l’appel, et c’est très très flou sur les risques liés à l’AI (grosso modo : « c’est tellement puissant qu’on ne comprend pas vraiment », pas loin de la Hype AI) :
      https://www.nytimes.com/2023/03/12/opinion/chatbots-artificial-intelligence-future-weirdness.html%20https://www.nytimes.com/2023/03/12/opinion/chatbots-artificial-intelligence-future-weirdness.html

    • Je ne sais pas comment faire plus explicite. Une pétition sur l’IA cosignée par Melon Musk et pas par M. Mitchell ou T. Gebru, quand tu connais un tout petit peu le domaine, tu devrais juste te méfier avant d’engager ton nom. Mais bon… you do you, comme on dit.