Un assistant dopé à l’IA pour programmer un peu à notre place, avec OpenAI et entraîné sur des milliards de lignes de code par microsoft github. Et on dirait que ça marche : le codeur rédige un prototype de fonction et le commentaire qui décrit ce qu’elle fait (dans Visual Studio ...) et l’assistant rédige le code. Si on lui demande, il propose d’autres versions.
▻https://copilot.github.com
#programmation #IA #deep_learning #github #visualstudio #openAI #text_generation
Et on dirait que ça marche
: la remarque résume tout le problème des réseaux de neurones. Au jour d’aujourd’hui on ne sait pas prouver la correction des sorties par rapport aux entrées. Tant qu’on atteindra pas cet objectif (si tant est qu’il soit atteignable) il va être compliqué de faire confiance au code produit par ce zinzin.
Est-ce que tu peux expliciter ce que veut dire « prouver la correction des sorties par rapport aux entrées » ?
Pardon je me suis très mal exprimé. Je précise :
Qu’on est pas capable aujourd’hui d’avoir un modèle mathématique déterministe expliquant le pourquoi d’une solution plutôt que d’une autre. un réseau de neurones est une boîte noire. C’est bien pour ça que j’ai trouvé la remarque « on dirait que ça marche » particulièrement à propos.
Je ne suis pas très fan des systèmes n’ayant pas d’explicabilité.
Merci je comprends mieux :)
Si j’ai bien compris, c’est un autocomplete amélioré, et donc au pire on ignore les suggestions, et au mieux ça fait gagner du temps. Techniquement, c’est très utile à mon avis. Politiquement, ça implique d’envoyer tout le code, ainsi que toutes les mini-itérations (ajout/suppression de caractères, c’est à dire les hésitations des dévs), à github, ce qui leur permet d’entrainer leur modèle.
On dirait que ça fait plus, la démo est assez spectaculaire, mais c’est présenté à moitié comme simplement une alternative à la recherche sur internet et à l’écrémage des forums comme stackoverflow : « GitHub Copilot draws context from the code you’re working on, suggesting whole lines or entire functions. It helps you quickly discover alternative ways to solve problems, write tests, and explore new APIs without having to tediously tailor a search for answers on the internet. As you type, it adapts to the way you write code—to help you complete your work faster. » https://github.blog/2021-06-29-introducing-github-copilot-ai-pair-programmer
Je vais encore faire mon grognon :o)
Il y a un truc qui me gêne : le bidule est entraîné à partir de logiciels open source, puisque l’entraînement se fait à partir des déôts présents sur github, mais rien n’empêchera de s’en servir pour développer du logiciel propriétaire. Ça me chagrine un peu (doux euphémisme) que tout ce volume de connaissance issu du monde de l’open source puisse bénéficier au monde du logiciel propriétaire.
Ouaip, c’est une bonne question : quelle licence pour le code généré ? Si les données d’entrainement contiennent des sources GPL3, on peut imaginer que le code devrait être contaminé (le mot est moche, mais l’idée est belle) et donc publié en tant que GPL3 aussi.
J’imagine que la réponse de GitHub sera : c’est la responsabilité de la personne qui utilise la génération de code de s’en assurer, nous on ne fait que fournir un outil.
Oui rien de foncièrement nouveau c’est le même principe que… depuis que la GPL existe, ou des sites comme stackoverflow : il est évident que des gens codant des logiciels privateurs peuvent lire du code de bibliothèques existantes en libre et les forums d’entraide et s’en inspirer pour leur code/architecture. Vu que leur logiciel est par nature une boite noire, ça n’arrive quasiment jamais de savoir si c’est repiqué tel quel ou adapté. Là c’est pareil mais directement depuis l’éditeur de code. Mais comme d’hab ce qui est nouveau c’est l’échelle, l’ampleur, de l’aspiration automatique.
Sachant que Microsoft indexe le web via Bing, ils disposent d’un bon corpus, mais ont-ils le droit de l’utiliser ?
@severo bonne question, quelle licence s’applique ?
En France (si mes connaissances ne sont pas obsolètes) le droit d’auteur s’applique. Donc si le logiciel copie du code il pourrait exposer le développeur à des poursuites en justice.
Certains codes sont en effet reproduits avec les commentaires, même lorsqu’ils contiennent des jurons.
Voici une analyse de la qualité du code produit (et ça aborde la question du « faire use » qui permet d’ignorer la licence) ▻https://gist.github.com/0xabad1dea/be18e11beb2e12433d93475d72016902
Une analyse légale, selon que le code ingurgité est sur github ou non, et qui porte aussi sur les licences : ▻https://fossa.com/blog/analyzing-legal-implications-github-copilot
#licence #opensource #gpl #copilot
La FSF maintenant lance une enquête et un appel à contribution sur le sujet des aspects philosophiques et légaux de Copilot :
▻https://www.fsf.org/blogs/licensing/fsf-funded-call-for-white-papers-on-philosophical-and-legal-questions-around-co
#IA #copilot #foss #fsf #github #opensource
Twenty minutes into the future with OpenAI’s Deep Fake Text AI
▻https://arstechnica.com/information-technology/2019/02/twenty-minutes-into-the-future-with-openais-deep-fake-text-ai
In 1985, the TV film Max Headroom : 20 Minutes into the Future presented a science fictional cyberpunk world where an evil media company tried to create an artificial intelligence based on a reporter’s brain to generate content to fill airtime. There were somewhat unintended results. Replace “reporter” with “redditors,” "evil media company" with “well meaning artificial intelligence researchers,” and “airtime” with “a very concerned blog post,” and you’ve got what Ars reported about last week (...)
OpenAI a créé un générateur de texte tellement intelligent qu’il en devient dangereux
▻https://www.numerama.com/tech/464605-openai-a-cree-un-generateur-de-texte-tellement-intelligent-quil-en-
L’organisation OpenAI a décidé de ne pas publier tous les résultats de ses recherches, de peur que des utilisateurs malintentionnés détournent son nouveau générateur de texte à des fins malveillantes. La démo mise en ligne est impressionnante. Dans un tweet publié le 14 février 2019, OpenAI a présenté GPT-2, la deuxième version de son générateur automatique de texte si performant qu’il ne sera, pour l’instant, pas diffusé au grand public librement. OpenAI est une organisation à but non lucratif soutenue à (...)
//c1.lestechnophiles.com/www.numerama.com/content/uploads/2019/02/openai-langage.png
Text Generation for Char LSTM models
▻https://hackernoon.com/text-generation-for-char-lstm-models-685dc186e319?source=rss----3a8144ea
Train a character-level language model on a corpus of jokes.I decided to experiment with approaches to this problem, which I found on #openai’s Request for Research blog. You can have a look at the code here. This is written in Pytorch, and is heavily inspired by Fast.ai’s fantastic lesson on implementing RNN’s from scratch.Data preparation I started off using the dataset provided by OpenAI. The data was converted to lowercase and for an initial run, I selected the top rated jokes, with a word length of less than 200. Here’s an example of all the tokens encountered:Explicit words ahead! This particular dataset has explicit words/content, so those come up in the output predictions of the model. Another interesting problem to work on would be to filter out inappropriate words from the output (...)
#programming #machine-learning #artificial-intelligence #python
The AI Takeover Is Coming. Let’s Embrace It.
▻https://backchannel.com/the-ai-takeover-is-coming-lets-embrace-it-d764d61f83a
[T]he White House released a chilling report on AI and the economy. It began by positing that “it is to be expected that machines will continue to reach and exceed human performance on more and more tasks,” and it warned of massive job losses.
Yet to counter this threat, the government makes a recommendation that may sound absurd: we have to increase investment in AI. The risk to productivity and the US’s competitive advantage is too high to do anything but double down on it.
[...]
In September, Google announced an enormous upgrade in the performance of Google Translate, using a system it’s calling Google Neural Machine Translation (GNMT). Google’s Pereira called the jump in translation quality “something I never thought I’d see in my working life.”
“We’d been making steady progress,” he added. “This is not steady progress. This is radical.”
#Apprentissage_profond #Google_Neural_Machine_Translation #Intelligence_artificielle #Numérique #OpenAI #Économie
L’angle de l’article est râlant :
Our medical system is deeply flawed; intelligent agents could spread affordable, high-quality healthcare to more people in more places. Our education infrastructure is not adequately preparing students for the looming economic upheaval; here, too, AI systems could chip in where teachers are spread too thin.
Bah oui, réparons le monde à grands coup de technologie, ça va marcher, c’est sûr.
To ignore this trend — to not plunge headlong into understanding it, shaping it, monitoring it — might well be the biggest mistake a country could make.
Let’s make American AI great (again)
Désolé pour la mauvaise humeur ^^
Elon Musk’s Billion-Dollar AI Plan Is About Far More Than Saving the World
▻http://www.wired.com/2015/12/elon-musks-billion-dollar-ai-plan-is-about-far-more-than-saving-the-world
Elon Musk and Sam Altman worry that artificial intelligence will take over the world. So, the two entrepreneurs are creating a billion-dollar not-for-profit company that will maximize the power of AI—and then share it with anyone who wants it.
At least, this is the message that Musk, the founder of electric car company Tesla Motors, and Altman, the president of startup incubator Y Combinator, delivered in announcing their new endeavor, an unprecedented outfit called OpenAI. In an interview with Steven Levy of Backchannel, timed to the company’s launch, Altman said they expect this decades-long project to surpass human intelligence. But they believe that any risks will be mitigated because the technology will be “usable by everyone instead of usable by, say, just Google.”
#Elon_Musk #Google #Intelligence_artificielle #Open_source #OpenAI #Sam_Altman #Tesla_Motors #Y_Combinator
nos amis transhumanistes en parlent
▻http://singularityhub.com/2015/12/20/inside-openai-will-transparency-protect-us-from-artificial-intellige