Deep Learning

https://timdettmers.wordpress.com

  • The Brain vs Deep Learning Part I : Computational Complexity — Or Why the Singularity Is Nowhere Near | Deep Learning
    https://timdettmers.wordpress.com/2015/07/27/brain-vs-deep-learning-singularity

    [Ray] Kurzweil ... stresses that once the hardware level is reached, first “simple” strong AI systems will be developed quickly. He sets the date for brain-like computational power to 2020 and the emergence of strong AI (first human like intelligence or better) to 2030.
    ...
    Ray Kurzweil based his predictions on the neuroscience of 2005 and never updated them. An estimate for the brains computational power based on 1% of the neuroscience knowledge does not seem right. Here is small list of a few important discoveries made in the last two years which increase the computing power of the brain by many orders of magnitude:

    It was shown that brain connections rather than being passive cables, can themselves process information and alter the behavior of neurons in meaningful ways, e.g. brain connections help you to see the objects in everyday life. This fact alone increases brain computational complexity by several orders of magnitude
    Neurons which do not fire still learn: There is much more going on than electrical spikes in neurons and brain connections: Proteins, which are the little biological machines which make everything in your body work, combined with local electric potential do a lot of information processing on their own — no activation of the neuron required
    Neurons change their genome dynamically to produce the right proteins to handle everyday information processing tasks. Brain: “Oh you are reading a blog. Wait a second, I just upregulate this reading-gene to help you understand the content of the blog better.” (This is an exaggeration — but it is not too far off)

    Deep learning is currently the most promising technique for reaching artificial intelligence. It is certain that deep learning — as it is now — will not be enough, but one can say for sure that something similar to deep learning will be involved in reaching strong AI.

    Deep learning, unlike other applications has an unusually high demand for network bandwidth. It is so high that for some supercomputer designs which are in the TOP 500 a deep learning application would run slower than on your desktop computer. Why is this so? Because parallel deep learning involves massive parameter synchronization which requires extensive network bandwidth: If your network bandwidth is too slow, then at some point deep learning gets slower and slower the more computers you add to your system. As such, very large systems which are usually quite fast may be extremely slow for deep learning.
    ...
    My model shows that it can be estimated that the brain operates at least 10x^21 operations per second. With current rates of growth in computational power we could achieve supercomputers with brain-like capabilities by the year 2037, but estimates after the year 2080 seem more realistic when all evidence is taken into account. This estimate only holds true if we succed to stomp limitations like physical barriers (for example quantum-tunneling), capital costs for semiconductor fabrication plants, and growing electrical costs. At the same time we constantly need to innovate to solve memory bandwidth and network bandwidth problems which are or will be the bottlenecks in supercomputing. With these considerations taken into account, it is practically rather unlikely that we will achieve human-like processing capabilities anytime soon.
    ...
    My philosophy of this blog post was to present all information on a single web-page rather than scatter information around. I think this design helps to create a more sturdy fabric of knowledge, which, with its interwoven strains of different fields, helps to create a more thorough picture of the main ideas involved.

    Quelle merveilleuse introduction dans la matière, pourtant je compte 1/2 journée pour lire et comprendre les bases de cet article. Si vous êtes biologue, mathematicien ou les deux à la fois, c’est sans doute plus facile. :-)

    #singularity #biologie #mathematique #science #cerveau

    • ces objections ne sont-elles pas également valable contre l’idée que la singularité c’est pour « bientôt » ?

      merci pour tous ces citations. j’ai hâte de les lire.
      j’en profiterai également pour lire toutes les répliques dans ce post.

    • ces objections ne sont-elles pas également valable contre l’idée que la singularité c’est pour « bientôt » ?

      Oui, ces objections sont valables pour toute « démonstration » posant a priori la perspective inéluctable d’une « singularité » où les capacités computationnelles d’une machine feraient émerger une « intelligence »

    • Tim Dettmers écrit notamment, en entame de la section « Part II » :

      Now I will explain step by step how the brain processes information

      Drôle de préambule...

      Pour moi, il est équivalent à :

      Maintenant, je vais vous expliquer pas à pas comment le cerveau fait du café

      Il est indéniable que le cerveau peut être impliqué dans la réalisation d’un café. Il est aussi indéniable qu’une machine peut réaliser la même tâche. Est-ce que ça fait du cerveau une machine à café ? Est-ce qu’une machine à café suffisamment perfectionnée peut faire la même chose qu’un cerveau ?

    • ah merci @ktche , c’est la première objection que j’ai eu en commençant l’article : la cognition n’est pas une computation.

      Après, en #sciences_cognitives c’est souvent une approche que l’on est « obligé » d’avoir (réductionnisme scientifique oblige) tout en sachant qu’elle est fausse, incomplète (mais beaucoup l’oublient, surtout ceux pour qui « la Science » est leur religion de substitution).

    • la cognition n’est pas une computation.

      Oui certes, mais pour moi on en revient à la même application intéressante du test de Turing : si la computation est suffisamment avancée pour simuler la cognition, et que pour ce dont on a besoin il n’est pas nécessaire de mêler toute une vérité philosophique, est-ce que cela ne suffirait pas ?

      Je pense que c’est utile de nuancer un peu. Parfois on n’a pas besoin que ça soit une pipe, mais juste une image de.

    • Oui, le réductionnisme formaliste peut effectivement se contenter de la simulation puisque l’objectif visé est de produire des applications (faire « comme si »). Pour que la démarche soit valide (ou du moins cohérente avec le cadre épistémologique), il faut donc un test qui permette d’établir l’équivalence formelle entre deux dispositifs, celui simulé et celui qui simule (même input donne même output de façon déterministe nonobstant une marge d’erreur acceptable). Or, il n’y a pas de test valide qui ait été proposé jusqu’ici : non seulement le « test de Turing » n’est pas un test qui permet de valider « l’intelligence » d’une machine, mais le test ne concerne même pas la machine !

      Qu’est-ce que le dispositif proposé par Turing permet de mettre en évidence alors ? Ceci qu’un être humain est capable de faire ce qui est impossible pour une machine : prendre une décision. En effet, dans le cas où il est formellement impossible de distinguer entre les réponses fournies par deux interlocuteurs cachés, seul un être humain est en mesure de trancher sur leur nature respective (et éventuellement de se tromper) c’est-à-dire d’agir en situation d’indécidabilité (de non-calculabilité). Ce qui est donc mis en évidence par le « test de Turing », c’est « l’intelligence » humaine (ce qu’un être humain peut faire et qu’une machine ne peut pas) et en aucun cas « l’intelligence » d’une machine qui n’est dans ce cas qu’un élément du dispositif expérimental et non pas l’objet de l’expérience.

      Pour prendre conscience de la signification réelle du « test de Turing », on peut se reporter à la façon dont Turing décrit le calibrage de son dispositif (et qui en dit long sur les questions existentielles auxquelles Turing cherchait des réponses...). Pour Turing, le dispositif est censé être correctement mis en œuvre (c’est-à-dire qu’aucun biais ne permet à l’opérateur de deviner la nature de son interlocuteur) lorsqu’il n’est plus en mesure de distinguer s’il a affaire à une homme ou une femme. On voit bien que ça n’a pas grand chose avoir avec la détections d’une forme d’intelligence et que le vrai sujet de l’expérience, c’est l’opérateur lui-même (et à travers lui, la question de l’identité, notamment de genre, chère à Turing pour des raisons qui lui sont propres)

      En gros, ce que démontre Turing, c’est que la cognition humaine n’est pas réductible à une machine de Turing (domaine du calculable). C’est malheureusement, exactement l’inverse qui est postulé par ceux qui se revendiquent de Turing même !

      Le problème du réductionnisme formel en sciences cognitives n’est donc pas l’écart entre le phénomène et sa simulation, mais plutôt dans le fait suivant : pour que la méthode soit pertinente, il faut commencer par définir un test valide, ce qui n’a jamais été le cas.