La reconnaissance de formes et l'association sont au cœur de notre pensée. Ces activités impliquent des millions d'opérations réalisées en parallèle, hors du champ de notre conscience. Si l'IA a semblé se fracasser contre un mur de briques après quelques victoires rapides, c'est parce qu'elle n'a pas réussi à imiter ces processus.

Il devient extrêmement difficile de prévoir l’avenir une fois que l’on est entouré de choses plus-intelligentes-que-l’homme, de la même manière qu’il devient très difficile à un chimpanzé de prédire ce qui va se passer quand il est entouré de choses plus-intelligentes-qu’un-chimpanzé. C’est ça la Singularité : le point au-delà duquel il faut s’attendre à cesser de saisir.

Alors que Chomsky s'est concentré sur une grammaire innée et l'utilisation de la logique, le Deep Learning s'intéresse au sens. Il s'avère que la grammaire n'est que la cerise sur le gâteau. Ce qui compte vraiment, c'est notre intention (l'obectif) : c'est surtout le choix des mots qui détermine ce que nous voulons dire, et le sens associé peut être appris.

Si l’IA connaît l’interactif interne (bases de connaissances modulaires), elle ne connaît pas l’externe.

1ère forme : apprentissage, encore nulle part.

2ème forme : auto-organisation par l’échange. Exemple croyance/savoir dans leur expression (par opposition à structuration de la mémoire). Les informaticiens pensent que les choses doivent être inscrites comme croyance OU savoir (coefficients de Shortliffe ou ensembles flous de Zadeh). 

Le domaine en plein essor de l'informatique a modifié notre vision du monde physique, qui n'est plus un ensemble de particules matérielles en interaction, mais un réseau bouillonnant d'informations. Dans cette vision de la nature, les lois de la physique sont une forme de logiciel, ou d'algorithme, tandis que le monde matériel - le hardware - joue le rôle d'un gigantesque ordinateur. 

Vivre au XXIe siècle était un enfer. Le transfert d'informations avait atteint la vitesse de la lumière. Le frère aîné de Bibleman avait un jour introduit une ébauche d'intrigue de dix mots dans une machine de fiction robotisée, avait changé d'avis sur le résultat et découvert que le roman était déjà imprimé. Il avait été obligé de programmer une suite pour procéder à des corrections.

Chacune des cinq tribus du machine learning a son propre algorithme de base, principe apprenant à usage général qu'on peut en principe utiliser pour découvrir des connaissances à partir de données dans n'importe quel domaine. L'algorithme maître des symbolistes est la déduction inverse, celui des connexionnistes est la rétropropagation, celui des évolutionnistes la programmation génétique, celui des bayésiens l'inférence bayésienne, et celui des analogues la machine à vecteurs de support.

Les neurosciences auront été d'une grande contribution quant à l'évolution de l'IA, par exemple avec la mémoire replay, le deep learning, la mémoire épisodique, l'apprentissage par renforcement, etc., tous  en quelque sorte inspirés des neurosciences... Mais de nos jours, depuis que tout ceci est devenu fortement industrialisés, nous sommes en train de nous éloigner du fonctionnement du cerveau. En outre ce n'est plus vraiment de langage dont on s'occupe, mais de quelque chose de multi-modal.

La plupart des apprentissages humains et animaux sont des apprentissages non supervisés. Si l'intelligence était un gâteau, l'apprentissage non supervisé serait le gâteau, l'apprentissage supervisé serait le glaçage de ce gâteau et l'apprentissage par renforcement serait la cerise sur le gâteau. Nous savons comment faire le glaçage et la cerise, mais nous ne savons pas comment faire le gâteau. Nous devons résoudre le problème de l'apprentissage non supervisé avant de pouvoir envisager une véritable IA.

Je pense que nous devrions considérer l'IA comme l'équivalent intellectuel d'une pelleteuse excavatrice. Qui sera bien meilleure que nous à bien des égards. Bref dès que vous disposez d'une bonne technologie mécanique, vous pouvez fabriquer des choses comme ça, des excavatrices capables de creuser les routes. Mais bien sûr, un tel outil peut vous arracher la tête. Mais vous n'allez pas renoncer à développer un tel outil parce qu'il peut vous faire exploser la tête, ce serait considéré comme idiot.