Les " modèles mondiaux ", une vieille idée de l'IA, font leur retour
Vous avez en tête un modèle du fonctionnement du monde. Les systèmes d'IA devraient-ils en faire autant ?
La dernière ambition de la recherche en intelligence artificielle, notamment au sein des laboratoires qui se consacrent à l'intelligence artificielle générale (IAG), est un modèle du monde : une représentation de l'environnement qu'une IA porte en elle telle une boule à neige informatique. Le système d'IA peut utiliser cette représentation simplifiée pour évaluer ses prédictions et ses décisions avant de les appliquer à ses tâches concrètes. Les sommités de l'apprentissage profond Yann LeCun (de Meta), Demis Hassabis (de Google DeepMind) et Yoshua Bengio (de Mila, l'Institut québécois d'intelligence artificielle) sont tous convaincus que les modèles du monde sont essentiels à la construction de systèmes d'IA véritablement intelligents, scientifiques et sûrs.
Les domaines de la psychologie, de la robotique et de l'apprentissage automatique utilisent chacun une version de ce concept depuis des décennies. Vous avez probablement un modèle du monde qui tourne en ce moment même dans votre crâne ; c'est ce qui vous permet de savoir qu'il ne faut pas se mettre sous un train en marche sans avoir au préalable mené l'expérience.
Cela signifie-t-il que les chercheurs en IA ont enfin trouvé un concept fondamental dont la signification est universellement acceptée ? Comme l' a écrit un célèbre physicien. Vous plaisantez, pour sûr. Un modèle mondial peut paraître simple, mais comme toujours, personne ne parvient à s'entendre sur les détails. Qu'est-ce qui est représenté dans le modèle, et avec quel niveau de fidélité ? Est-ce inné, appris, ou une combinaison des deux ? Et comment détecter sa présence ?
Il est utile de savoir d'où vient cette idée. En 1943, une douzaine d'années avant l'invention du terme " intelligence artificielle ", un psychologue écossais de 29 ans, Kenneth Craik, publia une monographie influente dans lequel il méditait que si l'organisme porte un " modèle à petite échelle " de la réalité extérieure… dans sa tête, il est capable d'essayer diverses alternatives, de conclure laquelle est la meilleure d'entre elles… et de réagir de manière beaucoup plus complète, plus sûre et plus compétente. La notion de modèle mental ou de simulation de Craik présageait la " révolution cognitive ". C'est une théorie qui a transformé la psychologie dans les années 1950 et qui domine encore les sciences cognitives aujourd'hui. De plus, elle reliait directement la cognition au calcul : Craik considérait la capacité de mettre en parallèle ou de modéliser des événements externes comme la caractéristique fondamentale des " machines neuronales " et des " machines à calculer ".
Le domaine naissant de l'intelligence artificielle a adopté avec enthousiasme l'approche de la modélisation du monde. À la fin des années 1960, un système d'IA appelé SHRDLU a été mis au point et a impressionné les observateurs en utilisant un " monde en blocs " rudimentaire pour répondre à des questions de bon sens sur les objets de table, comme " Une pyramide peut-elle supporter un bloc ? " Mais ces modèles artisanaux ne pouvaient pas s'adapter à la complexité de décors plus réalistes. À la fin des années 1980, le pionnier de l'IA et de la robotique Rodney Brooks avait complètement abandonné les modèles du monde, affirmant avec une affirmation célèbre que " le monde est son propre meilleur modèle " et que " les représentations explicites… ne font que gêner ".
Il a fallu l'essor de l'apprentissage automatique, et notamment de l'apprentissage profond basé sur les réseaux de neurones artificiels, pour redonner vie à l'idée de Craik. Au lieu de s'appuyer sur des règles fragiles codées manuellement, les réseaux de neurones profonds pouvaient construire des approximations internes de leurs environnements d'entraînement par essais et erreurs et les utiliser ensuite pour accomplir des tâches étroitement définies, comme conduire une voiture de course virtuelle. Ces dernières années, les grands modèles de langage des chatbots comme ChatGPT ont commencé à démontrer des capacités émergentes pour lesquelles ils n'étaient pas explicitement entraînés, comme déduire des titres de films à partir de chaînes d'émojis ou jouer au jeu de société Othello. Les modèles du monde fournissaient une explication pratique au mystère. Pour d'éminents experts en IA tels que Geoffrey Hinton, Ilya Sutskever et Chris Olah, c'était évident : au plus profond du maquis de neurones virtuels d'un master en master, doit se trouver " un modèle réduit de la réalité externe ", comme l'imaginait Craik.
La vérité, du moins à notre connaissance, est moins impressionnante. Au lieu de modèles du monde, les IA génératives actuelles semblent apprendre des " tas d'heuristiques " : des dizaines de règles empiriques déconnectées qui peuvent approximer les réponses à des scénarios spécifiques, mais qui ne forment pas un tout cohérent. (Certaines peuvent même se contredire.) Cela ressemble beaucoup à la parabole des aveugles et de l'éléphant, où chaque homme ne touche qu'une partie de l'animal à la fois et ne parvient pas à en saisir la forme complète. Un homme touche la trompe et suppose que l'éléphant tout entier ressemble à un serpent ; un autre touche une patte et suppose qu'il s'agit plutôt d'un arbre ; un troisième saisit la queue de l'éléphant et dit que c'est une corde. Lorsque les chercheurs tentent. Pour récupérer la preuve d'un modèle du monde au sein d'un LLM – par exemple, une représentation informatique cohérente d'un plateau de jeu d'Othello –, ils recherchent l'éléphant entier. Au lieu de cela, ils trouvent un morceau de serpent ici, un morceau d'arbre là et une corde.
Bien sûr, de telles heuristiques ne sont pas inutiles. Les LLM peuvent en encoder des quantités infinies au sein de leurs milliards de paramètres – et comme le dit le dicton, la quantité a une qualité qui lui est propre. C'est ce qui permet d'entraîner un modèle de langage à générer des directions quasi parfaites entre deux points de Manhattan sans avoir à acquérir un modèle mondial cohérent de l'ensemble du réseau routier, comme l' ont récemment découvert des chercheurs de l'Université Harvard et du Massachusetts Institute of Technology.
Alors, si des morceaux de serpent, d'arbre et de corde peuvent faire l'affaire, pourquoi s'embêter avec l'éléphant ? En un mot, robustesse : lorsque les chercheurs ont légèrement perturbé leur LLM de navigation à Manhattan en bloquant aléatoirement 1 % des rues, ses performances ont chuté. Si l'IA avait simplement codé un plan de rue cohérent – au lieu d'un patchwork extrêmement complexe d'estimations contradictoires, coin par coin – elle aurait pu plus facilement contourner les obstacles.
Étant donné les avantages que même les modèles mondiaux simples peuvent conférer, il est facile de comprendre pourquoi chaque grand laboratoire d’IA se désespère de ne pouvoir les développer – et pourquoi les chercheurs universitaires sont de plus en plus intéressés à les examiner de plus près, aussi. Des modèles mondiaux robustes et vérifiables pourraient révéler, sinon l'Eldorado de l'IA générale, du moins un outil scientifiquement plausible pour éteindre les hallucinations de l'IA, permettre un raisonnement fiable et accroître l'interprétabilité des systèmes d'IA.
Tel est le " quoi " et le " pourquoi " des modèles du monde. Le " comment ", en revanche, reste une énigme. Google DeepMind et OpenAI parient qu'avec suffisamment de données d'entraînement " multimodales " – comme des vidéos, des simulations 3D et d'autres données allant au-delà du simple texte – un modèle du monde se figera spontanément dans la soupe statistique d'un réseau neuronal. LeCun de Meta, quant à lui, pense qu'une architecture d'IA entièrement nouvelle (et non générative) fournira l'échafaudage nécessaire. Pour construire ces boules à neige informatiques, personne ne possède de boule de cristal – mais le prix, pour une fois, pourrait bien en valoir la peine.