En 2020, Jared Kaplan et ses collaborateurs d'OpenAI ont suggéré qu'il existait un ensemble de " lois d'échelle " pour les modèles de langage de réseaux neuronaux ; ils ont découvert que plus ils les alimentaient en données, plus ces réseaux étaient performants. L’implication étant que nous pourrions faire de mieux en mieux en matière d’IA si nous rassemblions davantage de données et appliquions l’apprentissage profond à des échelles de plus en plus grandes. Ces rapports d'échelles ont indéniablement aidé, mais nous sommes loin du compte.
Il y a de sérieuses lacunes dans l’argumentation relative aux rapports d'échelles. Tout d'abord les améliorations apportées par les mises à l’échelle n’ont pas pris en compte ce que nous avons désespérément besoin d’améliorer : une véritable compréhension…. Augmenter les mesures examinées par Kaplan et ses collègues d'OpenAI (sur la prédiction des mots dans une phrase) n'équivaut pas au type de compréhension approfondie qu'exigerait une véritable IA.
Cela semble de plus en plus patent.
"Les lois d'échelle ne sont pas des lois universelles comme la gravité, mais plutôt de simples observations qui pourraient ne pas être valables éternellement, un peu comme la loi de Moore, une tendance dans la production de puces informatiques qui a duré des décennies mais qui a sans doute commencé à ralentir il y a dix ans." C'est toujours vrai , et récemment reconnu publiquement par Altman, qui a noté que nous ne saurons pas vraiment ce que GPT-5 pourrait faire avant d'y arriver.
Le charismatique PDG de l'entreprise, Sam Altman, avait écrit un article de blog triomphant claironnant " la loi de Moore pour tout ", affirmant que nous étions à quelques années seulement d'" ordinateurs capables de penser ", de " lire des documents juridiques " et (faisant écho à IBM Watson) de " donner avis médical. " Deux ans plus tard, nous n’avons rien qui corresponde à tout cela.
" Si ces mise à l'échelle ne nous amènent pas à une conduite autonome sûre, des dizaines de milliards de dollars d'investissement dans cette mise à l'échelle pourraient s'avérer vains ".
La neurosymbolique pourrait être une alternative prometteuse (en attente, à voir), et DepMind vient de publier un bel article dans Nature sur un système neurosymbolique, AlphaGeometry.
Bref c'est implicitement reconnu que bien des attentes quant à l'IA ne se sont pas réalisées et des gens comme Bill Gates, Demis Hassabis, Yann LeCun et Sam Altman ont tous reconnu qu'un plafonnement semble se profiler.
Auteur:
Info: 10 mars 2024
Commentaires: 0