limitation

Les modèles anthropiques avancent que la vie et l'intelligence sont destinées à émerger dans notre univers particulier, et vont du mathématique (le réglage fin apparent des paramètres universels fondamentaux, par exemple, Rees 1999), à l'empirique (la chimie universelle spéciale qui favorise les précurseurs de la biogenèse, par exemple, Henderson 1913, 1917 ; Miller 1953 ; Lazcano 2004), au téléologique (analogies et arguments pour une fonction ou un but systémique de l'intelligence cosmique, par exemple, cet article). Aujourd'hui, comme le reconnaissent même leurs plus fervents praticiens (Barrow et Tipler 1986 ; Krauss et. al. 2008), les modèles d'univers anthropiques procèdent davantage de l'ignorance et de la supposition que de la connaissance.

Auteur: Dick Steven J.

Info: Cosmos & Culture: Cultural Evolution in a Cosmic Context

[ horizon humain ]

constantes fondamentales

Les scientifiques se rendent peu à peu compte d'une vérité dérangeante : l'univers ressemble étrangement à un montage. Le problème concerne les lois de la nature elles-mêmes. Depuis 40 ans, les physiciens et les cosmologistes recueillent discrètement des exemples de "coïncidences" trop commodes et de caractéristiques spéciales dans les lois sous-jacentes de l'univers qui semblent nécessaires pour que la vie, et donc les êtres conscients, puissent exister. Si l'on modifiait l'une d'entre elles, les conséquences seraient fatales. Fred Hoyle, l'éminent cosmologiste, a dit un jour que c'était comme si "un super-intellect avait bricolé avec la physique".

Pour comprendre le problème, imaginez que vous jouez à Dieu avec le cosmos. Vous avez devant vous une machine de conception qui vous permet de bricoler avec les bases de la physique. Tournez ce bouton et vous rendrez tous les électrons un peu plus légers, tournez celui-là et vous rendrez la gravité un peu plus forte, et ainsi de suite. Il se trouve qu'il faut régler une trentaine de boutons pour décrire complètement le monde qui nous entoure. Le point crucial est que certains de ces boutons métaphoriques doivent être réglés très précisément, sinon l'univers serait stérile.

Exemple : les neutrons sont à peine plus lourds que les protons. Si c'était l'inverse, les atomes ne pourraient pas exister, car tous les protons de l'univers se seraient désintégrés en neutrons peu après le big bang. Pas de protons, donc pas de noyaux atomiques et pas d'atomes. Pas d'atomes, pas de chimie, pas de vie. Comme la bouillie du bébé ours dans l'histoire de Boucle d'or, l'univers apparait comme tout à fait propice à la vie.

Auteur: Davies Paul Charles William

Info:

[ réglage fin ] [ théisme ] [ sérendipité ] [ Éternel ] [ anthropique limitation ]

homme-animal

Dauphins : cerveau, conscience et intelligence

Les scientifiques rassemblés à San Diego, Californie, à l'occasion du Congrès annuel de l'Association Américaine pour l'Avancement de la Science, en ce mois de février 2010, ont conclu que le dauphin était un mammifère aussi évolué et intelligent que l’humain. Pour confirmer leurs assertions, ils se fondent notamment sur le développement phénoménal de son lobe frontal, siège de la pensée consciente et sur sa capacité que partagent seulement les grands singes et les éléphants de se reconnaître dans un miroir.

Ils insistent aussi sur le fait que le dauphin Tursiops Truncatus, (mais que sait-on des autres cétacés, de leur langage, de leurs cultures si riches et si variées?.) dispose du plus gros cerveau du monde, après celui de l’Homme, selon la théorie du coefficient encéphalique. Méfiance : celle-ci ne tient cependant pas compte des circonvolutions du cortex, largement plus nombreuses chez le cachalot ou d'autres cétacés que chez l'Homme. A la seule aune de ce coefficient, le singe Saïmiri nous dépasserait tous !

Par ailleurs, le carburant du cerveau, c’est le glucose, et à ce niveau, Dauphins et Humains partagent un métabolisme quasiment identique. De telles capacités cognitives, selon les scientifiques de San Diego où, rappelons-le, se trouve également le principal centre de dressage des dauphins militaires aux USA – pose un grave problème éthique quant à la détention forcée en delphinarium de ces remarquables cétacés. Ce point a été évoqué.

Notons que la sur-évolution des cétacés, un espèce née trente millions d'années avant JC, alors que nous ne totalisons au compteur que 160.000 ans en tant qu'Homo Sapiens, selon les dernières données de Pascal Picq, ne se situe pas seulement au niveau de la pensée consciente.

I. L’INTELLIGENCE DES DAUPHINS EN QUESTION

A quel niveau, la barre ?

De vigoureux débats ont régulièrement lieu à propos de l’intelligence du dauphin, où se retrouvent et s’opposent globalement trois opinions : Il y a ceux qui mettent la barre très haut. Ils pensent - peut-être à raison – que les dauphins sont dotés de pouvoirs paranormaux, et transcendent de très loin toutes nos possibilités mentales. Par exemple, pour Jim Nollman, la pensée cachalot étant produite par un cerveau cinq fois plus puissant que le nôtre est forcément cinq fois plus complexe et donc inaccessible à notre compréhension.

Sur un mode nettement moins rationnel et plus égoïste, la mouvance New Age tend à considérer les dauphins comme des extraterrestres arrivant de Sirius pour apporter un message au Monde et servir aux progrès des Hommes. C’est de cette mouvance, malheureusement, qu’est issue la mode des Dolphin Assisted Therapy (DAT) et l’on peut donc craindre que ces idéologies ne servent avant tout à favoriser l’expansion de ce marché.

Il y a ceux qui mettent la barre très bas. Et ceux-là très clairement, ont reçu pour mission de justifier les captures pour les delphinariums ou les massacres des baleines. On lira ainsi avec stupéfaction certaines études réductrices qui ramènent le cerveau du cétacé aux dimensions de celui du hérisson ou tendent à prétendre que les baleines ne sont finalement que de gros "bovidés de la mer", stupides, indolentes et presque insensibles. De même, toute la galaxie de chercheurs et vétérinaires vendus à l’industrie du delphinarium déclarera d’une seule voix que l’intelligence du dauphin ne dépasse guère celle du chien.

Et il y a ceux qui tentent de faire la part des choses... Et notamment d’aborder de manière objective une série de d’études scientifiques ou d’observations de terrain convergentes. En regroupant ces recherches, en les collationnant, en les mettant en perspectives, il devient alors très difficile de croire que les cétacés puissent n’être que des "toutous marins"…

Le frein de l’anthropocentrisme

La disqualification systématique des compétences cognitives des cétacés n’est pourtant pas le fait de seuls baleiniers ou des "dolphin trainers". Certains cétologues et associations (Anne Collet, Greenpeace) adoptent cette position, affirment-ils, par souci d’objectivité. En fait, il semble surtout qu’une sorte de terreur sacrée les saisisse devant l’effondrement de l’un des derniers dogmes inexpugnables du canon scientifique : "l’Homme, mesure de toutes choses, image de Dieu sur terre, est seul doté de conscience et de langage".

"En traçant une limite stricte entre l’Homme et la Bête" ajoute Keith Thomas, "le but principal de nos théoriciens modernes était surtout de justifier la chasse, la domestication, l’ingestion de la chair d’un animal mort, la vivisection – qui devint une pratique scientifique courante dès le 19 ème siècle - et l’extermination à large échelle de la vermine et des prédateurs".

On trouve un peu partout – mais surtout dans le monde de l’édition francophone – de pitoyables gesticulations mentales visant à dénigrer, chaque fois que faire se peut, toute contestation de cette vérité première, aussi évidente que la course du soleil autour de la terre. Innombrables sont les études qui nient que la guenon Washoe, le bonobo Kanzi ou le perroquet Alex puissent parlent de vrais langages. Un article récent allait même jusqu’à contester la notion de "conscience de soi" chez l’animal non-humain et le fait que les expériences de reconnaissance face au miroir puissent avoir valeur de preuve en ce domaine.

Bref, pour beaucoup d’humanistes de la vieille école, la prééminence de l’être humain sur le plan de l’intellect est un dogme, une conviction d’ordre affectif presque désespérée, et non pas une certitude scientifique. L’anthropocentrisme qui fonde toute notre vision du monde nous rend, semble-t-il, incapable d’appréhender la possibilité d’une conscience autre, "exotique" selon le mot de H.Jerison, mais parfaitement complète, aboutie et auto-réflexive.

Pourtant, insiste Donald Griffin : "Il n’est pas plus anthropomorphique, au sens strict du terme, de postuler l’existence d’expériences mentales chez d’autres espèces animales, que de comparer leurs structures osseuses, leurs systèmes nerveux ou leurs anticorps avec ceux des humains".

TECHNOLOGIE ET INTELLIGENCE

Cerveau vaste et puissant que celui du dauphin, certes. Mais encore ? Qu’en fait-il ? C’est là l’ultime argument massue de notre dernier carré d’humanistes qui, très expressément, maintient la confusion entre Intelligence et Technologie. Or nous savons – nous ne pouvons plus nier – que d’autres types d’intelligences existent. On se reportera notamment au passionnant ouvrage de Marc Hauser "Wild Minds : what animals really think" (Allen Lane éditions, Penguin Press, London 2000) qui définit en termes clairs la notion "d’outillage mental". Même si de grands paramètres restent communs à la plupart des espèces psychiquement évoluées, dit en substance l’auteur (règle de la conservation des objets, cartes mentales pour s’orienter, capacité de numériser les choses, etc.), à chaque environnement correspond néanmoins une vision du monde, un mode de pensée propre, qui permet à l’individu de survivre au mieux.

Les écureuils sont capables de garder à l’esprit des cartes mentales d’une précision hallucinante, fondée sur des images géométriques. Les baleines chassent avec des rideaux de bulles, dont le réglage demande une grande concentration et une puissance de calcul peu commune. Les orques et les dauphins ne produisent rien, c’est vrai mais ils sont là depuis des millions d’années, ne détruisent pas leur biotope, vivent en belle harmonie, n’abandonnent pas leurs blessés, ne se font pas la guerre entre eux et dominaient tous les océans jusqu’à ce que l’Homme vienne pour les détruire. Toutes vertus généralement qualifiées de "sens moral" et qui révèlent un très haut degré de compréhension du monde.

Il en est de même pour l’être humain : technicien jusqu’au bout des doigts, champion incontesté de la manipulation d’objets et de chaînes de pensées, adepte des lignes droites, de la course et de la vitesse, il vit dans un monde à gravité forte qui le maintient au sol et lui donne de l’environnement une vision bidimensionnelle.

L’imprégnation génétique de nos modes de conscience est forte : nous avons gardé de nos ancêtres la structure sociale fission-fusion mâtinée de monogamie, la protection de nos "frontières" est toujours assurée, comme chez les autres chimpanzés, par des groupes de jeunes mâles familialement associés (frères, cousins puis soldats se battant pour la Mère Patrie), notre goût pour la science, le savoir et les découvertes n’est qu’une forme sublimée de la néophilie presque maladive que partagent tous les grands primates, et notre passion pour les jardins, les parcs, les pelouses bien dégagés et les "beaux paysages" vient de ce que ceux-ci évoquent la savane primitive, dont les grands espaces partiellement arborés nous permettaient autrefois de nous cacher aisément puis de courir sur la proie...

Mais bien sûr, l’homme est incapable de bondir de branche en branche en calculant son saut au plus juste, il est incapable de rassembler un banc de poissons diffus rien qu’en usant de sons, incapable de tuer un buffle à l’affût en ne se servant que de son corps comme arme, etc.

Ce n’est certes pas pour nous un titre de gloire que d’être les plus violents, les plus cruels, les plus astucieux, les plus carnivores, mais surtout les plus habiles et donc les plus polluants de tous les grands hominoïdes ayant jamais vécu sur cette planète, et cela du seul fait que nous n’avons pas su ou pas voulu renoncer à nos outils mentaux primordiaux ni à nos règles primitives.

Au-delà de nos chefs-d’oeuvre intellectuels – dont nous sommes les seuls à percevoir la beauté – et de nos créations architecturales si calamiteuses au niveau de l’environnement, la fureur primitive des chimpanzés est toujours bien en nous, chevillée dans nos moindres gestes et dans tous nos désirs : plus que jamais, le pouvoir et le sexe restent au centre des rêves de tous les mâles de la tribu...

De la Relativité Restreinte d’Einstein à la Bombe d’Hiroshima

Une dernière question se pose souvent à propos de l’intelligence des cétacés : représente-t-elle ou non un enjeu important dans le cadre de leur protection ?

Là encore, certaines associations s’indignent que l’on puisse faire une différence entre la tortue luth, le tamarin doré, le cachalot ou le panda. Toutes ces espèces ne sont-elles pas également menacées et leur situation dramatique ne justifie-t-elle pas une action de conservation d’intensité égale ? Ne sont-elles pas toutes des "animaux" qu’il convient de protéger ? Cette vision spéciste met une fois encore tous les animaux dans le même sac, et le primate humain dans un autre…

Par ailleurs, force est de reconnaître que l’intelligence prodigieuse des cétacés met un autre argument dans la balance : en préservant les dauphins et baleines, nous nous donnons une dernière chance d’entrer en communication avec une autre espèce intelligente. Il est de même pour les éléphants ou les grands singes mais le développement cognitif des cétacés semblent avoir atteint un tel degré que les contacts avec eux pourraient atteindre au niveau de vrais échanges culturels.

Les seuls animaux à disposer d’un outil de communication relativement similaire au nôtre c’est à dire transmis sur un mode syntaxique de nature vocale – sont en effet les cétacés. On pourrait certainement communiquer par certains signes et infra-sons avec les éléphants, par certains gestes-symboles et mimiques avec les chimpanzés libres, mais ces échanges ne fourniraient sans doute que des informations simples, du fait de notre incapacité à nous immerger complètement dans la subtilité de ces comportements non-verbaux. Tout autre serait un dialogue avec des dauphins libres qui sont, comme nous, de grands adeptes du "vocal labeling", de la désignation des choses par des sons, de l’organisation de ces sons en chaînes grammaticalement organisées et de la création de sons nouveaux pour désigner de nouveaux objets.

Cette possibilité, inouïe et jamais advenue dans l’histoire humaine, est pour nous l’un des principaux enjeux de la conservation des "peuples de la mer" véritables nations cétacéennes dont nous ne devinerons sans doute que très lentement les limites du prodigieux univers mental. Une telle révolution risque bien d’amener d’extraordinaires changements dans notre vision du monde.

Il n’est d’ailleurs pas impossible que notre pensée technologique nous rende irrémédiablement aveugle à certaines formes de réalité ou fermé à certains modes de fonctionnement de la conscience. Comme l’affirme Jim Nollman, il se peut en effet que les cachalots soient capables d’opérations mentales inaccessibles à notre compréhension.

Il se peut que leur cerveau prodigieusement développé les rende à même de percevoir, mettons, cinq ou six des onze dimensions fondamentales de l’univers (Lire à ce propos : "L’Univers élégant" de Brian Greene, Robert Laffont éditeur) plutôt que les quatre que nous percevons ? Quel aspect peut avoir l’océan et le ciel sous un regard de cette sorte ?

Si nous ne leur parlons pas, impossible à savoir.

On imagine la piètre idée qu’ont pu se faire les premiers colons anglais de ces yogis immobiles qu’ils découvraient au fond d’une grotte en train de méditer... Se doutaient-ils seulement à quoi ces vieux anachorètes pouvaient passer leur temps ? Avaient-ils la moindre idée du contenu des Upanishads ou des Shiva Sutras, la moindre idée de ce que pouvait signifier le verbe "méditer" pour ces gens et pour cette culture ?

Les baleines bleues, les cachalots, les cétacés les plus secrets des grands fonds (zyphius, mésoplodon) sont-ils, de la même manière, des sages aux pensées insondables nageant aux frontières d’autres réalités… et que nous chassons pour leur viande ?

On se souvient aussi du mépris profond que l’Occident manifestait jusqu’il y a peu aux peuples primitifs. Les Aborigènes d’Australie vivaient nus, n’avaient que peu d’outils et se contentaient de chasser. Stupides ? Eh bien non ! La surprise fut totale lorsque enfin, on pris la peine de pénétrer la complexité inouïe de leurs mythes, de leurs traditions non-écrites et de leur univers mental... notions quasi inaccessible à la compréhension cartésienne d’un homme "civilisé".

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ] [ Umwelt ] [ hiérarchie ] [ sociologie ] [ xénocommunication ] [ fermeture anthropienne ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]