homme-animal

Le processus d’encéphalisation
Parmi l’ensemble des animaux non-humains, les dauphins sont dotés du quotient encéphalique le plus élevé au monde, soit à peu près celui de l’être humain.
A ce petit jeu, d’ailleurs, le cachalot nous dépasse tous largement !
Une telle augmentation du volume cérébral, bien au-delà des simples besoins de la motricité ou de la sensorialité, est qualifiée "d’encéphalisation structurelle".
Ce phénomène n’est pas rare. Il semble que dès le Jurassique, des dinosauriens bipèdes de taille moyenne aient commencé à augmenter de manière encore timide leurs capacités cérébrales.
Au Tertiaire, les ancêtres des éléphants et des cétacés se sont lancés à leur tour dans la course au gros cerveau mais ce n’est qu’au Quaternaire, il y a de cela de trois à six millions d’années, que certains primates hominoïdes développent une boîte crânienne de type néoténique à fontanelles non suturées durant les premiers temps de l’enfance, afin de permettre une croissance ultérieure de l’un des cerveaux les plus puissants du monde.
Ce processus d’encéphalisation apparaît également chez certains oiseaux – corvidés, psittacidés – à peu près vers la même époque. A chaque fois, bien sûr, des comportements très élaborés sont toujours associés à un accroissement spectaculaire du tissu cérébral.
Une si curieuse convergence de formes, la survenance simultanée ou successive de tous ces "grands fronts", pose bien évidemment question en termes darwiniens.
Le ptérodactyle, la mouche, le colibri, la chauve-souris ont des ailes pour voler, la truite, l’ichtyosaure, le marsouin ont un corps fait pour nager, le grillon fouisseur et la taupe ont des pattes en forme de pelles pour creuser, etc.
Mais à quoi rime dès lors un vaste crâne et à quelle fonction est-il dévolu ?
Essentiellement à comprendre le monde et ceux qui le composent, en ce compris les membres de sa propre espèce, avec lesquels il faut sans cesse gérer une relation équilibrée.
Même les gros cerveaux les plus solitaires vivent en fait en société : tigres, baleines bleues, panthères, orangs-outans gardent des liens étroits, bien que distants ou différés, avec leur fratrie et leurs partenaires.
L’intelligence est à coup sûr l’arme suprême contre les aléas du monde, ses mutations incessantes, puisqu’elle permet notamment de gérer un groupe comme un seul corps mais aussi de pénétrer les lois subtiles qui sont à la base du mouvement des choses.
En augmentant d’un degré supérieur ces facultés par le moyen du langage, lequel conserve le savoir des générations mortes, l’homme et le cétacé ont sans doute franchi un nouveau pas vers une plus grande adaptabilité.
Le problème de l’humain, mais nous n’y reviendrons pas davantage, c’est qu’il ne s’est servi jusqu’à ce jour que d’une partie de son intelligence et qu’il se laisse ensevelir vivants dans ses propres déchets, et avec lui les reste du monde, pour n’avoir pas su contrôler sa propre reproduction ni la saine gestion de son environnement.
Intelligents ou non ? (Le point de vue de Ken Levasseur)
Dans un courrier CFN posté en avril 2003 relatif à l’utilisation de dauphins militaires en Irak, Ken Levasseur, l’un des meilleurs spécialistes actuels de cette question, a tenu à faire le point à propos de l’intelligence réelle ou supposée de ces mammifères marins. Aux questions que lui avait adressées un étudiant sur ce thème, Ken répond ici de manière définitive, sur la base de de son expérience et de ses intimes convictions.
Eu égard aux remarquables recherches menées par Ken depuis des années et au fait qu’il a travaillé longtemps aux côtés du professeur Louis Hermann, son point de vue n’est évidemment pas négligeable ni ses opinions sans fondements. On lira d’ailleurs sur ce site même son article en anglais relatif au cerveau du dauphin
Inutile de dire que le gestionnaire de ce site partage totalement le point de vue de Ken Levasseur, dont les travaux l’inspirent depuis de nombreuses années, au même titre que ceux de Wade Doak ou de Jim Nollman : tous ont en commun d’affirmer que les dauphins ne sont pas des animaux au sens strict mais bien l’équivalent marin de l’humanité terrestre.
Q- A quel niveau d’intelligence réelle les dauphins se situent-ils ? A celui du chien ? Du grand singe ? D’un être humain ?
R- Mon meilleur pronostic est qu’un jour prochain, nous pourrons prouver que la plupart des espèces de cétacés disposent d’une intelligence équivalente ou supérieure à celle d’un humain adulte.
Q- Quelles sont les preuves nous permettant d’affirmer que les dauphins sont intelligents ?
R- Il a été démontré depuis longtemps que les dauphins peuvent développer des capacités cognitives qui équivalent ou excèdent les possibilités mentales de l’être humain. Aujourd’hui, nous sommes à même de définir exactement en quoi consiste l’intelligence humaine. Une fois que nous parviendrons à définir l’intelligence d’une manière strictement objective et valable pour toutes les autres espèces, on permettra enfin aux cétacés de faire la preuve de la leur.
Q- Quelles preuves avons-nous que les dauphins ne sont PAS intelligents ?
R- Il n’y a aucune preuve scientifique qui tendrait à prouver que l’intelligence du dauphin serait située entre celle du chien et celle du chimpanzé (comme l’affirment les delphinariums et la marine américaine) .
Q- Est-ce que les dauphins possèdent un langage propre ?
R- La définition d’une "langue", comme celle de l’intelligence, repose sur des bases subjectives définies pour et par les humains. Une fois que nous pourrons disposer d’une définition plus objective de ce qu’est un langage, et que les recherches sur la communication des dauphins ne seront plus "classifiée" par les américains, il est fort probable que les chercheurs puissent enfin conduire les recherches appropriées et qu’ils reconnaissent que les dauphins disposent de langages naturels.
Q- Est-ce leur capacité à apprendre et à exécuter des tours complexes qui les rend plus intelligents ou non ?
R- La capacité du dauphin à apprendre à exécuter des tours complexes est surtout une indication de l’existence d’un niveau élevé des capacités mentales, interprétées comme synonymes d’une intelligence élevée.
Q- Jusqu’à quel point ont été menées les recherches sur les dauphins et leur intelligence ? Que savent vraiment les scientifiques à leur propos ?
R- La US Navy a "classifié" ses recherches sur les dauphins en 1967, au moment où l’acousticien Wayne Batteau est parvenu à développer des moyens efficaces pour communiquer avec des dauphins dressés. La communication et l’intelligence des dauphins constituent donc désormais des données militaires secrètes, qui ne peuvent plus être divulguées au public.
Q- Est-ce que les dauphins disposent d’un langage propre ? Y a t-il des recherches qui le prouvent ?
R- Vladimir Markov et V. M. Ostrovskaya en ont fourni la preuve en 1990 en utilisant la "théorie des jeux" pour analyser la communication des dauphins dans un environnement contrôlé et à l’aide de moyens efficaces. Il est donc très probable que les dauphins aient une langue naturelle.
Q- Les capacités tout à fait spéciales des dauphins en matière d’écholocation ont-elles quelque chose à voir avec leurs modes de communication?
R- A mon sens, les recherches futures fourniront la preuve que le langage naturel des cétacés est fondé sur les propriétés physiques de l’écholocation, de la même manière que les langues humaines se basent sur des bruits et des représentations.
Q- Quelle est VOTRE opinion à propos de l’intelligence des dauphins ?
R- Pendant deux ans, j’ai vécu à quinze pieds (1 Pied : 30 cm 48) d’un dauphin et à trente-cinq pieds d’un autre. À mon avis, les dauphins possèdent une intelligence équivalente à celle d’un être humain. Ils devraient bénéficier dès lors de droits similaires aux Droits de l’Homme et se trouver protégé des incursions humaines dans son cadre de vie.
Q- La ressemblance entre les humains et les dauphins a-t-elle quelque chose à voir avec leur intelligence commune ?
R- Les dauphins sont très éloignés des humains à de nombreux niveaux mais les ressemblances que nous pouvons noter sont en effet fondées sur le fait que les dauphins possèdent des capacités mentales plus élevées (que la plupart des autres animaux) et sont à ce titre interprétés en tant qu’intelligence de type humain.
Q- La grande taille de leur cerveau, relativement à celle de leur corps, est-elle un indicateur de leur haute intelligence ?
R- Le volume absolu d’un cerveau ne constitue pas une preuve d’intelligence élevée. Le coefficient encéphalique (taille du cerveau par rapport à la taille de corps) n’en est pas une non plus. Néanmoins, on pourrait dire que la taille absolue du cerveau d’une espèce donnée par rapport au volume global du corps constitue un bon indicateur pour comparer les capacités mentales de différentes espèces. Souvenons-nous par ailleurs que les cétacés ne pèsent rien dans l’eau, puisqu’ils flottent et qu’une grande part de leur masse se compose simplement de la graisse. Cette masse de graisse ne devrait pas être incluse dans l’équation entre le poids du cerveau et le poids du corps car cette graisse n’est traversée par aucun nerf ni muscle et n’a donc aucune relation de cause à effet avec le volume du cerveau.
Q- Est-ce que la capacité des dauphins à traiter des clics écholocatoires à une vitesse inouïe nous laisse-t-elle à penser qu’ils sont extrêmement intelligents ?
R- On a pu montrer que les dauphins disposaient, et de loin, des cerveaux les plus rapides du monde. Lorsqu’ils les observent, les humains leur semblent se mouvoir avec une extrême lenteur en émettant des sons extrêmement bas. Un cerveau rapide ne peut forcément disposer que de capacités mentales très avancées.
Q- Pensez-vous des scientifiques comprendront un jour complètement les dauphins?
R- Est-ce que nos scientifiques comprennent bien les humains? Si tout va bien, à l’avenir, les dauphins devraient être compris comme les humains se comprennent entre eux.
Q- Le fait que les dauphins possèdent une signature sifflée est-elle une preuve de l’existence de leur langage ?
R- Non. Cette notion de signature sifflée est actuellement mal comprise et son existence même est sujette à caution.
Q- Les dauphins font plein de choses très intelligentes et nous ressemblent fort. Est-ce parce qu’ils sont vraiment intelligents ou simplement très attractifs ?
R- La réponse à votre question est une question d’expérience et d’opinion. Ce n’est une question qui appelle une réponse scientifique, chacun a son opinion personnelle sur ce point.
Q- Pouvons-nous vraiment émettre des conclusions au sujet de l’intelligence des dauphins, alors que nous savons si peu à leur propos et qu’ils vivent dans un environnement si différent du nôtre ?
R- Jusqu’à présent, ce genre de difficultés n’a jamais arrêté personne. Chacun tire ses propres conclusions. Les scientifiques ne se prononcent que sur la base de ce qu’ils savent vrai en fonction des données expérimentales qu’ils recueillent.
Q- Est-ce que nous pourrons-nous jamais communiquer avec les dauphins ou même converser avec eux ?
R- Oui, si tout va bien, et ce seront des conversations d’adulte à adulte, rien de moins.
II. DAUPHIN : CERVEAU ET MONDE MENTAL
"Parmi l’ensemble des animaux non-humains, les dauphins disposent d’un cerveau de grande taille très bien développé, dont le coefficient encéphalique, le volume du néocortex, les zones dites silencieuses (non motrices et non sensorielles) et d’autres indices d’intelligence sont extrêmement proches de ceux du cerveau humain" déclare d’emblée le chercheur russe Vladimir Markov.
Lorsque l’on compare le cerveau des cétacés avec celui des grands primates et de l’homme en particulier, on constate en effet de nombreux points communs mais également des différences importantes :
– Le poids moyen d’un cerveau de Tursiops est de 1587 grammes.
Son coefficient encéphalique est de l’ordre de 5.0, soit à peu près le double de celui de n’importe quel singe. Chez les cachalots et les orques, ce même coefficient est de cinq fois supérieur à celui de l’homme.
– Les circonvolutions du cortex cervical sont plus nombreuses que celles d’un être humain. L’indice de "pliure" (index of folding) est ainsi de 2.86 pour l’homme et de 4.47 pour un cerveau de dauphin de taille globalement similaire.
Selon Sam Ridgway, chercheur "réductionniste de la vieille école", l’épaisseur de ce même cortex est de 2.9 mm en moyenne chez l’homme et de 1.60 à 1.76 mm chez le dauphin. En conséquence, continue-t-il, on peut conclure que le volume moyen du cortex delphinien (560cc) se situe à peu près à 80 % du volume cortical humain. Ce calcul est évidemment contestable puisqu’il ne tient pas compte de l’organisation très particulière du cerveau delphinien, mieux intégré, plus homogène et moins segmenté en zones historiquement distinctes que le nôtre.
Le fait que les cétacés possèdent la plus large surface corticale et le plus haut indice de circonvolution cérébral au monde joue également, comme on s’en doute, un rôle majeur dans le développement de leurs capacités cérébrales.
D’autres scientifiques, décidément troublés par le coefficient cérébral du dauphin, tentent aujourd’hui de prouver qu’un tel développement n’aurait pas d’autre usage que d’assurer l’écholocation. Voici ce que leur répond le neurologue H. Jerison : "La chauve-souris dispose à peu de choses près des mêmes capacités que le dauphin en matière d’écholocation, mais son cerveau est gros comme une noisette. L’outillage écholocatoire en tant que tel ne pèse en effet pas lourd. En revanche, le TRAITEMENT de cette même information "sonar" par les zones associatives prolongeant les zones auditives, voilà qui pourrait expliquer le formidable développement de cette masse cérébrale. Les poissons et tous les autres êtres vivants qui vivent dans l’océan, cétacés mis à part, se passent très bien d’un gros cerveau pour survivre et même le plus gros d’entre eux, le requin-baleine, ne dépasse pas l’intelligence d’une souris…"
La croissance du cerveau d’un cétacé est plus rapide et la maturité est atteinte plus rapidement que chez l’homme.
Un delphineau de trois ans se comporte, toutes proportions gardées, comme un enfant humain de huit ans. Cette caractéristique apparemment "primitive" est paradoxalement contredite par une enfance extrêmement longue, toute dévolue à l’apprentissage. Trente années chez le cachalot, vingt chez l’homme, douze à quinze chez le dauphin et environ cinq ans chez le chimpanzé.
Les temps de vie sont du même ordre : 200 ans en moyenne chez la baleine franche, 100 ans chez le cachalot, 80 chez l’orque, 78 ans chez l’homme, 60 chez le dauphin, sous réserve bien sûr des variations favorables ou défavorables de l’environnement.
Pourquoi un gros cerveau ?
"Nous devons nous souvenir que le monde mental du dauphin est élaboré par l’un des systèmes de traitement de l’information parmi les plus vastes qui ait jamais existé parmi les mammifères" déclare H.Jerison, insistant sur le fait que "développer un gros cerveau est extrêmement coûteux en énergie et en oxygène. Cet investissement a donc une raison d’être en terme d’évolution darwinienne. Nous devons dès lors considérer la manière dont ces masses importantes de tissu cérébral ont été investies dans le contrôle du comportement et de l’expérimentation du monde, ceci en comparaison avec l’usage qu’en font les petites masses cérébrales".
Un cerveau est par essence un organe chargé de traiter l’information en provenance du monde extérieur.
Les grands cerveaux exécutent cette tâche en tant qu’ensemble élaborés de systèmes de traitement, alors que le cerveau de la grenouille ou de l’insecte, par exemple, se contente de modules moins nombreux, dont la finesse d’analyse est comparativement plus simple.
Cela ne nous empêche pas cependant de retrouver des structures neuronales étonnamment semblables d’un animal à l’autre : lorsqu’un promeneur tombe nez à nez avec un crotale, c’est le même plancher sub-thalamique dévolue à la peur qui s’allume chez l’une et l’autre des ces créatures. Quant un chien ou un humain se voient soulagés de leurs angoisses par le même produit tranquillisant, ce sont évidemment les mêmes neuromédiateurs qui agissent sur les mêmes récepteurs neuronaux qui sont la cause du phénomène.
A un très haut niveau de cette hiérarchie, le traitement en question prend la forme d’une représentation ou d’un modèle du monde (Craik, 1943, 1967, Jerison, 1973) et l’activité neuronale se concentre en "paquets d’informations" (chunks) à propos du temps et de l’espace et à propos d’objets, en ce compris les autres individus et soi-même.
" Puisque le modèle du monde qui est construit de la sorte" insiste H.Jerison, "se trouve fondé sur des variables physiquement définies issues directement du monde externe et puisque ces informations sont traitées par des cellules nerveuses et des réseaux neuronaux structurellement semblables chez tous les mammifères supérieurs, les modèles du monde construits par différents individus d’une même espèce ou même chez des individus d’espèces différentes, ont de bonnes chances d’être également similaires".
Et à tout le moins compréhensibles l’un pour l’autre.

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]