dernières paroles

J'ai peur que mes phrases ne deviennent grammaticalement inexactes... C'est toujours la lutte entre le raisonnable et ce qui ne l'est pas.... c'est bien.

Auteur: Gide André

Info:

[ . ]

homme-animal

Les oiseaux ont des gène de langage en commun avec les humains
Le processus par lequel les bébé oiseaux apprennent à chanter ressemble par un certain nombre de traits avec celui par lequel les enfants en bas âge apprennent à parler.
Aujourd’hui les chercheurs ont identifié un gène commun aux les oiseaux et aux personnes qui est à la base de ces capacités. Cette découverte marque le début d'un effort pour explorer les sous structures génétiques de l'étude vocale.
L'apprentissage vocal est caractéristique chez certain nombre d'animaux, y compris les humains, dauphins, baleines et oiseaux. Pour sonder comment la génétique guide ce processus, Sebastian Haesler de l'institut Max Planck pour la génétique moléculaire à Berlin et Kazuhiro Wada du centre médical à Duke University et leurs collègues se sont concentré sur un gène connu sous le nom de FoxP2, dont la mutation est associée aux problèmes de langue chez les individus. "Chez les humains affectés, la mutation de Fox cause un dysfonctionnement très spécifique," explique le co-auteur d'étude Erich Jarvis de Duke University. "Ces personnes ont une coordination moteur en grande partie normale, mais présentent une incapacité à prononcer correctement des mots ou de les façonner en des phrases grammaticalement correctes. De plus, elles éprouvent des problèmes comprendre un langage complexe. "L'équipe a analysé l'expression du gène FoxP2 chez un certain nombre d'espèces d'oiseau, certains apprentis de l’aptitude vocale, d’autres non, ainsi qu’ avec des crocodiles, le parent vivant le plus proche des oiseaux.
Chez les humains et les oiseaux le gène est exprimé dans une région du cerveau connue sous le nom de "ganglions fondamentaux", rapportent aujourd'hui les chercheurs dans le Journal of Neuroscience. " Nous avons constaté que les niveaux de FoxP2 semblent augmenter par moment juste avant que l'oiseau ne commence à modifier ses chants," dit Jarvis. " Ainsi ceci confirmerait un rôle de cause à effet, sous-tendu par le gène, qui permettrait aux circuits cérébraux "chanson-étude" de devenir plus plastiques, il permet aussi aux oiseaux d'imiter des bruits.
"En revanche, chez les espèces qui n'ont pas d’apprentissage vocal, l'équipe n'a observé aucun niveau de localisation ou de différentiel de l'activité FoxP2. Les prochains plans à étudier par l'équipe seront de savoir s’il y a de petites différences de FoxP2 entre les oiseaux qui apprennent à chanter et les autres qui ne le font pas, et comment les mutations de ce gène affectent l'étude vocale. D'autres facteurs, tels que des raccordements entre le cerveau et les neurones moteur commandant la voix, contribuent également à l'apprentissage vocal. Mais il est intrigant, note Jarvis, "Qu'un gène antique comme FoxP2 puisse avoir quelque chose faire avec des vocalisations apprises chez l'homme et chez les oiseaux."

Auteur: Internet

Info: Sarah Graham, SCIENCE NEWS 31 Mars 2004

[ musique ] [ génétique ] [ ADN ]

écriture inclusive

Françaises, Français,

Savez-vous, tas d'informes culturels sous-enseignés, savez-vous que le fait de prononcer les mots "Françaises, Français" constitue une totale hérésie grammaticale? Ben oui, bande de flapis cérébraux, c'est une énorme connerie pléonastique de dire: "Françaises, Français."

C'est comme si je disais : "Belges, Belges". J'aurais l'air d'un con.

Comment vous le ferais-je comprendre sans avoir l'air pompeux et sans vous faire sentir mon profond mépris pour votre inculture crasse et votre consternante nullité syntaxique? Comment, sans vous rabaisser au rang de crétins congénitaux, comment vous faire admettre que l’expression "les Francais" sous-entend à l'évidence les hommes et les femmes de France ? Si je dis : "Les Français sont cons", j'englobe tous les hommes de France et toutes les femmes de France.

Grammaticalement, connards, quand je dis: "les Français", je désigne les Français mâles, plus les Français femelles, et n'allez pas me taxer de mysogynie, c'est le genre d'attaque qui me révulse. Cela me fait penser à ces pétasses bitophobes du MLF de Kensington City en Californie, qui avaient exigé qu'on changeât la devise de leur école "Tu seras un homme mon fils" en "Tu seras un homme ma fille".

Comment alors expliquer que tous les hommes politiques de ce pays, et quand je dis "les hommes" je pense aussi "les femmes", CQFD, comment expliquer que tous, de l'extrême droite à l'extrême gauche, tous commencent leurs discours, à vous destinés, par une énorme faute de français (et de française)? Comment est-il possible de la part de gens sérieux et souvent cultivés? Comment est-il possible que tous ces notables s'adressent à vous à longueur d'antenne perpétuant et perpétrant cette affreuse erreur de langage?

J'ai beau me creuser l'entendement, je ne trouve qu'une seule explication plausible: chez ces bonnes gens qui nous gouvernent, ou qui nous ont, ou qui vont, ou qui re-re-vont nous gouverner, l'expression "Françaises, Français" signifie: "Bonjour les veaux, et bonjour aussi à vous les génisses, eh, les filles", vous avez vu: j'ai pas seulement dit "Français", j'ai aussi dit "Françaises»" eh, oh, ma petite dame, ne m'oublie pas dans l'urne, ne me quitte pas, ne me quitte pas, laisse-moi m'aplatir plus bas que l'ombre de ton chien, mais je t'en supplie: vote pour moi."

Voilà ce que veut dire "Française, Français". La seule chose que j'espère, c'est qu'en ce moment même un de ces pourris, n'importe lequel, extrême droite, gauche ou centre, j'espère qu'il y en a un, au moins un, ou une, qui me lit maintenant, là tout de suite, et que ce soir ou demain, il va causer dans le poste. Alors celui-là, j'espère, ne pourra plus commencer son discours de pute par ces mots "Françaises, Français" sans se dire qu'on lui aura mis le nez dedans.

Auteur: Desproges Pierre

Info:

[ genrée ] [ redondance ] [ langue de bois ]

linguistique

Byzance tomba aux mains des Turcs tout en discutant du sexe des anges.

Le français achèvera de se décomposer dans l’illettrisme pendant que nous discuterons du sexe des mots.

La querelle actuelle découle de ce fait très simple qu’il n’existe pas en français de genre neutre comme en possèdent le grec, le latin et l’allemand. D’où ce résultat que, chez nous, quantité de noms, de fonctions, métiers et titres, sémantiquement neutres, sont grammaticalement féminins ou masculins. Leur genre n’a rien à voir avec le sexe de la personne qu’ils concernent, laquelle peut être un homme.

Homme, d’ailleurs, s’emploie tantôt en valeur neutre, quand il signifie l’espèce humaine, tantôt en valeur masculine quand il désigne le mâle. Confondre les deux relève d’une incompétence qui condamne à l’embrouillamini sur la féminisation du vocabulaire. Un humain de sexe masculin peut fort bien être une recrue, une vedette, une canaille, une fripouille ou une andouille.

De sexe féminin, il lui arrive d’être un mannequin, un tyran ou un génie. Le respect de la personne humaine est-il réservé aux femmes, et celui des droits de l’homme aux hommes ?

Absurde!

Ces féminins et masculins sont purement grammaticaux, nullement sexuels.

Certains mots sont précédés d’articles féminins ou masculins sans que ces genres impliquent que les qualités, charges ou talents correspondants appartiennent à un sexe plutôt qu’à l’autre. On dit: "Madame de Sévigné est un grand écrivain" et "Rémy de Goumont est une plume brillante". On dit le garde des Sceaux, même quand c’est une femme, et la sentinelle, qui est presque toujours un homme.

Tous ces termes sont, je le répète, sémantiquement neutres. Accoler à un substantif un article d’un genre opposé au sien ne le fait pas changer de sexe. Ce n’est qu’une banale faute d’accord.

Certains substantifs se féminisent tout naturellement: une pianiste, avocate, chanteuse, directrice, actrice, papesse, doctoresse. Mais une dame ministresse, proviseuse, médecine, gardienne des Sceaux, officière ou commandeuse de la Légion d’Honneur contrevient soit à la clarté, soit à l’esthétique, sans que remarquer cet inconvénient puisse être imputé à l’antiféminisme. Un ambassadeur est un ambassadeur, même quand c’est une femme. Il est aussi une excellence, même quand c’est un homme. L’usage est le maître suprême.

Une langue bouge de par le mariage de la logique et du tâtonnement, qu’accompagne en sourdine une mélodie originale. Le tout est fruit de la lenteur des siècles, non de l’opportunisme des politiques. L’Etat n’a aucune légitimité pour décider du vocabulaire et de la grammaire. Il tombe en outre dans l’abus de pouvoir quand il utilise l’école publique pour imposer ses oukases langagiers à toute une jeunesse.

J’ai entendu objecter: "Vaugelas, au XVIIe siècle, n’a-t-il pas édicté des normes dans ses remarques sur la langue française ?". Certes. Mais Vaugelas n’était pas ministre. Ce n’était qu’un auteur, dont chacun était libre de suivre ou non les avis. Il n’avait pas les moyens d’imposer ses lubies aux enfants. Il n’était pas Richelieu, lequel n’a jamais tranché personnellement de questions de langues.

Si notre gouvernement veut servir le français, il ferait mieux de veiller d’abord à ce qu’on l’enseigne en classe, ensuite à ce que l’audiovisuel public, placé sous sa coupe, n’accumule pas à longueur de soirées les faux sens, solécismes, impropriétés, barbarismes et cuirs qui, pénétrant dans le crâne des gosses, achèvent de rendre impossible la tâche des enseignants. La société française a progressé vers l’égalité des sexes dans tous les métiers, sauf le métier politique. Les coupables de cette honte croient s’amnistier (ils en ont l’habitude) en torturant la grammaire.

Ils ont trouvé le sésame démagogique de cette opération magique: faire avancer le féminin faute d’avoir fait avancer les femmes.

Auteur: Revel Jean-François

Info: Fin du siècle des ombres, Fayard, 1999

[ vocables sexués ]

homme-animal

Dauphins : cerveau, conscience et intelligence

Les scientifiques rassemblés à San Diego, Californie, à l'occasion du Congrès annuel de l'Association Américaine pour l'Avancement de la Science, en ce mois de février 2010, ont conclu que le dauphin était un mammifère aussi évolué et intelligent que l’humain. Pour confirmer leurs assertions, ils se fondent notamment sur le développement phénoménal de son lobe frontal, siège de la pensée consciente et sur sa capacité que partagent seulement les grands singes et les éléphants de se reconnaître dans un miroir.

Ils insistent aussi sur le fait que le dauphin Tursiops Truncatus, (mais que sait-on des autres cétacés, de leur langage, de leurs cultures si riches et si variées?.) dispose du plus gros cerveau du monde, après celui de l’Homme, selon la théorie du coefficient encéphalique. Méfiance : celle-ci ne tient cependant pas compte des circonvolutions du cortex, largement plus nombreuses chez le cachalot ou d'autres cétacés que chez l'Homme. A la seule aune de ce coefficient, le singe Saïmiri nous dépasserait tous !

Par ailleurs, le carburant du cerveau, c’est le glucose, et à ce niveau, Dauphins et Humains partagent un métabolisme quasiment identique. De telles capacités cognitives, selon les scientifiques de San Diego où, rappelons-le, se trouve également le principal centre de dressage des dauphins militaires aux USA – pose un grave problème éthique quant à la détention forcée en delphinarium de ces remarquables cétacés. Ce point a été évoqué.

Notons que la sur-évolution des cétacés, un espèce née trente millions d'années avant JC, alors que nous ne totalisons au compteur que 160.000 ans en tant qu'Homo Sapiens, selon les dernières données de Pascal Picq, ne se situe pas seulement au niveau de la pensée consciente.

I. L’INTELLIGENCE DES DAUPHINS EN QUESTION

A quel niveau, la barre ?

De vigoureux débats ont régulièrement lieu à propos de l’intelligence du dauphin, où se retrouvent et s’opposent globalement trois opinions : Il y a ceux qui mettent la barre très haut. Ils pensent - peut-être à raison – que les dauphins sont dotés de pouvoirs paranormaux, et transcendent de très loin toutes nos possibilités mentales. Par exemple, pour Jim Nollman, la pensée cachalot étant produite par un cerveau cinq fois plus puissant que le nôtre est forcément cinq fois plus complexe et donc inaccessible à notre compréhension.

Sur un mode nettement moins rationnel et plus égoïste, la mouvance New Age tend à considérer les dauphins comme des extraterrestres arrivant de Sirius pour apporter un message au Monde et servir aux progrès des Hommes. C’est de cette mouvance, malheureusement, qu’est issue la mode des Dolphin Assisted Therapy (DAT) et l’on peut donc craindre que ces idéologies ne servent avant tout à favoriser l’expansion de ce marché.

Il y a ceux qui mettent la barre très bas. Et ceux-là très clairement, ont reçu pour mission de justifier les captures pour les delphinariums ou les massacres des baleines. On lira ainsi avec stupéfaction certaines études réductrices qui ramènent le cerveau du cétacé aux dimensions de celui du hérisson ou tendent à prétendre que les baleines ne sont finalement que de gros "bovidés de la mer", stupides, indolentes et presque insensibles. De même, toute la galaxie de chercheurs et vétérinaires vendus à l’industrie du delphinarium déclarera d’une seule voix que l’intelligence du dauphin ne dépasse guère celle du chien.

Et il y a ceux qui tentent de faire la part des choses... Et notamment d’aborder de manière objective une série de d’études scientifiques ou d’observations de terrain convergentes. En regroupant ces recherches, en les collationnant, en les mettant en perspectives, il devient alors très difficile de croire que les cétacés puissent n’être que des "toutous marins"…

Le frein de l’anthropocentrisme

La disqualification systématique des compétences cognitives des cétacés n’est pourtant pas le fait de seuls baleiniers ou des "dolphin trainers". Certains cétologues et associations (Anne Collet, Greenpeace) adoptent cette position, affirment-ils, par souci d’objectivité. En fait, il semble surtout qu’une sorte de terreur sacrée les saisisse devant l’effondrement de l’un des derniers dogmes inexpugnables du canon scientifique : "l’Homme, mesure de toutes choses, image de Dieu sur terre, est seul doté de conscience et de langage".

"En traçant une limite stricte entre l’Homme et la Bête" ajoute Keith Thomas, "le but principal de nos théoriciens modernes était surtout de justifier la chasse, la domestication, l’ingestion de la chair d’un animal mort, la vivisection – qui devint une pratique scientifique courante dès le 19 ème siècle - et l’extermination à large échelle de la vermine et des prédateurs".

On trouve un peu partout – mais surtout dans le monde de l’édition francophone – de pitoyables gesticulations mentales visant à dénigrer, chaque fois que faire se peut, toute contestation de cette vérité première, aussi évidente que la course du soleil autour de la terre. Innombrables sont les études qui nient que la guenon Washoe, le bonobo Kanzi ou le perroquet Alex puissent parlent de vrais langages. Un article récent allait même jusqu’à contester la notion de "conscience de soi" chez l’animal non-humain et le fait que les expériences de reconnaissance face au miroir puissent avoir valeur de preuve en ce domaine.

Bref, pour beaucoup d’humanistes de la vieille école, la prééminence de l’être humain sur le plan de l’intellect est un dogme, une conviction d’ordre affectif presque désespérée, et non pas une certitude scientifique. L’anthropocentrisme qui fonde toute notre vision du monde nous rend, semble-t-il, incapable d’appréhender la possibilité d’une conscience autre, "exotique" selon le mot de H.Jerison, mais parfaitement complète, aboutie et auto-réflexive.

Pourtant, insiste Donald Griffin : "Il n’est pas plus anthropomorphique, au sens strict du terme, de postuler l’existence d’expériences mentales chez d’autres espèces animales, que de comparer leurs structures osseuses, leurs systèmes nerveux ou leurs anticorps avec ceux des humains".

TECHNOLOGIE ET INTELLIGENCE

Cerveau vaste et puissant que celui du dauphin, certes. Mais encore ? Qu’en fait-il ? C’est là l’ultime argument massue de notre dernier carré d’humanistes qui, très expressément, maintient la confusion entre Intelligence et Technologie. Or nous savons – nous ne pouvons plus nier – que d’autres types d’intelligences existent. On se reportera notamment au passionnant ouvrage de Marc Hauser "Wild Minds : what animals really think" (Allen Lane éditions, Penguin Press, London 2000) qui définit en termes clairs la notion "d’outillage mental". Même si de grands paramètres restent communs à la plupart des espèces psychiquement évoluées, dit en substance l’auteur (règle de la conservation des objets, cartes mentales pour s’orienter, capacité de numériser les choses, etc.), à chaque environnement correspond néanmoins une vision du monde, un mode de pensée propre, qui permet à l’individu de survivre au mieux.

Les écureuils sont capables de garder à l’esprit des cartes mentales d’une précision hallucinante, fondée sur des images géométriques. Les baleines chassent avec des rideaux de bulles, dont le réglage demande une grande concentration et une puissance de calcul peu commune. Les orques et les dauphins ne produisent rien, c’est vrai mais ils sont là depuis des millions d’années, ne détruisent pas leur biotope, vivent en belle harmonie, n’abandonnent pas leurs blessés, ne se font pas la guerre entre eux et dominaient tous les océans jusqu’à ce que l’Homme vienne pour les détruire. Toutes vertus généralement qualifiées de "sens moral" et qui révèlent un très haut degré de compréhension du monde.

Il en est de même pour l’être humain : technicien jusqu’au bout des doigts, champion incontesté de la manipulation d’objets et de chaînes de pensées, adepte des lignes droites, de la course et de la vitesse, il vit dans un monde à gravité forte qui le maintient au sol et lui donne de l’environnement une vision bidimensionnelle.

L’imprégnation génétique de nos modes de conscience est forte : nous avons gardé de nos ancêtres la structure sociale fission-fusion mâtinée de monogamie, la protection de nos "frontières" est toujours assurée, comme chez les autres chimpanzés, par des groupes de jeunes mâles familialement associés (frères, cousins puis soldats se battant pour la Mère Patrie), notre goût pour la science, le savoir et les découvertes n’est qu’une forme sublimée de la néophilie presque maladive que partagent tous les grands primates, et notre passion pour les jardins, les parcs, les pelouses bien dégagés et les "beaux paysages" vient de ce que ceux-ci évoquent la savane primitive, dont les grands espaces partiellement arborés nous permettaient autrefois de nous cacher aisément puis de courir sur la proie...

Mais bien sûr, l’homme est incapable de bondir de branche en branche en calculant son saut au plus juste, il est incapable de rassembler un banc de poissons diffus rien qu’en usant de sons, incapable de tuer un buffle à l’affût en ne se servant que de son corps comme arme, etc.

Ce n’est certes pas pour nous un titre de gloire que d’être les plus violents, les plus cruels, les plus astucieux, les plus carnivores, mais surtout les plus habiles et donc les plus polluants de tous les grands hominoïdes ayant jamais vécu sur cette planète, et cela du seul fait que nous n’avons pas su ou pas voulu renoncer à nos outils mentaux primordiaux ni à nos règles primitives.

Au-delà de nos chefs-d’oeuvre intellectuels – dont nous sommes les seuls à percevoir la beauté – et de nos créations architecturales si calamiteuses au niveau de l’environnement, la fureur primitive des chimpanzés est toujours bien en nous, chevillée dans nos moindres gestes et dans tous nos désirs : plus que jamais, le pouvoir et le sexe restent au centre des rêves de tous les mâles de la tribu...

De la Relativité Restreinte d’Einstein à la Bombe d’Hiroshima

Une dernière question se pose souvent à propos de l’intelligence des cétacés : représente-t-elle ou non un enjeu important dans le cadre de leur protection ?

Là encore, certaines associations s’indignent que l’on puisse faire une différence entre la tortue luth, le tamarin doré, le cachalot ou le panda. Toutes ces espèces ne sont-elles pas également menacées et leur situation dramatique ne justifie-t-elle pas une action de conservation d’intensité égale ? Ne sont-elles pas toutes des "animaux" qu’il convient de protéger ? Cette vision spéciste met une fois encore tous les animaux dans le même sac, et le primate humain dans un autre…

Par ailleurs, force est de reconnaître que l’intelligence prodigieuse des cétacés met un autre argument dans la balance : en préservant les dauphins et baleines, nous nous donnons une dernière chance d’entrer en communication avec une autre espèce intelligente. Il est de même pour les éléphants ou les grands singes mais le développement cognitif des cétacés semblent avoir atteint un tel degré que les contacts avec eux pourraient atteindre au niveau de vrais échanges culturels.

Les seuls animaux à disposer d’un outil de communication relativement similaire au nôtre c’est à dire transmis sur un mode syntaxique de nature vocale – sont en effet les cétacés. On pourrait certainement communiquer par certains signes et infra-sons avec les éléphants, par certains gestes-symboles et mimiques avec les chimpanzés libres, mais ces échanges ne fourniraient sans doute que des informations simples, du fait de notre incapacité à nous immerger complètement dans la subtilité de ces comportements non-verbaux. Tout autre serait un dialogue avec des dauphins libres qui sont, comme nous, de grands adeptes du "vocal labeling", de la désignation des choses par des sons, de l’organisation de ces sons en chaînes grammaticalement organisées et de la création de sons nouveaux pour désigner de nouveaux objets.

Cette possibilité, inouïe et jamais advenue dans l’histoire humaine, est pour nous l’un des principaux enjeux de la conservation des "peuples de la mer" véritables nations cétacéennes dont nous ne devinerons sans doute que très lentement les limites du prodigieux univers mental. Une telle révolution risque bien d’amener d’extraordinaires changements dans notre vision du monde.

Il n’est d’ailleurs pas impossible que notre pensée technologique nous rende irrémédiablement aveugle à certaines formes de réalité ou fermé à certains modes de fonctionnement de la conscience. Comme l’affirme Jim Nollman, il se peut en effet que les cachalots soient capables d’opérations mentales inaccessibles à notre compréhension.

Il se peut que leur cerveau prodigieusement développé les rende à même de percevoir, mettons, cinq ou six des onze dimensions fondamentales de l’univers (Lire à ce propos : "L’Univers élégant" de Brian Greene, Robert Laffont éditeur) plutôt que les quatre que nous percevons ? Quel aspect peut avoir l’océan et le ciel sous un regard de cette sorte ?

Si nous ne leur parlons pas, impossible à savoir.

On imagine la piètre idée qu’ont pu se faire les premiers colons anglais de ces yogis immobiles qu’ils découvraient au fond d’une grotte en train de méditer... Se doutaient-ils seulement à quoi ces vieux anachorètes pouvaient passer leur temps ? Avaient-ils la moindre idée du contenu des Upanishads ou des Shiva Sutras, la moindre idée de ce que pouvait signifier le verbe "méditer" pour ces gens et pour cette culture ?

Les baleines bleues, les cachalots, les cétacés les plus secrets des grands fonds (zyphius, mésoplodon) sont-ils, de la même manière, des sages aux pensées insondables nageant aux frontières d’autres réalités… et que nous chassons pour leur viande ?

On se souvient aussi du mépris profond que l’Occident manifestait jusqu’il y a peu aux peuples primitifs. Les Aborigènes d’Australie vivaient nus, n’avaient que peu d’outils et se contentaient de chasser. Stupides ? Eh bien non ! La surprise fut totale lorsque enfin, on pris la peine de pénétrer la complexité inouïe de leurs mythes, de leurs traditions non-écrites et de leur univers mental... notions quasi inaccessible à la compréhension cartésienne d’un homme "civilisé".

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ] [ Umwelt ] [ hiérarchie ] [ sociologie ] [ xénocommunication ] [ fermeture anthropienne ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]