question

La pensée est-elle contenue dans le langage?

Suite de notre série d’été: selon les scientifiques, les mots suggèrent toujours plus que la pensée qui les a fait naître.

" Me promenant en ville, l’autre jour, j’ai entendu tout à coup un miaulement plaintif au-dessus de moi. J’ai levé les yeux. Sur le bord du toit se trouvait un petit chat. "

Il suffit de lire (ou d’écouter) ce début d’histoire pour " voir " aussitôt la scène: le toit, le petit chat, le promeneur qui le regarde. A quoi ressemble ce chat? Peu importe qu’il soit blanc ou noir, le mot renvoie à ce que tout le monde connaît: un animal à quatre pattes, une queue, des oreilles pointues, des yeux ronds, qui miaule (et parfois ronronne).

Mais sans l’existence d’un mot ­général qui désigne tous les types de chats – roux, noirs, blancs, tigrés, assis ou debout, gros ou maigrelets… –, aurait-on une idée générale de l’espèce " chat "? Notre monde mental ne serait-il pas dispersé en une myriade d’impressions, de situations, d’objets tous différents? Deux conceptions s’opposent à ce propos.

La plupart des philosophes, psychologues et linguistes, au début du XXe siècle, partagent cette idée: le langage étant le propre de l’homme, c’est lui qui donne accès à la pensée. Sans langage, il n’y aurait pas de pensée construite: nous vivrions dans un monde chaotique et brouillé fait d’impressions, de sensations, d’images fugitives.

C’est ce que pensait Ferdinand de Saussure, le père de la linguis­tique contemporaine, qui affirmait dans son Cours de linguistique générale (1916): " Philosophes et linguistes se sont toujours accordés à reconnaître que sans le secours des signes nous serions incapables de distinguer deux idées d’une façon claire et constante. Prise en elle-même, la pensée est comme une nébuleuse où rien n’est nécessairement délimité. " Et il ajoutait: " Il n’y a pas d’idées préétablies, et rien n’est distinct avant l’apparition de la langue. " Vers la même époque, le philosophe du langage Ludwig Witt­genstein était parvenu à la même conclusion: " Les limites de mon langage signifient les limites de mon monde ", écrit-il dans le Tractacus (1921). Un peu plus tard, dans Pensée et Langage (1933), le psychologue russe Lev S. Vygotski le dira à sa manière: " La pensée n’est pas seulement exprimée par les mots: elle vient à l’existence à travers les mots. "

Si le langage produit la pensée, cette théorie a de nombreuses conséquences. D’abord que la linguis­tique tient une place centrale dans la connaissance du psychisme humain et que décrypter les lois du langage revient à décrypter les lois de la pensée. Sans le mot " chat ", on ne percevrait que des cas particuliers: des chats roux, blancs ou tigrés, sans jamais comprendre qu’ils appartiennent à une même catégorie générale. Le langage donne accès à cette abstraction, déverrouille la pensée.

Mais est-on vraiment sûr que, sans l’existence du mot " chat ", notre pensée serait à ce point diffuse et inconsistante, que, privé du mot, l’on ne pourrait pas distinguer un chat d’un chien? Les recherches en psychologie cognitive, menée depuis les années 1980, allaient démontrer que les nourrissons disposent, bien avant l’apparition du langage, d’une vision du monde plus ordonnée qu’on ne le croyait jusque-là.

Ces recherches ont donné du poids aux linguistiques cognitives, apparues dans les années 1970, qui ont introduit une véritable révolution copernicienne dans la façon d’envisager les relations entre langage et pensée. Les linguistiques cognitives soutiennent en effet que les éléments constitutifs du langage – la grammaire et le lexique – dépendent de schémas mentaux préexistants. Pour le dire vite: ce n’est pas le langage qui structure la pensée, c’est la pensée qui façonne le langage. L’idée du chat précède le mot, et même un aphasique, qui a perdu l’usage du langage, n’en reconnaît pas moins l’animal.

Les conséquences de cette approche allaient être fondamentales. Tout d’abord la linguistique perdait son rôle central pour comprendre le psychisme humain. Et la psy­chologie cognitive, qui se propose de comprendre les états mentaux, devait prendre sa place.

Ainsi, pour comprendre le sens du mot " chat ", il faut d’abord comprendre le contenu de la pensée auquel le mot réfère. Pour la psychologue Eleanor Rosch (une référence essentielle pour les linguistiques cognitives), l’idée de " chat " se présente sous la forme d’une image mentale typique appelée " prototype ", correspondant à un modèle mental courant: l’animal au poil soyeux, yeux ronds, moustache, qui miaule, etc. La représentation visuelle tient une place centrale dans ce modèle mental: ce sont d’ailleurs dans les livres d’images que les enfants découvrent aujourd’hui ce qu’est une vache, un cochon ou un dinosaure.

Georges Lakoff, élève dissident de Noam Chomsky et tenant de la sémantique cognitive, soutiendra que les mots prennent sens à partir des schémas mentaux sur lesquels ils sont greffés. Voilà d’ailleurs comment s’expliquent les métaphores. Si je dis d’un homme qu’il est un " gros matou ", personne ne va le prendre pour un chat, chacun comprend que je fais appel à des cara­ctéristiques sous-jacentes des gros chats domestiques: placides, indolents, doux. Ce sont ces traits sous-jacents qui forment la trame des mots et leur donnent sens.

Ronald W. Langacker  a appliqué les mêmes principes à la grammaire. Les structures de la grammaire ne reposent pas sur les lois internes au langage, mais dérivent de catégories mentales plus pro­fondes, notamment des représen­tations spatiales. Ainsi, dans beaucoup de langues, l’expression du temps (futur, passé) est décrite en termes d’espace: on dit " après"-demain ou "avant"-hier, comme on dit que le temps est " long " ou " court ".

Ces approches psychologiques du langage ont donc renversé le rapport entre langage et pensée.

Une des conséquences majeures est que le langage n’est pas le seul " propre de l’homme "; il n’est qu’un dérivé de la capacité à produire des représentations mentales, précisément des images mentales organisées en catégories. Au moment même où les linguistiques cogni­tives prenaient de l’importante, un autre courant de pensée, la prag­matique (à ne pas confondre avec le pragmatisme, un courant philosophique américain) allait proposer une autre version des relations entre langage et pensée.

Revenons à notre chat perdu. En utilisant le mot " chat ", nul ne sait exactement quelle image l’auteur de l’histoire a vraiment en tête: quelle est pour lui sa couleur, sa taille ou sa position exacte? Le mot a la capacité de déclencher des représentations, mais il ne peut les contenir intégralement. C’est sa force et ses limites.

Selon l’approche de la pragmat­ique, le langage n’est ni le créateur de la pensée (comme le pensait Saussure) ni son reflet (comme le soutiennent les linguistiques cognitives) : il est un médiateur qui déclenche des représentations. C’est un peu comme une étiquette sur une porte qui indique ce qui se trouve à l’intérieur (chambre 23, WC…) mais ne dit rien sur la couleur des murs, la forme du lit ou la position des toilettes.

Cela a d’importantes conséquences sur la façon d’envisager les relations entre langage et pensée. Le mot ne contient pas l’idée, il ne la reflète pas non plus, mais il l’induit. Quand on communique, on ne fait qu’induire une représentation. Le procédé est économique car il n’oblige pas à tout dire: le " toit " sur lequel est perché le chat renvoie ­implicitement au toit d’une maison et non à un toit de voiture, tout le monde le comprend sans qu’il soit besoin de le dire. Tous les mots comportent de l’implicite, qu’il s’agit de décoder.

En un sens, le langage, comme outil de communication, est réducteur par rapport à la pensée qu’il représente. Mais en même temps, les mots suggèrent toujours plus que la pensée qui les a fait naître, déclenchant chez ceux qui l’écoutent une infinité de représentations possibles. 

Auteur: Internet

Info: https://www.letemps.ch/ - Jean-François Fortier août 2013

[ signifiants symboles ] [ manifestations codées ] [ tiercités ] [ contextualisation générale ]

homme-animal

Le langage du chant des oiseaux
Pendant plus de 30 ans, Donald Kroodsma a travaillé pour démêler de tels mystères de communication avienne. Par des études sur le terrain et des expériences de laboratoire, il a étudié les forces écologiques et sociales qui ont contribué à l'évolution de l'apprentissage vocal.
Les jeunes perroquets, oiseaux chanteurs et colibris apprennent un répertoire de chansons, comme les enfants en bas âge apprennent à parler. Mais pourquoi cette capacité d'apprendre un système de communication vocal est-il quelque chose que nous partageons avec les oiseaux, mais pas avec nos parents plus proches, tels que les primate ?
Kroodsma a prêté une attention particulière à la variation locale des types de chants - donnés comme dialectes. Par exemple, la Mésange à tête noire (atricapillus Parus) de Martha's Vineyard, a un chant entièrement différent de son homologue terrestre qui vit au Massachusetts dit il. Aussi, les oiseaux qui vivent sur une frontière entre deux dialectes ou qui passent du temps dans différents secteurs peuvent devenir "bilingues" apprenant les chansons de plusieurs groupe de voisins.
Récemment, Kroodsma a découvert que l’Araponga tricaronculé (tricarunculata Procnias) change constamment son chant, créant ce qu'il appelle "une évolution culturelle rapide à chaque génération." Ce genre d'évolution du chant est connu chez les baleines mais, jusqu'ici, rarement dans les oiseaux. Professeur de biologie à l'université du Massachusetts à Amherst, Kroodsma est également Co-rédacteur du livre Ecology and Evolution of Acoustice Communication in Birds (Cornell University Press, 1996). Bien qu'il projette de continuer ses études sur le terrain, il dit qu'un de ses buts les plus importants est maintenant d'aider les gens à comprendre " Comment écouter les chant d'oiseaux. Beaucoup de gens peuvent identifier une grive des bois (Hylocichla mustelina) quand ils l’entendent. Son chant est un des plus beau au monde – mais peu réalisent qu'ils pourraient entendre les choses que la grive communique s’ils savaient juste écouter."

SA : Pouvez vous faire une comparaison entre la façon dont un bébé oiseau apprend à chanter et la façon dont un jeune humain apprend à parler ?
DK : En surface, c'est remarquablement similaire. Je passe souvent une bande de ma fille, enregistrée quand elle avait environ une année et demi. Elle prend tout qu'elle connaît "bruits de toutou, de chat, etc " et les rapièce aléatoirement ensemble dans un ordre absurde de babillage. Ainsi quand on passe la bande d'un jeune oiseau et qu’on dissèque ce qu'il fait dans ce que nous appelons son "subsong" il se passe exactement la même chose. Il prend tous les bruits qu'il a mémorisés, tous les bruits auxquels il a été exposé, et les chante dans un ordre aléatoire. Il semble que ce que le bébé humain et le bébé oiseau font est identique. Certains pourraient voir ceci comme une comparaison grossière, mais elle est très intrigante.
SA : Pourquoi les répertoires de chants et les dialectes de certains oiseaux changent-ils d'un endroit à l'autre ?
DK : Pour les espèces d'oiseaux qui n'apprennent pas leurs chants, j'aime penser de manière simpliste que leurs chants sont codés dans leur ADN. Avec ces oiseaux, si nous trouvons des différences dans les chants d'un endroit à l'autre, cela signifie que l'ADN est aussi changé et que les populations sont génétiquement différentes. Mais il y a des espèces dans lesquelles les chants ne sont pas codés par l'ADN. Alors nous avons quelque chose très semblable aux humains, la parole est apprise et varie d'un endroit à l'autre. Si par exemple, tu a été élevé en Allemagne, tu parleras allemand plutôt que l'anglais, sans changement de gènes. Ainsi avec les oiseaux qui apprennent leurs chants, on obtient ces différences frappantes d'un endroit à l'autre parce que ces oiseaux ont appris le dialecte local.
SA : Comment est-ce influencé par le nomadisme de l’oiseau ?
DK : Si tu sais que le reste de ta vie tu parleras anglais, tu travailleras dur à l'anglais à l'école. Mais qu'en serait-il si tu savais que tu seras jeté à plusieurs reprises dans des milieux avec des personnes parlant des langues différentes ? Tu commences ainsi à entrevoir l'énorme défi que ce serait d'apprendre la langue ou le dialecte de tous ces différents endroits. Alors je pense que les oiseaux nomades comme les Troglodyte à bec court [Cistothorus platensis], parce qu'ils vivent avec différents oiseaux tous les quelques mois partout dans la géographie, ne prennent pas la peine d'imiter les chansons de leurs voisins immédiats. Ils composent une certaine sorte de chant généralisé, ou plutôt ce sont des instructions de l’ADN leur permettent d'improviser la chanson du Troglodyte à bec court. Le contraste du Troglodyte à bec court avec le Troglodyte des marais [Cistothorus palustris] est très intéressant. Les Troglodytes des marais occidentaux de la région de Seattle ou de Californie, restent sur leur territoire pendant toute l'année. Une fois qu'un mâle s'installe sur un territoire il apprend les chants de ses voisins. Ils vivent tous au sein d’une communauté très stable, et je pense que cela leur donne l'élan pour s'imiter les uns les autres. Mais J'aimerai quand même bien avoir la réponse à ça : Pourquoi s'imitent ils tous… pourquoi ont ils les mêmes chants ?.
SA : Une des manières ou vous avez montré que la connaissance de chants est innée - plutôt qu'apprise - chez certaines espèces fut de priver de jeunes Moucherolles de leur capacité d'entendre.
DK : Nous avons fait un tas d'expériences, mais nous savions que l'étape finale avant de pouvoir déclarer qu'ils apprennent était de les empêcher de pratiquer l'audition elle-même. Ainsi nous avons obturé les oreilles des quelques Moucherolle [Sayornis phoebe] et elles continuèrent de produire toujours parfaitement leurs beaux chants. Elles n'auraient pas du être capable de développer des chants normaux après avoir été rendues sourdes s'il n'y avait pas quelque composant d'apprentissage inné.
SA : Vous avez comparé l’Araponga tricaronculé du Costa Rica à la baleine à bosse [Megaptera novaeangliae] parce que leurs chants évoluent rapidement à chaque génération. Comment savoir que les chants des Arapongas ont évolué depuis que les gens ont commencé à les enregistrer ?
DK : Nous avons une série d'enregistrements datant du milieu des années 70, nous donnant une utile documentation sur leurs chants dans trois dialectes. Dans deux des dialectes, les chants des années 70 sont rigoureusement différents des chants aujourd'hui. Dans le troisième, celui avec lequel nous travaillons le plus soigneusement, nous pouvons montrer plusieurs micro changements fait avec le temps. Un des changements est un très un fort sifflent qui a diminué dans sa fréquence [hauteur] depuis les années 70. Celle-ci est passée d'environ 5.500 hertz, (cycles par seconde) descendant à environ 3.700 hertz. C'est une baisse énorme, une baisse moyenne de 70 hertz par an de 70 à 2001.
SA : L’Arapongas (Bellbird) est-il unique parmi les oiseaux dans le sens que ses chants évoluent de cette façon ?
DK : Ces oiseaux réapprennent probablement leurs chansons tout le temps... Ils surveillent ce que les autres oiseaux chantent, n’est-ce pas. Ce genre de modification n'a été démontré qu'avec deux autres sortes d’oiseau, dont le Cassique cul-jaune [ Cacicus cela] du Panama. C'est un merle qui vit en colonies. Les chants dans ces colonies changent en une génération. Avec des oiseaux qui ont des vies assez courtes, comme les Passerin indigo [ Passerina cyanea], qui vivent environs deux ans, une fois que le mâle à développé son chant il le garde toute sa vie. Les chants d’Araponga évoluent au-travers des générations, de manière très proche à la baleine à bosse.
SA : Pourquoi pensez-vous que les chants de l’Araponga se modifient avec le temps ?
DK : Comme probablement dans la plupart des systèmes où relativement peu de mâles réussissent. Le mâle doit exposer son chant à une assistance des femelles, celles-ci conviennent quant à qui est le meilleur mâle. Elles sont probablement la cause d’un système qui permettrait aux mâles de montrer depuis combien de temps ils sont dans les environs : s'ils chantent les chants des dialectes locaux et s’ils ont suivis les changements. Ainsi les mâles qui réussissent pourraient changer leurs chants, forçant les autres mâles, particulièrement les plus jeunes, à rester à niveau. Ce pourrait être une manière pour que les femelles puissent identifier les mâles dominants ou ceux qui ont été dans la population depuis le plus longtemps.
SA : Une des manières qui vous a permis de montrer que les Arapongas apprennent leurs chants est que vous avez découverts qu'ils imitent d'autres oiseaux.
DK : Un ami m'a parlé d'une ville du Brésil appelée Arapongas. Si tu dis "Arapongas" en soulignant le "pong" plus ou moins c'est comme décrire un de ces Araponga à gorge chauve qui habite le Brésil méridional. La ville est baptisée du nom de cet oiseau. Les gens gardent des Arapongas en cage dans cette ville. Mon ami a entendu un là-bas, en cage, faire des bruits comme un merle de Chopi [Gnorimopsar chopi]. Il a découvert qu'il avait été élevé avec des merles de Chopi et qu’il avait appris des éléments - sifflements et ronronnements - de leurs chants. C'était une jolie expérience faite par des amateurs d'oiseau, qui donne ce que je vois comme la preuve claire qu'un Araponga a appris ses sons des merles.
SA : Pourquoi trouvez-vous les l’Araponga si attrayants ?
DK : Il est difficile de penser objectivement une fois qu’on observe ces oiseaux parce qu'ils sont si charismatiques. Ils sautent à cloche-pied sur leurs perchoirs, se mettent en garde, se poussent entre eux en bas des perchoirs, ils se crient dans des oreilles, ils collent leurs têtes dans les bouches d'autres oiseaux. Ils sont simplement extraordinaires. La chose que je trouve excitante en tant que scientifique c'est que c'est seulement le quatrième groupe d'oiseaux au sujet desquels nous sommes documentées pour ce type d'étude vocale. Je pense qu'ils ouvrent une fenêtre sur les conditions dans lesquelles l'apprentissage vocal pourrait avoir évolué dans d'autres groupes ou espèces.
SA : Quels mystères de chant d'oiseaux voudriez vous résoudre dans votre vie ?
DK : Pourquoi les oiseaux acquièrent ils les sons de cette manière ? Pourquoi certains oiseaux apprennent ils et d'autres pas ? Les merles proches les uns des autres semblent avoir des chansons différentes, cela suggère qu'ils les composent probablement. Il doit y avoir une sorte de grand modèle évolutionnaire avec lequel tous ces oiseaux fonctionnent, et si nous en savions juste assez au sujet de leurs histoires de vie, mon sentiment tripal est que toute cette variété que nous voyons parmi des oiseaux commencerait à se comprendre.

Auteur: Fortean times

Info: Entrevue entre Donald Kroodsma et Jennifer Uscher, auteur scientifique indépendante de New York, spécialisée sur les oiseaux. Vers 2004

[ musique ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]