chair-esprit

Le libre-arbitre existe-t-il ? Comment le cerveau déforme la réalité temporelle
Nous avons coutume de penser que nous sommes libres de décider et de choisir nos actes. Et pourtant, une série d'expériences de neurosciences jettent un doute sur ce qu'on a l'habitude d'appeler notre libre-arbitre.
Même si elles sont largement débattues, tant du point de vue de leurs résultats scientifiques que de l'interprétation philosophique qui en est donnée, ces expériences sont plutôt troublantes !
Libre-arbitre et activité neurologique
Nous avons tous une notion intuitive de ce qu'est le libre-arbitre. Sur le plan biologique, il peut être associé à la notion d'action volontaire, qui s'oppose à celle de réflexe. Alors que les réflexes empruntent des chemins neuronaux simples (comme un rapide circuit via la moelle épinière), les actions volontaires font intervenir de nombreuses aires cérébrales.
1983 : L'expérience fondatrice de Benjamin Libet*
Dans l'expérience de Libet, on vous place devant une horloge qui défile rapidement, et on vous donne un bouton sur lequel vous pouvez appuyer au moment qui vous plaira. La seule chose qu'on vous demande c'est de retenir le nombre indiqué par l'horloge au moment où vous prenez votre décision d'appuyer. Dans le même temps, des électrodes placées sur votre crâne suivent votre activité cérébrale.
Ce dispositif permet de mesurer 1) le moment où vous prenez la décision d'appuyer, 2) le moment où votre cerveau commence à s'activer, et 3) le moment où vous appuyez physiquement sur le bouton. Et la découverte spectaculaire de Libet, c'est que l'activation cérébrale précède la décision consciente, et ce de plusieurs centaines de millisecondes.
Interprétée de manière brute, l'expérience de Libet semble condamner le libre-arbitre : vous avez l'impression de décider d'appuyer à un certain moment, mais votre cerveau a déjà décidé depuis presque une demi-seconde ! Comment puis-je être libre de décider quelque chose, si au moment où j'ai conscience de choisir, mon cerveau a déjà commencé à agir ? Comme on peut s'en douter, cette expérience possède de nombreux points faibles que les spécialistes n'ont pas été longs à relever.
Il y a tout d'abord les incertitudes de mesure, puisqu'on parle ici d'un écart de seulement quelques centaines de millisecondes. Ensuite le fait que l'estimation du moment de décision par le sujet lui-même n'est certainement pas très fiable : elle est subjective et l'horloge peut constituer une source de distraction et donc d'erreur. Enfin, le signal électrique relevé dans le cerveau pourrait être simplement un signal "préparatoire", qui indique que le cerveau s'active mais qui ne détermine pas spécifiquement la décision que l'on va prendre.
Bref, il y a plein de critiques à faire à l'expérience de Libet, et qui permettent de se rassurer quant à l'existence de notre libre-arbitre. Tout va bien donc, jusqu'à une nouvelle expérience réalisée en 2008, et qui s'affranchit de la plupart de ces critiques.
Dans cette nouvelle expérience, plusieurs choses diffèrent par rapport au protocole de Benjamin Libet. Tout d'abord, le sujet dispose de 2 boutons, un dans sa main gauche et un dans sa main droite. Il peut appuyer quand il le souhaite, soit à gauche soit à droite. Ensuite, le cerveau du sujet est suivi cette fois dans une IRM, ce qui permet d'observer simultanément l'activité de tout un ensemble d'aires cérébrales.
Et le moins que l'on puisse dire, c'est que les résultats de cette expérience sont perturbants. D'une part, l'IRM révèle qu'une activité cérébrale préparatoire existe 7 à 10 secondes AVANT que le sujet ne prenne sa décision d'appuyer. Encore plus troublant, cette activité cérébrale permet dans une bonne mesure de prédire de quel côté le sujet va appuyer.
Oui oui, vous avez bien lu, plusieurs secondes avant que vous soyiez conscient de choisir, votre cerveau a déjà décidé entre droite et gauche, et l'IRM peut révéler le côté qui sera choisi !
Pour modérer un peu ce résultat apparemment catastrophique pour notre libre-arbitre, il faut noter que la prédiction faite par l'IRM est loin d'être infaillible, puisqu'elle fonctionne au mieux dans 60% des cas, ce qui est significativement mieux que le hasard, mais reste tout de même limité.
Quelle conclusion raisonnable tirer de ces expériences ?
Il faut savoir qu'il n'existe chez les scientifiques et les philosophes aucun consensus quant à l'interprétation de ces expériences. Pour certains comme Patrick Haggard, le libre-arbitre n'existe tout simplement pas, il affirme "We feel that we choose, but we don't". Pour d'autres, au contraire, ces expériences n'ont aucune valeur, "Circulez ya rien à voir !".
Une position intermédiaire raisonnable c'est d'admettre que ces expériences montrent au moins que nos intentions ne sont pas systématiquement à l'origine de nos actions. Les processus inconscients jouent peut être un plus grand rôle que nous ne pouvions le penser, et la conscience d'une décision est un phénomène qui se construit au cours du processus de décision, pas à son origine.
Comme cette conclusion prudente semble quand même en mettre un coup à notre vieille notion de libre-arbitre, une manière de se rassurer c'est de considérer que notre cerveau prépare nos décisions assez en avance par rapport à notre conscience, mais qu'il nous laisse jusqu'au dernier moment un droit de veto. Il semblerait qu'une des fonctions de cette aire appelée SMA soit justement de pouvoir inhiber certaines actions décidées et préparées en amont. Donc jusqu'au dernier moment, on aurait le choix de ne pas faire. C'est ce que les anglo-saxons appellent le "free won't", par analogie au libre-arbitre appelé "free will".
Pour d'autres philosophes comme Dan Dennett, ces expériences sont correctes, mais elles ne sont pas incompatibles avec le libre-arbitre. Ces philosophes adhèrent à une position appelée compatibilisme, selon laquelle la réalité est totalement déterministe mais le libre-arbitre existe quand même. J'avoue que je ne comprends pas ce que ça signifie, et que pour moi ça ressemble beaucoup à une posture de façade "pour sauver les meubles". Ce qu'on peut comprendre car si le libre-arbitre était vraiment réfuté, les conséquences pour la société pourraient être terribles.
Les implications morales de l'absence de libre-arbitre
Imaginons que l'on montre scientifiquement que le libre-arbitre n'existe pas, alors on est mal car toutes nos lois et notre droit reposent sur la notion de responsabilité individuelle : nous sommes responsables de nos actes car nous sommes libres de les accomplir ou pas.
D'ailleurs en droit, pour être puni d'un crime, il faut qu'il y ait à la fois l'intention et l'action. La pensée n'est pas un crime, donc si vous avez juste l'intention de commettre un forfait, on ne peut pas vous condamner pour ça (encore que ce ne soit pas totalement vrai, notamment dans le cas de la préparation d'actes terroristes). Réciproquement, si quelqu'un commet un crime mais est jugé irresponsable, il ne sera pas condamné. Donc si le libre-arbitre n'existe pas, nous sommes tous irresponsables de nos actes et toutes nos structures juridiques s'effondrent !
Ceci a amené Dan Dennett à mettre en garde les scientifiques à ne pas trop faire d'annonces intempestives au sujet de leurs expériences sur le libre-arbitre !...
Pour aller plus loin...
Il faut ajouter un commentaire sur ce résultat de 60% de prédiction du côté gauche/droit quand on fait l'IRM. Cela peu paraître peu, bien peu. Mais songez que l'IRM est loin d'être en général un prédicteur parfait de nos actes. Ce qu'ont notamment montré les auteurs, c'est que même en utilisant l'information disponible dans le cortex moteur après la prise de décision et pendant le mouvement, on n'arrivait à correctement prédire le côté que dans 75% des cas. Alors qu'en théorie on devrait être capable de le faire à 100%. Cela montre que l'IRM est une information peut être trop agrégée pour permettre une prédiction très fiable.
Ainsi une récente étude montre qu'en faisant un suivi individuel de neurones avec des électrodes implantées dans le cerveau (plutôt qu'une IRM), on peut prédire le résultat avec une acuité de 80%, et ce 700 millisecondes avant la décision consciente. Tout ça pour dire que rien ne nous met à l'abri de futures expériences avec de meilleurs systèmes de mesure et de prédiction, qui pourraient deviner nos décisions 5 secondes en avance avec 90% de fiabilité.
Pour finir sur un peu de philo, ces expériences semblent au moins réfuter le modèle dualiste du corps et de l'esprit. Dans ce modèle popularisé par Descartes, l'esprit existe indépendamment du corps, et est capable de le contrôler. Si cette vision était correcte, alors le sentiment d'avoir l'intention d'agir (qui viendrait de l'esprit) devrait précéder les manifestations cérébrales et musculaires (du corps). Il paraît que les philosophes dualistes, ça n'existe plus, mais malgré tout la vision dualiste reste probablement la plus reflétée dans le langage commun, quand on dit "JE décide" (esprit), mais "le cerveau s'active" et "le muscle bouge" (corps).

Auteur: Internet

Info: sciencetonnante.wordpress.com,*voir aussi les expériences de Walter Grey

[ sciences ]

littérature

Les 19 lois du bon polar, selon Borges.

Le grand écrivain argentin s'était amusé à codifier la narration policière. En partenariat avec le magazine BoOks.

Dans son article "Lois de la narration policière" (1), de 1933, Jorge Luis Borges propose quelques règles élémentaires, ou "commandements", pour le récit policier classique. Ces conventions, comme il le remarque avec esprit, "ne visent pas à éluder les difficultés, mais plutôt à les imposer". Borges énonce explicitement les six règles suivantes:

1 : Une limite facultative de ses personnages

Les personnages doivent être peu nombreux et bien définis, de façon que lecteur puisse les connaître et les distinguer. "La téméraire infraction à cette loi est responsable de la confusion et de l'ennui fastidieux de tous les films policiers."

2 : Exposition de toutes les données du problème

On doit mettre toutes les cartes sur la table, sans as sortis de la manche à la dernière minute. À partir d'un certain point, le lecteur devra disposer de toutes les pistes nécessaires pour trouver lui-même la solution. "L'infraction répétée de cette deuxième loi est le défaut préféré de Conan Doyle. Il s'agit parfois de quelques imperceptibles particules de cendre, ramassées dans le dos du lecteur par ce privilégié d'Holmes. Parfois l'escamotage est plus grave. Il s'agit du coupable, terriblement démasqué au dernier moment, qui s'avère être un inconnu : une insipide et maladroite interpolation."

3 : Avare économie de moyens

Qu'un personnage se dédouble, on peut l'admettre, dit Borges. Mais que deux individus en contrefassent un troisième pour lui conférer un don d'ubiquité "court le risque incontestable de paraître une surcharge". La solution doit être la plus claire et nette possible, sans lourdeurs techniques, artifices improbables ou déploiements accablants de mouvements et de détails. La solution doit aussi pouvoir se déduire des ressources déjà mises en jeu, comme réorganisation des éléments connus.

4 : Primauté du comment sur le qui

Le véritable mystère d'un bon whodunit(2) n'est pas le nom de celui qui a commis le crime, mais ce que sera le nouvel ordre logique, plus subtil, la vérité souterraine qui éclaire le récit d'un nouveau jour.

5 : Pudeur de la mort

À la différence des thrillers du cinéma contemporain, où l'imagination cherche à concevoir des crimes de plus en plus sanglants et des cadavres de plus en plus choquants, dans le récit policier classique, la mort est comme une ouverture au jeu d'échecs et n'a pas en soi beaucoup d'importance. "Les pompes de la mort n'ont pas leur place dans la narration policière dont les muses glaciales sont l'hygiène, l'imposture et l'ordre", écrit Borges.

On trouve une transgression exemplaire de cette loi dans "le Noël d'Hercule Poirot"(3), d'Agatha Christie. Ce roman, comme on le comprend dans la dédicace, est conçu comme un défi, son beau-frère lui ayant reproché d'éviter le sang dans ses crimes. "Vous y déploriez que mes meurtres deviennent trop épurés - exsangues, pour parler net. Vous y réclamiez un de ces bons vieux meurtres bien saignants. Un meurtre qui, sans l'ombre d'un doute, en soit bien un." Le plus remarquable est peut-être que, dans ce crime esthétiquement opposé aux précédents, Agatha Christie reste elle-même: le cri terrifiant, la scène brutale du meurtre, le sang abondamment répandu sont des clés de l'élucidation finale.

6 : Nécessité et merveilleux dans la solution

"La première implique que le problème soit un problème précis susceptible d'une seule réponse, l'autre requiert que cette réponse puisse émerveiller le lecteur." Cette sensation de merveilleux, précise Borges, ne doit pas faire appel au surnaturel. La solution d'une énigme policière doit être comme la démonstration d'un théorème complexe: difficile à imaginer à partir des prémisses, mais dont la nécessité s'impose par la rigueur d'une explication parfaitement logique. En plus de ces six axiomes déclarés, Borges en postule indirectement certains autres dans son article: Le véritable récit policier repousse - ai-je besoin de le préciser - avec le même dédain les risques physiques et la justice distributive. Il fait abstraction, avec sérénité, des cachots, des escaliers secrets, des remords, de la voltige, des barbes postiches, de l'escrime, des chauves-souris, de Charles Baudelaire et même du hasard. Il découle de ce passage trois règles supplémentaires :

7 : Dédain des risques physiques

Dans ce dédain des risques physiques réside l'une des principales différences avec le roman noir ou le thriller cinématographique. Borges observe que, dans les premiers exemples du genre, "l'histoire se limite à la discussion et à la résolution abstraite d'un crime, parfois à cent lieues de l'événement ou bien éloignée dans le temps". Isidro Parodi, le détective qu'il imagina avec Bioy Casares, résout les énigmes alors qu'il est enfermé dans une prison. Dans les aventures de Sherlock Holmes comme dans celles d'Hercule Poirot, la vie du détective est parfois en danger imminent, mais ces risques sont éphémères et ne constituent jamais la matière narrative principale, sauf peut-être dans leurs dernières enquêtes. C. Auguste Dupin, la vieille Miss Marple, le père Brown et Perry Mason(4) sont tous des exemples de détectives à l'abri des risques physiques.

8 : Renoncement aux considérations ou jugements moraux

Sur la question de la "justice distributive", "la Huella del crimen" de Raúl Waleis, premier roman policier argentin (il date de 1877 et a été récemment réédité - (5)), avait l'intention déclarée de favoriser une nouvelle législation, à travers l'exposé d'une affaire mettant en évidence une faille dans la justice: "Le droit est la source où je puiserai mes arguments. Les mauvaises lois doivent être dénoncées pour les effets que produit leur application. Je crée le drame auquel j'applique la loi en vigueur. Ses conséquences fatales prouveront la nécessité de la réformer. " Les enquêtes de Perry Mason et les récits de Chesterton témoignaient peut-être d'un certain attachement aux canons de la justice et aux considérations morales sur les innocents et les coupables.

9 : Rejet du hasard

À cet égard, citons les intéressantes réflexions de Patricia Highsmith, qui ne craint pas de mettre à l'épreuve la crédulité du lecteur: " J'aime beaucoup qu'il y ait dans l'intrigue des coïncidences et des situations presque (mais pas entièrement) incroyables comme par exemple le plan audacieux qu'un homme propose à un autre qu'il connaît depuis deux heures à peine dans "L'Inconnu du Nord-Express". [...] L'idéal est que les événements prennent une tournure inattendue, en gardant une certaine consonance avec le caractère des personnages. La crédulité du lecteur, son sens de la logique - qui est très élastique -, peut être étirée au maximum, mais il ne faut pas la rompre " ("L'Art du suspense" (6), chap. 5). Le hasard peut survenir dans la narration comme ellipse, tout comme, dans les comédies, on accepte qu'une porte s'ouvre pour laisser sortir un personnage et qu'un autre apparaisse aussitôt. Ou comme le catalyseur d'une circonstance propice à l'accomplissement d'un crime quand le mobile n'est pas très affirmé. C'est ce qui arrive, par exemple, avec l'apparition d'un parent éloigné, dans "Paiement différé" (7) de Cecil Scott Forester. En revanche, le hasard ne devrait pas jouer un rôle décisif dans l'explication finale. À noter que, dans la nouvelle de Borges "la Mort et la Boussole", c'est un accident fortuit, une mort inattendue, qui donne à l'assassin l'idée de la série de meurtres qu'il va commettre. D'autres règles peuvent encore être tirées de l'article de Borges :

10 : Méfiance ou rejet des procédures de l'investigation policière

"Les démarches quotidiennes des investigations policières - empreintes digitales, torture et délation - sembleraient ici des solécismes." L'enquête policière appartient à l'ordre prosaïque des faits et du bon sens. C'est ce qui établit la différence entre le plan de l'enquête officielle de la justice et l'enquête parallèle, de l'ordre de la fiction - à l'écart des critères et des paramètres usuels -, que mène le détective. Dans "la Mort et la Boussole", ironiquement, le policier et le détective ont tous deux raison, mais chacun à sa manière.

11 : L'assassin doit appartenir à la distribution initiale des personnages

"Dans les récits honnêtes, écrit Borges, le criminel est l'une des personnes qui figurent dès le début."

12 : La solution doit éviter le recours au surnaturel, qui ne peut être invoqué que comme une conjecture transitoire à écarter

La réponse doit émerveiller le lecteur "sans faire appel bien sûr au surnaturel, dont l'usage dans ce genre de fiction est un alanguissement et une félonie. Chesterton réalise toujours le tour de force de proposer une explication surnaturelle et de la remplacer ensuite, sans perdre au change, par une autre, toute naturelle."

13 : La solution ne peut comporter des éléments inconnus du lecteur

"Sont également prohibés [...] les élixirs d'origine inconnue." Voici donc les règles énoncées par Borges dans son article. Nous pourrions en rajouter quelques autres :

14 : Omission de la vie privée du détective et de ses aventures sentimentales ou sexuelles

Règle enfreinte dans tous les films policiers, où immanquablement l'enquêteur divorce, mène une existence malheureuse et a une liaison avec l'actrice principale.

15 : Dans le cas d'un double ou triple dénouement, il doit y avoir une progression, chaque fin surpassant la précédente en ingéniosité et en rigueur

Comme dans la règle des trois adjectifs que mentionne Proust à propos des salons de la bonne société française, le troisième est tenu de surpasser les deux premiers.

16 : Le meurtrier ne peut être le majordome (à moins d'être dans un congrès de majordomes)

L'assassin ne peut être un personnage trop secondaire, maintenu en permanence caché, comme une carte que l'on garde pour la fin.

17 : L'assassin ne peut être l'immigré ou le fanatique religieux ou le suspect d'extrémisme politique

Règle toujours soigneusement respectée par Agatha Christie. Les mobiles du meurtre doivent être intimes et le meurtrier doit appartenir au noyau dur de l'histoire. Cette règle est négligée de manière particulièrement décevante dans "Meurtriers sans visage", de Henning Mankell.

18 : L'assassin ne doit pas être le narrateur

Règle admirablement transgressée par Agatha Christie dans "le Meurtre de Roger Ackroyd" et, de manière plus prévisible, par Tchekhov dans "la Confession".

19 : L'assassin ne doit pas être l'enquêteur

Règle non respectée par Agatha Christie dans "le Noël d'Hercule Poirot" et par Juan José Saer dans "l'Enquête". Pourrait-on encore allonger cette liste ? Assurément. Mais cela créerait peut-être une fausse illusion, l'illusion que le genre peut être circonscrit et réduit à un formalisme d'axiomes, à une liste de règles et de procédés. Une illusion symétrique et tout aussi erronée - bien que prisée dans les tables rondes, car elle permet la pose iconoclaste et les métaphores guerrières - veut que le genre doit être dynamité, qu'il faut faire voler en éclats toutes les règles, que les lois sont faites pour être violées. Quiconque s'y est essayé sait en tout cas qu'il est difficile, sinon impossible, de se défaire de toutes à la fois, et qu'il y a dans le genre policier une tension extraordinaire entre ce qui a déjà été dit, entre la rhétorique accumulée dans des milliers de romans, et ce qui reste encore à dire, à la limite des règles. Les lois sont, en ce sens, comme une barrière que l'astuce et la créativité doivent franchir. Dans une des très rares occasions où Borges conçoit un projet de roman (dans l'article "è vero, ma non troppo", paru en 1938 dans la revue "El Hogar") ce n'est pas un hasard s'il choisit, entre tous les genres littéraires, le roman policier. Le sien serait, dit-il, "un peu hétérodoxe". Et il souligne que c'est là un point important, car "le genre policier, comme tous les genres, vit de l'incessante et délicate infraction à ses lois". Oui, la délicate infraction à ses lois.

Auteur: Martinez Guillermo

Info: Texte paru dans le quotidien argentin La Nación, le 15 août 2009, traduit de l'espagnol par François Gaudry

[ recettes ] [ écriture ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]