analyste-sur-analyste

Vous m’interrogiez sur sa sensibilité ou sur son ambition, etc. Voici un exemple : un jour, j’ai eu une discussion avec lui sur une question de théorie, et je lui ai dit que je ne pensais pas du tout comme lui. Alors il m’a répondu : "Mais si, ce doit être ainsi !" Et lorsque je lui ai demandé pourquoi, il s’est écrié : "Parce que, après tout, c’est moi qui l’ai pensé." Il pensait à quelque chose, et cette pensée le surprenait lui-même : alors, cela devait être vrai ! Carrément, ça ne pouvait qu’être vrai ! Et c’est ce qui m’a fait penser plus tard qu’au cours de sa vie émotionnelle – et il était très délicat et très sensible – il lui était arrivé d’être perturbé, gravement perturbé. Et qu’au départ ce n’était pas un penseur, pas du tout, il s’est mis à penser et à réfléchir dans un second temps, et encore avec difficulté.

Auteur: Jung Carl Gustav

Info: A propos de Freud, Entretien avec Kurt Eissler, 29 août 1953.

[ interprétation ] [ type psychologique ] [ fonction pensée inférieure ] [ antagonisme ]

lecture analytique FLP

FLP sera aussi éventuellement un moyen de voir combien - pour ce qui est du langage - nous sommes préprogrammés par nos familles-milieux-civilisations-époques et donc à quel point il est difficile de prendre quelque distance avec le carcan intégré de toutes les forces-pouvoirs sémantiques qui ont précédé afin de nous libérer quelque peu de toute l'inertie des dogmes fondateurs (Vedanta, Aristote, religions, modes, politiques, etc) et surtout de la logique duale - pulsionnelle - qui les sous-tend.

Ici en remettant en cause la linéarité des écrits, en cassant les lignes, puisque le lecteur observateur se retrouve face au collisionnement de pensées-mots horizontales, linéaires et subjectives, avec d'autres pensées-mots, verticales et objectivées par FLP (nuage de corrélat, liaisons, chaines). Ainsi l'application secoue le cocotier des habitudes du lire-réfléchir et surtout les ouvre (tente de mieux les coordonner ?), en les intriquant. 

Il y a ensuite une double action demandée au lecteur-analyste-inserteur. Une action qui prend du temps.

a) vers l'extérieur : en utilisant l'immense lexique multidimentionnel du Web afin de mieux comprendre le texte en vérifiant la ou les significations d'un mot (on tombe sur un terme créole pour, avec une astérisque, en donner le sens dans les infos). Ou aller au fond de l'étymologie. Ou pour croiser et recouper les sources, etc.

b) vers l'intérieur, en lisant attentivement, souvent plusieurs fois, parfois en reprenant un extrait plus tard. Ici on verra comment l'interprétation de nos pensées-mots et autres idées d'étiquettes peuvent être fugaces, instables, relatives... ondoyantes, subjectives... préformatées... Heureusement se dégage aussi une sorte de colonne vertébrale de notre pensée, en étant sincère avec nous-même, qui conduira la discussion intérieure vers le consensus. Vers l'intérieur aussi en usant de la machine en rétroaction, c'est à dire en prenant quelques mots-termes-vocables (souvent en n'usant que des radicaux des termes) pour une recherche FLP (et parfois, pourquoi pas, sur Google) pour ainsi comparer, et "voir" certaines situations-significations qui nous ont échappés pour ce qui est de la conjonction de ces items. Ou même de leur agencement et/ou de la grammaire.

Viennent ensuite les éventuelles discussions avec d'autres participants de FLP pour corriger, élargir et affermir le consensus sémantique. Mais stop.

Et puis il y a les textes que le participant des Fils de La Pensée traduit. Stop ici aussi.

Là encore nous ne résistons pas au plaisir de plaider pour une forme de logique élargie - indépendante de son propre langage - qui s'inspire du fonctionnement de l'atome du carbone duquel nous sommes tous issus. Cette logique en base 4, offre la souplesse de fonctionnement sans pareille d'un double dualisme invertible. Elle nous aidera peut-être à avancer en tant que race soi-disant intelligente. Allons savoir.  Au-delà de C. S. Peirce, nous essayons d'aller dans ce sens.

Tétravalence qui, dans ce grand jeu exploratoire et tâtonnant de FLP et de la vie orthogonale (qui individualise et généralise en même temps), pourra être mise en analogie, entre autres, avec le double dualisme homme-femmes. Ou avec les règles de base du contrepoint musical. Voire, plus simplement, avec le système dentaire d'une immense partie du monde vivant (machoires inférieures et supérieures qui matérialisent un double système inversé).

Auteur: Mg

Info: septembre 2022

[ prospective ] [ citation s'appliquant à ce logiciel ] [ slow slow thinking ] [ réflexion ] [ profondeur ] [ distanciation ] [ pré-mémétique ]

neuroscience

La conscience est un continuum et les scientifiques commencent à le mesurer

Une nouvelle technique aide les anesthésiologistes à suivre les changements dans les états de conscience

Que signifie être conscient ? Les gens réfléchissent et écrivent sur cette question depuis des millénaires. Pourtant, de nombreux aspects de l’esprit conscient restent un mystère, notamment la manière de le mesurer et de l’ évaluer. Qu'est-ce qu'une unité de conscience ? Existe-t-il différents niveaux de conscience ? Qu'arrive-t-il à la conscience pendant le sommeil, le coma et l'anesthésie générale ?

En tant qu’anesthésiologistes, nous réfléchissons souvent à ces questions. Nous promettons chaque jour aux patients qu’ils seront déconnectés du monde extérieur et de leurs pensées intérieures pendant l’opération, qu’ils ne conserveront aucun souvenir de l’expérience et qu’ils ne ressentiront aucune douleur. Ainsi, l’anesthésie générale a permis d’énormes progrès médicaux, depuis les réparations vasculaires microscopiques jusqu’aux greffes d’organes solides.

En plus de leur impact considérable sur les soins cliniques, les anesthésiques sont devenus de puissants outils scientifiques pour sonder les questions relatives à la conscience. Ils nous permettent d’induire des changements profonds et réversibles dans les états de conscience et d’étudier les réponses cérébrales lors de ces transitions.

Mais l’un des défis auxquels sont confrontés les anesthésiologistes est de mesurer la transition d’un état à un autre. En effet, bon nombre des approches existantes interrompent ou perturbent ce que nous essayons d'étudier. Essentiellement, l’évaluation du système affecte le système. Dans les études sur la conscience humaine, déterminer si une personne est consciente peut éveiller la personne étudiée, ce qui perturbe cette évaluation même. Pour relever ce défi, nous avons adapté une approche simple que nous appelons la méthode respirer-squeeze. Cela nous offre un moyen d'étudier les changements de l'état de conscience sans les interrompre.

Pour comprendre cette approche, il est utile de considérer quelques enseignements issus d’études sur la conscience qui ont utilisé des anesthésiques. Depuis des décennies, les chercheurs utilisent l’électroencéphalographie (EEG) pour observer l’activité électrique dans le cerveau de personnes recevant divers anesthésiques. Ils peuvent ensuite analyser cette activité avec des lectures EEG pour caractériser les modèles spécifiques à divers anesthésiques, appelés signatures anesthésiques.

Ces recherches révèlent que la plupart des médicaments anesthésiques ralentissent les rythmes cérébraux et augmentent leur taille, effets qui altèrent la communication entre les régions du cerveau. Par exemple, une étude récente a révélé que le propofol, le médicament le plus couramment utilisé pour l’anesthésie générale, perturbe la façon dont les régions du cerveau travaillent généralement ensemble pour traiter les informations sensorielles.

La conscience, comme le révèlent cette recherche et d’autres, n’est pas simplement un système binaire – activé ou désactivé, conscient ou inconscient – ​​mais plutôt quelque chose qui peut englober un continuum de différents états qui impliquent différents types de fonctionnement du cerveau. Par exemple, la conscience peut être connectée à l'environnement par le biais de nos sens et de notre comportement (conscience connectée), comme lors de la plupart de nos heures d'éveil, ou déconnectée de notre environnement (conscience déconnectée), comme lorsque nous rêvons pendant le sommeil.

L’inconscience – comme lorsqu’une personne est dans le coma – est plus difficile à étudier que la conscience connectée ou déconnectée, mais elle est généralement comprise comme un état d’oubli, vide d’expérience subjective ou de mémoire. Lorsque nous préparons un patient à une intervention chirurgicale, nous ajustons les niveaux d’anesthésie pour le rendre inconscient. Lorsqu’une personne est sous anesthésie générale, elle vit un coma temporaire et réversible pendant lequel elle ne ressent aucune douleur et après quoi elle n’aura plus aucun souvenir de son intervention.

Comprendre les transitions entre ces états est essentiel pour garantir des niveaux adéquats d’anesthésie générale et pour éclairer les questions de recherche en anesthésiologie, sur la conscience, le sommeil et le coma. Pour mieux cartographier la transition hors de la conscience connectée, nous avons récemment adapté une nouvelle approche pour surveiller la capacité d'une personne à générer des comportements volontaires sans incitation externe.

Généralement, les chercheurs suivent le début de la sédation en émettant des commandes verbales et en enregistrant les réponses comportementales. Par exemple, un scientifique peut périodiquement demander à quelqu’un d’ouvrir les yeux ou d’appuyer sur un bouton tout en recevant une perfusion anesthésique. Une fois que la personne cesse de répondre à cette commande, le scientifique suppose qu’elle a perdu la conscience connectée.

Cette technique s’est avérée utile pour contraster l’esprit conscient connecté et déconnecté. Mais lorsqu’il s’agit de comprendre la transition entre ces états, il y a plusieurs inconvénients. D’une part, le signal auditif n’est pas standardisé : l’inflexion et le volume de la voix, ce qui est dit et la fréquence à laquelle il est répété varient d’une étude à l’autre et même au sein d’une même étude. Un problème plus fondamental est que ces commandes peuvent éveiller les gens lorsqu’ils dérivent vers un état de déconnexion. Cette limitation signifie que les chercheurs doivent souvent attendre plusieurs minutes entre l’émission de commandes verbales et l’évaluation de la réponse, ce qui ajoute de l’incertitude quant au moment exact de la transition.

Dans notre étude, nous souhaitions une approche plus sensible et précise pour mesurer le début de la sédation sans risquer de perturber la transition. Nous nous sommes donc tournés vers une méthode décrite pour la première fois en 2014 par des chercheurs sur le sommeil du Massachusetts General Hospital et de l’Université Johns Hopkins. Dans ce travail, les enquêteurs ont demandé aux participants de serrer une balle à chaque fois qu'ils inspiraient. Les chercheurs ont suivi les pressions de chaque personne à l'aide d'un dynamomètre, un outil pour mesurer la force de préhension, et d'un capteur électromyographique, qui mesure la réponse musculaire. De cette façon, ils ont pu suivre avec précision le processus d’endormissement sans le perturber.

Pour notre étude, nous avons formé 14 volontaires en bonne santé à cette même tâche et présenté l’exercice de respiration en pressant comme une sorte de méditation de pleine conscience. Nous avons demandé aux participants de se concentrer sur leur respiration et de serrer un dynamomètre portatif chaque fois qu'ils inspirent. Après quelques minutes d'entraînement pour chaque personne, nous avons placé un cathéter intraveineux dans son bras pour administrer le sédatif et installé des moniteurs de signes vitaux et un équipé d'un capuchon EEG à 64 canaux pour enregistrer les ondes cérébrales tout au long de l'expérience.

Tous les participants ont synchronisé de manière fiable leurs pressions avec leur respiration pendant une période de référence initiale sans aucune sédation. Ils ont ensuite reçu une perfusion lente de dexmédétomidine, un sédatif couramment utilisé dans les salles d'opération et les unités de soins intensifs. À mesure que les concentrations cérébrales de dexmédétomidine augmentaient, les participants manquaient parfois une pression ou la prenaient au mauvais moment. Finalement, ils ont complètement arrêté de serrer.

Après quelques tests supplémentaires, nous avons arrêté la perfusion de dexmédétomidine, permettant ainsi aux participants de se remettre de la sédation. À notre grand étonnement, après une période de 20 à 30 minutes, tout le monde s'est souvenu de la tâche et a commencé à serrer spontanément en synchronisation avec sa respiration, sans aucune incitation. Cela nous a permis d'analyser à la fois le moment du début et du décalage de la sédation et de les comparer avec des études antérieures utilisant des commandes verbales pour évaluer la conscience.

La tâche de respiration et de compression est donc clairement une approche plus sensible pour mesurer la transition hors de la conscience connectée. Les participants ont arrêté d'effectuer la tâche à des concentrations de dexmédétomidine inférieures à celles auxquelles les personnes avaient cessé de répondre aux signaux auditifs dans d'autres études, soulignant les effets excitants des signaux externes sur le système. Ces résultats peuvent également indiquer que la conscience connectée peut être décomposée en comportements générés en interne (comme se rappeler de serrer une balle pendant que vous inspirez) et en comportements provoqués de l'extérieur (comme répondre à des commandes verbales) avec des points de transition distincts - une idée qui affine notre compréhension du continuum de la conscience.

Des recherches antérieures ont caractérisé l'apparence du cerveau dans des états de conscience connectée et déconnectée. Nous savions donc généralement à quoi s'attendre des enregistrements EEG. Mais nous étions moins sûrs de la façon dont notre technique pourrait s’aligner sur la transition cérébrale entre les états de conscience. Nous avons découvert un schéma très clair de changements dans le cerveau lorsque les gens arrêtent de serrer le ballon. De plus, nous n’avons vu aucune preuve que la tâche de compression perturbe l’état de conscience des personnes. L'EEG a également révélé un calendrier beaucoup plus précis pour ce changement que les travaux antérieurs, identifiant la transition dans une période environ 10 fois plus courte que ce qui était possible avec les signaux auditifs - une fenêtre de cinq à six secondes au lieu des 30 secondes. - à un intervalle de 120 secondes qui était courant dans les travaux antérieurs.

Comme avantage supplémentaire, nous avons été ravis de découvrir que de nombreux participants à notre étude appréciaient la tâche de respiration pressée comme moyen de se concentrer sur l'apaisement de leur esprit et de leur corps. Pour cette raison, nous avons également mis en œuvre la méthode dans la pratique clinique, c’est-à-dire en dehors d’études soigneusement contrôlées, lors de l’induction d’une anesthésie générale lors d’interventions chirurgicales majeures, qui peuvent autrement être une expérience stressante pour les patients.

Nous nous appuyons désormais sur ce travail en analysant nos données EEG, ainsi que les données d'imagerie par résonance magnétique structurelle (IRM) de nos volontaires. Ces connaissances sur le passage d’une conscience connectée à une conscience déconnectée peuvent aider à éclairer les soins cliniques des patients nécessitant une anesthésie pour une intervention chirurgicale, ainsi que de ceux qui souffrent de troubles du sommeil ou de coma. Ces études nous mettent également au défi de nous attaquer aux aspects plus philosophiques de la conscience et pourraient ainsi éclairer la question fondamentale de ce que signifie être conscient.

Auteur: Internet

Info: 26 janv, 2024    Christian Guay et Emery Brown

[ réveillé ] [ assoupi ] [ entendement ] [ présence ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]