mirage

L'illusion est irrésistible. Derrière chaque visage, il y a un soi. Nous voyons un signal de sa conscience dans cet œil étincelant et imaginons un espace éthéré sous la voûte de ce crâne, espace qu'éclairent de changeants modèles de sentiments et de pensées, tous emplis de desseins. Une essence. Mais que trouve t-on dans cet espace derrière le visage, quand on regarde ? Le fait brutal est qu'il n'y a rien d'autre que de la substance matérielle : de la chair, du sang, des os et du cerveau... Vous examinez cette tête ouverte, regardez ce cerveau palpiter, contemplez le chirurgien en train de bidouiller tout ça et saisissez avec une conviction absolue qu'il n'y a rien de plus. Il n'y a personne ici.

Auteur: Metzinger Thomas

Info: Being No One: The Self-Model Theory of Subjectivity

[ individualité ]

être humain

La plupart des horreurs commises à mon époque (voilà que je tournais au philosophe) n'étaient pas l'oeuvre d'hommes mauvais déterminés à commettre des actes mauvais. C'étaient plutôt les actes d'hommes comme moi. Des hommes avec des critères moraux et esthétiques d'un ordre supérieur- quand cela les prenait. Des hommes qui savaient distinguer le bien du mal et qui agissaient pour le bien, quand ils étaient dans cet état d'esprit. Mais des hommes qui n'avaient pas d'amarres pour maintenir ces convictions et ces critères en place. Des hommes sujets aux humeurs et aux vents changeants, condamnés à se retourner complètement quand une autre humeur, contradictoire, leur tombait dessus. Ils trouveraient toujours, ces hommes lunatiques, une façon de justifier leurs actions et d'en assumer les conséquences. La terminologie qu'ils utilisaient pour justifier leurs crimes était, pour une large part, le fondement de ce que nous appelons l'Histoire.

Auteur: Tesich Steve

Info: Karoo

[ instable ] [ justification ]

portrait

Mais la plus aimable convive était la jeune duchesse de D…, dont l’esprit alerte et clair, jamais inquiet ni troublé, contrastait si étrangement avec l’incurable mélancolie de ses beaux yeux, le pessimisme de ses lèvres, l’infinie et noble lassitude de ses mains. Cette puissante amante de la vie sous toutes ses formes, bonté, littérature, théâtre, action, amitié, mordait sans les flétrir, comme une fleur dédaignée, ses belles lèvres rouges, dont un sourire désenchanté relevait faiblement les coins. Ses yeux semblaient promettre un esprit à jamais chaviré sur les eaux malades du regret. Combien de fois, dans la rue, au théâtre, des passants songeurs avaient allumé leur rêve à ces astres changeants ! Maintenant la duchesse, qui se souvenait d’un vaudeville ou combinait une toilette, n’en continuait pas moins à étirer tristement ses nobles phalanges résignées et pensives, et promenait autour d’elle des regards désespérés et profonds qui noyaient les convives impressionnables sous les torrents de leur mélancolie. Sa conversation exquise se parait négligemment des élégances fanées et si charmantes d’un scepticisme déjà ancien. 

Auteur: Proust Marcel

Info: Un dîner en ville

[ contrastes ] [ femme captivante ]

désert

Quel soulagement, quelle joie toute physique, cette arrivée à l'ombre, où la brise est un peu fraîche, où nos yeux douloureux se reposent sur le vert profond des beaux palmiers, sur les grenadiers aux fleurs de sang et sur les lauriers roses en touffes. Après l'eau de mensonge [le mirage], le goût de la vérité. Nous nous étendons à terre, pour n'entrer à Béchar que vers le soir, après la sieste.
Djilali s'endort, et moi je regarde ce décor nouveau qui ressemble à d'autres que j'ai aimés, qui m'ont révélé le charme mystérieux des oasis. J'y retrouve aussi cette légère odeur de salpêtre, si spéciale aux palmeraies humides, cette odeur de fruit coupé qui pimente tous les autres parfums de la vie à l'ombre.
Dans la quiétude profonde de cette clairière isolée, d'innombrables lézards d'émeraude et des caméléons changeants se délectent dans les taches de soleil, étalés sur les pierres. Pas un chant d'oiseau, pas un cri d'insecte. Quel beau silence! Tout dort d'un lourd sommeil, et les rayons épars glissent entre les hauts troncs des dattiers comme des chevelures de rêve...

Auteur: Eberhardt Isabelle

Info: Montagne de lumière, Dans l'ombre chaude de l'islam

incarnations

Où qu’elle jette le regard dans la gigantesque fabrique il y avait un spécimen particulier d’être vivant, immobile dans un espace à sa taille en train d’être traité. A y regarder avec attention, il y avait certaines espèces qu’elle ne reconnaissait pas. Des êtres pas morts mais figés. Avec une intense activité autour. Des robots insectoïdes tout ronds, suintant une musique moirée qui passait du vert au violet sans qu'on comprenne comment, s'occupaient de chaque corps. Elle comprit que les être bizarres procédaient au "réglage" de ce qui était pour eux des machines organiques vivantes. Les insectes arrondis aux reflets changeants introduisaient dans chaque modèle la quantité de stress-énergie correspondant à ses paramètres de vie : taille, type d'environnement, nombre de membres, etc... Avant de procéder à d'infinis réglages de manière à ce que le "prototype" soit adapté à son biotope. Elle comprenait très bien que chacun était vérifié et adapté un grand nombre de fois durant son existence. Alors elle réalisa qu’une voix lui expliquait tout. Non pas sa propre intelligence mais une parole, ou un son, elle ne savait… qui commentait les scènes comme dans un documentaire télé multidimensionnel. La voix expliquait que les êtres traités n’étaient que des "conditionnements momentanés", bouts d’âme convertis en matière avec autonomie afin de créer le réel dans lequel elle vivait. La voix expliqua aussi qu'Eva avait dû quitter le stade émotionnel parce qu'il le fallait pour pouvoir atteindre ce niveau de compréhension. Puis elle se vit elle-même, allongée dans la capsule jaune clair du MP qui l'avait tant de fois transportée d'un bout à l'autre de la planète. Sauf qu’elle était morte, comme placée dans un cercueil.

Auteur: Mg

Info: Trio B, tome 3 - août 2013

[ science-fiction ] [ niveau de réalité différent ] [ synesthésie ]

musique

La complexe magnificence du contrepoint de Bach, malgré une symétrie parfois trop apparente voire mécanique, m'émeut. Probablement parce qu'il y a ici la perception de notre petitesse, de nos limites au sein de l'extraordinaire intrication des choses de la nature. Et les cathédrales sonores du maître semblent sans frontières, à l'instar du cosmos. En poussant aussi loin l'art de la conjugaison des sons Bach a démontré la puissance et la beauté que peut produire l'intellect humain lorsqu'il fait coïncider passion et discipline de fer, sans crainte ni limitation aucune dans sa quête. Il a créé une sorte de monde intermédiaire, onirique, titanesque diamant scintillant de millions de facettes, facettes aux reflets changeants puisqu'animées par des interprètes de chair. Un monde mathématique soyeux qui préfigure de fait l'espace dodécaphonique qu'apportèrent Schoenberg, Berg et Webern, même si ce système stérile et trop austère est probablement arrivé trop tôt pour des humains pas encore assez éduqués ou raffinés. En captant notre esprit et en le libérant, ce monde intermédiaire de Bach nous fait entrevoir par contraste combien la vie est un combat lourd parce que subordonnée au poids de la chair dans sa lutte souvent trop répétitive et monotone de tous les jours.

Cette élévation spirituelle, en nous présentant quelque chose qui ressemble à l'immuable, révèle simultanément la grandeur de l'homme, et sa petitesse devant l'extraordinaire et raffiné équilibre, sans cesse mouvant, qu'offre la réalité ordonnée par ses sens. L'ordre des hommes est souvent haïssable parce que trop compréhensible. Celui de la nature merveilleux parce qu'infini et au-delà de notre compréhension. L'univers intermédiaire de Bach, développé humblement par un allemand puissant et équilibré qui voulait célébrer la création et surtout le Créateur, nous subjugue, nous bouleverse, et nous aide à vivre.

Auteur: Mg

Info: 22 mai 2016

[ éloge ] [ classique ] [ triade ] [ technique ] [ miroir anthropique ]

totalitarisme

Cette concentration des pouvoirs aux mains d’une assemblée ou d’un homme, à laquelle aboutit involontairement le régime représentatif, l’avènement de la démocratie vient la rendre plus facile et plus redoutable. Moins étroit est le cercle des franchises électorales, moins restreint le nombre des citoyens admis à choisir les délégués du peuple, et plus les représentants de la nation, s’autorisant de leur origine, tendent à se confondre avec elle, à s’approprier sa souveraineté, à tout se croire permis au nom de ce peuple, qu’ils prétendent incarner. Erigeant à leur profit les volontés supposées de la nation en loi absolue et en vérité infaillible, ils ne tolèrent aucune résistance aux caprices passagers de majorités omnipotentes. Sous l’aveugle impulsion de la démagogie radicale, on peut voir ainsi le régime représentatif dégénérer pratiquement en absolutisme impersonnel d’autant plus impérieux qu’il s’exerce au nom de la nation entière, d’autant plus dangereux et difficile à secouer qu’il conserve les formes extérieures des institutions libres et que, sous ce déguisement, il peut faire illusion aux yeux grossiers, se couvrir devant le peuple du masque du bien public et des intérêts mêmes de la liberté. "Quand une fois, dit Bossuet, on a trouvé le moyen de prendre la multitude par l’appât de la liberté, elle suit en aveugle, pourvu qu’elle en entende seulement le nom." Trop souvent, en effet, l’apparence lui en suffit. Elle se vante de la posséder quand elle n’en garde que l’ombre. Elle ne la comprend même pas toujours. Elle identifie la liberté avec le pouvoir, et s’imaginant être libre dès qu’elle peut tout, elle traite en ennemis de la liberté les hommes assez osés pour braver sa puissance.

Contre ce despotisme du nouveau souverain collectif, contre cette menaçante absorption des pouvoirs publics, les pays les mieux prémunis sont naturellement les états à constitution fédérative ou à forte vie locale. Ceux-là puisent dans les institutions ou dans les mœurs de quoi résister au joug niveleur des maîtres changeants que se donne la faveur populaire. J’oserai donc dire que, sous le gouvernement représentatif, tout comme dans les monarchies d’ancien régime, avec la démocratie non moins que dans les sociétés hiérarchiques, la première condition de la liberté, ou mieux l’unique garantie quelque peu efficace des institutions libres, c’est encore la décentralisation et le renforcement de la vie locale. Or, cette vie locale, là même où elle a le plus de racines dans les traditions, la démocratie et son complaisant auxiliaire, le pseudo-libéralisme bureaucratique, semblent travailler d’instinct à l’affaiblir, à l’énerver, à l’étouffer, comme si leur idéal, aussi bien que celui de nos anciens rois, était de tout abattre et de tout uniformiser pour être mieux à même de tout régenter.

Auteur: Leroy-Beaulieu Anatole

Info: Les mécomptes du libéralisme, Revue des Deux Mondes, 3e période, tome 69, 1885

[ politique ] [ conséquences ] [ remède ]

cybernétique

Comment utiliser la puissance collective des mini-robots pour créer des motifs inspirés de la nature.
Les scientifiques ont démontré comment des essaims de robots minuscules pouvaient être programmés comme des cellules pour former des formes ensemble en s'appuyant sur les interactions avec leurs voisins.

Imaginez un avenir où des centaines ou des milliers de petits robots balayeront le terrain après une catastrophe naturelle. Imaginez-vous opéré(e) par des nano-robots qui pratiquent une chirurgie interne. Un jour une telle technologie pourrait être disponible grâce à la recherche mettant en œuvre les principes biologiques de l'auto-organisation en robotique à essaims.

Soutenus par le projet SWARM-ORGAN financé par l'UE les scientifiques ont montré comment des centaines de mini-robots pouvaient utiliser les mécanismes génétiques et cellulaires régissant la morphogénèse biologique précoce. Leurs conclusions ont été publiées récemment dans la revue "Science Robotics".

L'article explique le concept: "La morphogenèse permet à des millions de cellules de s'auto-organiser en structures complexes et prendre des formes fonctionnelles très variées pendant le développement embryonnaire. Ce processus émane des interactions locales de cellules sous le contrôle de circuits génétiques identiques dans chaque cellule, résistants au bruit intrinsèque, et capables de s'adapter à des environnements changeants." Comme indiqué dans le même article, ces attributs offrent "de véritables opportunités dans les applications robotiques en essaim allant de la construction à l'exploration".

Il conclut: "Les résultats montrent des essaims de 300 robots qui s'auto-construisent en des formes organiques et modulables, résistant aux dommages. C'est un pas vers l'émergence de la formation de formes fonctionnelles dans les essaims de robots suivant les principes de l'ingénierie morphogénétique auto-organisée."

La technologie humaine inspirée par la nature
Le Dr James Sharpe chef de l'unité Barcelonnaise du Laboratoire européen de biologie moléculaire a déclaré: "Nous montrons qu'il est possible d'appliquer les concepts naturels d'auto-organisation à la technologie humaine comme les robots."

Le communiqué de presse explique le processus: "S'inspirant de la biologie, les robots stockent des morphogènes: des molécules virtuelles qui transportent l'information structurante. Les couleurs indiquent la concentration en morphogène de chaque robot: le vert indique des valeurs morphogènes très élevées, le bleu et le violet indiquent des valeurs inférieures, et aucune couleur n'indique une absence quasi-totale du morphogène dans le robot."

Les robots transmettent ces informations à leurs voisins par messagerie infrarouge. "En cela les robots sont semblables à des cellules biologiques car eux aussi ne peuvent communiquer directement qu'avec d'autres cellules physiquement proches d'eux. ... L'essaim prend différentes formes en déplaçant les robots des zones à faible concentration en morphogène vers les zones à forte concentration en morphogène – appelées “taches de turing” ce qui conduit à la croissance de protubérances qui sortent de l'essaim." Une vidéo présente la création de différentes formes dans ces essaims. L'équipe de recherche a également montré les propriétés d'auto-guérison de ces robots qui leur permettent de s'adapter aux dommages.

Le projet SWARM-ORGAN (A theoretical framework for swarms of GRN-controlled agents which display adaptive tissue-like organisation) s'est terminé en 2016. Son objectif était "d'explorer de manière exhaustive une approche spécifique – à savoir l'utilisation des RRN (réseaux de régulation génétique) – comme méthode de contrôle potentiellement puissante pour ces systèmes" selon le site web du projet. Une équipe multidisciplinaire composée d'experts aux profils variés notamment en biologie des systèmes développementaux en informatique en robotique morphogénétique et en physique a participé au projet.

Auteur: Internet

Info: https://www.techno-science.net, 27/02/2019

[ différenciation cellulaire ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]