musique

La complexe magnificence du contrepoint de Bach, malgré une symétrie parfois trop apparente voire mécanique, m'émeut. Probablement parce qu'il y a ici la perception de notre petitesse, de nos limites au sein de l'extraordinaire intrication des choses de la nature. Et les cathédrales sonores du maître semblent sans frontières, à l'instar du cosmos. En poussant aussi loin l'art de la conjugaison des sons Bach a démontré la puissance et la beauté que peut produire l'intellect humain lorsqu'il fait coïncider passion et discipline de fer, sans crainte ni limitation aucune dans sa quête. Il a créé une sorte de monde intermédiaire, onirique, titanesque diamant scintillant de millions de facettes, facettes aux reflets changeants puisqu'animées par des interprètes de chair. Un monde mathématique soyeux qui préfigure de fait l'espace dodécaphonique qu'apportèrent Schoenberg, Berg et Webern, même si ce système stérile et trop austère est probablement arrivé trop tôt pour des humains pas encore assez éduqués ou raffinés. En captant notre esprit et en le libérant, ce monde intermédiaire de Bach nous fait entrevoir par contraste combien la vie est un combat lourd parce que subordonnée au poids de la chair dans sa lutte souvent trop répétitive et monotone de tous les jours.

Cette élévation spirituelle, en nous présentant quelque chose qui ressemble à l'immuable, révèle simultanément la grandeur de l'homme, et sa petitesse devant l'extraordinaire et raffiné équilibre, sans cesse mouvant, qu'offre la réalité ordonnée par ses sens. L'ordre des hommes est souvent haïssable parce que trop compréhensible. Celui de la nature merveilleux parce qu'infini et au-delà de notre compréhension. L'univers intermédiaire de Bach, développé humblement par un allemand puissant et équilibré qui voulait célébrer la création et surtout le Créateur, nous subjugue, nous bouleverse, et nous aide à vivre.

Auteur: Mg

Info: 22 mai 2016

[ éloge ] [ classique ] [ triade ] [ technique ] [ miroir anthropique ]

dépliages

Je me suis laissé aller à produire quelques considérations sur J.S. Bach, tôt imprégné que je fus par ses soieries auditives (à 5 ans : maman, remets le disque stp), impressionné plus tard (mieux informé) par la force de travail, l'équilibre foncier et la puissance computationnelle du maître des variations symétriques. C'est beaucoup plus tard que mon inculture naturelle - aaah, bonheur de découvrir des choses ! - m'a amené à prendre connaissance des développements de Deleuze sur Leibniz et le baroque. Ces fameux textes de Deleuze sur le pli sont des périples mentaux que je qualifierai de "chimiques", tant ça vous embarque et dévoile des choses qui agissent comme un subtil médicament qui vous tripatouille les méninges. Écrits où les développements s’enchaînent sans discontinuer, présentant surprise après surprise, à l'image des plis qu'il défend, présente... Démontre... Déplie et replie... Le fond rejoint la forme.

C'est costaud.

Deleuze montre que le pli a toujours existé dans les arts, le propre du Baroque étant de le porter. Telle est la philosophie de Leibniz dont il s'inspire, où tout se plie, se déplie, se replie. Comme dans sa thèse la plus célèbre, celle de l’âme “monade”, sans porte ni fenêtre, qui tire d’un fond sombre toutes ses perceptions claires, et qui ne peut se confondre que par analogie avec l’intérieur d’une chapelle baroque de marbre noir où la lumière n’arrive que par des ouvertures imperceptibles vers l’observateur du dedans.

Aussi l’âme est-elle emplie de plis obscurs. Chacun sait que Bach, de la génération suivant Leibniz, est considéré comme le pinacle de la musique baroque. Mais je n'ai pas connaissance d'un travail quelconque (si ça se trouve il y en a des charrettes) sur les analogies de son oeuvre avec la philo de Leibniz*. Je n'ai pas non plus la présomption de m'y lancer. Pas vraiment les compétences. Et les journées sont courtes.

Auteur: Mg

Info: 3 juin 2020 *Les 4 inversions de base du contrepoint dont JSB fut le maître absolu pourraient peut-être servir de base de départ, en éventuelle corrélation avec la tétravalence - alcènes et alcynes - de l'atome du carbone, qui est à la source de la vie telle que nous la connaissons

[ post-renaissance ] [ convergence ] [ mathématiques ] [ éloge ] [ repliements ]

question

Gigantesque artisan dont l'oeuvre allie de manière exceptionnelle harmonie et mélodie par la maitrise d'un contrepoint de fer, Jean-Sébastien Bach restera comme un emblème de l'ordre et de la symétrie, planté dans une bipolarité que nous partageons tous, et qu'il aura fouillée mieux que personne via son art.
Central dans tous les sens du terme par rapport à l'histoire allemande - Eisenach son village d'origine est "pile" au milieu d'une carte de l'Allemagne -, Bach fut un grand adepte des nombres et de leur symbolique au point qu'on a souvent l'impression que le "dessin" prévaut sur le résultat sonore dans son oeuvre. Autrement dit le symbole se voit plus qu'il ne s'entend, et la conjonction entre la vue et l'ouïe ne s'accomplit que si un expert vous l'explique.
Ici c'est le musicien qui parle. Dans ma pratique, au-delà des instruments et de leurs limites, j'ai travaillé avec des timbres, des tempi, des intervalles, rythmes, nuances, styles, harmonies, mélodies, contrepoints, fréquences, etc... faisant de la symétrie sans le savoir (s'il y en a une ?) mais en travaillant beaucoup avec les sens et mon bon plaisir, sans calcul mystico numérologique particulier.
Un bon musicien "entend", c'est à dire qu'il comprend la musique. Au point qu'il peut la rapporter à son instrument ou a sa propre organisation mentale. Comme une forme de vision d'aveugle, puisque on dit que les intervalles dans la musique sont aux aveugles ce que les couleurs sont pour nous autres voyants.
Il est quasi certain que JSB "entendait" dans une grande mesure ces dessins et ces symétries. Mais je n'arrive pas à me rendre compte à quel point... En tant qu'individu qui a fait de la musique et de la création l'activité principale de sa vie, c'est une sorte de mystère. Je suis un immense admirateur de Bach, mais j'ai beaucoup de peine à comprendre cette manière d'aborder la musique.
Autres temps, autres moeurs, probablement.
Et l'immense envergure du maitre.

Auteur: Mg

Info: 31 mai 2014

[ composition ] [ oreille ] [ musique ]

french kiss

Nous ne nous sommes même pas embrassés ni regardés dans les yeux. Nos lèvres se sont juste introduites par effraction dans des labyrinthes intérieurs profondément enchâssés entre nos oreilles, les ont remplis de la musique secrète des mots vicieux, les siens dans de nombreuses langues, les miens dans le goût douteux de ma seule langue, jusqu'à ce que nos langues remuent, et nos consonnes ont tourné et crissé, cliqueté plus fort, hésité, foncé plus vite, les syllabes se sont bientôt mêlées aux grognements, ou les grognements ont trouvé une prise dans des mots nouveaux, ou des mots anciens, ou des mots inventés, jusqu'à ce que nous mélangions nos chaleurs et refusions de les libérer, goûtant trop le sombre langage sur lequel nous venions de trébucher, désirant et sidérant, pas vraiment une communication, plutôt une canalisation de nos désirs balbutiés, les siens pour ce que j'en sais partis vers les Forêts Noires et les loups, les miens réintégrant brutalement une forme familière, ce grand mystère spectral dont je ne pouvais qu'entendre la forme, qui en dépit de nos désirs distincts et cris individuels continuait à nous entrainer dans des tonalités plus étrangères, notre désir commun de continuer à étreindre la brûlure alimentée par le bruit, ses hurlements stridents, les miens - je ne les entendais pas - seulement les siens, probablement en contrepoint des miens, un cri haut perché, puis un murmure chutant de manière imprévue et se changeant presque en jappement, en grognement, je ne sais pas trop, et soudain plus la moindre courbe, juste la fuite en avant, une ligne franchie où tous les sons fracturés déjà prononcés finissent par se condenser en un long mot agonisant, qui excède aisément la centaine de lettres, même le tonnerre, et anticipe l'inévitable relâchement, quand la chaleur devient enfin trop pesante, et menace de brûler, marquer, déchirer, mais suffisamment tentante pour qu'on s'y raccroche encore ne serait-ce qu'une seconde, afin d'étirer le tout, si nous le pouvons, comme si en s'approchant autant de la chaleur, en s'en enveloppant à ce point, allait se révéler... ce qui, lorsque nous nous sommes étreints, tenus, retenus, s'était finalement révélé trop, trop de quelques secondes, et impossible à refuser, et donc faisant tout exploser, frissons et tremblements, et donc tout au fond de sa gorge un millier de lettres s'écrasant en une longue chute non modulée, résonnant profondément dans mon oreille et le long du nerf auditif, un dernier sursaut de rage décrivant en détails durables la forme de choses déjà survenues.

Auteur: Danielewski Mark Z.

Info: La Maison des feuilles

[ pelle roulée ]

eulogie

En 1720, au retour d’un voyage à Karlsbad, Bach apprend que sa femme Maria Barbara est décédée et déjà mise en terre depuis dix jours ; elle laisse 4 enfants, dont l’aînée a 11 ans et le dernier 5 ans. Bach est très profondément affecté par ce décès. Avant la fin de la même année il reprend la composition de ses sonates et partitas, et modifie notamment la Chaconne. Il y introduit, dans les voix de basse et de médium, deux mélodies de chorals : "Que ta volonté soit faite, Seigneur" et le choral de Luther "Christ gisait dans les liens de la mort".

"Sei Solo", titre associé aux Sonates et Partitas au sein de laquelle se trouve cette chaconne, écrit et signé par Bach lui-même dans son manuscrit, présente une ambiguïté. On lui a faussement donné le sens de "Six Solos", mais l’italien correct serait dans ce cas "Sei Soli". "Sei Solo" veut donc dire : "Tu es seul". Quand on connait l’esprit de Bach, où tout est connecté, où les lettres sont cachées et les chiffres participent à l’architecture, le titre est limpide de sens. Cette chaconne en ré mineur, quitte donc le monde de la danse pour devenir un hommage funèbre, méditation à la fois douloureuse et pleine d’espérance sur la mort qui a déjà frappé ses proches à plusieurs reprises et qui vient de lui arracher sa femme. Mais pour le maître de la musique baroque, la mort n’est pas que séparation, chagrin, solitude ; elle libère le croyant du péché, et dans sa désespérance il affirme sa confiance en s’inclinant devant la volonté de Dieu. Par un contrepoint complexe, c’est-à-dire la superposition de plusieurs mélodies différentes, et par des variations infiniment savantes, il exprime sa lamentation, son découragement, sa peur et sa douleur qui sont le pain des larmes du croyant. Sa piété l’a porté tout au long de sa vie, dans les turbulences comme dans les moments les plus heureux. Bach ressentait au fond de son coeur la nostalgie "Sehnsucht" de la mort ; il l’a traduite dans de nombreuses oeuvres, comme ici où il chante la lassitude de la vie, l’attente de la mort qui libère et apaise, la certitude de la victoire sur la mort par le Christ ressuscité – Alleluia –, et l’assurance de la résurrection.

Christian Tetzlaff dans "A Musicology of Performance : Theory and Method Based on Bach's Solos for Violin" avance que dans cette pièce le maître use les parties jouées sur deux cordes à la fois pour ramener sa femme à la vie, pour ainsi dire, en tant que second violoniste virtuel. On est semble t'il en pleine interprétation romantique. Romantisme allumé par Bach lui-même par la qualité exceptionnelle d'un métier de fer qui lui permet d'exprimer et développer sur la mort avec beauté et profondeur. Douleur du manque doublée du sentiment ressassé de cette condition de "passager" de l'animal humain, effet émotionnel qui sera fortement renforcé par les compositeurs renommés qui suivirent et portèrent JSB au nues, Schumann, Brahms, Chopin... Un violonniste m'a dit un jour que la chaconne est comme un "arbre gorgé de fruits sous la neige". Jehudi Menuhin la joua durant l'entracte d'un concert avec le Philharmonique de Berlin et la dédia à sa soeur Hephzibah qui venait de mourir. Auditeurs bien entendu au bord des larmes. Mais laissons cela : Bach parle de son art comme d'une "Rekreation des Gemüts", "recréation du coeur et de l'esprit". Il a réussi ; point besoin d'être spécialiste, l'écouter suffit pour vivre mieux.

(Pour les spécialistes) Des recherches ont été effectuées par la musicologue Helga Thoene sur les paroles des Chorals cités tout au long de la Chaconne de la Partita II. Mises bout à bout elles révèlent une signification, une sorte de tombeau dédié à sa femme. Il utilise Ré mineur, la tonalité de la mort. La danse a des airs sacrés, un peu mystiques dans ses variations. Le passage central en majeur est comme une visite au paradis, suivie par le terrible retour sur terre... Et après cette Chaconne, on repasse en majeur dans l’Adagio de la Sonate III, avec une marche en quatorze stations comme le chemin de croix. Le religion est omniprésente dans la vie et l’oeuvre de Bach. Dieu est partout dans sa musique.

Auteur: Mg

Info: 2019, compil de diverses sources

[ chef d'oeuvre ] [ émoi ] [ pré-romantisme ] [ libération ] [ théologie musicale ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]