vacherie

Tu n’as pas idée du genre de salauds que sont ces gens. Ils me donnent envie de vomir. Je ne peux plus supporter ces maudits " intellectuels " de mes deux. C’est vraiment au-dessus de mes forces. Je préférerais m’asseoir par terre pour vendre des tortillas au marché de Toluca plutôt que de devoir m’associer à ces putains d’" artistes " parisiens. Ils passent des heures à réchauffer leurs précieuses fesses aux tables des " cafés ", parlent sans discontinuité de la " culture ", de l’ " art ", de la " révolution " et ainsi de suite, en se prenant pour les dieux du monde, en rêvant de choses plus absurdes les unes que les autres et en infectant l’atmosphère avec des théories et encore des théories qui ne deviennent jamais réalité.

Le lendemain matin, ils n’ont rien à manger à la maison vu que pas un seul d’entre eux ne travaille. Ils vivent comme des parasites, aux crochets d’un tas de vieilles peaux pleines aux as qui admirent le " génie " de ces " artistes ". De la merde, rien que de la merde, voilà ce qu’ils sont. Je ne vous ai jamais vu, ni Diego ni toi, gaspiller votre temps en commérages idiots et en discussions " intellectuelles " ; voilà pourquoi vous êtes des hommes, des vrais, et pas des " artistes " à la noix. Bordel ! Ça valait le coup de venir, rien que pour voir pourquoi l’Europe est en train de pourrir sur pied et pourquoi ces gens — ces bons à rien sont la cause de tous les Hitler et les Mussolini. Je te parie que je vais haïr cet endroit et ses habitants pendant le restant de mes jours. Il y a quelque chose de tellement faux et irréel chez eux que ça me rend dingue. 

Auteur: Kahlo Frida

Info: A propos d'André Breton et des surréalistes, dans une lettre à son amant, le photographe Nikolas Murray lors de son passage à Paris en 1938

[ détestation ] [ cénacles parisien ] [ salonards centralisés ] [ anti-intelligentsia  ] [ beaux-arts ]

fictions

Lorsque les gens parlent de fantasy - qu'il s'agisse de lecteurs grand public ou de lecteurs de SF - ils parlent presque toujours d'un sous-genre de la littérature fantastique. Ils parlent de Tolkien, et de ses innombrables héritiers. Qu'on l'appelle "épopée", ou "de genre", c'est ce que fantasy a fini par signifier. Ce qui est à la fois trompeur et malheureux.

Tolkien est la bête de somme de la littérature fantastique. Son œuvre est massive et contagieuse - on ne peut l'ignorer, alors n'essayez même pas. Le mieux que vous puissiez faire est d'essayer d'enlever ce furoncle avec précaution. Et il y a beaucoup de choses à détester : sa pompe wagnérienne, son côté "garçon aventurier" qui se glorifie dans la guerre, son amour étroit et réactionnaire pour le statu quo hiérarchique, sa croyance en une moralité absolue qui brouille la complexité morale et politique. Les clichés de Tolkien - les elfes, les nains et les anneaux magiques - se sont répandus comme des virus. Il a écrit que la fonction de la fantaisie était "de consoler", faisant ainsi de l'écrivain de fantaisie un principe de base d'une politique destinée à dorloter le lecteur.

C'est une idée révoltante, et heureusement, beaucoup de fantaisistes l'ont ignorée. Des surréalistes aux pulps - en passant par Mervyn Peake, Mikhael Boulgakov, Stefan Grabiński, Bruno Schulz, Michael Moorcock, M. John Harrison et j'en passe - les meilleurs écrivains ont utilisé l'esthétique fantastique précisément pour défier, aliéner, subvertir et saper les attentes.

Bien sûr, je ne dis pas qu'un fan de Tolkien ne peut faire parei de mes amis - cela réduirait considérablement mon cercle social. Je ne prétends pas non plus qu'il est impossible d'écrire un bon livre de fantasy contenant des elfes et des nains - le superbe Iron Dragon's Daughter de Michael Swanwick dément cette affirmation. Mais puisque le plaisir de la fantasy est censé résider dans sa créativité illimitée, pourquoi ne pas essayer de trouver des thèmes différents, ainsi que des monstres non conventionnels ? Pourquoi ne pas utiliser la fantasy pour remettre en question les mensonges sociaux et esthétiques ?

Heureusement, la tradition alternative de la fantasy n'est jamais morte. Et elle ne cesse de se renforcer. Chris Wooding, Michael Swanwick, Mary Gentle, Paul di Filippo, Jeff VanderMeer, et bien d'autres, produisent tous des œuvres qui s'articulent sur le radicalisme de la fantasy. Alors que la fantasy traditionnelle était rurale et bucolique, celle-ci est souvent urbaine et souvent brutale. Les personnages sont plus que des silhouettes en carton, et ils ne sont pas définis par la race ou le sexe. Les choses sont sordides et délicates, comme dans la vie réelle. La fantaisie n'est pas un aliment réconfortant, mais un défi.

Le critique Gabe Chouinard a déclaré que nous entrons dans une nouvelle période, une renaissance du radicalisme créatif de la fantasy qui n'a pas été vue depuis la nouvelle vague des années 60 et 70, et qu'il a baptisée la prochaine vague. Je ne sais s'il a raison, mais je suis enthousiaste. C'est une littérature radicale. C'est la littérature que nous méritons le plus.

Auteur: Mieville China Tom

Info:

[ styles littéraires ] [ ouverture ] [ vingtième siècle ] [ mondes imaginaires ] [ merveilleux ]

science mystique

2 grandes expériences ont fait de moi un théoricien de la conscience.

La première (printemps 1985) était associée à une maladie physique dont le diagnostic était complètement erroné. Cet état modifié de conscience a duré deux semaines.  Son effet fut si profond que je n'ai pas hésité à l'appréhender comme une expérience d'illumination.

Cet épisode a totalement bouleversé ma vision simpliste du monde de physicien des particules. En fait, j'avais de temps en temps l'impression que cette image réductrice du monde ne m'aidait pas du tout dans mes tentatives de comprendre le monde quotidien qui m'entoure. Selon le dogme standard, ces choses macroscopiques (et aussi les êtres vivants) devaient pouvoir être décrites en utilisant uniquement les équations de Newton !  Ma propre expérience insistait sur le fait que ce n'était pas le cas.  Mais j'avais essayé de me dire que je n'avais tout simplement pas la maturité nécessaire en tant que physicien théorique pour tout comprendre.

Cette première grande expérience mérite une description plus détaillée. J'étais allongé dans le couloir d'un centre médical avec un horrible mal de tête et une température élevée.

Puis quelque chose s'est produit.  Je me suis senti totalement calme et paisible. C'était quelque chose d'incroyable. Toute ma vie, j'avais été anxieux à propos de toutes les choses possibles. Et maintenant, je me sentais complètement heureux et détendu. Je ressentais toujours la douleur, mais elle était en quelque sorte extérieure à moi. J'aimais simplement regarder les flux parallèles d'images (comme des dessins animés) qui s'écoulaient devant mes yeux.

Je voyais vraiment mes pensées !  Les images surréalistes et érotiques (comme celles des peintures de Dali, Bosch et Brueghel) dansaient au rythme de la musique que j'entendais dans le haut-parleur.  Il y avait aussi un sentiment de compréhension. Je comprenais tout, même si je ne pouvais pas dire ce que c'était !

Cet état a duré plusieurs jours (peut-être une semaine, je ne m'en souviens pas vraiment) et j'ai vécu de manière très concrète de nombreuses idées archétypales.  Tout d'abord l'idée d'auto-référence que j'ai retrouvée plus tard dans Gödel, Escher, Bach de Hofstadter - un des meilleurs livres que j'ai jamais lu (je l'ai lu 5 fois !). Je me sentais littéralement comme un ordinateur assis à son propre terminal.

J'ai écrit dans mon esprit des questions pour ce super humain-ordinateur et j'ai vu les questions écrites sur l'écran virtuel.  L'ordinateur écrivait immédiatement la réponse.  Soit directement, soit à la manière d'un oracle.  J'ai réalisé que j'étais entré en contact avec ce que j'appelais le "Grand Esprit" et j'ai commencé à poser des questions.  Combien de temps allais-je vivre était bien sûr l'une des premières questions. La réponse était une série infinie de chiffres qui défilaient sans cesse ! Bien sûr, j'ai posé des questions sur l'importance du TGD (Topological Geometro Dynamics - mon grand œuvre).  Il n'y a eu qu'un silence. Peut-être était-ce la diplomatie divine du "Grand Esprit" !

Plus tard, j'ai réalisé qu'il n'était pas nécessaire d'écrire quoi que ce soit sur ce moniteur virtuel. J'ai simplement formulé la question dans mon esprit.  Cette prise de conscience m'a fait me demander si cette personne avec laquelle je discutais était vraiment distincte de moi. Peut-être que, d'une manière mystérieuse, c'est à moi-même que je pose ces questions !  Alors, peut-être que je suis en quelque sorte un "dieu" moi-même ou que je viens de devenir un dieu.  Peut-être sommes-nous tous des dieux !

La solitude avait été l'élément central de ma vie et j'ai en quelque sorte réalisé que les dieux sont probablement des êtres très solitaires. J'ai demandé si nous étions condamnés à être toujours seuls. La réponse était digne d'un oracle. "Tu es un dieu ! (:-).  Le "(:-)" tente d'exprimer le ton amusé de la réponse. Ce n'est que très récemment que j'ai réalisé que ce que j'ai vécu devait être plus ou moins identique à l'expérience Atman=Brahman des religions orientales.

Il y a aussi eu des expériences télépathiques vraiment étonnantes. Et une vision de ma vie personnelle comme une série infinie de vies en tant que mathématicien (qui était ma véritable identité).  Dans ces vies, je rencontrais ma femme encore et encore et nous vivions des vies plus ou moins heureuses. Mais nous nous retrouverions certainement dans une autre galaxie ou peut-être dans une forme d'existence totalement différente. L'une des expériences mathématiques a été que le nombre "3" est en quelque sorte le nombre de base des mathématiques et de toute l'existence. Il s'agit, bien sûr, de la Sainte Trinité des religions et des mystiques.

J'ai eu des visions de vies parallèles que je vis ici sur Terre.  Par exemple, j'ai appris que je vivrais comme un militaire et que je mourrais dans un accident d'avion à une certaine date (dont je ne me souviens plus).

Il y avait aussi l'idée de quelque chose que j'appelais "flogiston" sans me souvenir qu'il s'agissait du fluide calorique introduit dans les premières tentatives de construction de la thermodynamique. C'était quelque chose qui rendait les systèmes vivants vivants et ils se battaient, se tuaient et se mangeaient continuellement pour obtenir ce mystérieux "flogiston". Curieusement, cette vision peut également être considérée comme une anticipation des idées sur les biosystèmes en tant que systèmes quantiques macroscopiques (intrication quantique et condensats de Bose-Einstein à trou de ver).

La deuxième "Grande Expérience" s'est produite pendant les vacances de Noël (probablement 3 ans plus tard, peu avant mon divorce). J'étais très malade, déprimé et amer. Notre mariage était sur le point de se terminer.

Soudain, une paix totale m'a envahie. Je pouvais vraiment pardonner et j'ai senti de manière absolument concrète que mon passé avait changé. D'une certaine manière, toutes les mauvaises actions qui avaient créé de l'amertume en moi ont été annulées. C'était merveilleux de réaliser que ce que nous appelons "notre passé" n'est pas absolu. Au moment de la Miséricorde, cette lourde charge mortelle disparaît.

Il y a eu aussi une sorte d'illumination mathématique. J'ai eu une prémonition sur les nombres p-adiques. J'ai compris que je devais construire une théorie sur les nombres qui étaient infinis mais complètement physiques. Eh bien, j'ai essayé. Mais il m'a fallu deux jours pour me convaincre que je n'avais pas la moindre idée de ce que pouvaient être ces nombres ! J'ai appris bien plus tard l'existence des nombres p-adiques qui sont typiquement infinis comme les nombres rationnels ordinaires.

Peut-être que la prise de conscience la plus importante dans ces deux grandes expériences fut que le problème vraiment intéressant était le mystère de la Conscience.  Dans le même ordre d'idées, j'ai réalisé que le libre arbitre était réel et que, dans un certain sens, notre passé subjectif était une fiction (ou du moins quelque chose de "modifiable").

Toutes ces idées, je les ai redécouvertes par la suite en tentant de trouver une interprétation cohérente pour le TGD, sans même me rendre compte immédiatement qu'une redécouverte était en question.

Auteur: Pitkänen Matti

Info: http://www.stealthskater.com/Documents/Pitkanen_01.do

[ inspiration ] [ songe ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]