religieux-civil

Le Syllabus éclata comme un coup de foudre en décembre 1864, quelques jours après la divulgation de la convention du 15 septembre, comme une réponse du Vatican à un arrangement qui disposait de lui sans lui. Ce n’était cependant pas, ainsi que l’a écrit le Père Curci, un document bâclé à la hâte ou un coup de tête de Pie IX. Chez le Pape, revenu de ses premières illusions et leur gardant les rancunes d’un esprit déçu et d’un cœur blessé, c’était un projet déjà ancien. Dès 1852, à en croire un historien ecclésiastique, le Souverain Pontife avait fait adresser à quelques évêques un questionnaire latin en vingt-huit chapitres "sur les erreurs du temps", touchant le dogme et spécialement la morale et la politique. Ce projet fut en tout cas repris dix ans plus tard, en 1862, et celte fois les nombreux évêques réunis à Rome pour la canonisation des martyrs japonais furent consultés confidentiellement. Dans l’intervalle, en 1860, Pie IX aurait, nous dit-on, fait prévenir de ses intentions Mgr Pie, évêque de Poitiers, en lui demandant des notes à ce sujet. Mgr Pie, qui dans l’épiscopat français était à la tête du parti favorable à L’Univers, aurait en ses réponses dénoncé au Vatican les maximes de certains catholiques sur les libertés modernes comme contraires aux constitutions antérieures des papes, et, pour couper court à de pareilles tendances, l’évêque de Poitiers aurait instamment demandé une encyclique solennelle qui fixât sur ces points les croyances indécises. La même année, un prélat non moins illustre, celui que Sainte-Beuve appelait un Platon chrétien, Mgr Gerbet, l’ancien collaborateur de La Mennais à L’Avenir, prenant les devants sur la chaire romaine, publiait un mandement (23 juillet 1860), qui était une sorte de préface du Syllabus. Toujours est-il qu’en juin 1862, Pie IX avait fait consulter les évêques, rassemblés à Rome, sur un semblable catalogue d’erreurs ; le mot Syllabus, on le sait, n’a pas d’autre sens. Mgr Dupanloup, qui ne pouvait être soupçonné de redouter de nouveaux combats, avait averti le cardinal Antonelli de l’orage que ne manquerait pas de soulever une pareille publication. Ce premier Syllabus était, paraît-il, emprunté presque mot pour mot au mandement de Mgr Gerbet, ce qui était peu d’accord avec les usages de la curie romaine. Il fut mis de côté ; mais, sous le règne de Pie IX, la Prudence, dont la figure allégorique décore tant de salles du palais apostolique, avait perdu au Vatican une bonne part de son vieil empire. Un nouveau Syllabus, cette fois extrait des actes mêmes du pontificat de Pie IX, parut à l’improviste à la fin de 1864. La publication en fut accueillie avec enthousiasme dans le clan des adversaires des libertés publiques.

Auteur: Leroy-Beaulieu Anatole

Info: Les catholiques libéraux, l'Église et le libéralisme de 1830 à nos jours, Librairie Plon, 1885, pages 189 à 192

[ historique ]

littérature

En avril 2008, Simone Baulez avait été appelée pour débarrasser l'appartement de l'Odéon. Voyant une cruche sur laquelle était inscrit "Simone et Cioran", un de ses déménageurs lui a fait une plaisanterie. "Je ne connaissais que le nom de Mme Boué. Quand je me suis aperçu qu'il s'agissait de l'écrivain, nous avons redoublé de vigilance et conservé tous les papiers", raconte-t-elle. "L'appartement était encore jonché de livres et de feuilles." Dans la cave, elle a trouvé "des tableaux, un carton de dessins et un buste de l'écrivain". Ainsi que ses journaux, courant jusqu'en 1980, entreposés derrière des tuyaux.
Biffures. Un trésor. Trente-sept cahiers à spirales écrits en rouge et bleu, surchargés de corrections, de biffures et de volutes découragées. Plusieurs états de son oeuvre majeure, De l'Inconvénient d'être né. Qu'il trouve, à la parution, "raté". Un titre, abandonné : "Nostalgie du déluge". Un premier jet, surgi d'une insomnie : "L'obsession de la naissance est le fruit des mauvaises nuits..." Les esquisses d'Ecartèlement et d'Aveux et anathèmes, ponctuées de ses aphorismes : "Dieu est un tortionnaire hors classe. Comment peut-il infliger des heures pareilles." "Ahurissement perpétuel... Je n'ai jamais été à l'aise dans l'être... Ne me séduit que ce qui me précède, les instants sans nombre où je ne fus pas... Le non-né est mon refuge..." (rayés par l'auteur). Il s'étonne de passer sans émotion devant une bouche d'égout où il a jeté un jour un manuscrit.
Des années plus tard, un commissaire-priseur, Me Vincent Wapler, parle à Simone Baulez d'une vente de manuscrits de Céline. "Je lui ai dit que j'avais des cahiers de Cioran, il m'a proposé de les joindre." Pour le tribunal, elle en avait tous les droits, ayant été mandatée pour "débarrasser complètement l'appartement des meubles et objets." Les brocanteurs ont un droit d'aubaine. Ce que l'intéressée résume par : "Ils n'avaient qu'à y descendre, à la cave !"
En outre, la donation faite à Doucet était problématique. Aucun acte n'évoquait les cahiers disparus. Philosophe, son exécuteur testamentaire, Yannick Guillou, de Gallimard, a fait observer que "sans la brocanteuse, ces manuscrits seraient perdus corps et biens". Ses défenseurs, Mes Claire Hocquet et Roland Rappaport, se demandent si Cioran aurait perçu "une lueur démentant son pessimisme dans ce sauvetage de son oeuvre par une chiffonnière". La Roumanie a déjà pris contact pour les acheter.
L'expert Thierry Bodin avait estimé l'ensemble à 150 000 euros il y a trois ans. Avec toute cette ampleur médiatique, le prix ne peut que grimper. Il pense aujourd'hui plutôt à un million d'euros. Ils se trouvent toujours sous bonne garde à Drouot. Quand on dit à la brocanteuse que c'est sans doute sa plus belle découverte, elle se fait évasive : "Ah, cela... Vous savez, si on ne faisait pas de trouvaille, on ne ferait pas ce métier".

Auteur: Noce Vincent

Info: sur Internet

[ héritage ]

intelligence

Les jeux vidéo intelligents sont à nos portes
Ils pourront tenir compte de l'état émotionnel du joueur ainsi que de son niveau de dextérité.
Bientôt, lorsque vous ressentirez un grand stress pendant une mission, votre jeu vidéo abaissera en temps réel le niveau de difficulté pour vous rendre la vie plus facile tout en s'assurant que l'expérience demeure positive. L'inverse se produira aussi : quand un défi ne sera pas à la hauteur de vos attentes, le jeu constatera votre ennui et rendra la situation plus complexe afin que vous vous amusiez davantage.
Grâce à des dispositifs qui se sont améliorés récemment, les jeux vont pouvoir interagir avec le joueur non seulement par la manette ou la souris, mais aussi par son regard et ce qu'il ressent. Pour parvenir à cette connexion entre le joueur et le jeu, celui-ci reposera sur le déploiement d'un système de reconnaissance des expressions du visage et du regard (eye tracking system) et d'un électroencéphalogramme portable qui captera les ondes cérébrales des joueurs.
" Ces systèmes s'appuient quant à eux sur une série d'algorithmes d'apprentissage-machine conçus pour que les systèmes d'exploitation des jeux synthétisent une gamme d'émotions et d'expressions du visage des joueurs et qu'ils les incorporent de façon à entretenir en eux-mêmes un état émotionnel pour adapter la prise de décision aux états cognitifs et affectifs du joueur ", explique Claude Frasson.
En somme, il s'agit d'un véritable système d'intelligence artificielle par lequel un jeu apprend à "ressentir" les émotions vécues par le joueur - l'excitation, le stress, l'anxiété, l'impatience - pour moduler les situations de jeu en fonction de celles-ci.
Vers des jeux thérapeutiques
Avec cette technologie, il devient possible notamment d'éviter qu'un jeu devienne nocif en causant, par exemple, des troubles du sommeil, car le jeu pourra selon le cas atténuer la difficulté présentée et ramener ainsi le joueur dans des zones cérébrales associées au plaisir, sans excitation ni inquiétude ", indique le professeur.
Cette technologie rend également possible l'avènement d'approches ludiques pour réguler l'état psychologique de personnes vivant d'intenses émotions.
" On pourra concevoir des jeux thérapeutiques qui cibleront l'anxiété liée à la performance, les phobies ou les troubles d'apprentissage ", mentionne Claude Frasson.
C'est d'ailleurs ce à quoi travaillent deux de ses étudiants à la maîtrise en informatique, Pierre-Olivier Brosseau et Annie Thi-HongDung Tran. Ils mettent actuellement au point un jeu intelligent qui vise le contrôle des émotions dans un contexte de conduite automobile, dans le but de réduire les risques de rage au volant. "Lorsqu'un embouteillage devient stressant, on ne réfléchit plus de la même manière, explique Pierre-Olivier Brosseau. Notre jeu vidéo intelligent permettra de prendre conscience des émotions qui se manifestent en pareilles circonstances et de s'habituer à les calmer. Ça permet d'agir soi-même sur son propre cerveau."
D'autres applications existent, comme des tests de résistance au stress. "L'armée américaine est déjà à tester des solutions qui permettent de vérifier quels sont, parmi les marines, ceux qui résistent le mieux à certaines situations de stress intense", confie Claude Frasson.

Auteur: Internet

Info: 1 décembre 2015

[ artificielle ] [ homme-machine ]

chirurgie

On reprit, mais sur des bases nouvelles, l’antique constatation des mages d’autrefois concernant l’intervention nécessaire d’un nombre pair dans toutes les constructions humaines ; mais on eut le tort considérable de négliger, à ce moment, le nombre impair, qui se retrouva dans tous les mythes anciens, et qui complétait soit le chiffre douze, par le nombre treize, soit le chiffre six par le nombre sept, figurant l’unité divine. On constata simplement la dualité fondamentale de tous les êtres supérieurs, et l’on s’avisa, dans les laboratoires, de couper des hommes en deux, dans le sens vertical, pour essayer d’en faire une complète analyse.

Je n’ai pas besoin de dire qu’en ce temps-là, la technique opératoire était parvenue à un si haut degré de perfection que de pareilles opérations semblaient toutes naturelles.

Ces premières expériences ne furent couronnées d’aucun succès. Il semblait cependant logique de séparer, par un plan vertical passant par l’arête du nez, un homme composé de parties semblables des deux côtés et qui ne formait, à bien prendre, qu’un être double. Malheureusement, je le répète, cette analyse ne donna aucun résultat satisfaisant.

Tandis que depuis des siècles on pouvait sectionner un être humain dans le sens horizontal en le privant définitivement du double usage de certains membres, l’opération contraire demeurait impossible.

En section transversale, on arrivait à réaliser de véritables merveilles opératoires. Après avoir pratiqué l’ablation banale des deux bras et des deux jambes, on réussit également celle du tronc. Au moyen de canalisations très simplement réglées, la tête put vivre isolée sans aucune difficulté. On parvint même à la sectionner horizontalement, à isoler le cerveau, puis une couche horizontale de substance cérébrale. Tant que le corps ainsi réduit présentait deux parties symétriques, il continuait à montrer indubitablement tous les caractères de la vie.

Au contraire, la section verticale, beaucoup plus logique, beaucoup plus facile, semblait-il, à réaliser, puisqu’elle laissait subsister un être entier dédoublé, eut toujours pour effet d’éteindre instantanément les sources mêmes de la vie.

Les savants d’alors, dans leur entêtement, ne se découragèrent point ; cette division de l’homme qu’ils ne pouvaient obtenir anatomiquement, ils la tentèrent au simple point de vue psychique. Petit à petit, ils parvinrent à éduquer la race humaine, alors très réduite par la science, et à la diviser en deux classes nettement opposées.

D’un côté, il y eut ce que l’on appela alors les matérialistes, construits à l’image du Léviathan, chez qui toute conscience fut abolie et qui ne conservaient que la vision du monde extérieur à trois dimensions. Leurs mouvements purement réflexes étaient suscités par les besoins journaliers de la vie sociale ; ils ne connaissaient d’autres ordres que les règlements scientifiques du monde extérieur ; leur discipline était absolue, leur science très complète, leur intelligence à peu près nulle.

Il y eut, d’autre part, ceux que l’on appela les idéalistes et qui furent privés de tout moyen de relation avec le monde extérieur à trois dimensions. Leur sort fut bientôt celui des anciens fakirs hindous, leur vie intérieure se développa dans d’étranges proportions. Pourvus simplement du seul sens de la quatrième dimension, ils ignoraient tout du temps et de l’espace. Pour eux, les phénomènes ne se succédaient pas ; pour eux bientôt il n’y eut même plus de phénomènes.

Les savants du Grand Laboratoire Central se montrèrent tout d’abord enivrés par les résultats obtenus ; ils avaient enfin, à leur sens, réalisé l’analyse de l’humanité, ils tenaient décomposés, en leur pouvoir, les éléments séparés qui composaient la vie. Leur enthousiasme diminua le jour où ils comprirent que ces éléments, ainsi séparés, ni d’un côté, ni de l’autre, n’étaient capables de reproduire la vie, et que prochainement, l’humanité allait s’éteindre pour toujours.

Ils avaient bien isolé ce qui constituait pour eux, jusqu’à ce jour, l’élément idéaliste ; mais il se trouvait que cet élément, à bien prendre, n’était lui-même qu’un phénomène d’origine matérielle comme les autres. De la réunion de ces éléments seule pouvait jaillir la flamme éternelle d’intelligence, la vie immortelle qui, jusqu’à ce jour, avait conduit l’humanité à ses plus hautes destinées.

Auteur: Pawlowski Gaston de

Info: Voyage au pays de la quatrième dimension, Flatland éditeur, 2023, pages 162 à 164

[ symétrie ] [ triade nécessaire ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]