vieillir

Avant  j'étais un gars qui fait l'expérience du monde et maintenant je me sens comme le monde et l'univers en train de faire l'expérience d'un gars.

Auteur: Carrey Jim

Info:

[ chiasme ]

introspection

Nous ne voyons et ne comprenons cependant bien souvent les événements de nos vies qu’une fois qu’ils sont entièrement révolus, lorsque leur enchaînement est arrivé à son terme (…).

Auteur: Stefansson Jon Kalman

Info: Ton absence n'est que ténèbres

[ rétrospection ]

musiciens méprisés

14 h - Lyon, France. Je viens d’assister à un moment sidérant. 

Auditorium de Lyon. J’attends que le concert commence. 2ème de Beethoven, R. Capuçon dans le concerto d’ Elgar. 

Les musiciens de l’ONL sont sur scène, au pupitre, en train de chauffer. 

Un message passe dans les enceintes. Les représentants syndicaux vont s’exprimer. 

Et c’est parti pour le scandale. 

Le public s’indigne, immédiatement, sans savoir de quoi il va être question, haut et fort. Le discours n’a même pas commencé qu’on entend des "remboursez !! " vindicatifs. On entend aussi des huées. 

Le délégué syndical s’avance, humblement, sous les invectives. Commence à parler. A dire son inquiétude et le refus des musiciens de la réforme passée par 49.3. Entre chaque phrase, quasi inaudible, des gens poudrés et bien mis de leur personne invectivent, hurlent "musiiiiique !" pour signifier "ferme la et joue !". Comme si devant eux, il y avait un juke box. Ils ont payé, ils exigent. 

Derrière moi, une dame âgée crie "je ne suis pas venue à une manif, mais à un concert !"

Devant moi, quand le représentant explique que pour pratiquer un instrument au niveau professionnel, il faut de longues heures de travail quotidiennes pratiquées depuis l’enfance, qu’être musicien est comparable au sacerdoce d’un sportif de haut niveau, j’entends des "Chochotte !! On a bossé avant vous !!"… le tout sous les sifflets quasi généraux. Les applaudissements sont là aussi. Mais pas majoritaires. 

Je pourrais écrire encore des lignes entières pour décrire cette atmosphère hostile.  

Je suis sidérée. J’ai envie de pleurer.

Beethoven égrène ses mélodies à deux pas de moi. Je me dis que les musiciens ont bien du courage d’offrir cette symphonie à un public si détestable et consommateur.

Commentaires : 

Nat Briegel : Rien n'a change de ce cote la, j'crois bien que c'est même pire qu'avant. Rien de tel qu'une bonne grève surprise dans ces cas la !

Tréboit Franck : J ai assisté à la même scène a l opéra de paris pendant une flûte enchantée pour l ecilogie et alors que le manifestant avait pris soin d intervenir avant même le début du chant au second acte des gens ont hurlé "casse toi tu nous emmerdes" je n ais pas pu identifier les cons qui hurlaient ça ... Mais je me suis dit que tu leur réaction me dégoûtant profondément... Que faire contre ce mépris la ?

Dominique Bonnetain : En 2003, lors des manifestations pour le statut d intermittent, j ai vécu une situation similaire à l opéra de Toulon... c était affreux ... difficile de chanter les dents serrés de peur et de rage...

Médéric Collignon : Dominique Bonnetain Pareil à Vienne avec en plus la division côté artistes sur scène...

Dominique Bonnetain : Médéric oui il y a ça aussi, tu as raison.

Laurent Pla-Tarruella : Finalement la figure du "Bourgeois" existe toujours, cet inculte aux mains pleines qui n’est à l’opéra que pour se représenter en tant que classe sociale. C’est lui, le spectacle, en fait… D’où sa colère !

Auteur: Internet

Info: Sur le fil FB de Médéric Collignon, 18 mars. Alice Laugier depuis l'Auditorium-Orchestre national de Lyon.

[ classique ] [ polique ] [ élitisme ] [ conservatisme ] [ Gaule ]

résumé

La théorie de l'évolution s'est longtemps heurtée à une énigme qui, pour les créationnistes plus ou moins déclarés, avait valeur d'objection : comment les exceptionnelles capacités cognitives, sociales et culturelles des humains sont-elles apparues, démarquant notre espèce de toutes les autres ? Faute d'apporter une réponse étayée à cette question fondamentale, la symphonie de Darwin est restée inachevée. Kevin Laland s'attache ici à compléter les pages manquantes de notre histoire évolutive pour comprendre par quels processus le langage, la technologie, les sciences et les arts ont été possibles. A partir d'études expérimentales étonnantes menées dans le domaine de l'apprentissage social chez les animaux et d'analyses novatrices issues de la théorie des jeux évolutionnaires, cet ouvrage retrace la manière dont la faculté propre à l'humanité de complexifier et d'accroître continuellement son patrimoine culturel a évolué à partir de comportements d'apprentissage, d'innovation et d'imitation largement répertoriés non seulement chez les grands singes, mais également chez les oiseaux, les poissons ou les insectes. Il met ainsi en évidence la dynamique de coévolution entre gènes et culture par laquelle des compétences socialement transmises ont pu orienter de façon spectaculaire le cours de la sélection naturelle chez nos ancêtres. Ce récit captivant de l'origine de notre espèce renverse la perspective de la psychologie évolutionniste, qui envisage les phénomènes culturels seulement comme des réponses adaptatives à des circonstances extérieures, dans une relation causale à sens unique allant des gènes à la culture. Il montre que la culture n'a pas simplement émergé à partir de l'intelligence, mais qu'elle a constitué le principal moteur de l'évolution dans notre lignée. Autrement dit, l'esprit humain n'est pas façonné pour la culture, mais véritablement par la culture.

Auteur: Laland Kevin Neville

Info: La symphonie inachevée de Darwin : comment la culture a créé l'esprit humain. La Découverte, 2022. 422 pages. Quatrième de couverture. Trad Thierry Hoquet

[ simultanéité ] [ intrication ]

homme-machine

ChatGPT, Chomsky et la banalité du mal

Dans une tribune parue dans le New York Times, le philosophe et linguiste Noam Chomsky balance du lourd contre le robot de conversation ChatGPT, qu’il accuse de disséminer dans l’espace public un usage dévoyé du langage et de la pensée susceptible de faire le lit de ce que Hannah Arendt appelait “la banalité du mal”. Voilà une charge qui mérite d’être examinée.

C’est une question essentielle que soulève Noam Chomsky dans la tribune qu’il a publiée avec Ian Roberts, linguiste à l’université de Cambridge, et Jeffrey Watumull, philosophe spécialiste d’intelligence artificielle. Une question qui touche à l’essence du langage, de la pensée et de l’éthique. Dans la confrontation avec l’intelligence artificielle, affirment-ils, c’est le propre de l’intelligence humaine qui apparaît et qui doit être préservé : si nous sommes capables, nous les hommes, de générer de la pensée et du langage, c’est que nous entretenons un rapport intime et fondamental, dans notre créativité même, avec la limite, avec le sens de l’impossible et de la loi. Or, la “fausse promesse” de l’intelligence artificielle, selon le titre de la tribune, est de nous faire miroiter qu’il serait possible d’obtenir les mêmes performances en se passant de cette confrontation à la limite et à la règle qui fait le ressort de l’expérience humaine. Tentons de suivre cette démonstration, hautement philosophique.

On comprend que Chomsky se soit senti mis en demeure de se pencher sur les nouveaux robots conversationnels tels que ChatGPT, Bard ou Sydney. Fondateur de l’idée de grammaire générative, le philosophe soutient en effet que les hommes disposent avec le langage d’une compétence à nulle autre pareille, une puissance intérieure de générer et de comprendre, grâce à un nombre fini de règles, un nombre infini de propositions qui expriment leur pensée. Or, quand ChatGPT parvient à générer des réponses sensées à nos questions sur la base des millions d’énoncés que le système a appris automatiquement, qui dit que le robot ne parle et ne pense pas à son tour ? Qu’il ne génère pas du langage et donc de la pensée ? La réponse de Chomsky est profonde et subtile. Elle part, comme souvent chez lui, d’un petit exemple grammatical : “John is too stubborn to talk to.” Tout locuteur anglais lambda comprendra immédiatement le sens de cette phrase sur la base de sa connaissance de la langue et de la situation dans laquelle elle est proférée. Elle signifie : “John est trop têtu pour qu’on le raisonne.” Où John, sujet initial, bascule implicitement en complément d’objet, et où le “talk” signifie “raisonner” et non pas “parler”. L’IA, elle, sera induite à comprendre : “John est trop têtu pour parler à quelqu’un.” Parce qu’elle n’a pas accès à la règle ni à la situation, elle cherche en effet à prédire la bonne signification d’un énoncé sur la base du plus grand nombre d’occurrences analogiques. Mais de même que “John a mangé une pomme” équivaut souvent à “John en a mangé”, de même, “John est trop têtu pour parler” a des chances de vouloir dire “John est trop têtu pour parler à quelqu’un” davantage que “pour qu’on le raisonne”.

Au vu des performances des nouveaux logiciels de traduction, tels que DeepL – dont j’ai d’ailleurs dû m’aider pour être sûr de bien comprendre l’exemple de Chomsky –, on pourrait être tenté de relativiser cette confiance que fait ici le philosophe dans l’intelligence humaine du langage. Mais le raisonnement monte en puissance quand il touche à la loi, scientifique ou éthique. Soit l’énoncé “la pomme tombe” ou “la pomme tombera”, formulé après que vous avez ouvert la main ou que vous envisagiez de le faire. Une IA est à même de formuler chacune de ces deux propositions. En revanche, elle sera incapable de générer l’énoncé : “La pomme ne serait pas tombée sans la force de la gravité.” Car cet énoncé est une explication, c’est-à-dire une règle qui délimite le possible de l’impossible. On tient là pour Chomsky la ligne de partage entre les deux intelligences. En dépit de la puissance d’apprentissage et de calcul phénoménal qui est la sienne, l’intelligence artificielle se contente de décrire et/ou de prédire à partir d’un nombre potentiellement infini de données, là où l’intelligence humaine est capable, avec un nombre fini de données, d’expliquer et de réguler, c’est-à-dire de délimiter le possible et l’impossible. Notre intelligence ne se contente pas définir ce qui est ou ce qui pourrait être ; elle cherche à établir ce qui doit être.

Cette approche a une portée éthique évidente. Car la morale consiste à “limiter la créativité autrement illimitée de nos esprits par un ensemble de principes éthiques qui déterminent ce qui doit être et ce qui ne doit pas être (et bien sûr soumettre ces principes eux-mêmes à une critique créative)”. À l’inverse, comme en attestent les réponses produites par ChatGPT aux questions éthiques qu’on lui pose, et qui se réduisent à une recension des différentes positions humaines, l’IA trahit une “indifférence morale”. Et Chomsky de conclure : “ChatGPT fait preuve de quelque chose comme la banalité du mal : plagiat, apathie, évitement […] Ce système offre une défense du type ‘je ne fais que suivre les ordres’ en rejetant la responsabilité sur ses créateurs.” Pour en avoir le cœur net, je suis allé demander à ChatGPT s’il connaissait l’idée de banalité du mal et s’il se sentait concerné. Voilà ce qu’il m’a répondu : “Il est vrai que je suis un outil créé par des humains, et par conséquent, je peux refléter les limites et les biais de mes créateurs et des données sur lesquelles je suis entraîné.” Une intelligence servile et sans pensée, c’est en effet une bonne définition de la banalité du mal. Et de l’intelligence artificielle ?

Auteur: Legros Martin

Info: https://www.philomag.com, 13 Mars 2023

[ déficit holistique ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

économie

Il y a un impensé concernant les crises financières, il tient au fait que les gens gèrent désormais leur argent avec des applications sur mobile. Ce qui veut dire qu'en cas de panique bancaire (bank run), les gens pourront retirer leurs fonds beaucoup plus rapidement.

Auteur: Stiglitz Joseph E.

Info: mars 2023

[ ruée sur les banques ] [ liquidation ]

collectivismes

Les stratégies qui réussissent bien dans la compétition avec d'autres stratégies ne sont toutefois pas celles qui maximisent le rendement des agents. Nous avons plutôt constaté une forte relation inverse entre l'aptitude moyenne des individus dans les populations ne contenant qu'une seule stratégie et la performance de cette stratégie dans le tournoi. Cette constatation illustre l'effet parasitaire des stratégies qui s'appuient fortement sur l'OBSERVATION. Les stratégies qui utilisent un mélange d'apprentissage social et associal sont susceptibles d'être surpassées par celles qui utilisent uniquement l'apprentissage social, avec pour conséquence une population dont les rendements moyens sont plus faibles. Ces résultats renvoient à une règle établie en écologie, qui spécifie que, parmi les concurrents pour une ressource rare, le concurrent dominant sera l'espèce qui peut survivre avec le niveau de ressource le plus bas. Une règle équivalente peut s'appliquer lorsque des stratégies alternatives d'apprentissage social sont en concurrence : la stratégie qui finira par dominer sera celle qui peut persister avec la plus faible fréquence d'apprentissage associal.

Auteur: Laland Kevin Neville

Info: Darwin's Unfinished Symphony : How Culture Made the Human Mind

[ science ] [ théorie-pratique ] [ comparaison ]

divinités chtoniennes

Les Mânes ne s’identifient pas directement et intégralement aux défunts, mais à cette partie spirituelle, bien que grossière, qui survit et maintient le lien entre le fondateur de la famille et ses descendants ; à ce quelque chose qui existe sous forme de pneuma dans le sang de chaque descendant d’une lignée déterminée.

Auteur: Ventura Gastone

Info: Il mistero del rito sacrificale, Roma, pages 37-38

[ âmes ] [ principe spirituel ] [ définis ]

divinités chtoniennes

Les Mânes étaient les esprits des morts, chargés d’une puissance le plus souvent maléfique, qui acquirent ensuite la valeur de "bienveillants" (leur but était la "captatio benevolentiae", gagner la bienveillance). Pour ce qui concerne leur origine familiale, au début ils n’étaient pas bien déterminés : ils se distinguaient donc en cela des Di parentes, c’est-à-dire les esprits des morts de chaque famille ; mais ils furent ensuite représentés comme les ancêtres morts de chaque groupe familial.

Auteur: Danann Alexandre de

Info: Dans "Mémoire du sang", Archè, 1990, page 47

[ âmes ] [ définis ] [ évolution ]