littérature

La monotonie brillante et roulante, assommante et formidable, malaxante et géologique de Hugo ne cesse de tourner autour de cette affaire. Je ne sais pas dans quel état il faut être aujourd’hui pour accepter de se laisser glisser naturellement dans ses marées d’alexandrins, ses incantations, son vaudou dixneuviémien. Hugo ne fait pas de poésie ou de prose. Il rame. Barque de Dante, Styx romantique. Rythme des démons ensorceleurs. Conjurations. Exhortations. Il essaie de faire de la magie, de sonder l’avenir par mantras, contraindre le futur à apparaître.

Auteur: Muray Philippe

Info: Dans "Le 19e siècle à travers les âges", page 332, à propos de Victor Hugo

[ style ] [ amplification ] [ effort ]

serial killer

Les forces de l'ordre classent les meurtriers sur une échelle de 1 à 25, qui va de l'opportuniste naïf jusqu'au tueur sadique, organisé et calculateur.
Ce que personne ne sait - hormis les membres d'un groupe d'élite anonyme chargé de traquer les criminels les plus dangereux du monde et dont les identités ne figurent dans aucun répertoire -, c'est qu'une nouvelle catégorie de meurtrier est en passe d'apparaître. Un seul homme y correspond.
Sa Cible: n'importe qui.
Son mode opératoire: n'importe lequel.
Son surnom: Sqweegel.
Sa Classification: Niveau 26.

Auteur: Zuiker Anthony E.

Info: Level 26

[ hiérarchie ]

regard

Les caresses des yeux sont les plus adorables ;
Elles apportent l'âme aux limites de l'être,
Et livrent des secrets autrement ineffables,
Dans lesquels seul le fond du coeur peut apparaître.

Les baisers les plus purs sont grossiers auprès d'elles ;
Leur langage est plus fort que toutes les paroles ;
Rien n'exprime que lui les choses immortelles
Qui passent par instants dans nos êtres frivoles.

Lorsque l'âge a vieilli la bouche et le sourire
Dont le pli lentement s'est comblé de tristesses,
Elles gardent encor leur limpide tendresse ;

Faites pour consoler, enivrer et séduire,
Elles ont les douceurs, les ardeurs et les charmes !
Et quelle autre caresse a traversé des larmes ?

Auteur: Angellier Auguste

Info:

[ rencontre ] [ poème ]

déprime

Mais le désir est une chose curieuse. S'il n'est pas là, il n'est pas là, et rien ne peut le faire apparaître. Pis : quand le désir commence à faire naufrage, tel un bateau qui a chaviré, il emporte à peu près tout avec lui. Je l'ai vérifié.
Dans notre cas, il emporta par le fond les conversations, les rires, la complicité, la sollicitude, les rêves, et presque - le plus important, le plus important de tout l'affection. En peu de temps, mon désir en perdition avait tout entraîné avec lui dans les profondeurs de l'océan. Seule l'affection surnageait, telle la main ballotée par les flots d'un homme qui se noie, dangereusement suspendue entre la vie et la mort.

Auteur: Tejpal Tarun

Info: Loin de Chandigarh

[ désespoir ] [ dépression ]

photo

- L'image que je fais n'est pas plus belle qu'une autre.
- Mais si!
- Non, je ne crois pas; mes images sont tout simplement plus charnelles, moins spirituelles; car ma conviction est que l'acte cinématographique doit se résoudre en un processus d'incarnation. Je dis souvent à mes collaborateurs: "Ne pensez pas qu'un verre soit simplement un verre, il a un visage, une face, un dos." C'est ce que Godard disait à sa manière provocatrice quand il affirmait qu'un arbre devait être filmé de face. Alors, quand je veux filmer des patates, je demande à l'accessoiriste de réfléchir, de m'apporter des patates susceptibles d'avoir un visage. Ensuite, je veille à ce que le chef opérateur éclaire de manière à le faire apparaître. Dans mon cinéma, tous les objets doivent prendre forme humaine.

Auteur: Tran Anh Hung

Info: Journal Elle à l'occasion de la sortie de son film A la verticale de l'été

[ anthropomorphisme ]

écriture

Je fais simplement le meilleur livre que je peux et j'essaie de ne pas me soucier du public ou de savoir s'il va se vendre. Les chances sont contre vous, alors pourquoi abuser de votre talent au nom d'une chimère ? Le seul véritable plaisir que j'éprouve à écrire est celui de me faire plaisir. Ce que pensent les lecteurs est intéressant et éclairant (et il se peut même que ce soit correct), mais ce n'est rien comparé à l'excitation de voir un monde se développer. En outre, même si j'apprécie la plupart des personnes que je rencontre, j'ai une assez mauvaise opinion des gens en général. Donc, si je devais écrire pour les gens en général, je devrais baisser radicalement mon estimation de l'intelligence de mon lecteur. Plutôt que de faire cela, j'écris de la façon dont il semble que le livre doive apparaître. Je ne pense pas que ce soit égoïste. Il y a souvent des choses que j'aimerais inclure dans mes livres - des choses qui me concernent personnellement et d'autres matériaux - que je sens que je dois laisser de côté parce qu'elles ne sont pas pertinentes pour le livre. Je suis assez impitoyable sur ce point, car j'essaie de ne rien laisser se mettre en travers de ce qui est le mieux pour le livre. Si cela signifie que le livre ne se vendra pas ou qu'un éditeur ne l'achètera pas, alors c'est mon problème. J'en souffrirai, mais je ne laisserai pas le livre en souffrir.

Auteur: Vollmann William T.

Info: Interview avec Larry McCaffery en 1993

[ sincérité ] [ incompromission ]

réflexivités

A chaque fois qu'un nouveau lecteur s'empare d'un roman, il le récrit, il en fait un remake, il le met en scène tel qu'il ne l'a encore jamais été. Le père Goriot a des centaines de millions de têtes différentes, Madame Bovary autant de voix, et si vous lisez demain "la Recherche du temps perdu ", vous entendrez une Sonate de Vinteuil dont vous inventerez chaque note. Vous l'entendrez tout aussi distinctement que ce Swann qui sous votre crâne l'entendra aussi pour la première fois. Car le Swann que vous aurez forgé n'aura jamais existé avant que vous ne le fassiez apparaître. Imaginez la foule immense des Swann recrées par les lecteurs de "la Recherche" depuis que Proust l'a tiré du néant. Une foule immense comme la population d'une mégalopole. Des gens dont aucun n'a la même tête, dont les vêtements se ressemblent à peine, et chacun de murmurer dans la cacophonie générale sa "petite phrase de Vinteuil" dont les autres n'ont pas la moindre idée. Lire, c'est inventer en silence un univers. C'est le contraire de la servitude. Lire, c'est un acte d'indépendance. Il faut aller chercher le texte au fond d'une librairie, d'une bibliothèque, d'un grenier où il nous attend depuis trois générations et suivre patiemment ses phrases comme des filons. Lire, c'est claquer la porte aux images et à la bande-son que l'environnement nous impose. C'est ne plus rien laisser entrer en soi que le cerveau ne filtre, ne réfléchisse, ne recrée. Recréer, c'est créer. Soyez Dieu, bordel, lisez !

Auteur: Jauffret Régis

Info: in "Marianne n° 1097

[ harangue ] [ lecture ] [ liberté ]

rupture

Ma tendre mademoiselle Beadnell,
Vos sentiments vous permettront sans doute mieux d'imaginer, bien mieux que n'importe quelle tentative de ma part, le déchirement qu'a été d'emprunter le chemin que j'ai désormais choisi de prendre. Cette direction que je prends ne pourrait pas être plus contraire à celle de mes désirs et de mes sentiments. Malgré tout, elle se dévoile être un peu plus chaque jour la seule et l'unique voie qui s'offre à moi.
Nos rencontres n'ont récemment été guère plus que des manifestations de cruelle indifférence d'un côté et de l'autre, elles n'ont conduit qu'à nourrir le chagrin d'une relation qui depuis longtemps est devenue plus que désespérée. Conscient que je m'étais embarqué dans une quête qui depuis longtemps était désespérée - et persévérer dans cette voie n'aurait pu que me ridiculiser - j'ai pris la décision de vous rendre ce cadeau que j'ai reçu de vous il y a peu (et que j'ai toujours eu, voire que j'ai, en haute estime en comparaison à tout ce que je peux posséder) ainsi que d'autres souvenirs dans lesquels j'inclus nos dernières lettres. Je suis certain que vous apprécierez de les recevoir puisque, tenant compte de nos situations respectives, tout cela ne pourrait être mieux qu'entre vos mains.
Dois-je dire que rien n'est plus éloigné de mon intention que de vous blesser avec ces quelques lignes qui accompagnent ce petit paquet ? Je suis certainement la dernière personne au monde qui pourrait se comporter ainsi. Il me semble que ce n'est pas le moment pour ce type de jeu frivole, délibéré et calculé. [...] Ce serait mesquin et malvenu de ma part que de conserver un de vos cadeaux ou bien de garder même une seule ligne de votre souvenir ou une quelconque marque de votre affection.
J'ai une seule chose à ajouter, et je le dis à ma décharge. Pour moi, le fruit de notre passion a sans nul doute été la mélancolie. J'ai vu apparaître au fil de notre correspondance les marques d'une totale désolation et de malheur apparaître. Grâce à Dieu je parle en mon nom et peux m'enorgueillir du mérite d'avoir toujours agi avec vous de manière juste, claire et honorable, et ce tout au long de nos échanges.
Sous une couche d'amabilité ou bien au travers d'un comportement totalement distinct d'un jour à l'autre, j'ai toujours été le même. J'ai toujours agi sans réserve et sans jamais prétendre atteindre ce que je ne pouvais accomplir. Je ne vous ai jamais laissé espérer ce que je ne pouvais combler. Jamais je n'ai pris le rôle d'une oreille attentive dans le seul but d'arriver à mes fins et je crois que jamais je ne le pourrai (bien que Dieu sache que c'est peu probable que l'occasion se présente à moi). [...]
Je n'ai rien fait qui eut été susceptible de vous blesser. Et si j'ai dit (bien que je ne le crois pas possible) quelque chose qui ait pu avoir cet effet la, la seule chose que je puisse faire et de vous demander de vous mettre à ma place et une explication s'offrira à vous, une explication bien plus claire que celle que je pourrais vous offrir.
Acceptez ce qui suit avec toute la valeur que cela comporte, et je crois que rien au monde ne pourrait me rendre plus content, ni plus vrai, que de vous savoir, vous l'objet de mon premier et dernier amour, heureuse. Si vous arrivez à le devenir comme je pense que vous pouvez l'être, alors vous serez en possession de toutes les bénédictions que ce monde puisse vous donner. C.D.

Auteur: Dickens Charles

Info: Lettre du 18 mars 1833 à son premier amour, lui ne plait pas à la famille bourgeoise de sa fiancée. Echec qui donna à Twain la rage de vaincre les obstacles et devenir le grand auteur qu'on connait

émergence du regard

Les yeux des mollusques révèlent à quel point l'évolution future dépend du passé

Les systèmes visuels d'un groupe obscur de mollusques fournissent un exemple naturel rare d'évolution dépendante du chemin, dans lequel une bifurcation critique dans le passé des créatures a déterminé leur avenir évolutif.

(photo : Les systèmes visuels des chitons, un type de mollusque marin, représentent un rare exemple réel d’évolution dépendante du chemin – où l’histoire d’une lignée façonne irrévocablement sa trajectoire future.)

Les biologistes se sont souvent demandé ce qui se passerait s'ils pouvaient rembobiner la bande de l'histoire de la vie et laisser l'évolution se dérouler à nouveau. Les lignées d’organismes évolueraient-elles de manière radicalement différente si on leur en donnait la possibilité ? Ou auraient-ils tendance à développer les mêmes types d’yeux, d’ailes et d’autres traits adaptatifs parce que leurs histoires évolutives précédentes les avaient déjà envoyés sur certaines voies de développement ?

Un nouvel article publié aujourd'hui dans Science décrit un cas test rare et important pour cette question, qui est fondamentale pour comprendre comment l'évolution et le développement interagissent. Une équipe de chercheurs de l'Université de Californie à Santa Barbara l'a découvert alors qu'elle étudiait l'évolution de la vision chez un groupe obscur de mollusques appelés chitons. Dans ce groupe d’animaux, les chercheurs ont découvert que deux types d’yeux – les ocelles et les yeux en coquille – ont chacun évolué deux fois indépendamment. Une lignée donnée peut évoluer vers un type d’œil ou vers l’autre, mais jamais les deux.

Curieusement, le type d’œil d’une lignée était déterminé par une caractéristique plus ancienne apparemment sans rapport : le nombre de fentes dans l’armure du chiton. Cela représente un exemple concret d' " évolution dépendante du chemin ", dans lequel l'histoire d'une lignée façonne irrévocablement sa trajectoire évolutive future. Les moments critiques dans une lignée agissent comme des portes à sens unique, ouvrant certaines possibilités tout en fermant définitivement d’autres options.

"C'est l'un des premiers cas où nous avons pu observer une évolution dépendante du cheminement", a déclaré Rebecca Varney , chercheuse postdoctorale au laboratoire de Todd Oakley à l'UCSB et auteur principal du nouvel article. Bien qu’une évolution dépendante du chemin ait été observée chez certaines bactéries cultivées en laboratoire, " montrer cela dans un système naturel était une chose vraiment excitante ".

"Il y a toujours un impact de l'histoire sur l'avenir d'un trait particulier", a déclaré Lauren Sumner-Rooney , qui étudie les systèmes visuels des invertébrés à l'Institut Leibniz pour les sciences de l'évolution et de la biodiversité et n'a pas participé à la nouvelle étude. "Ce qui est particulièrement intéressant et passionnant dans cet exemple, c'est que les auteurs semblent avoir identifié le moment où se produit cette division."

Pour cette raison, les chitons "sont susceptibles d'entrer dans les futurs manuels sur l'évolution" comme exemple d'évolution dépendante du chemin, a déclaré Dan-Eric Nilsson, un écologiste visuel à l'Université de Lund en Suède qui n'a pas participé à la recherche.

Les chitons, petits mollusques qui vivent sur les roches intertidales et dans les profondeurs marines, ressemblent à de petits réservoirs protégés par huit plaques de coquille – un plan corporel resté relativement stable pendant environ 300 millions d'années. Loin d'être des armures inertes, ces genres de plaques d'obus sont fortement décorées d'organes sensoriels qui permettent aux chitons de détecter d'éventuelles menaces.

(photo : Chiton tuberculatus , qui vit sur les côtes rocheuses des Caraïbes, utilise de nombreux ocelles pour obtenir une vision spatiale. Les chitons ont développé des ocelles à deux reprises au cours de leur histoire évolutive.)

Les organes sensoriels sont de trois types. Tous les chitons ont des esthètes (aesthetes : récepteur tout-en-un extrêmement synesthésique qui permet de détecter la lumière ainsi que les signaux chimiques et mécaniques de l'environnement.)

Certains chitons possèdent également un système visuel approprié : soit des milliers d'ocelles sensibles à la lumière, soit des centaines d'yeux en forme de coquille plus complexes, dotés d'un cristallin et d'une rétine permettant de capturer des images grossières. Les animaux dotés d'yeux en forme de coquille peuvent détecter les prédateurs imminents, en réponse à quoi ils se cramponnent fermement au rocher.

Pour comprendre comment cette variété d’yeux de chiton a évolué, une équipe de chercheurs dirigée par Varney a examiné les relations entre des centaines d’espèces de chiton. Ils ont utilisé une technique appelée capture d'exome pour séquencer des sections stratégiques d'ADN provenant d'anciens spécimens de la collection de Doug Eernisse , spécialiste du chiton à la California State University, Fullerton. Au total, ils ont séquencé l’ADN de plus de 100 espèces soigneusement sélectionnées pour représenter toute l’étendue de la diversité des chitons, assemblant ainsi la phylogénie (ou l’arbre des relations évolutives) la plus complète à ce jour pour les chitons.

Ensuite, les chercheurs ont cartographié les différents types d’yeux sur la phylogénie. Les chercheurs ont observé que la première étape avant l’évolution des yeux en coquille ou des ocelles était une augmentation de la densité des esthètes sur la coquille. Ce n’est qu’alors que des yeux plus complexes pourraient apparaître. Les taches oculaires et les yeux en coquille ont chacun évolué à deux reprises au cours de la phylogénie, ce qui représente deux instances distinctes d'évolution convergente.

Indépendamment, les chitons ont fait évoluer les yeux - et, à travers eux, ce que nous pensons être probablement quelque chose comme la vision spatiale - à quatre reprises, ce qui est vraiment impressionnant", a déclaré M. Varney. 

" Cette évolution s'est faite incroyablement rapidement ". Les chercheurs ont estimé que chez le genre néotropical Chiton, par exemple, les yeux ont évolué en l'espace de 7 millions d'années seulement, soit un clin d'œil à l'échelle de l'évolution.

Les résultats ont surpris les chercheurs. "Je pensais qu'il s'agissait d'une évolution progressive de la complexité, passant des esthètes à un système d'ocelles et à des yeux en forme de coquille - une progression très satisfaisante", a déclaré Dan Speiser , écologiste visuel à l'Université de Caroline du Sud et co-auteur d'un article. auteur. " Au lieu de cela, il existe plusieurs chemins vers la vision."

Mais pourquoi certaines lignées ont-elles développé des yeux en coquille plutôt que des ocelles ? Au cours d'un trajet de six heures en voiture depuis une conférence à Phoenix jusqu'à Santa Barbara, Varney et Oakley ont commencé à développer l'hypothèse selon laquelle le nombre de fentes dans la coquille d'un chiton pourrait être la clé de l'évolution de la vision du chiton.

Toutes les structures sensibles à la lumière sur la coquille du chiton, a expliqué Varney, sont attachées à des nerfs qui passent à travers les fentes de la coquille pour se connecter aux nerfs principaux du corps. Les fentes fonctionnent comme des organisateurs de câbles, regroupant les neurones sensoriels. Plus il y a de fentes plus il y les ouvertures par lesquelles les nerfs peuvent passer.

Il se trouve que le nombre de fentes est une information standard qui est enregistrée chaque fois que quelqu'un décrit une nouvelle espèce de chiton. " L'information était disponible, mais sans le contexte d'une phylogénie sur laquelle la cartographier, elle n'avait aucune signification ", a déclaré Varney. " Alors je suis allé voir ça et j'ai commencé à voir ce modèle."

Varney a constaté qu'à deux reprises, indépendamment, des lignées comportant 14 fentes ou plus dans la plaque céphalique ont développé des ocelles. Et deux fois, indépendamment, des lignées comportant 10 fentes ou moins ont développé des yeux en coquille. On se rend ainsi compte que le nombre de fentes verrouillées et le type d'yeux pouvaient évoluer : un chiton avec des milliers d'ocelles a besoin de plus de fentes, tandis qu'un chiton avec des centaines d'yeux en coquille en a besoin de moins. En bref, le nombre de fentes dans la  coquille déterminait l’évolution du système visuel des créatures.

Les résultats conduisent vers une nouvelle série de questions. Les chercheurs étudient activement pourquoi le nombre de fentes limite le type d'œil dans son évolution. Pour répondre à cette question, il faudra travailler à élucider les circuits des nerfs optiques et la manière dont ils traitent les signaux provenant de centaines ou de milliers d’yeux.

Alternativement, la relation entre le type d’œil et le nombre de fentes pourrait être déterminée non pas par les besoins de vision mais par la manière dont les plaques se développent et se développent dans différentes lignées, a suggéré Sumner-Rooney. Les plaques de coquille se développent du centre vers l'extérieur par accrétion, et des yeux sont ajoutés tout au long de la vie du chiton à mesure que le bord se développe. " Les yeux les plus anciens sont ceux au centre de l'animal, et les plus récents sont ajoutés sur les bords. ", a déclaré Sumner-Rooney. En tant que chiton, " vous pourriez commencer votre vie avec 10 yeux et finir votre vie avec 200 ".

Par conséquent, le bord de croissance d'une plaque de carapace doit laisser des trous pour les yeux nouceaux – de nombreux petits trous pour les ocelles, ou moins de trous plus grands pour les yeux de la coquille. Des trous trop nombreux ou trop grands pourraient affaiblir une coque jusqu'à son point de rupture, de sorte que des facteurs structurels pourraient limiter les possibilités pour cest yeux.

Il reste beaucoup à découvrir sur la façon dont les chitons voient le monde, mais en attendant, leurs yeux sont prêts à devenir le nouvel exemple préféré des biologistes d'évolution dépendante du chemin, a déclaré Nilsson. "Les exemples de dépendance au chemin qui peuvent être vraiment bien démontrés, comme dans ce cas, sont rares - même si le phénomène n'est pas seulement courant, c'est la manière standard dont les choses se produisent."



 

Auteur: Internet

Info: Résumé par Gemini

[ évolution qui dépend du chemin ] [ biologie ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]