abnégation

Il y a des gens qui ne se nourrissent que de carottes crues, ou qui se tuent au sport, tout investis dans une posture de saint. Et cela peut même concerner des sphères de la vie où des gens tout à fait comme il faut ne doivent pas s’aventurer, concerner des situations des plus risquées, avec une telle ferveur et un tel esprit que de renoncement, que vous êtes là à vous arracher les cheveux en les écoutant vous raconter leurs histoires, et vous vous demandez comment diable ils peuvent vivre cette vie-là. Ils vous disent : "Oh, vous savez, c’est un immense sacrifice pour moi." A l’extérieur, ce sont des cochons, mais qu’est-ce qu’ils se sont sacrifiés ! C’est la mentalité d’un saint du Moyen Age qui plane encore sur notre époque, et bien entendu cela nous apparaît comme en complet décalage.

Auteur: Jung Carl Gustav

Info: Dans "Analyse des visions", conférence du 12 novembre 1930

[ jugement ] [ analyste-analysant ] [ humain ] [ faiblesse ]

annales

Le monde des bibliothèques antiques forme un ensemble d'une très grande richesse, mais dont il ne subsiste plus que de rares épaves conservées par hasard. Ces institutions, tant en Mésopotamie qu'en Egypte, dans les cités grecques et dans l'empire romain, peuvent être qualifiées de "bibliothèques-mondes", dont le contenu ne peut jamais concerner qu'une minorité de la population (la majorité est analphabète et n'a pas accès au livre) et qui disparaissent avec la civilisation correspondante - avec leur "monde". La disparition et l'oubli sont tels qu'il faudra même après coup réinventer le déchiffrement d'écritures non seulement abandonnées, mais complètement tombées dans l'oubli - qu'il s'agisse des hiéroglyphes ou du cunéiforme. (...) Le plus frappant reste, pour l'historien des bibliothèques, que ce monde totalement disparu a pourtant constitué l'horizon rêvé des bibliothèques et de la culture livresque des siècles durant, que le Musée d'Alexandrie s'est imposé comme un véritable mythe, et que le modèle de sa bibliothèque perdure dans les fondations les plus contemporaines.

Auteur: Barbier Frédéric

Info: Histoire des bibliothèques: D'Alexandrie aux bibliothèques virtuelles, Conclusion

[ archives ] [ historique ]

damnatio memoriae

La mémoire d’Antoine fut condamnée par un sénatus-consulte que Dion situe en 31 et Plutarque en 30. Si les discussions peuvent porter sur la définition exacte de la date à laquelle une telle mesure fut décidée, elles ne semblent pas concerner la réalité de la mesure juridique d’abolition de la mémoire. La condamnation de la mémoire d’Antoine a été préparée par une succession de déclarations d’hostis publicus entre 43 et 32 av. J.-C., déclarations dont Marc Antoine fut loin d’avoir l’exclusivité. Mais, après la victoire des troupes d’Octave sur celles de Cléopâtre et Marc Antoine, des mesures furent prises pour atteindre la mémoire d’Antoine. Les textes historiques sont très clairs sur ce point. A deux reprises, l’historien Plutarque évoque les atteintes portées, entre autres, aux statues de Marc Antoine, dans la Vie de Cicéron d’abord, et dans la Vie d’Antoine (Plutarque) ensuite. Au 3ème siècle ap. J.-C., l’historien Dion Cassius mentionne quant à lui le caractère systématique de ces mesures, sans véritablement rentrer dans les détails toutefois.

Auteur: Ferriès Marie-Claire

Info: Le sort des partisans d’Antoine : damnatio memoriae ou clementia ?, dans S. Benoist et A. Daguet-Gagey (éds), Mémoire et histoire. Les procédures de condamnation dans l’Antiquité Romaine, Metz, 2007, p. 54.

[ manipulation ] [ historique ] [ bannissement des anales ] [ archives truquées ]

théorie endosymbiotique

Des gènes "étrangers", issus de micro-organismes ayant cohabité avec nos lointains ancêtres sont présents dans notre ADN, révèle une étude publiée le 13 mars 2015 dans la revue Genome Biology. En d’autres termes, nos gènes ne sont pas seulement hérités de nos ancêtres : ils proviennent aussi d’organismes vivants très différents de notre espèce, qui nous ont été transmis au cours de notre évolution. Un résultat d’autant plus surprenant que ces travaux révèlent que ces gènes issus de ces micro-organismes, loin de jouer un rôle anecdotique, ont des fonctions cruciales dans le fonctionnement de notre organisme. En effet, ils sont notamment impliqués dans le métabolisme des lipides […] et dans les processus de défense immunitaire. Quels sont ces micro-organismes qui nous ont transmis ces gènes ? Il s’agit essentiellement de bactéries et de protistes (des organismes généralement unicellulaires comme les micro-algues et les protozoaires). Comment ces gènes ont-ils bien pu pénétrer dans notre génome ? Par un processus appelé "transfert horizontal de gènes" (HGT pour horizontal gene transfer en anglais). Un processus déjà connu pour être à l’œuvre chez certains animaux simples, comme le ver nématode dont le génome possède des gènes issus de plantes et de micro-organismes. […] Or, ces nouveaux travaux montrent que, loin de concerner des animaux très simples comme le ver nématode, le transfert horizontal de gènes concerne aussi en réalité très probablement… la plupart des êtres vivants complexes, dont les primates et l’homme.

Auteur: Anonyme

Info: Dans "Les magiciens du nouveau siècle", page 153

[ mutations génétiques ]

contact xénolinguistique

Si traduire est la façon la plus profonde de lire, se faire idée des potentialités d'une transposition exolinguistique - sans en avoir aucun exemple - nous met face à nous-mêmes, infimes émergences (vivantes?), membres d'une civilisation-espèce qui a su, après x milliards d'années d'évolution, générer des langages écrits, symboles-codages consensuels, transmissibles et transposables entre humains de générations différentes. Développement d'un univers-monde anthropique qui, à l'usage et à la réflexion, peut aussi ressembler à une fermeture. Mais oublions cette dernière phrase. 

Quels pourraient être les points d'accroches pour aborder une communication pas trop déséquilibrée, avec quelque inconnue entité civilisationnelle, au vu de nos difficultés en la matière pour ce qui est de nos propres performances quant au développement de codes-symboles interfaces susceptibles de nous permettre un réel échange avec nos coéquipiers terrestres, les animaux ? 

Ainsi - un cran plus loin au moins - pour ce qui concernerait une communication avec une vie extraterrestre, on a de la peine à imaginer la chose sans que les deux parties en contact soient chacunes très au courant de leurs mondes sources respectifs (priméités planétaires) - ceci en passant par quelque processus capable de faire passer l'information dans les deux sens - toutes choses faites en respectant un minimum d'égalité, de pondération au moins -, nécessaire semble-t'il pour un tel dialogue. 

Mais est-ce imaginable ? 

Ce point, celui du décalage évident entre deux civilisations-planètes-espèces, donne un aperçu de la coincidence extrême qui sera nécessaire avant d'imaginer raisonnablement les modalités d'un contact "équilibré" entre une civilisation primitive telle que la notre, et une autre. 

Posé ainsi le possible ressemble - pour un humain de 2022 déjà bien en difficulté pour communiquer avec ses semblables - à de l'impossible.

Et il n'est nullement question ici de technologie.

Auteur: Mg

Info: 1 octobre 2022

[ astrolinguistique ] [ exolinguistique ]

sociologie du sexe

C’est justement ça qui est étonnant chez toi : tu aimes faire plaisir. Offrir son corps comme un objet agréable, donner gratuitement du plaisir : voilà ce que les Occidentaux ne savent plus faire. Ils ont complètement perdu le sens du don. Ils ont beau s’acharner, ils ne parviennent plus à ressentir le sexe comme naturel. Non seulement ils ont honte de leur propre corps, qui n’est pas à la hauteur des standards du porno, mais, pour les mêmes raisons, ils n’éprouvent plus aucune attirance pour le corps de l’autre. Il est impossible de faire l’amour sans un certain abandon, sans l’acceptation au moins temporaire d’un certain état de dépendance et de faiblesse. L’exaltation sentimentale et l’obsession sexuelle ont la même origine, toutes deux procèdent d’un oubli partiel de soi ; ce n’est pas un domaine dans lequel on puisse se réaliser sans se perdre. Nous sommes devenus froids, rationnels, extrêmement conscients de notre existence individuelle et de nos droits ; nous souhaitons avant tout éviter l’aliénation et la dépendance ; en outre, nous sommes obsédés par la santé et par l’hygiène : ce ne sont vraiment pas les conditions idéales pour faire l’amour. Au point où nous en sommes, la professionnalisation de la sexualité en Occident est devenue inéluctable. Évidemment, il y a aussi le SM. C’est un univers purement cérébral, avec des règles précises, un accord préétabli. Les masochistes ne s’intéressent qu’à leurs propres sensations, ils essaient de voir jusqu’où ils pourront aller dans la douleur, un peu comme les sportifs de l’extrême. Les sadiques c’est autre chose, ils vont de toute façon aussi loin que possible, ils ont le désir de détruire : s’ils pouvaient mutiler ou tuer, ils le feraient. — Je n’ai même pas envie d’y repenser, dit-elle en frissonnant ; ça me dégoûte vraiment. — C’est parce que tu es restée sexuelle, animale. Tu es normale en fait, tu ne ressembles pas vraiment aux Occidentales. Le SM organisé, avec des règles, ne peut concerner que des gens cultivés, cérébraux, qui ont perdu toute attirance pour le sexe. Pour tous les autres, il n’y a plus qu’une solution : les produits porno, avec des professionnelles ; et, si on veut du sexe réel, les pays du tiers-monde.

Auteur: Houellebecq Michel

Info: Plateforme

[ indifférenciation ]

architecture sonore

Les intervalles essentiels de la musique sont enracinés dans le discours humain
L'utilisation de 12 intervalles dans la musique de beaucoup de cultures humaines est enracinée dans la façon physique utilisée par notre anatomie vocale pour produire de la parole, selon des chercheurs de Duke University en neurologie cognitive.
Les notes particulières utilisées dans le son musical sonnent juste à nos oreilles en raison du travail spécifique de notre appareil vocal dans toutes les langues humaines, a déclaré Dale Purves, du George Barth Geller Professor for Research in Neurobiology.
Ce n'est pas quelque chose qu'on peut entendre directement, mais quand les bruits de la parole sont examinés avec un analyseur de spectre, les rapports entre les diverses fréquences qu'un individu emploie pour faire le son des voyelles correspond d'une manière quasi parfaite et ordonnée aux rapports entre les 12 notes de la gamme chromatique musicale, dit Purves. Ce travail a été mis en ligne le 24 mai. (téléchargement à http://www.pnas.org/cgi/reprint/0703140104v1)
Purves et les co-auteurs Deborah Ross et Jonathan Choi ont testé leur idée en enregistrant les langues indigènes chinoises et anglaise en faisant dire des bruits de voyelle avec des mots simples ainsi que dans des monologues courts. Ils ont alors comparé les ratios vocaux de fréquence aux ratios numériques qui définissent des notes dans la musique.
La vocalisation humaine vient basiquement des cordes vocales dans le larynx (la pomme d'Adam, dans le cou), qui créent une série de crêtes résonnant puissamment grâce au jet d'air montant des poumons. Ces crêtes de puissance sont alors modifiées par une multitude de moyens spectaculaires comme la déformation du palais mou, de la langue, des lèvres et d'autres parties encore. Notre anatomie vocale est plutôt comme un orgue dont on pourrait étirer, pincer ou élargir les tuyaux. Les anglophones produisent environ 50 bruits différents dans leur langue de cette façon.
Cependant, en dépit de la grande variation en anatomie humaine individuelle, les bruits de la parole produit par différents individus dans différentes langues produisent la même variété de ratios de résonance dit Purves.
Les deux plus basses de ces résonances, appelées formants, sont là pour les voyelles dans la parole. Enlevez ces deux premiers formants et vous ne pourrez rien comprendre de ce qu'une personne dit. La fréquence du premier formant est entre 200 et 1.000 cycles par seconde (hertz) et le deuxième entre 800 et 3.000 hertz.
Quand les chercheurs de Duke ont examiné les rapports de ces deux premiers formants avec les spectres du langage, ils ont constaté que les ratios montraient des relations avec la musique. Par exemple, le rapport des deux premiers formants dans la voyelle anglaise /a/, comme en "physique," pourrait correspondre à l'intervalle musical entre C et A sur un clavier de piano.
"Dans environ 70 pour cent des sons de ces discours, ces ratios tombaient pile sur des intervalles musicaux" dit Purves. "Cette prédominance des intervalles musicaux cachés dans la parole suggère que les notes de la gamme chromatique musicale sonnent juste à nos oreilles parce qu'elles correspondent aux rapports auxquels nous sommes exposés sans arrêt dans nos idiomes, bien que nous soyons tout à fait ignorants de la chose."
Peu de musique, excepté certains morceaux expérimentaux modernes, emploie chacun des 12 tons. La plupart des musiques emploient une gamme diatonique de 7 tons - ou gamme diatonique - pour diviser les octaves, et beaucoup de musique folklorique n'emploient que cinq tons, la gamme pentatonique.
Ces caractériellement correspondent aux ratios des formants les plus répandus dans la parole. Purves et ses collaborateurs travaillent maintenant afin de savoir si dans une culture donnée ou il y a une particularité de ces tons ou formants, ceci est lié aux rapports de formants particulièrement répandus dans la langue maternelle d'un groupe donné.
Purves et ses collaborateurs pensent également que ces résultats peuvent aider à éclairer un débat séculaire ; à savoir quel type d'accordages fonctionne le mieux pour les instruments. Dix des 12 intervalles harmoniques identifiés dans les discours anglais et mandarin ont "la bonne intonation" qui sonne plus juste pour la plupart des musiciens qualifiés. Ils ont trouvé beaucoup moins de correspondances avec d'autres systèmes d'accordages, y compris l'accordage à tempérament égal généralement utilisé aujourd'hui.
L'accordage a tempérament égal, dans lequel chacun des 12 intervalles de la gamme chromatique est exactement le même et un schéma qui permet à un groupe tel qu'un orchestre de jouer ensemble dans différentes clefs et au travers de beaucoup d'octaves. Bien qu'un accordage à tempérament égal sonne bien, c'est juste un compromis par rapport a quelque chose d'origine plus naturelle, vocalement dérivé d'intonation juste, dit Purves.
La prochaine étude de son groupe concernera notre compréhension intuitive comme quoi un morceau musical tend à paraître joyeux s'il est dans une tonalité majeure ou relativement triste dans une tonalité mineure. Ce qui pourrait aussi provenir de la voix humaine, suggère Purves.

Auteur: Fortean Times

Info: From Duke University

[ langage ] [ sciences ]

compromission

En mai 68 mai et dans le sillage de l’événement sont apparus de nouveaux thèmes portant sur la sexualité, l’éducation des enfants, la psychiatrie, la culture, qui sont venus interpeller les schémas de la lutte des classes et les idéologies de l’extrême gauche traditionnelle. Le gauchisme culturel naît précisément dans ce cadre et c’est lui qui va le premier déplacer l’axe central de la contestation vers les questions sociétales, à la manière de l’époque, c’est-à-dire de façon radicale et délibérément provocatrice. Il est ainsi devenu le vecteur d’une révolution culturelle qui a mis à mal l’orthodoxie des groupuscules d’extrême-gauche, avant de concerner l’ensemble de la gauche et de se répandre dans la société. Quand on étudie la littérature gauchiste de l’immédiat après-Mai, on est frappé de retrouver nombre de thèmes du gauchisme culturel d’aujourd’hui, mais, en même temps, ces derniers semblent bien mièvres et presque banalisés en regard de la rage dont faisaient preuve les révolutionnaires de l’époque. Leur remise en question radicale a concerné bien des domaines dont nous ne pouvons rendre compte dans le cadre limité de cet article 34. Mais il suffit d’évoquer ce qu’il en fut en matière de mœurs et de sexualité au début des années 1970 pour mieux cerner le fossé qui nous sépare du présent. Le désir était alors brandi comme une arme de subversion de l’ordre établi qui devait faire sauter tous les interdits, les tabous et les barrières. Il s’agissait de faire tomber tous les masques, en pourchassant les justifications et les refoulements au cœur même des discours les plus rationnels et les plus savants. Être "authentique", c’était oser, si l’on peut dire, regarder le désir en face et ne plus craindre d’exprimer en toute liberté le chaos que l’on porte en soi. C’est sans doute pour cette raison que sur le front du désir la classe ouvrière a pu apparaître muette à beaucoup.

Les religions juives et chrétiennes, la "morale bourgeoise", l’idéologie, le capitalisme réprimaient le désir, il s’agissait alors ouvertement de tout mettre à bas pour le libérer. Le mariage et la famille n’échappaient pas à un pareil traitement. Ils étaient considérés comme un dispositif central dans ce vaste système de répression, la cellule de base du système visant à castrer et à domestiquer le désir en le ramenant dans les credo de la normalité. Les lesbiennes et les gays revendiquaient clairement leur différence en n’épargnant pas les " hétéro-flics", la "virilité fasciste", le patriarcat. Il était alors totalement exclu de se marier et de rentrer dans le rang.

On peut mesurer les différences et le chemin parcouru depuis lors. Nous sommes passés d’une dynamique de transgression à une banalisation paradoxale qui entend jouer sur tous les plans à la fois: celui de la figure du contestataire de l’ordre établi, celui de la minorité opprimée, celui de la victime ayant des droits et exigeant de l’État qu’il satisfasse au plus vite ses revendications, celui du Républicain qui défend la valeur d’égalité, celui du bon père et de la bonne mère de famille…

Mais, en même temps, force est de constater que nombre de thèmes de l’époque font écho aux postures d’aujourd’hui. Il en est ainsi du culte des sentiments développé particulièrement au sein du MLF. Renversant la perspective du militantisme traditionnel, il s’agissait déjà de partir de soi, de son "vécu quotidien", de partager ce vécu avec d’autres et de le faire connaître publiquement. On soulignait déjà l’importance d’une parole au plus près des affects et des sentiments. Alors que l’éducation voulait apprendre à les dominer, il fallait au contraire ne plus craindre de se laisser porter par eux. Ils exprimaient une révolte à l’état brut et une vérité bien plus forte que celle qui s’exprime à travers la prédominance accordée à la raison. À l’inverse de l’idée selon laquelle il ne fallait pas mêler les sentiments personnels et la politique, il s’agissait tout au contraire de faire de la politique à partir des sentiments. Trois préceptes du MLF nous paraissent condenser le renversement qui s’opère dès cette période: "Le personnel est politique et le politique est personnel";  "Nous avons été dupés par l’idéologie dominante qui fait comme si “la vie publique” était gouvernée par d’autres principes que la vie privée”; "Dans nos groupes, partageons nos sentiments et rassemblons-les et voyons où ils nous mèneront. Ils nous mèneront aux idées puis à l’action". Ces préceptes condensent une nouvelle façon de faire de la "politique" qui fera de nombreux adeptes.

Resterait à tracer la genèse de ce curieux destin du gauchisme culturel jusqu’à aujourd’hui, la perpétuation de certains de ses thèmes et leur transformation. L’analyse de l’ensemble du parcours reste à faire, mais cette dernière implique à notre sens la prise en compte du croisement qui s’est opéré entre ce gauchisme de première génération avec au moins trois grands courants: le christianisme de gauche, l’écologie politique et les droits de l’homme. C’est dans la rencontre avec ces courants que le gauchisme culturel s’est pacifié, pris un côté boy-scout et faussement gentillet, et qu’il s’est mis à revendiquer des droits. Mais c’est surtout dans les années 1980 que le gauchisme culturel va recevoir sa consécration définitive dans le champ politique, plus précisément au tournant des années 1983-1984, au moment où la gauche change de politique économique sans le dire clairement et entame la "modernisation " Le gauchisme culturel va alors servir de substitut à la crise de sa doctrine et masquer un changement de politique économique mal assumé. À partir de ce moment, la gauche au pouvoir va intégrer l’héritage impossible de mai 68, faire du surf sur les évolutions dans tous les domaines, et apparaître clairement aux yeux de l’opinion comme étant à l’avant-garde dans le bouleversement des mœurs et de la "culture". Nous ne sommes pas sortis de cette situation.

Au terme de ce parcours qui rend compte des glissements opérés par la gauche et de l’influence du gauchisme culturel en son sein, il nous paraît possible de poser sans détour ce qui n’est plus tout à fait une hypothèse: nous assistons à la fin d’un cycle historique dont les origines remontent au XIXe siècle; la gauche a atteint son point avancé de décomposition, elle est passée à autre chose tout en continuant de faire semblant qu’il n’en est rien; il n’est pas sûr qu’elle puisse s’en remettre. Le gauchisme culturel, qui est devenu hégémonique à gauche et dans la société, a été un vecteur de cette décomposition et son antilibéralisme intellectuel, pour ne pas dire sa bêtise, est un des principaux freins à son renouvellement. La gauche est-elle capable de rompre clairement avec lui ? Rien n’est certain étant donné la prégnance de ses postures et de ses schémas de pensée.

Auteur: Le Goff Jean-Pierre

Info: "Du gauchisme culturel et de ses avatars" , Le Débat n° 176, septembre-octobre 2013, p.49-55.

[ hypocrisie ] [ détournement ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]