moquerie

M. de Talleyrand se trouvait à une soirée, où assistait également le baron de Ferretti, parent du pape Pie IX. Le baron avait des jambes d'une longueur et d'une maigreur effrayantes : "Ne trouvez-vous pas, dit Talleyrand en se penchant à l'oreille d'un de ses voisins, que M. de Ferretti est l'homme le plus courageux qu'il y ait aujourd'hui en France ? "

- Pourquoi cela, monseigneur ?

- Parce que nul autre que lui ne serait assez hardi pour oser marcher sur de pareilles jambes.

Auteur: Talleyrand Charles-Maurice de

Info:

[ décharné ] [ vacherie ]

prolifération

Les mathématiques de la croissance incontrôlée sont effrayantes. Dans des circonstances idéales, une seule cellule de la bactérie E. coli se divisera toutes les vingt minutes. Ce n'est pas particulièrement troublant tant qu'on n'y pense pas, mais le fait est que les bactéries se multiplient géométriquement : un devient deux, deux devient quatre, quatre devient huit, et ainsi de suite. De cette façon, on peut démontrer qu'en une seule journée, une cellule d'E. coli peut produire une super-colonie de taille et de poids égaux à ceux de la planète Terre.

Auteur: Crichton Michael

Info: La souche Andromède. Day 4 — Spread (p. 247) Alfred A. Knopf. New York, New York, USA.Alfred A. Knopf. New York, New York, États-Unis. 1969

[ pullulement ] [ biologie ]

femmes-entre-elles

La mocheté du réel, on la taisait, les humiliations de fille ça se garde comme si on était fautives, qu'on l'ait méritée, l'humiliation, qu'on soit responsables de tout, des dépucelages manqués, des nuits incertaines, est-ce que ça s'appelle coucher ça, de leur grossièreté à eux. Des litotes honteuses tout au plus : "Si tu savais ce qu'il m'a proposé." Parfois le souffle d'histoires effrayantes passe sur nous, Michelle la rousse, celle qu'on voyait toujours avec Machin, suicidée aux barbituriques, et Jeannette, un seau de sang, ça aurait été des jumeaux, on ne se lasse pas des détails chuchotés, avec de l'eau savonneuse. La fatalité. L'homme, libre, salaud, indifférent, comme ça lui chante, nous étions toutes d'accord.

Auteur: Ernaux Annie

Info: La femme gelée, Page 116, Folio, 2018

[ frustrées ] [ soeurs ] [ hommes-par-femme ]

Etat

Pour moi, je ne doute pas que les premiers qui l'ont introduite n'aient eu en vue la multitude ; car, s'il était possible qu'un état ne fut composé que de gens sages, peut-être cette institution n'eût-elle pas été nécessaire ; mais, comme le peuple n'a nulle constance, qu'il est plein de passions déréglées, qu'il s'emporte sans raisons et jusqu'à la violence, il a fallu le retenir par la crainte de choses qu'il ne voyait pas et par tout cet attirail de fictions effrayantes. C'est dont avec grande raison que les anciens ont répandu parmi le peuple qu'il y avait des dieux, qu'il y avait des supplices à craindre dans les enfers, l'on a grand tort dans notre siècle de rejeter ces sentiments [...].

Auteur: Polybe

Info: Histoire générale, IIe siècle av. J.-C., trad. Dom Thuillier, éd. Bibliothèque Historique et Militaire, 1856, vol. II, chap. VI, p. 634

[ gouvernement ] [ historique ]

intuition

En fait, même des sentiments fugaces de plaisir peuvent mener à une augmentation spectaculaire de la créativité. Après avoir regardé une courte vidéo humoristique - Beeman utilise un clip de Robin Williams en train de faire un standup - les sujets ont beaucoup plus d'idées, du moins lorsqu'on compare à ceux qui ont vu des vidéos effrayantes ou ennuyeuses. Parce que les humeurs positives nous permettent de nous détendre, nous nous concentrons moins sur le monde inquiétant et plus sur ces associations lointaines. Selon Beeman et John Kounios, un autre moment idéal pour se faire une idée de la situation est le petit matin, peu après le réveil. Le cerveau somnolent est détendu et désorganisé, ouvert à toutes sortes d'idées non conventionnelles. L'hémisphère droit est aussi exceptionnellement actif.

Auteur: Lehrer Jonah

Info: Imagine : How Creativity Works

[ relaxation ] [ voir ]

rapports humains

Et pourtant nos cœurs n’étaient toujours pas vides. C’était comme si nous avions mal calculé tout ce que nous pouvions nous dire et qu’il nous restait encore assez de rancœur pour protéger ce qui se trouvait au plus profond, ce qui ne pouvait s’exprimer que par des paroles de réconciliation et de pardon – des paroles pour reconnaître que nous étions liés par le sang et la famille, et même malgré notre volonté qu’il en soit autrement, par l’amour. Des paroles si effrayantes que nous fermions hermétiquement la bouche, n’osions pas une seule syllabe de ce langage-là. Parce que nous comprenions tous deux que, une fois que l’on ouvre la bouche pour prononcer ces mots-là, on ouvre aussi son cœur. On l’ouvre aussi grand qu’une porte de grange, on démonte les gonds, et du coup n’importe quoi peut en sortir ou y entrer. Y-a-t-il quoi que ce soit de plus effrayant ?

Auteur: Rash Ron

Info: Le chant de la Tamassee

[ sincérité impossible ] [ intimité ]

guerre

Je veux dire ici quelque chose que l'on ne discutera point ; c'est qu'il faut se défier beaucoup des opinions et des sentiments de l'élite au sujet de la guerre. Pourquoi ? Parce que l'élite trouve trop d'avantages dans cet ordre resserré que la guerre impose. Qu'un banquier, un chef d'industrie, et même un inventeur ambitieux y trouvent occasion de dominer, cela est connu. Mais il faut dire que tous ceux qui exercent un pouvoir retrouvent en cet état violent l'importance et la majesté, idoles presque oubliées aux temps heureux de la paix. Le jeu de la force a des suites effrayantes ; le simple citoyen en fait le compte, et considère comme évident pour tous que la guerre est le plus grand des maux ; d'où il conclut trop vite que tout homme, à toute place, s'efforce contre la guerre, et que, donc, si la guerre vient, c'est qu'on ne pouvait y échapper. Idée funeste, qui frappe de stérilité tous les sentiments pacifiques.

Auteur: Alain

Info: Mars ou la guerre jugée, Les Passions et la Sagesse, Pléiade, nrf 1960 <p.603>

[ manipulation ]

extrême

Est ce qu’il n’y a pas une autre dimension dans un espace temps mental collectif que la possibilité d’un ressurgissement des valeurs ? Si les valeurs se sont dissoutes, si elles ont été sacrifiées, est-ce que ce mouvement-là n’avait pas quelque chose en lui d’inéluctable ? Où va-t-on ressusciter un système de valeurs qui était celui de la réalité, d’un principe de réalité, d’un principe de représentation...
Moi je verrais les choses aller au terme de ce mouvement, et ce serait nietzschéen de pousser ce qui est en voie de s’effondrer, d’aller voir au-delà de la fin, de la valeur puisque le système nous y a mis. On a bien fait nous la critique quand même, en tant qu’intellectuels et philosophes, la critique de toute ces valeurs-là du bien et du mal, du vrai et du faux... On l’a menée radicalement.
Le système a opérationalisé cette radicalité, il a mis fin à toutes ces valeurs qu’on analysait critiquement. Mais la pensée critique aujourd’hui, elle voit sa propre fin également. Est-ce qu’il n’y a pas une autre alternative qu’une pensée critique nostalgique ?
Je vois plus les choses s’organiser ou se désorganiser dans une adversité radicale : ce système qui est passé de la domination classique à l’hégémonie suscite immédiatement dans le même mouvement quelque chose qui n’est plus négociable, qui n’est plus dialectisable. On peut l’appeler terrorisme, mais pas forcément, ou alors le terrorisme n’étant qu’une métaphore de cette énergie réfractaire, totalement réfractaire à cette évolution-là. Et qui prend des formes, effrayantes je veux bien le reconnaître, des formes violentes, mais pas seulement des formes violentes, quelque chose qui n’est pas négociable, qui ne fait pas partie, qui n’entre pas dans la zone de l’échange généralisé auquel veut nous conduire ce système.

Auteur: Baudrillard Jean

Info: Entretien "Penser le présent" dans Répliques (2005)

[ imprévu ] [ émergence ] [ catastrophe ] [ réalité intégrale ]

judaïsme

C'est après son expérience hollandaise que, selon plusieurs témoins, Henriette Hoffmann/von Schirach eut cet échange avec Hitler. Il y avait donc une brochette d'invités au Berghof. Le dialogue suivant s'engage (si l'on croit Henriette car ce fut une conversation particulière parmi d'autres, à voix relativement basse, du moins au début). Hitler : - Vous arrivez de Hollande ?
- Oui, c'est pour cela que je suis là, je voulais vous parler, j'ai vu des choses effrayantes, je ne peux pas croire que ce soit vous qui les ayez ordonnées... !
- C'est la guerre.
- Mais c'étaient des femmes, j'ai vu comme une troupe de femmes, j'ai vu comme elles étaient poussées, pauvres, sans secours, envoyées vers un camp. Je ne croyais pas qu'elles allaient revenir, on leur avait pris tous leurs biens, leurs familles n'existent plus...
- Vous êtes sentimentale, Frau von Schirach. Qu'avez-vous à faire des femmes juives ?
Alors tous deux se lèvent et Hitler se met à crier puis il s'explique de manière très franche, et, surtout, très rare, lui qui ne parle jamais du meurtre des Juifs, encore moins devant une dame, il forme de ses mains deux coupes, expliquant que le sang de 10000 Allemands coule chaque jour et qu'il faut rétablir un "équilibre". Symbole lumineux : les mains du Führer forment un Graal qui recueille le sang allemand mais aussi un contre-Graal de même dimension rempli du sang impur pour équilibrer l'autre. Il ajoute qu'elle doit "apprendre à haïr", comme lui l'a fait. Elle réplique, citant l'Iphigénie de Goethe : "Je ne suis pas là pour partager la haine (mithassen) mais l'amour (mitlieben)." Henriette et son mari quittèrent l'endroit plus vite que prévu et craignirent des représailles, qui ne vinrent pas. Ce fut la dernière entrevue entre Tonton Wolf et sa chère Henriette.

Auteur: Internet

Info: http://www.delpla.org/article.php3?id_article=294

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]