prédictions

Certaines prophéties ne sont pas faites afin qu'elles se réalisent, mais bien afin qu'elles ne se réalisent pas, tout comme si on voulait les conjurer. Des prophètes de cette sorte raillent l'avenir en lui prédisant ce qu'il sera, pour qu'il ait honte de prendre vraiment telle figure.

Auteur: Mann Thomas

Info: La Montagne magique

[ exorcistes ]

astrophysique

Il se passe quelque chose de mystérieux aux confins du Système solaire

De nouvelles données indiquent que l’héliopause, constituant la zone frontière entre la bulle protectrice créée par le Soleil et le milieu interstellaire, produit des ondulations très inhabituelles.

Le fait que l’héliopause change de forme n’est pas foncièrement surprenant. Au cours de la dernière décennie, les chercheurs ont déterminé qu’elle n’était pas statique, en s’appuyant sur les données des sondes Voyager 1 et Voyager 2, les deux seuls engins spatiaux à être sortis de l’héliosphère jusqu’à présent, ainsi que du satellite IBEX (Interstellar Boundary Explorer) de la NASA, étudiant les émissions d’atomes neutres énergétiques (ENA) créés lorsque les vents solaires et le milieu interstellaire interagissent.

"Les sondes Voyager fournissent la seule mesure directe et in situ de l’emplacement de ces frontières, mais seulement en un point de l’espace et du temps", explique Eric Zirnstein, physicien à l’université de Princeton. "IBEX permet de compléter ces données."

Les vents solaires et le milieu interstellaire se tiraillant mutuellement pour créer une frontière en perpétuel mouvement, les chercheurs avaient utilisé ces observations pour générer des modèles prédisant l’évolution de l’héliopause. Mais le récent réexamen de données capturées pendant plusieurs mois par IBEX courant 2014 a révélé des asymétries dans l’héliopause ne cadrant pas avec les simulations.

Celui des données des sondes Voyager 1 et Voyager 2 a de son côté montré que l’héliopause avait changé de façon spectaculaire en un temps très court. Expliquant en partie l’écart significatif entre les entrées des deux sondes dans l’espace interstellaire, respectivement intervenues en 2012 et 2018, ce type de mouvement de l’héliopause se révèle également en contradiction avec les modèles.

Dans un article de la revue Nature Astronomy, les chercheurs ont qualifié ces divergences d’"intrigantes et sujettes à controverse". Ils prévoient de poursuivre l’étude de l’héliopause, en espérant obtenir davantage d’informations grâce à la sonde de cartographie interstellaire et d’accélération de la NASA, un nouveau satellite avancé capable de détecter les émissions d’atomes neutres énergétiques, dont le lancement est prévu en 2025.

D’ici là, nous ne pouvons que nous interroger sur les mystérieux phénomènes à l’origine de ces ondulations aux frontières du Système solaire.

Auteur: Internet

Info: https://dailygeekshow.com, 6 nov 2022

[ région intermédiaire ] [ magnétopause ]

astrophysique

Une nouvelle étude met en doute le modèle standard d’expansion de l’Univers

Le taux d'expansion de l'Univers a deux valeurs différentes mais très précises et qui ne sont pas compatibles. Ce problème, connu sous le nom de tension de Hubble, rejoint d'autres questions, telles que l'origine de l'énergie noire et le problème de la planéité.

(Photo) Pour cette étude, des solutions numériques ont été obtenues pour les densités d'énergie/matière noire et pour le paramètre Hubble.

L'objectif de ce travail est d'expliquer la tension de Hubble à travers une interprétation géométrique de points de vue observationnels sur des variétés incorporées.

Des ensembles de données de 1048 supernovae Panthéon de type Ia et de 34 chronomètres cosmiques combinés à 7 échantillons basés sur la taille de l'oscillation acoustique radiale du baryon ont été utilisés pour contraindre le modèle.

Cette étude a été publiée dans la revue Classical and Quantum Gravity, par Robert Monjo et Rutwig Campoamor-Stursberg, professeurs au Département d'algèbre, géométrie et topologie de l'Université Complutense de Madrid.

L’expansion de l’Univers se produit-elle ou non comme on le pensait auparavant ?

Selon les auteurs, "les observations géométriques pures, telles que l'échelle de distance cosmique, montrent que l'expansion de l'Univers n'est pas comme celle observée dans le rayonnement de fond cosmique des micro-ondes". Cette différence, expliquent-ils, implique une incompatibilité statistique connue en cosmologie sous le nom de " tension de Hubble ", liée au paramètre d'expansion de l'Univers, dont le nom a été inventé en l'honneur de l'astronome Edwin Hubble, qui a détaillé le taux d'expansion il y a un siècle.

Ces travaux montrent que, lorsqu'on applique la géométrie analytique au mouvement des étoiles supernova, l'expansion cosmique se comporte " comme si elle était linéaire, avec une vitesse égale à l'inverse de l'âge de l'Univers ".

Selon Monjo, l'auteur principal de l'étude, les observations recueillies par les missions spatiales au cours des dernières décennies sont " déformées par les trajectoires courbes de la lumière dans l'espace en expansion ", provoquant une " accélération apparente ".

Pour prouver son hypothèse, l'étude analyse sa compatibilité avec la théorie standard, prédisant une "énergie sombre apparente" de 70%, c'est-à-dire "très similaire à celle vraisemblablement observée dans le fond cosmique des micro-ondes". La différence par rapport au modèle standard serait que cette valeur serait constante, c'est-à-dire qu'elle aurait toujours la même valeur pour s'ajuster à l'expansion linéaire.

Selon cette étude, intitulée " Perspective géométrique pour expliquer la tension de Hubble ", l'Univers serait fini, en expansion linéaire à la vitesse de la lumière, et fermé par un rayon de courbure égal à l'âge de l'Univers. Avec ces ingrédients, les auteurs dérivent une accélération fictive similaire à celle qui explique l’énergie noire.

Les auteurs envisagent l'hypothèse selon laquelle l'Univers pourrait être fini, (...) s'étendant linéairement à la vitesse de la lumière, et fermé par un rayon de courbure égal à l'âge de l'Univers (...).

Actuellement, tous les indices et alternatives à la matière noire sont sérieusement analysés par la communauté scientifique. Si les découvertes de Monjo et Campoamor-Stursberg se confirment, ce sera une nouvelle ère dans la cosmologie moderne.

Auteur: Internet

Info: tameteo.com, Joana Campos Meteored Portugal 05/11/2023

[ cosmologie ]

physique étonnante

Une pièce de métal fissurée s'auto-répare lors d'une expérience qui a stupéfié les scientifiques

A classer dans la catégorie "Ce n'est pas censé arriver" : Des scientifiques ont observé un métal en train de se guérir lui-même, ce qui n'avait jamais été vu auparavant. Si ce processus peut être entièrement compris et contrôlé, nous pourrions être à l'aube d'une toute nouvelle ère d'ingénierie.

Une équipe des laboratoires nationaux Sandia et de l'université A&M du Texas a testé cette résilience du métal en utilisant une technique spécialisée de microscope électronique à transmission pour tirer sur les extrémités du métal 200 fois par seconde. Ils ont ensuite observé l'autocicatrisation à très petite échelle d'un morceau de platine de 40 nanomètres d'épaisseur suspendu dans le vide.

Les fissures causées par le type de déformation décrit ci-dessus sont connues sous le nom de dommages dus à la fatigue : des contraintes et des mouvements répétés provoquent des cassures microscopiques, qui finissent par entraîner la rupture des machines ou des structures. Étonnamment, après environ 40 minutes d'observation, la fissure dans le platine a commencé à se ressouder et à se réparer d'elle-même Étonnamment, après environ 40 minutes d'observation, la fissure dans le platine a commencé à se ressouder et à se réparer avant de recommencer dans un sens différent.

"C'était absolument stupéfiant à observer de près", déclare Brad Boyce, spécialiste des matériaux aux laboratoires nationaux Sandia. "Nous ne l'avions certainement pas cherché... Ce que nous avons montré, c'est que les métaux ont leur propre capacité intrinsèque et naturelle à s'auto-guérir, au moins dans le cas de dommages causés par la fatigue à l'échelle nanométrique.

Il s'agit là de conditions précises, et nous ne savons pas encore exactement comment cela se produit ni comment nous pouvons l'utiliser. Toutefois, si l'on pense aux coûts et aux efforts nécessaires pour réparer toutes sortes de choses, des ponts aux moteurs en passant par les téléphones, on ne peut pas imaginer à quel point les métaux autoréparables pourraient faire la différence.

Bien que cette observation soit sans précédent, elle n'est pas totalement inattendue. En 2013, Michael Demkowicz, spécialiste des matériaux à l'université A&M du Texas, a travaillé sur une étude prédisant que ce type de nanocicatrisation pourrait se produire, grâce aux minuscules grains cristallins à l'intérieur des métaux qui déplacent essentiellement leurs limites en réponse au stress. Demkowicz a également travaillé sur cette dernière étude, utilisant des modèles informatiques actualisés pour montrer que ses théories, vieilles de dix ans, sur le comportement d'auto-guérison des métaux à l'échelle nanométrique correspondaient à ce qui se passait ici.

Le fait que le processus de réparation automatique se soit déroulé à température ambiante est un autre aspect prometteur de la recherche. Le métal a généralement besoin de beaucoup de chaleur pour changer de forme, mais l'expérience a été réalisée dans le vide ; il reste à voir si le même processus se produira dans les métaux conventionnels dans un environnement typique.

Une explication possible implique un processus connu sous le nom de soudure à froid, qui se produit à des températures ambiantes lorsque des surfaces métalliques se rapprochent suffisamment pour que leurs atomes respectifs s'enchevêtrent. En général, de fines couches d'air ou de contaminants interfèrent avec le processus ; dans des environnements tels que le vide spatial, les métaux purs peuvent être suffisamment rapprochés pour se coller littéralement l'un à l'autre.

"J'espère que cette découverte encouragera les chercheurs en matériaux à considérer que, dans les bonnes circonstances, les matériaux peuvent faire des choses auxquelles nous ne nous attendions pas", déclare M. Demkowicz.

Ces travaux de recherche ont été publiés dans la revue Nature.

Auteur: Internet

Info: sciencealert.com, 20 July 2023, By David Nieldhaji,

[ cicatrisation ] [ régénération ] [ science ]

évolution biologique

Une nouvelle étude de Yale sur la levure montre comment des facteurs non génétiques sont impliqués dans l'évolution en temps réel.

Dans l'étude, publiée dans la revue Cell Reports du 27 octobre, des chercheurs de l'Institut de biologie systémique de Yale ont montré comment les mécanismes épigénétiques - des modifications du phénotype d'un organisme non causées par des altérations de sa séquence d'ADN - contribuent à l'évolution du réseau de gènes chez la levure qui est responsable de la régulation de l'utilisation du sucre galactose. L'étude a montré qu'un changement épigénétique dans l'activité des gènes se transmettait à travers des centaines de générations de levure, et elle a des implications plus larges concernant le rôle de l'épigénétique dans l'évolution.

"La nature est futée", a déclaré Murat Acar, auteur principal de l'article et professeur associé de biologie moléculaire, cellulaire et du développement, ainsi que de physique. "Elle trouve toujours une solution chaque fois qu'elle est mise au défi par quelque chose. Vous voulez avoir une sorte de gagnant parmi votre population pour surmonter cet environnement difficile".

Jusqu'à récemment, l'explication de l'évolution reposait uniquement sur des mutations génétiques spontanées stimulant des adaptations avantageuses dans les organismes, selon David Moreno Fortuno, associé postdoctoral à l'Institut de biologie des systèmes et l'un des co-auteurs de l'article. Il a expliqué que cette théorie est connue sous le nom de néodarwinisme parce que la nature des gènes n'avait pas encore été découverte à l'époque de Darwin.

La théorie darwinienne de l'évolution contraste avec l'idée de Jean-Baptiste Lamarck, autrefois largement discréditée, selon laquelle l'évolution consiste à transmettre de petits changements qui sont acquis au cours de la vie d'un organisme, selon le PBS. Lamarck a publié sa théorie au début du 19ème siècle en France, et l'exactitude de cette théorie est toujours débattue aujourd'hui, surtout au vu de la résurgence, au cours des deux dernières décennies, de l'étude des influences épigénétiques - ou pas - sur l'évolution.

Les chercheurs ont utilisé un marquage fluorescent dans les cellules de levure pour suivre l'expression des gènes codant du galactose, des cellules plus brillantes correspondant à une plus grande expression de ces gènes. Ils ont observé les niveaux de fluorescence sur une période de sept jours et ont sélectionné à plusieurs reprises les cellules les plus faibles de la population. Les chercheurs nomment cette séparation des cellules plus faibles de la population générale de "pression sélective". Par rapport à la population de levure d'origine, ils ont constaté une diminution dans le temps de la quantité d'expression de ces marqueurs au sein de la population expérimentale.

 "Cette diminution s'est maintenue, même lorsque  la pression sélective fut supprimée pendant plus de 200 générations", a déclaré M. Fortuno.

Du fait que le génome de la levure soit si petit - seulement 12 millions de paires de bases contre 3 milliards pour l'homme - l'analyse de l'ensemble du génome de l'organisme pour les mutations génétiques est beaucoup plus facile à réaliser dans les cellules de levure.

Certaines des cellules de levure qui avaient modifié l'expression du gène codant pour le galactose ne présentèrent aucune mutation dans le réseau de gènes spécifié. Les chercheurs ont donc pu exclure les contributions génétiques à leurs observations.

"En fin de compte, nous avons vu que les théories darwiniennes de l'évolution génétique ne sont pas en mesure d'expliquer ces résultats par elles-mêmes", a déclaré M. Acar. "Il est nécessaire d'y inclure la théorie évolutionniste lamarckienne pour expliquer tout le spectre de nos résultats".

M. Fortuno a abordé les implications potentielles de l'étude, en prédisant que les cellules cancéreuses malignes sont similaires aux cellules de levure dans la mesure où les deux types de cellules sont en "évolution constante". Il a ajouté que la compréhension du rôle des mécanismes épigénétiques dans les génomes des cellules de levure pourrait ouvrir des pistes de recherche pour développer des traitements contre le cancer ou déterminer le stade du cancer dont souffre un patient.

Il note également que certains scientifiques pensent que la culture est un mécanisme épigénétique. Bien que la culture soit non génétique, il est possible qu'elle ait un impact mesurable sur nos marques épigénétiques si ces experts ont raison.

Le document indique également que les mécanismes génétiques et épigénétiques "n'ont pas à s'exclure mutuellement". 

"En réponse à une condition environnementale particulière, les deux types de mécanismes peuvent jouer un rôle et se compléter l'un l'autre", peut-on lire dans le document.

Le document explique également que les mécanismes épigénétiques peuvent provoquer des adaptations plus rapides à un environnement changeant, ils agissent généralement sur une échelle de temps plus courte que les mécanismes génétiques. À l'inverse, les mécanismes génétiques sont en jeu sur des périodes plus longues et entraînent des changements plus permanents dans un organisme.

M. Acar souligne que cette étude n'est qu'une première étape vers une meilleure compréhension du rôle des facteurs épigénétiques et qu'il attend avec impatience de voir des expériences similaires être réalisées sur d'autres organismes.

"Ce n'est qu'alors que nous verrons si ces résultats peuvent être généralisés, qu'ils soient darwiniens, lamarckiens ou hybrides - une théorie unifiée de l'évolution régissant l'évolution des organismes", a-t-il déclaré.

Les cellules de levure se reproduisent de manière asexuée toutes les 90 à 100 minutes.

Auteur: Jalbert Jonathan

Info: https://yaledailynews.com/ NOV 12, 2020

[ biophysique ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]