homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

bio-évolution

La "tectonique" des chromosomes révèle les secrets de l'évolution des premiers animaux

De grands blocs de gènes conservés au cours de centaines de millions d'années d'évolution permettent de comprendre comment les premiers chromosomes animaux sont apparus.

De nouvelles recherches ont montré que des blocs de gènes liés peuvent conserver leur intégrité et être suivis au cours de l'évolution. Cette découverte est à la base de ce que l'on appelle la tectonique des génomes (photo).

Les chromosomes, ces faisceaux d'ADN qui se mettent en scène dans le ballet mitotique de la division cellulaire, jouent un rôle de premier plan dans la vie complexe. Mais la question de savoir comment les chromosomes sont apparus et ont évolué a longtemps été d'une difficulté décourageante. C'est dû en partie au manque d'informations génomiques au niveau des chromosomes et en partie au fait que l'on soupçonne que des siècles de changements évolutifs ont fait disparaître tout indice sur cette histoire ancienne.

Dans un article paru dans Science Advances, une équipe internationale de chercheurs dirigée par Daniel Rokhsar, professeur de sciences biologiques à l'université de Californie à Berkeley, a suivi les changements survenus dans les chromosomes il y a 800 millions d'années.  Ils ont identifié 29 grands blocs de gènes qui sont restés identifiables lors de leur passage dans trois des plus anciennes subdivisions de la vie animale multicellulaire. En utilisant ces blocs comme marqueurs, les scientifiques ont pu déterminer comment les chromosomes se sont fusionnés et recombinés au fur et à mesure que ces premiers groupes d'animaux devenaient distincts.

Les chercheurs appellent cette approche "tectonique du génome". De la même manière que les géologues utilisent leur compréhension de la tectonique des plaques pour comprendre l'apparition et le mouvement des continents, ces biologistes reconstituent comment diverses duplications, fusions et translocations génomiques ont créé les chromosomes que nous voyons aujourd'hui.

Ces travaux annoncent une nouvelle ère de la génomique comparative : Auparavant, les chercheurs étudiaient des collections de gènes de différentes lignées et décrivaient les changements une paire de bases à la fois. Aujourd'hui, grâce à la multiplication des assemblages de chromosomes, les chercheurs peuvent retracer l'évolution de chromosomes entiers jusqu'à leur origine. Ils peuvent ensuite utiliser ces informations pour faire des prédictions statistiques et tester rigoureusement des hypothèses sur la façon dont les groupes d'organismes sont liés.

Il y a deux ans, à l'aide de méthodes novatrices similaires, M. Rokhsar et ses collègues ont résolu un mystère de longue date concernant la chronologie des duplications du génome qui ont accompagné l'apparition des vertébrés à mâchoires. Mais l'importance de cette approche n'est pas purement rétrospective. En faisant ces découvertes, les chercheurs apprennent les règles algébriques simples qui régissent ce qui se passe lorsque les chromosomes échangent des parties d'eux-mêmes. Ces informations peuvent orienter les futures études génomiques et aider les biologistes à prédire ce qu'ils trouveront dans les génomes des espèces qui n'ont pas encore été séquencées.

"Nous commençons à avoir une vision plus large de l'évolution des chromosomes dans l'arbre de la vie", a déclaré Paulyn Cartwright, professeur d'écologie et de biologie évolutive à l'université du Kansas. Selon elle, les scientifiques peuvent désormais tirer des conclusions sur le contenu des chromosomes des tout premiers animaux. Ils peuvent également examiner comment les différents contenus des chromosomes ont changé ou sont restés les mêmes - et pourquoi - à mesure que les animaux se sont diversifiés. "Nous ne pouvions vraiment pas faire cela avant de disposer de ces génomes de haute qualité". 

Ce que partagent les anciens génomes

Dans l'étude publiée aujourd'hui, Rokhsar et une grande équipe internationale de collaborateurs ont produit le premier assemblage de haute qualité, au niveau des chromosomes, du génome de l'hydre, qu'ils décrivent comme un modèle de "vénérable cnidaire". En le comparant à d'autres génomes animaux disponibles, ils ont découvert des groupes de gènes liés hautement conservés. Bien que l'ordre des gènes au sein d'un bloc soit souvent modifié, les blocs eux-mêmes sont restés stables sur de longues périodes d'évolution.

Lorsque les scientifiques ont commencé à séquencer les génomes animaux il y a une vingtaine d'années, beaucoup d'entre eux n'étaient pas convaincus que des groupes de gènes liés entre eux sur les chromosomes pouvaient rester stables et reconnaissables au cours des éons, et encore moins qu'il serait possible de suivre le passage de ces blocs de gènes à travers pratiquement toutes les lignées animales.

Les animaux ont divergé de leurs parents unicellulaires il y a 600 ou 700 millions d'années, et "être capable de reconnaître les morceaux de chromosomes qui sont encore conservés après cette période de temps est étonnant", a déclaré Jordi Paps, un biologiste de l'évolution à l'Université de Bristol au Royaume-Uni.

"Avant de disposer de ces données sur les chromosomes entiers, nous examinions de petits fragments de chromosomes et nous observions de nombreux réarrangements", a déclaré M. Cartwright. "Nous supposions donc qu'il n'y avait pas de conservation, car les gènes eux-mêmes dans une région du chromosome changent de position assez fréquemment."

Pourtant, bien que l'ordre des gènes soit fréquemment remanié le long des chromosomes, Rokhsar a eu l'intuition, grâce à ses études antérieures sur les génomes animaux, qu'il y avait une relative stabilité dans les gènes apparaissant ensemble. "Si vous comparez une anémone de mer ou une éponge à un être humain, le fait que les gènes se trouvent sur le même morceau d'ADN semble être conservé", explique Rokhsar. "Et le modèle suggérait que des chromosomes entiers étaient également conservés". Mais cette notion n'a pu être testée que récemment, lorsque suffisamment d'informations génomiques à l'échelle du chromosome sur divers groupes d'animaux sont devenues disponibles.

Inertie génomique

Mais pourquoi des blocs de gènes restent-ils liés entre eux ? Selon Harris Lewin, professeur d'évolution et d'écologie à l'université de Californie à Davis, qui étudie l'évolution des génomes de mammifères, une des explications de ce phénomène, appelé synténie, est liée à la fonction des gènes. Il peut être plus efficace pour les gènes qui fonctionnent ensemble d'être physiquement situés ensemble ; ainsi, lorsqu'une cellule a besoin de transcrire des gènes, elle n'a pas à coordonner la transcription à partir de plusieurs endroits sur différents chromosomes. 

Ceci explique probablement la conservation de certains ensembles de gènes dont l'agencement est crucial : les gènes Hox qui établissent les plans corporels des animaux, par exemple, doivent être placés dans un ordre spécifique pour établir correctement le schéma corporel. Mais ces gènes étroitement liés se trouvent dans un morceau d'ADN relativement court. M. Rokhsar dit qu'il ne connaît aucune corrélation fonctionnelle s'étendant sur un chromosome entier qui pourrait expliquer leurs résultats.

(Ici une image décrit les différents types de fusion de chromosomes et l'effet de chacun sur l'ordre des gènes qu'ils contiennent.)

C'est pourquoi Rokhsar est sceptique quant à une explication fonctionnelle. Elle est séduisante ("Ce serait le résultat le plus cool, d'une certaine manière", dit-il) mais peut-être aussi inutile car, à moins qu'un réarrangement chromosomique ne présente un avantage fonctionnel important, il est intrinsèquement difficile pour ce réarrangement de se propager. Et les réarrangements ne sont généralement pas avantageux : Au cours de la méiose et de la formation des gamètes, tous les chromosomes doivent s'apparier avec un partenaire correspondant. Sans partenaire, un chromosome de taille inhabituelle ne pourra pas faire partie d'un gamète viable, et il a donc peu de chances de se retrouver dans la génération suivante. De petites mutations qui remanient l'ordre des gènes à l'intérieur des chromosomes peuvent encore se produire ("Il y a probablement une petite marge d'erreur en termes de réarrangements mineurs, de sorte qu'ils peuvent encore se reconnaître", a déclaré Cartwright). Mais les chromosomes brisés ou fusionnés ont tendance à être des impasses.

Peut-être que dans des groupes comme les mammifères, qui ont des populations de petite taille, un réarrangement pourrait se propager de façon aléatoire par ce qu'on appelle la dérive génétique, suggère Rokhsar. Mais dans les grandes populations qui se mélangent librement, comme celles des invertébrés marins qui pondent des centaines ou des milliers d'œufs, "il est vraiment difficile pour l'un des nouveaux réarrangements de s'imposer", a-t-il déclaré. "Ce n'est pas qu'ils ne sont pas tentés. C'est juste qu'ils ne parviennent jamais à s'imposer dans l'évolution."

Par conséquent, les gènes ont tendance à rester bloqués sur un seul chromosome. "Les processus par lesquels ils se déplacent sont tout simplement lents, sur une échelle de 500 millions d'années", déclare Rokhsar. "Même s'il s'est écoulé énormément de temps, ce n'est toujours pas assez long pour qu'ils puissent se développer".

( une image avec affichage de données montre comment des blocs de gènes ont eu tendance à rester ensemble même lorsqu'ils se déplaçaient vers différents chromosomes dans l'évolution de cinq premières espèces animales.)

L'équipe de Rokhsar a toutefois constaté que lorsque ces rares fusions de chromosomes se produisaient, elles laissaient une signature claire : Après une fusion, les gènes des deux blocs s'entremêlent et sont réorganisés car des "mutations d'inversion" s'y sont accumulées au fil du temps. En conséquence, les gènes des deux blocs se sont mélangés comme du lait versé dans une tasse de thé, pour ne plus jamais être séparés. "Il y a un mouvement entropique vers le mélange qui ne peut être annulé", affirme Rokhsar.

Et parce que les processus de fusion, de mélange et de duplication de blocs génétiques sont si rares, irréversibles et spécifiques, ils sont traçables : Il est très improbable qu'un chromosome se fracture deux fois au même endroit, puis fusionne et se mélange avec un autre bloc génétique de la même manière.

Les signatures de ces événements dans les chromosomes représentent donc un nouvel ensemble de caractéristiques dérivées que les biologistes peuvent utiliser pour tester des hypothèses sur la façon dont les espèces sont liées. Si deux lignées partagent un mélange de deux blocs de gènes, le mélange s'est très probablement produit chez leur ancêtre commun. Si des lignées ont deux ensembles de mêmes blocs de gènes, une duplication du génome a probablement eu lieu chez leur ancêtre commun. Cela fait des syntéries un "outil très, très puissant", a déclaré Oleg Simakov, génomiste à l'université de Vienne et premier auteur des articles. 

Empreintes digitales d'événements évolutifs

"L'un des aspects que je préfère dans notre étude est que nous faisons des prédictions sur ce à quoi il faut s'attendre au sein des génomes qui n'ont pas encore été séquencés", a écrit Rokhsar dans un courriel adressé à Quanta. Par exemple, son équipe a découvert que divers invertébrés classés comme spiraliens partagent tous quatre schémas spécifiques de fusion avec mélange, ce qui implique que les événements de fusion se sont produits chez leur ancêtre commun. "Il s'ensuit que tous les spiraliens devraient présenter ces schémas de fusion avec mélange de modèles", écrit Rokhsar. "Si l'on trouve ne serait-ce qu'un seul spiralien dépourvu de ces motifs, alors l'hypothèse peut être rejetée !".

Et d'ajouter : "On n'a pas souvent l'occasion de faire ce genre de grandes déclarations sur l'histoire de l'évolution."

Dans leur nouvel article Science Advances, Simakov, Rokhsar et leurs collègues ont utilisé l'approche tectonique pour en savoir plus sur l'émergence de certains des premiers groupes d'animaux il y a environ 800 millions d'années. En examinant le large éventail de vie animale représenté par les éponges, les cnidaires (tels que les hydres, les méduses et les coraux) et les bilatériens (animaux à symétrie bilatérale), les chercheurs ont trouvé 27 blocs de gènes hautement conservés parmi leurs chromosomes.

Ensuite, en utilisant les règles de fusion chromosomique et génétique qu'ils avaient identifiées, les chercheurs ont reconstitué les événements de mélange au niveau des chromosomes qui ont accompagné l'évolution de ces trois lignées à partir d'un ancêtre commun. Ils ont montré que les chromosomes des éponges, des cnidaires et des bilatériens représentent tous des manières distinctes de combiner des éléments du génome ancestral.

(Pour expliquer les 2 paragraphes précédents une image avec 3 schémas montre la fusion des chromosomes au début de l'évolution pou arriver au 27 blocs de gènes)

Une découverte stimulante qui a été faite est que certains des blocs de gènes liés semblent également présents dans les génomes de certaines créatures unicellulaires comme les choanoflagellés, les plus proches parents des animaux multicellulaires. Chez les animaux multicellulaires, l'un de ces blocs contient un ensemble diversifié de gènes homéobox qui guident le développement de la structure générale de leur corps. Cela suggère que l'un des tout premiers événements de l'émergence des animaux multicellulaires a été l'expansion et la diversification de ces gènes importants. "Ces anciennes unités de liaison fournissent un cadre pour comprendre l'évolution des gènes et des génomes chez les animaux", notent les scientifiques dans leur article.

Leur approche permet de distinguer de subtiles et importantes différences au niveau des événements chromosomiques. Par exemple, dans leur article de 2020, les chercheurs ont déduit que le génome des vertébrés avait subi une duplication au cours de la période cambrienne, avant que l'évolution ne sépare les poissons sans mâchoire des poissons avec mâchoire. Ils ont ensuite trouvé des preuves que deux poissons à mâchoires se sont hybridés plus tard et ont subi une deuxième duplication de leur génome ; cet hybride est devenu l'ancêtre de tous les poissons osseux.

John Postlethwait, génomicien à l'université de l'Oregon, souligne l'importance de la méthode d'analyse de l'équipe. "Ils ont adopté une approche statistique, et ne se sont pas contentés de dire : "Eh bien, il me semble que telle et telle chose s'est produite", a-t-il déclaré. "C'est une partie vraiment importante de leur méthodologie, non seulement parce qu'ils avaient accès à des génomes de meilleure qualité, mais aussi parce qu'ils ont adopté cette approche quantitative et qu'ils ont réellement testé ces hypothèses."

Ces études ne marquent que le début de ce que la tectonique des génomes et  ce que les syntagmes génétiques peuvent nous apprendre. Dans des prépublications récentes partagées sur biorxiv.org, l'équipe de Rokhsar a reconstitué l'évolution des chromosomes de grenouilles, et une équipe européenne s'est penchée sur l'évolution des chromosomes des poissons téléostéens. Une étude parue dans Current Biology a révélé une "inversion massive du génome" à l'origine de la coexistence de formes divergentes chez la caille commune, ce qui laisse entrevoir certaines des conséquences fonctionnelles du réarrangement des chromosomes.

L'hypothèse selon laquelle le mélange de ces groupes de liaisons génétiques pourrait être lié à la diversification des lignées et à l'innovation évolutive au cours des 500 derniers millions d'années est alléchante. Les réarrangements chromosomiques peuvent conduire à des incompatibilités d'accouplement qui pourraient provoquer la scission en deux d'une lignée. Il est également possible qu'un gène atterrissant dans un nouveau voisinage ait conduit à des innovations dans la régulation des gènes. "Peut-être que ce fut l'une des forces motrices de la diversification des animaux", a déclaré Simakov.

"C'est la grande question", a déclaré Lewin. "Il s'agit de véritables bouleversements tectoniques dans le génome, et il est peu probable qu'ils soient sans conséquence".

Auteur: Internet

Info: https://www.quantamagazine.org/secrets-of-early-animal-evolution-revealed-by-chromosome-tectonics-20220202.Viviane Callier 2 février 2022

[ méta-moteurs ] [ néo-phylogénie ]

nanomonde

Les particules quantiques ne tournent pas. Alors d'où vient leur spin ?

Le fait que les électrons possèdent la propriété quantique du spin est essentiel pour notre monde tel que nous le connaissons. Pourtant, les physiciens ne pensent pas que ces particules tournent réellement. 

Les électrons sont des petits magiciens compétents. Ils semblent voltiger autour d'un atome sans suivre de chemin particulier, ils semblent souvent être à deux endroits à la fois, et leur comportement dans les micropuces en silicium alimente l'infrastructure informatique du monde moderne. Mais l'un de leurs tours les plus impressionnants est faussement simple, comme toute bonne magie. Les électrons semblent toujours tourner. Tous les électrons jamais observés, qu'ils se déplacent sur un atome de carbone dans votre ongle ou qu'ils se déplacent à toute vitesse dans un accélérateur de particules, ont l'air de faire constamment de petites pirouettes en se déplaçant dans le monde. Sa rotation ne semble jamais ralentir ou accélérer. Peu importe comment un électron est bousculé ou frappé, il semble toujours tourner à la même vitesse. Il possède même un petit champ magnétique, comme devrait le faire un objet en rotation doté d'une charge électrique. Naturellement, les physiciens appellent ce comportement "spin".

Mais malgré les apparences, les électrons ne tournent pas. Ils ne peuvent pas tourner. Prouver qu'il est impossible que les électrons tournent est un problème standard dans tout cours d'introduction à la physique quantique. Si les électrons tournaient suffisamment vite pour expliquer tout le comportement de rotation qu'ils affichent, leurs surfaces se déplaceraient beaucoup plus vite que la vitesse de la lumière (si tant est qu'ils aient des surfaces). Ce qui est encore plus surprenant, c'est que pendant près d'un siècle, cette contradiction apparente a été ignorée par la plupart des physiciens comme étant une autre caractéristique étrange du monde quantique, qui ne mérite pas qu'on s'y attarde.

Pourtant, le spin est profondément important. Si les électrons ne semblaient pas tourner, votre chaise s'effondrerait pour ne plus représenter qu'une fraction minuscule de sa taille. Vous vous effondreriez aussi - et ce serait le moindre de vos problèmes. Sans le spin, c'est tout le tableau périodique des éléments qui s'effondrerait, et toute la chimie avec. En fait, il n'y aurait pas de molécules du tout. Le spin n'est donc pas seulement l'un des meilleurs tours de magie des électrons, c'est aussi l'un des plus importants. Et comme tout bon magicien, les électrons n'ont jamais dit à personne comment ils faisaient ce tour. Mais aujourd'hui, une nouvelle explication du spin est peut-être en train de se profiler à l'horizon, une explication qui tire le rideau et montre comment la magie opère.

UNE DÉCOUVERTE VERTIGINEUSE

La rotation a toujours été une source de confusion. Même les premières personnes qui ont développé l'idée du spin pensaient qu'elle devait être fausse. En 1925, deux jeunes physiciens hollandais, Samuel Goudsmit et George Uhlenbeck, s'interrogeaient sur les derniers travaux du célèbre (et célèbre) physicien Wolfgang Pauli. Pauli, dans une tentative d'expliquer la structure des spectres atomiques et du tableau périodique, avait récemment postulé que les électrons avaient une "double valeur non descriptible classiquement". Mais Pauli n'avait pas dit à quelle propriété physique de l'électron sa nouvelle valeur correspondait, et Goudsmit et Uhlenbeck se demandaient ce que cela pouvait être.

Tout ce qu'ils savaient - tout le monde le savait à l'époque - c'est que la nouvelle valeur de Pauli était associée à des unités discrètes d'une propriété bien connue de la physique newtonienne classique, appelée moment angulaire. Le moment angulaire est simplement la tendance d'un objet en rotation à continuer de tourner. C'est ce qui fait que les toupies tournent et que les bicyclettes restent droites. Plus un objet tourne vite, plus il a de moment cinétique, mais la forme et la masse de l'objet ont aussi leur importance. Un objet plus lourd a plus de moment cinétique qu'un objet plus léger qui tourne aussi vite, et un objet qui tourne avec plus de masse sur les bords a plus de moment cinétique que si sa masse était concentrée en son centre.

Les objets peuvent avoir un moment angulaire sans tourner. Tout objet qui tourne autour d'un autre objet, comme la Terre qui tourne autour du soleil ou un trousseau de clés qui se balance autour de votre doigt sur un cordon, a un certain moment angulaire. Mais Goudsmit et Uhlenbeck savaient que ce type de moment angulaire ne pouvait pas être la source du nouveau nombre de Pauli. Les électrons semblent effectivement se déplacer autour du noyau atomique, retenus par l'attraction entre leur charge électrique négative et l'attraction positive des protons du noyau. Mais le moment angulaire que ce mouvement leur confère était déjà bien pris en compte et ne pouvait pas être le nouveau nombre de Pauli. Les physiciens savaient également qu'il existait déjà trois nombres associés à l'électron, qui correspondaient aux trois dimensions de l'espace dans lesquelles il pouvait se déplacer. Un quatrième nombre signifiait une quatrième façon dont l'électron pouvait se déplacer. Les deux jeunes physiciens pensaient que la seule possibilité était que l'électron lui-même tourne, comme la Terre qui tourne sur son axe autour du soleil. Si les électrons pouvaient tourner dans l'une des deux directions - dans le sens des aiguilles d'une montre ou dans le sens inverse - cela expliquerait la "bivalence" de Pauli.

Excités, Goudsmit et Uhlenbeck rédigent leur nouvelle idée et la montrent à leur mentor, Paul Ehrenfest. Ehrenfest, un ami proche d'Einstein et un formidable physicien à part entière, trouve l'idée intrigante. Tout en la considérant, il dit aux deux jeunes hommes enthousiastes d'aller consulter quelqu'un de plus âgé et de plus sage : Hendrik Antoon Lorentz, le grand manitou de la physique néerlandaise, qui avait anticipé une grande partie du développement de la relativité restreinte deux décennies plus tôt et qu'Einstein lui-même tenait en très haute estime.

Mais Lorentz est moins impressionné par l'idée de spin qu'Ehrenfest. Comme il l'a fait remarquer à Uhlenbeck, on sait que l'électron est très petit, au moins 3 000 fois plus petit qu'un atome - et on sait déjà que les atomes ont un diamètre d'environ un dixième de nanomètre, soit un million de fois plus petit que l'épaisseur d'une feuille de papier. L'électron étant si petit, et sa masse encore plus petite - un milliardième de milliardième de milliardième de gramme - il était impossible qu'il tourne assez vite pour fournir le moment angulaire que Pauli et d'autres recherchaient. En fait, comme Lorentz l'a dit à Uhlenbeck, la surface de l'électron devrait se déplacer dix fois plus vite que la vitesse de la lumière, une impossibilité absolue.

Défait, Uhlenbeck retourne voir Ehrenfest et lui annonce la nouvelle. Il demande à Ehrenfest de supprimer l'article, mais on lui répond qu'il est trop tard, car son mentor a déjà envoyé l'article pour publication. "Vous êtes tous les deux assez jeunes pour pouvoir vous permettre une stupidité", a dit Ehrenfest. Et il avait raison. Malgré le fait que l'électron ne pouvait pas tourner, l'idée du spin était largement acceptée comme correcte, mais pas de la manière habituelle. Plutôt qu'un électron qui tourne réellement, ce qui est impossible, les physiciens ont interprété la découverte comme signifiant que l'électron portait en lui un certain moment angulaire intrinsèque, comme s'il tournait, même s'il ne pouvait pas le faire. Néanmoins, l'idée était toujours appelée "spin", et Goudsmit et Uhlenbeck ont été largement salués comme les géniteurs de cette idée.

Le spin s'est avéré crucial pour expliquer les propriétés fondamentales de la matière. Dans le même article où il avait proposé son nouveau nombre à deux valeurs, Pauli avait également suggéré un "principe d'exclusion", à savoir que deux électrons ne pouvaient pas occuper exactement le même état. S'ils le pouvaient, alors chaque électron d'un atome tomberait simplement dans l'état d'énergie le plus bas, et pratiquement tous les éléments se comporteraient presque exactement de la même manière les uns que les autres, détruisant la chimie telle que nous la connaissons. La vie n'existerait pas. L'eau n'existerait pas. L'univers serait simplement rempli d'étoiles et de gaz, dérivant dans un cosmos ennuyeux et indifférent sans rencontrer la moindre pierre. En fait, comme on l'a compris plus tard, toute matière solide, quelle qu'elle soit, serait instable. Bien que l'idée de Pauli soit clairement correcte, la raison pour laquelle les électrons ne pouvaient pas partager des états n'était pas claire. Comprendre l'origine du principe d'exclusion de Pauli permettrait d'expliquer tous ces faits profonds de la vie quotidienne.

La réponse à cette énigme se trouvait dans le spin. On découvrit bientôt que le spin était une propriété de base de toutes les particules fondamentales, et pas seulement des électrons, et qu'il était étroitement lié au comportement de ces particules en groupes. En 1940, Pauli et le physicien suisse Markus Fierz ont prouvé que lorsque la mécanique quantique et la relativité restreinte d'Einstein étaient combinées, cela conduisait inévitablement à un lien entre le spin et le comportement statistique des groupes. Le principe d'exclusion de Pauli n'était qu'un cas particulier de ce théorème de la statistique du spin, comme on l'a appelé. Ce théorème est un "fait puissant sur le monde", comme le dit le physicien Michael Berry. "Il est à la base de la chimie, de la supraconductivité, c'est un fait très fondamental". Et comme tant d'autres faits fondamentaux en physique, le spin s'est avéré utile sur le plan technologique également. Dans la seconde moitié du XXe siècle, le spin a été exploité pour développer des lasers, expliquer le comportement des supraconducteurs et ouvrir la voie à la construction d'ordinateurs quantiques.

VOIR AU-DELÀ DU SPIN

Mais toutes ces fabuleuses découvertes, applications et explications laissent encore sur la table la question de Goudsmit et Uhlenbeck : qu'est-ce que le spin ? Si les électrons doivent avoir un spin, mais ne peuvent pas tourner, alors d'où vient ce moment angulaire ? La réponse standard est que ce moment est simplement inhérent aux particules subatomiques et ne correspond à aucune notion macroscopique de rotation.

Pourtant, cette réponse n'est pas satisfaisante pour tout le monde. "Je n'ai jamais aimé l'explication du spin donnée dans un cours de mécanique quantique", déclare Charles Sebens, philosophe de la physique à l'Institut de technologie de Californie. On vous le présente et vous vous dites : "C'est étrange. Ils agissent comme s'ils tournaient, mais ils ne tournent pas vraiment ? Je suppose que je peux apprendre à travailler avec ça". Mais c'est étrange."

Récemment, cependant, Sebens a eu une idée. "Dans le cadre de la mécanique quantique, il semble que l'électron ne tourne pas", dit-il. Mais, ajoute-t-il, "la mécanique quantique n'est pas notre meilleure théorie de la nature. La théorie des champs quantiques est une théorie plus profonde et plus précise."

La théorie quantique des champs est l'endroit où le monde quantique des particules subatomiques rencontre l'équation la plus célèbre du monde : E = mc2, qui résume la découverte d'Einstein selon laquelle la matière peut se transformer en énergie et vice versa. (La théorie quantique des champs est également à l'origine du théorème de la statistique du spin). C'est à partir de cette propriété que lorsque des particules subatomiques interagissent, de nouvelles particules sont souvent créées à partir de leur énergie, et les particules existantes peuvent se désintégrer en quelque chose d'autre. La théorie quantique des champs traite ce phénomène en décrivant les particules comme provenant de champs qui imprègnent tout l'espace-temps, même l'espace vide. Ces champs permettent aux particules d'apparaître et de disparaître, conformément aux règles strictes de la relativité restreinte d'Einstein et aux lois probabilistes du monde quantique.

Et ce sont ces champs, selon Sebens, qui pourraient contenir la solution à l'énigme du spin. "L'électron est habituellement considéré comme une particule", explique-t-il. "Mais dans la théorie quantique des champs, pour chaque particule, il existe une façon de la considérer comme un champ." En particulier, l'électron peut être considéré comme une excitation dans un champ quantique connu sous le nom de champ de Dirac, et ce champ pourrait être ce qui porte le spin de l'électron. "Il y a une véritable rotation de l'énergie et de la charge dans le champ de Dirac", dit Sebens. Si c'est là que réside le moment angulaire, le problème d'un électron tournant plus vite que la vitesse de la lumière disparaît ; la région du champ portant le spin de l'électron est bien plus grande que l'électron supposé ponctuel lui-même. Ainsi, selon Sebens, d'une certaine manière, Pauli et Lorentz avaient à moitié raison : il n'y a pas de particule qui tourne. Il y a un champ tournant, et c'est ce champ qui donne naissance aux particules.

UNE QUESTION SANS RÉPONSE ?

Jusqu'à présent, l'idée de Sebens a produit quelques remous, mais pas de vagues. Pour ce qui est de savoir si les électrons tournent, "je ne pense pas qu'il s'agisse d'une question à laquelle on puisse répondre", déclare Mark Srednicki, physicien à l'université de Californie à Santa Barbara. "Nous prenons un concept qui trouve son origine dans le monde ordinaire et nous essayons de l'appliquer à un endroit où il ne s'applique plus vraiment. Je pense donc que ce n'est vraiment qu'une question de choix, de définition ou de goût pour dire que l'électron tourne vraiment." Hans Ohanian, physicien à l'université du Vermont qui a réalisé d'autres travaux sur le spin des électrons, souligne que la version originale de l'idée de Sebens ne fonctionne pas pour l'antimatière.

Mais tous les physiciens ne sont pas aussi dédaigneux. Selon Sean Carroll, physicien à l'université Johns Hopkins et à l'Institut Santa Fe, "la formulation conventionnelle de notre réflexion sur le spin laisse de côté un élément potentiellement important". "Sebens est tout à fait sur la bonne voie, ou du moins fait quelque chose de très, très utile dans le sens où il prend très au sérieux l'aspect champ de la théorie quantique des champs." Mais, souligne Carroll, "les physiciens sont, au fond, des pragmatiques..... Si Sebens a raison à 100 %, les physiciens vous diront : "D'accord, mais qu'est-ce que cela m'apporte ?"

Doreen Fraser, philosophe de la théorie des champs quantiques à l'université de Waterloo, au Canada, se fait l'écho de ce point de vue. "Je suis ouverte à ce projet que Sebens a de vouloir forer plus profondément pour avoir une sorte d'intuition physique pour aller avec le spin", dit-elle. "Vous avez cette belle représentation mathématique ; vous voulez avoir une image physique intuitive pour l'accompagner." En outre, une image physique pourrait également déboucher sur de nouvelles théories ou expériences qui n'ont jamais été réalisées auparavant. "Pour moi, ce serait le test pour savoir si c'est une bonne idée."

Il est trop tôt pour dire si les travaux de M. Sebens porteront ce genre de fruits. Et bien qu'il ait rédigé un article sur la manière de résoudre la préoccupation d'Ohanian concernant l'antimatière, d'autres questions connexes restent en suspens. "Il y a beaucoup de raisons d'aimer" l'idée du champ, dit Sebens. "Je prends cela plus comme un défi que comme un argument massue contre elle."

Auteur: Becker Adam

Info: Scientific American, November 22, 2022

[ approfondissement ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

ésotérisme

Il existe, dans la mythologie spirituelle, un individu qui se fait appeler par les préhumains le Gardien du Seuil. Celui-ci n’est pas un personnage comme l’on voit dans certains films ou BD. En fait, il n’a aucune image, donc point d’épée, point de conversation et point de combat possible…

Oui, vous ne pourrez aucunement taper la causante avec lui pour la simple et bonne raison qu’il n’a aucun jugement, aucun cerveau, donc aucune possibilité de peser le pour ou le contre. Par contre, il possède une aptitude extraordinaire qui est celle d’exalter la moindre poussière d’ego qui est en vous.

Oui, le Gardien du Seuil n’est, en fait, qu’un programme informatique qui va aller lire les lignes les plus secrètes de votre personnalité et plus particulièrement de votre corps de désirs. Ce serait à l’image d’un sas de décontamination que vous devez traverser pour rejoindre l’autre côté du voile.

De cet autre côté se trouve votre frère atomique (votre Soi supérieur) qui vous attend afin d’aller au mariage de la Lumière Authentique. Ce serait comme si on voulait tout simplement vous dépolluer de toutes les vibrations de la 3D qui vous tiennent à cœur, sauf que c’est vous qui prendrez les décisions.

A ce titre, il n’y a donc aucun jugement extérieur, puisque c’est vous-même qui allez vous regarder face-à-face et cela, sans aucune possibilité de dissimuler quoi que ce soit. Le Gardien du Seuil n’est, en fait, qu’une protection qui vous permettra de franchir le voile entre votre Soi Inférieur (le petit Soi) et le Soi Supérieur.

Une fois cela fait, vous pourrez alors aller ensemble fusionner avec votre grand SOI qui se trouve dans le soleil afin de retrouver votre UN-ité totale. Ainsi, votre corps d’Êtreté n’est, en fait, que le carrosse qui vous mène à la cérémonie finale qu’est l’union (ou la ré-Union) avec votre essence primordiale issue directement de La Source et que nous nommons aussi l’UN ou la conscience de l’Unité.

Ainsi, ce fameux Gardien du Seuil n’est, en fait, qu’un processus qui aura pour objectif de bien s’assurer que vous ne cachez pas d’anguille sous roche par rapport à votre partenaire de toujours qui se situait de l’autre côté du voile de l’oubli. En gros, ça coïncidera à peu près à la reconnexion véritable avec les autres corps (du 8ème au 12ème) qui viendront se rajouter, en quelque sorte, à vos chakras existants.

En effets, vos 6 premiers chakras (l’hexagramme masculin correspondant aux vibrations les plus basses de l’incarnation – la matière là où se situe le Soi Inférieur ou petit Soi) se verront associés aux chakras 7 à 12 (l’hexagramme féminin correspondant à votre incarnation – le Ciel – là où se situe votre Soi Supérieur). Pour des raisons évidentes, le 7ème chakra (le coronal) touche notre carcasse afin d’assurer la connexion énergétique nécessaire à votre vie conscientisée.

Ainsi, ce qui était séparé sera réuni, afin ensuite d’aller à la véritable cérémonie du mariage via votre corps d’Êtreté (la citrouille qui se transforme en carrosse quand l’heure est venue…). On peut donc considérer que le Gardien du Seuil serait l’entremetteur à qui on ne la raconte pas.

Ce Gardien du Seuil n’a pas de nom et vous ne pouvez donc pas l’appeler, car, comme son nom l’indique, c’est lui qui se trouve devant la porte (le seuil) de la future mariée. Il n’est qu’un paillasson qui a pour objectif de s’assurer que tous vos microbes et virus de 3D ne viennent pas compromettre la santé de la future mariée qui se languit de vous depuis si longtemps.

C’est vrai que ça fait 320.000 ans que vous avez claqué la porte, et que ce n’est qu’avec la messagerie (l’email) du cœur (votre petite voix) que vous communiquez. On peut donc comprendre que la ré-union avec votre autre moitié n’était pas dans la recherche effrénée d’un autre individu vivant en 3D dans une carcasse quelconque, mais bien à l’intérieur de vous.

Certes, on s’est fait balader depuis si longtemps que tomber dans la gamelle du mensonge n’était pas difficile, puisqu’en fait nous nageons depuis notre naissance comme des têtards dans la mare aux canards située en plein milieu du bac à sable-prison spécialement modifié par des gentils qui voulaient nous asservir afin qu’ils cassent la croûte à volonté… Hé oui, nous sommes leur garde-manger énergétique (émotions et pensées).

Bref, maintenant que l’heure du retour au bercail a sonné, il est temps que les têtards ayant suffisamment grandi (et donc devenus des grenouilles) sautent hors du bac à sable pour tomber dans le bénitier de l’Unité. Il va s’en dire qu’un bon bain de décrassage pour se libérer de la crasse des différents enfermements est un préalable pour oser aller poser les godillots sur le tapis de porte, le seuil, de ladite promise depuis l’éternité !

Il est clair que le lavage de chacun sera directement proportionnel à son envie de jouer les filles de l’air avec cette autre partie de lui-même dont il ne se rappelle même plus comment elle est. Il faut dire qu’il aura traversé quelques milliers d’incarnations, et qu’à chaque fois, il a perdu des neurones et des souvenirs au passage.

Bref, on sera loin d’être nickel-chrome et de sentir bon la fraise quand on appuiera sur le bouton de sonnette de ladite promise. Dit autrement, il n’est pas simple pour un zombie-fantôme d’être pure lumière, mais, comme on dit, quand on aime on est prêt à tout supporter pour n’avoir droit qu’à une miette d’un truc qui nous fait rêver depuis si longtemps !

La tâche donc du tapis à l’entrée, c’est de vous envoyer des ondes (comme si vous passiez dans un portique pour détecter la ferraille à l’aéroport) afin de faire vibrer n’importe quelle alarme vous concernant. Cette phase absolument impossible à éviter vous fera découvrir en temps réel tout ce que vous avez d’accroché à vos chakras, ou plans d’expérience comme je les appelle.

Il est évident que cet exercice se fera pendant que vous êtes déconnecté de votre conscience de veille normale. En clair, votre corps sera totalement endormi, au point que même si le bâtiment venait à s’écrouler vous ne bougeriez pas d’un poil. Cette période de scannage est connu sous le nom de stase ou ces fameux 3 jours où le soleil se sera éteint pour vous…

Ainsi bombardé par la Lumière Authentique, vous allez voir sur l’écran de votre conscience (comme sur un moniteur des douaniers à l’aéroport) tout ce qui vous colle aux basques. Ainsi, en balançant les 7 couleurs fondamentales correspondant à la vibration de chaque plan d’expérience (ou chakra), on aura à l’écran une image très colorée…

En fait, ce qui surgira dans votre conscience vous paraitra aussi réel que si vous aviez les yeux ouverts. Dit autrement, vous ne pourrez faire aucune différence entre le rêve et la réalité, sauf que vous savez que vous êtes quand même en rêve d’une certaine manière. Ainsi au début, vous aurez cette impression d’être ailleurs, comme les morts le découvrent quand ils meurent.

Le virus ou le microbe psychologique le plus virulent apparaitra donc en premier sur l’écran et ça, malgré le scannage successif des différents chakras. En effet, pourquoi s’embêter à tout scanner quand l’élimination peut se faire rapidement ? Ainsi, une fois le nez sur l’écran de la conscience, et grâce à l’énergie de la Lumière Authentique irradiée par la porte de la dulcinée (en 5D et plus), vous allez voir de vos propres yeux votre propre création en direct (ce qui se fera de toute façon en 5D et plus. Ce n’est donc qu’un petit aperçu de ce qui s’y passe !).

En clair, le paillasson ne serait qu’un amplificateur de vibration vous permettant de créer instantanément ce qui vous tient à cœur et à quoi vous tenez réellement. En cela, il n’y a aucun jugement parce que c’est vous-même qui écrivez le scénario en temps réel. Ainsi ce qui vous tient le plus à cœur se concrétisera vraiment pour vous, et vous aurez alors à jouer de votre véritable discernement.

Le courant passant d’abord dans le peu de métal qui vous reste, ce qui se présentera en premier lieu à vous sera ce qu’il y a de plus profondément caché en vous. On n’y verra donc pas l’envie de recoller les morceaux de votre dernière engueulade avec votre conjoint, mais plutôt tout ce qui vous a marqué à jamais.

Ainsi, si votre souhait est de revoir votre enfant mort d’un accident de la route, vous le reverrez avec une acuité totale. Vous pourrez lui parler comme si vous aviez la possibilité de recommencer tout avec lui. Votre cœur sera plein de gratitude et votre envie de le suivre sera totale, sauf qu’en fait, en décidant de le suivre, vous ne ferez que sortir du processus de nettoyage.

Oui, toute projection (forcément issue d’un désir de possession) sera ainsi révélée à votre conscience mais aussi projetée comme réelle dans votre conscience. La possession (c’est à moi – c’est ma vie et je fais comme je veux) est le signe d’une pollution importante incompatible avec la Loi de l’UN qui règne dans la pièce de votre dulcinée.

En clair, toute trace de 3D se doit d’être neutralisée afin de poursuivre l’opération de rapprochement. Comprenez bien que personne ne vous en veut et que vous êtes seul aux commandes de votre propre désintoxication. Ainsi dès que vous suivrez d’une manière ou d’une autre vos désirs les plus profonds relatifs à la 3D, vous vous éjecterez obligatoirement dans le plan d’existence correspondant.

Il est dit qu’il en sera fait selon la vibration de chacun et cela est tout à fait exact. C’est vous-même, avec votre cerveau, votre conscience, qui déciderez si vous allez aller en 5D vous marier avec la belle de toujours ou si vous allez continuer à jouer dans le théâtre de la personnalité et de l’égo. Ce sera votre choix et uniquement le vôtre !

Ainsi, si par exemple vous rêvez d’avoir un fric fou parce que vous en avez cruellement manqué et que vous avez des projets, il vous faudra aller à la banque que vous aurez créée dans votre rêve. Ce sera donc “exit” ou “game over” si vous préférez.

Il en sera de même si vous souhaitiez rencontrer l’âme sœur, votre moitié tant désirée. Il-elle sera exactement comme vous l’aviez imaginé. Elle sera si terriblement vraie que vous n’y verrez que du feu, et votre désir si intense de le vivre vous fera forcément prendre la porte qui mène à la 3D.

Idem, pour la beauté de votre corps physique, vos demandes de pouvoir comme avoir la possibilité d’avoir un diplôme que vous auriez aimé avoir afin d’être élu ou voire devenir Président de la République. Bref, tout ce que vous avez dans le coffre comme inassouvi viendra se présenter à vous en toute simplicité et vous invitera à les suivre.

Comprenez bien que cela est identique pour vos rêves de Lumière, de marcher parmi les Anges et les Archanges. Oui, vous verrez autant d’Êtres de Lumière que vous ne pourriez résister à leur appel et à leur amour si inconditionnel. Oui, toutes les projections aussi pacifiques, aimantes, douces et immortelles qu’elles soient ne seront en fait que des mirages de 3D incompatibles avec la 5D.

Comprenez bien que ce qui faisait la vie d’une grenouille en pleine mare à canard n’a rien à voir avec ce qui se passe en dehors du bac à sable-prison. C’est donc en toute innocence et dans l’absence totale de projection issue du mental (et surtout du coeur mentalisé) que vous pourrez traverser le seuil qui mène à la chambre nuptiale.

Ainsi comme il est dit, le prince peut venir à n’importe quelle heure dans la nuit, car, actuellement, c’est au moment où vous vous y attendrez le moins, quand vous serez dans la nuit (soit le mental endormi) que vous vous retrouverez sur le paillasson qui mène d’une manière ou d’une autre à s’unir avec la promise.

Il est donc recommandé d’être en tenue la plus légère possible, car chacun de vos vêtements appartient à la 3D. Ainsi si votre petit slip rose à dentelle vous tient à cœur et que vous ne voulez pas vous en séparer, vous allez vous retrouver dare-dare dans l’usine même qui fabrique sur commande ce que vous désirez.

Vous créerez alors une tension importante entre votre désir d’avoir un petit slip encore plus rose (je le veux car avec lui je me sentirai encore mieux = projection) et votre abandon total à la Lumière (ou au Christ si vous désirez car c’est pareil). Ne croyez pas que le Christ aimera votre petite culotte rose, car lui, il s’en fout royalement puisqu’il n’est pas une personne… !

Ainsi, plus vous vous déshabillerez dans vos croyances, dans vos liens affectifs et dans toutes vos projections égotiques, et plus vous serez apte à regarder vos fantasmes avec discernement quand vous serez sur le seuil qui vous sortira de la 3D. Vous aurez alors moins d’efforts à fournir pour résister aux forces extraordinaires déployées par votre personnalité et votre ego pour vous récupérer.

Seul l’abandon total vous permettra de pénétrer la chambre nuptiale, car ce qui s’y trouve n’a aucun rapport avec tout ce que vous aurez imaginé, pensé ou réfléchi. Il est donc fortement recommandé d’être aussi ouvert et enthousiaste que le sont les enfants sincères avec leur cœur. Suivre la musique est simple quand on a éteint le bruit de fond du mental-ego.

Comprenez bien que vous n’aurez personne à convaincre en quoi que ce soit pour pouvoir passer la porte de 5D. Vous serez seul face à vous-même, et avec le pire “adversaire” de tous les temps en face de vous : votre ego lourdement motivé par son lieutenant, la personnalité, elle-même grandement enthousiasmée par le corps de désirs. Vous ferez alors vos choix vraiment selon votre vibration.

Si l’argent vous fait bander, ou le sexe, ou les pouvoirs autant politiques que spirituels, vous serez assuré de pouvoir continuer dans cette voie, car La Source ne jugeant pas, elle vous accorde le droit de vivre ce que vous désirez vivre. Ainsi tout est parfait, car le monde est parfait !

Alors ne cherchez pas ou ne vous tourmentez pas de savoir si vous allez franchir ou non ce fameux seuil, car chacun aura selon sa vibration véritable. Tout est donc parfait et il n’y a aucune peur ou angoisse à avoir. Soyez ce que vous êtes et ne cherchez pas à péter plus haut que vos fesses. Soyez ce que vous êtes maintenant, et lorsque vous vous retrouverez sur le paillasson, restez calme et zen et regardez d’un œil bon-enfant ce qui s’y déroule.

Vous saurez que ce n’est qu’une projection, comme au cinéma, et qu’il vous faut atteindre gentiment la fin du générique de fin pour sortir de la salle du théâtre de 3D. Si, par contre, vous succombez aux sirènes de vos propres projections, alors vous resterez coincé dans ledit théâtre !

Je vous souhaite donc un bon film en espérant que ce sera le dernier que vous visionnerez. Pour ma part, j’ai pris l’option court-métrage grâce à l’option “naturisme”. Ben oui, c’est plus facile de partir comme on est arrivé en ce monde : à poil !

Auteur: Dureau Laurent

Info: Article paru à l’origine sur le blog 5D6D en septembre 2011 et réactualisé sur le blog 345D le 25 octobre 2012

[ inconscient ] [ septénaire ] [ pentacle ] [ voyage astral ] [ rêves ] [ moi supérieur ] [ démystification ] [ soi projeté ] [ je ]

univers protonique

Forces tourbillonnantes et pressions d’écrasement mesurées dans le proton

Des expériences très attendues qui utilisent la lumière pour imiter la gravité révèlent pour la première fois la répartition des énergies, des forces et des pressions à l’intérieur d’une particule subatomique.

(Image : Les forces poussent dans un sens près du centre du proton et dans l’autre sens près de sa surface.)

Les physiciens ont commencé à explorer le proton comme s’il s’agissait d’une planète subatomique. Les cartes en coupe affichent de nouveaux détails de l'intérieur de la particule. Le noyau du proton présente des pressions plus intenses que dans toute autre forme connue de matière. À mi-chemin de la surface, des tourbillons de force s’affrontent les uns contre les autres. Et la " planète " dans son ensemble est plus petite que ne le suggéraient les expériences précédentes.

Les recherches expérimentales marquent la prochaine étape dans la quête visant à comprendre la particule qui ancre chaque atome et constitue la majeure partie de notre monde.

"Nous y voyons vraiment l'ouverture d'une direction complètement nouvelle qui changera notre façon de considérer la structure fondamentale de la matière", a déclaré Latifa Elouadrhiri , physicienne au Thomas Jefferson National Accelerator Facility à Newport News, en Virginie, qui participe à l'effort.

Les expériences jettent littéralement un nouvel éclairage sur le proton. Au fil des décennies, les chercheurs ont méticuleusement cartographié l’influence électromagnétique de la particule chargée positivement. Mais dans la nouvelle recherche, les physiciens du Jefferson Lab cartographient plutôt l'influence gravitationnelle du proton, à savoir la répartition des énergies, des pressions et des contraintes de cisaillement, qui courbent le tissu espace-temps dans et autour de la particule. Pour ce faire, les chercheurs exploitent une manière particulière par laquelle des paires de photons, des particules de lumière, peuvent imiter un graviton, la particule supposée qui transmet la force de gravité. En envoyant un ping au proton avec des photons, ils déduisent indirectement comment la gravité interagirait avec lui, réalisant ainsi un rêve vieux de plusieurs décennies consistant à interroger le proton de cette manière alternative.

"C'est un tour de force", a déclaré Cédric Lorcé , physicien à l'Ecole Polytechnique en France, qui n'a pas participé aux travaux. "Expérimentalement, c'est extrêmement compliqué." 

Des photons aux gravitons

Les physiciens ont appris énormément sur le proton au cours des 70 dernières années en le frappant à plusieurs reprises avec des électrons. Ils savent que sa charge électrique s’étend sur environ 0,8 femtomètre, ou quadrillionièmes de mètre, à partir de son centre. Ils savent que les électrons entrants ont tendance à être projetés sur l’un des trois quarks – des particules élémentaires avec des fractions de charge – qui bourdonnent à l’intérieur. Ils ont également observé la conséquence profondément étrange de la théorie quantique où, lors de collisions plus violentes, les électrons semblent rencontrer une mer mousseuse composée de bien plus de quarks ainsi que de gluons, porteurs de la force dite forte, qui colle les quarks ensemble.

Toutes ces informations proviennent d’une seule configuration : vous lancez un électron sur un proton, et les particules échangent un seul photon – le porteur de la force électromagnétique – et se repoussent. Cette interaction électromagnétique indique aux physiciens comment les quarks, en tant qu'objets chargés, ont tendance à s'organiser. Mais le proton a bien plus à offrir que sa charge électrique.

(Photo : Latifa Elouadrhiri, scientifique principale du laboratoire Jefferson, a dirigé la collecte de données à partir desquelles elle et ses collaborateurs calculent désormais les propriétés mécaniques du proton.) 

" Comment la matière et l'énergie sont-elles distribuées ? " a demandé Peter Schweitzer , physicien théoricien à l'Université du Connecticut. "Nous ne savons pas."

Schweitzer a passé la majeure partie de sa carrière à réfléchir au côté gravitationnel du proton. Plus précisément, il s'intéresse à une matrice de propriétés du proton appelée tenseur énergie-impulsion. " Le tenseur énergie-impulsion sait tout ce qu'il y a à savoir sur la particule ", a-t-il déclaré.

Dans la théorie de la relativité générale d'Albert Einstein, qui présente l'attraction gravitationnelle comme des objets suivant des courbes dans l'espace-temps, le tenseur énergie-impulsion indique à l'espace-temps comment se plier. Elle décrit, par exemple, la disposition de l'énergie (ou, de manière équivalente, de la masse) – la source de ce qui est la part du lion de la torsion de l'espace-temps. Elle permet également d'obtenir des informations sur la répartition de la dynamique, ainsi que sur les zones de compression ou d'expansion, ce qui peut également donner une légère courbure à l'espace-temps.

Si nous pouvions connaître la forme de l'espace-temps entourant un proton, élaborée indépendamment par des physiciens russes et   américains dans les années 1960, nous pourrions en déduire toutes les propriétés indexées dans son tenseur énergie-impulsion. Celles-ci incluent la masse et le spin du proton, qui sont déjà connus, ainsi que l'agencement des pressions et des forces du proton, une propriété collective que les physiciens nomment " Druck term ", d'après le mot " pression"  en allemand. Ce terme est " aussi important que la masse et la rotation, et personne ne sait ce que c'est ", a déclaré Schweitzer – même si cela commence à changer.

Dans les années 60, il semblait que la mesure du tenseur énergie-momentum et le calcul du terme de Druck nécessiteraient une version gravitationnelle de l'expérience de diffusion habituelle : On envoie une particule massive sur un proton et on laisse les deux s'échanger un graviton - la particule hypothétique qui constitue les ondes gravitationnelles - plutôt qu'un photon. Mais en raison de l'extrême subtilité de la gravité, les physiciens s'attendent à ce que la diffusion de gravitons se produise 39 fois plus rarement que la diffusion de photons. Les expériences ne peuvent pas détecter un effet aussi faible.

"Je me souviens avoir lu quelque chose à ce sujet quand j'étais étudiant", a déclaré Volker Burkert , membre de l'équipe du Jefferson Lab. Ce qu’il faut retenir, c’est que " nous ne pourrons probablement jamais rien apprendre sur les propriétés mécaniques des particules ".Gravitation sans gravité

Les expériences gravitationnelles sont encore inimaginables aujourd’hui. Mais les recherches menées en fin des années 1990 et au début des années 2000 par les physiciens Xiangdong Ji et, travaillant séparément, feu Maxim Polyakov, ont révélé une solution de contournement.

Le schéma général est le suivant. Lorsque vous tirez légèrement un électron sur un proton, il délivre généralement un photon à l'un des quarks et le détourne. Mais lors d’un événement sur un milliard, quelque chose de spécial se produit. L’électron entrant envoie un photon. Un quark l'absorbe puis émet un autre photon un battement de cœur plus tard. La principale différence est que cet événement rare implique deux photons au lieu d’un : des photons entrants et sortants. Les calculs de Ji et Polyakov ont montré que si les expérimentateurs pouvaient collecter les électrons, protons et photons résultants, ils pourraient déduire des énergies et des impulsions de ces particules ce qui s'est passé avec les deux photons. Et cette expérience à deux photons serait essentiellement aussi informative que l’impossible expérience de diffusion de gravitons.

Comment deux photons pourraient-ils connaître la gravité ? La réponse fait appel à des mathématiques très complexes. Mais les physiciens proposent deux façons de comprendre pourquoi cette astuce fonctionne.

Les photons sont des ondulations dans le champ électromagnétique, qui peuvent être décrites par une seule flèche, ou vecteur, à chaque emplacement de l'espace indiquant la valeur et la direction du champ. Les gravitons seraient des ondulations dans la géométrie de l’espace-temps, un domaine plus complexe représenté par une combinaison de deux vecteurs en chaque point. Capturer un graviton donnerait aux physiciens deux vecteurs d’informations. En dehors de cela, deux photons peuvent remplacer un graviton, puisqu’ils transportent également collectivement deux vecteurs d’information.

Une interprétation mathématiques alternative est celle-ci. Pendant le moment qui s'écoule entre le moment où un quark absorbe le premier photon et celui où il émet le second, le quark suit un chemin à travers l'espace. En sondant ce chemin, nous pouvons en apprendre davantage sur des propriétés telles que les pressions et les forces qui entourent le chemin.

"Nous ne faisons pas d'expérience gravitationnelle", a déclaré Lorcé. Mais " nous devrions obtenir un accès indirect à la manière dont un proton devrait interagir avec un graviton ". 

Sonder la planète ProtonEn 2000, les physiciens du Jefferson Lab ont réussi à obtenir quelques résultats de diffusion à deux photons. Cette démonstration de faisabilité les a incités à construire une nouvelle expérience et, en 2007, ils ont fait entrer des électrons dans des protons suffisamment de fois pour obtenir environ 500 000 collisions imitant les gravitons. L'analyse des données expérimentales a pris une décennie de plus.

À partir de leur index des propriétés de flexion de l’espace-temps, l’équipe a extrait le terme insaisissable de Druck, publiant son estimation des pressions internes du proton dans Nature en 2018.

Ils ont découvert qu’au cœur du proton, la force puissante génère des pressions d’une intensité inimaginable : 100 milliards de milliards de milliards de pascals, soit environ 10 fois la pression au cœur d’une étoile à neutrons. Plus loin du centre, la pression chute et finit par se retourner vers l'intérieur, comme c'est nécessaire pour que le proton ne se brise pas. "Voilà qui résulte de l'expérience", a déclaré Burkert. "Oui, un proton est réellement stable." (Cette découverte n’a cependant aucune incidence sur la désintégration des protons , ce qui implique un type d’instabilité différent prédit par certaines théories spéculatives.)

Le groupe Jefferson Lab a continué à analyser le terme Druck. Ils ont publié une estimation des forces de cisaillement (forces internes poussant parallèlement à la surface du proton) dans le cadre d'une étude publiée en décembre. Les physiciens ont montré que près de son noyau, le proton subit une force de torsion qui est neutralisée par une torsion dans l’autre sens plus près de la surface. Ces mesures soulignent également la stabilité de la particule. Les rebondissements étaient attendus sur la base des travaux théoriques de Schweitzer et Polyakov. "Néanmoins, le voir émerger de l'expérience pour la première fois est vraiment stupéfiant", a déclaré Elouadrhiri.

Ils utilisent désormais ces outils pour calculer la taille du proton d'une nouvelle manière. Dans les expériences de diffusion traditionnelles, les physiciens avaient observé que la charge électrique de la particule s'étendait à environ 0,8 femtomètre de son centre (c'est-à-dire que les quarks qui la composent bourdonnent dans cette région). Mais ce " rayon de charge " présente quelques bizarreries. Dans le cas du neutron, par exemple — l'équivalent neutre du proton, dans lequel deux quarks chargés négativement ont tendance à rester profondément à l'intérieur de la particule tandis qu'un quark chargé positivement passe plus de temps près de la surface — le rayon de charge apparaît comme un nombre négatif.  "Cela ne veut pas dire que la taille est négative ; ce n'est tout simplement pas une mesure fiable ", a déclaré Schweitzer.

La nouvelle approche mesure la région de l’espace-temps considérablement courbée par le proton. Dans une prépublication qui n'a pas encore été évaluée par des pairs, l'équipe du Jefferson Lab a calculé que ce rayon pourrait être environ 25 % plus petit que le rayon de charge, soit seulement 0,6 femtomètre.

Les limites de la planète Proton

D'un point de vue conceptuel, ce type d'analyse adoucit la danse floue des quarks pour en faire un objet solide, semblable à une planète, avec des pressions et des forces agissant sur chaque point de volume. Cette planète gelée ne reflète pas entièrement le proton bouillonnant dans toute sa gloire quantique, mais c'est un modèle utile. "C'est une interprétation", a déclaré M. Schweitzer.

Et les physiciens soulignent que ces cartes initiales sont approximatives, pour plusieurs raisons.

Premièrement, mesurer avec précision le tenseur énergie-impulsion nécessiterait des énergies de collision beaucoup plus élevées que celles que Jefferson Lab peut produire. L’équipe a travaillé dur pour extrapoler soigneusement les tendances à partir des énergies relativement faibles auxquelles elles peuvent accéder, mais les physiciens ne sont toujours pas sûrs de la précision de ces extrapolations.

(Photo : Lorsqu'il était étudiant, Volker Burkert a lu qu'il était impossible de mesurer directement les propriétés gravitationnelles du proton. Aujourd'hui, il participe à une collaboration au laboratoire Jefferson qui est en train de découvrir indirectement ces mêmes propriétés.)

De plus, le proton est plus que ses quarks ; il contient également des gluons, qui se déplacent sous leurs propres pressions et forces. L'astuce à deux photons ne peut pas détecter les effets des gluons. Une autre équipe du Jefferson Lab a utilisé une astuce analogue ( impliquant une interaction double-gluon ) pour publier l'année dernière une carte gravitationnelle préliminaire de ces effets des gluons dans Nature, mais elle était également basée sur des données limitées et à faible énergie.

"C'est une première étape", a déclaré Yoshitaka Hatta, physicien au Brookhaven National Laboratory qui a eu l'idée de commencer à étudier le proton gravitationnel après les travaux du groupe Jefferson Lab en 2018.

Des cartes gravitationnelles plus précises des quarks du proton et de ses gluons pourraient être disponibles dans les années 2030, lorsque le collisionneur électron-ion, une expérience actuellement en construction à Brookhaven, entrera en activité.

Pendant ce temps, les physiciens poursuivent leurs expériences numériques. Phiala Shanahan, physicienne nucléaire et des particules au Massachusetts Institute of Technology, dirige une équipe qui calcule le comportement des quarks et des gluons à partir des équations de la force forte. En 2019, elle et ses collaborateurs ont estimé les pressions et les forces de cisaillement, et en octobre, en ont estimé le rayon, entre autres propriétés. Jusqu'à présent, leurs résultats numériques ont été largement alignés sur les résultats physiques du Jefferson Lab. "Je suis certainement très excitée par la cohérence entre les résultats expérimentaux récents et nos données", a déclaré Mme Shanahan.

Même les aperçus flous du proton obtenus jusqu'à présent ont légèrement remodelé la compréhension des chercheurs sur la particule.

Certaines conséquences sont pratiques. Au CERN, l'organisation européenne qui gère le Grand collisionneur de hadrons, le plus grand broyeur de protons au monde, les physiciens pensaient auparavant que dans certaines collisions rares, les quarks pouvaient se trouver n'importe où dans les protons en collision. Mais les cartes inspirées par la gravitation suggèrent que les quarks ont tendance à rester près du centre dans de tels cas.

"Les modèles utilisés au CERN ont déjà été mis à jour", a déclaré François-Xavier Girod, physicien du Jefferson Lab qui a travaillé sur les expériences.

Les nouvelles cartes pourraient également offrir des pistes pour résoudre l’un des mystères les plus profonds du proton : pourquoi les quarks se lient en protons. Il existe un argument intuitif selon lequel, comme la force puissante entre chaque paire de quarks s'intensifie à mesure qu'ils s'éloignent, comme un élastique, les quarks ne peuvent jamais échapper à leurs camarades.

Mais les protons sont fabriqués à partir des membres les plus légers de la famille des quarks. Et les quarks légers peuvent également être considérés comme de longues ondes s'étendant au-delà de la surface du proton. Cette image suggère que la liaison du proton pourrait se produire non pas via la traction interne de bandes élastiques, mais par une interaction externe entre ces quarks ondulés et étirés. La cartographie de pression montre l’attraction de la force forte s’étendant jusqu’à 1,4 femtomètres et au-delà, renforçant ainsi l’argument en faveur de ces théories alternatives.

"Ce n'est pas une réponse définitive", a déclaré Girod, "mais cela indique que ces simples images avec des bandes élastiques ne sont pas pertinentes pour les quarks légers."

Auteur: Internet

Info: https://filsdelapensee.ch - Charlie Bois, 14 mars 2024

[ chromodynamique quantique ]

fascisme religieux

Mon père, l’Iran et les " musulmans modérés " 

Des jardins d’Isphahan aux rives de la Seine… Djahanguir Riahi, mon père, est né en 1914 à Natanz (Iran). Parti en France poursuivre des études d’ingénieur grâce à une bourse d’études, il se met au lendemain de la Seconde guerre mondiale au service des relations économiques Franco-iraniennes. Installé en Europe depuis la révolution islamique, son intuition artistique hors du commun lui a permis de réunir l’une des plus importantes collections d’œuvres d’art du XVIIIème siècle français. Il est mort dans sa centième année, le 28 avril 2014, après avoir été élevé au grade de Commandeur de La Légion d’Honneur ainsi que des Arts et des Lettres. Grand donateur des Musées Nationaux, une salle du Musée du Louvre porte son nom.

Il m’avait demandé d’écrire ce texte au lendemain des attentats du World Trade Center, le 11 septembre 2001, et de l’inclure dans ses mémoires, que je rédigeais alors pour lui.

" Nous n’avons pas le même rapport à la barbarie et à la mort. L’attraction publique la plus appréciée de la population, à Mashhad comme dans toutes les villes où s’est déroulée mon enfance, consistait à s’attrouper sur la grand’place pour y assister aux pendaisons. La cruauté des exécutions était inouïe.

J’avais été horrifié, un jour, d’apprendre la condamnation d’un homme et de ses six fils. Le bourreau avait reçu du tribunal islamique l’ordre monstrueux de ne pendre le père qu’après qu’il eut assisté à la mort de tous ses enfants. Agha Djoun[1] se disait convaincu de l’innocence de ce pauvre homme. Et moi, je me disais, du haut de mes douze ou treize ans, en voyant leurs vêtements souillés par l’urine et la merde : pourquoi font-ils ça, sinon pour anéantir par la terreur toute forme de dignité humaine, toute forme de respect de la mort et donc de la vie ?

La mort, on s’y familiarise comme on prend l’habitude de tout. Lorsqu’en suivant le chemin de l’école au petit jour on longe la place des pendus, quand on assiste à des exécutions sommaires et barbares, on finit par apprivoiser la mort. Mais cette insensibilisation, ou plus exactement cette désacralisation, vous semble inconcevable en occident. Parce que vous êtes élevés dans le respect de la vie sans penser que la mort en est l’inéluctable corollaire.

Comme si la vie pouvait " être " sans la mort. Cette naïveté, à laquelle s’ajoute la pédagogie de l’émotion, est le fondement de la culture occidentale contemporaine. L’émotion priorisée, l’émotion magnifiée. On vit sur ce registre depuis la seconde moité du XXème siècle, sans doute par imprégnation des tendances éducatives à la mode aux Etats-Unis au lendemain de la guerre. L’enfant est devenu le barycentre de la civilisation occidentale. Héritière de la philosophie de Jean-Jacques Rousseau, la pédagogie contemporaine pose le principe que l’Homme naît bon et que c’est la société qui le pervertit. De même, dans le souci maniaque de préserver la planète, les mouvements écologistes ont entamé une régression qui efface inexorablement les progrès de la civilisation. On n’élève plus les enfants pour en faire des adultes ; on fait des enfants pour retomber soi-même en enfance, pour retrouver la puérilité sublimée de l’enfance.

Les islamistes jouent de cette émotivité occidentale. Si la religion dont ils se servent est primitive, leur stratégie de conquête est extrêmement sophistiquée. Ils vous observent et vous analysent depuis la fin des années 1970. Ils ont fréquenté les mêmes écoles, les mêmes universités que les élites occidentales. Ils ont vu les mêmes spectacles, les mêmes films ; lu les mêmes articles dans les mêmes revues. Ils savent que votre sensibilité au respect de la vie, votre peur de la mort, votre fragilité mentale et votre compulsion à la culpabilité sur un terrain compassionnel constituent votre talon d’Achille. Vous êtes tombés dans un triple piège :

- Le piège de l’anxiété collective " individualisée ". Certes, les guerres ont toujours fait des victimes civiles ; mais au World Trade Center ou dans les avions, il n’y avait " que " des victimes civiles. Chacun pouvait se dire : j’aurais pu me trouver parmi elles. Cette angoisse est le principe même du terrorisme, que les techniques de communication actuelles permettent d’individualiser simultanément à des milliards de témoins de la scène.

- Le piège de la " victimisation " des assassins. Pendant une centaine d’années, l’Europe a plus ou moins colonisé le monde ; en particulier les terres d’Islam que sont le Moyen-Orient, le Maghreb et l’Afrique. L’Amérique a toujours été solidaire des puissances européennes, sans parler de son soutien constant à l’Etat d’Israël. Pendant toute la durée de ces conflits, les victimes se sont comptées par centaines de milliers du côté des indigènes, sans que cela n’émeuve grand monde. Aujourd’hui, les victimes sont dans l’autre camp et toute une partie de la planète n’éprouve nullement l’envie de pleurer sur leur sort, considérant que c’est un juste retour des choses.

Le piège enfin du " chahid ", le martyr, celui qui meurt pour témoigner, alors que vous, pauvres larves invertébrées, vous pleurnichez de trouille en chiant dans votre froc, tant la mort vous effraie. Et cet exhibition du « héros » a le double avantage d’impressionner les musulmans, qui respectent le courage par principe, et de faire peur aux incroyants comme aux non pratiquants.

Les motivations fondamentales d’Al Qaida, celles des Islamistes en général, sont politiques et ne sont pas religieuses. Parce que la religion musulmane est intrinsèquement et historiquement politique. Il n’y a pas d’équivalent. Ni les juifs, ni les bouddhistes ou les hindouistes, ni les chrétiens n’ont eu pour vocation première de guerroyer et de conquérir. Bien sûr qu’ils ont tous été amenés à prendre les armes à divers moments de leur histoire. Mais ce n’était pas l’amorce ni la genèse de leur projet. Il faut en être conscient.

Mohammed – ou Mahomet comme vous l’appelez en France – n’a pas cherché à " spiritualiser " ses contemporains ni à leur apporter des réponses philosophiques. Son objectif était très prosaïque : il a voulu les rendre plus efficaces au travail et au combat !

Avant de " faire prophète " il était caravanier et commerçant. Issu de la tribu des Quraych et de tradition hanifiste, c’est-à-dire monothéiste, le jeune homme était intelligent, ambitieux et séduisant. Il sut se rendre indispensable à sa patronne, Khadija, une riche veuve de 15 ans son aînée, qu’il épousa et à laquelle il fit six enfants. Ses contacts sur la route avec des juifs et des chrétiens lui permirent de constater les avantages de la morale judéo-chrétienne et l’efficacité, par 45° à l’ombre, des prescritions hygiéniques et alimentaires de la kashrout.

On connaît la suite : Gibril dans le rôle de l’Ange Gabriel transforma ces préceptes en révélation divine et donna à l’accomplissement de ces pratiques un caractère religieux. Mais très objectivement, la plupart des Hadiths du Coran concernent l’organisation familiale et sociale, les pratiques et les règles juridiques à observer dans ces domaines, ce qui en fait un code civil plus qu’une somme théologique. L’islam a bénéficié de l’antériorité du Judaïsme et du Christianisme ; ses messages ont donc été parfaitement ajustés à leur objectif : discipliner et contrôler l’être humain. Le pouvoir politique l’a utilisé sans vergogne pour manipuler les peuples, tant il est vrai que la religion s’est toujours avérée l’arme la plus efficace pour anéantir toute aspiration à la démocratie et à la liberté.

Un simple constat: les monarchies héréditaires musulmanes se sont systématiquement trouvé une filiation directe avec le Prophète ou l’un de ses descendants ! Pour leurs chefs, pour les meneurs, la religion a toujours été un moyen, jamais une fin. Ben Laden, comme ceux qui l’ont précédé et ceux qui prendront sa suite, n’en a strictement rien à faire (et je suis poli…) du projet spirituel du Djihad et de l’accomplissement des hadiths du Coran. L’Islamisme sert juste un dessein politique. La religion n’est que l’instrument de la conquête, ou plutôt de la reconquête. Qu’importe le temps que cela mettra : dix ans, vingt ans, plus de trente ans peut-être… Ce que l’Islam a programmé, c’est la chute de l’Occident et de la civilisation judéo-chrétienne. Pas pour le takbîr, mais pour conquérir le monde et ses richesses, asservir ses populations. Allahou Akbar, proclamé et calligraphié sur les emblèmes et les drapeaux, n’est qu’un cri de guerre destiné à galvaniser les pauvres idiots crédules qui se prennent pour des soldats d’Allah et ne sont que la chair à canon de ceux qui rêvent de pouvoir absolu et universel depuis 1422 ans !

Le terrorisme est une tactique, que les islamistes utilisent ponctuellement ; pour entretenir la terreur, bien sûr, mais aussi parce qu’ils ont compris tout le bénéfice qu’il pouvaient tirer de la dichotomie que vous avez créée entre la religion musulmane et l’Islam " radical ". En triant vous-mêmes les " bons musulmans " des mauvais, vous vous êtes tiré une balle dans le pied et vous leur avez rendu un fieffé service ! En focalisant l’attention sur le terrorisme, vous réduisez la cible contre laquelle vous devriez combattre. Grâce à la très ancienne tactique du leurre, les Islamistes vous montrent du doigt les djihadistes et détournent votre attention du cheval de Troie qu’ils ont construit et mis en marche pour vous soumettre.

Et que l’on ne vienne pas me parler de " musulmans modérés "! Ils sont, évidemment, très largement majoritaires aujourd’hui. Mais où et comment les voit-on condamner les agissement des fondamentalistes? Combien sont-ils à être descendus dans la rue pour manifester massivement contre Al Qaïda au lendemain du 11 septembre 2001 ? Pour hurler à la face du monde, dans tous les médias et dans toutes les langues qu’ils se désolidarisent du salafisme, du wahhabisme, du frérisme et autres branches radicales de l’Islam ? Pour affirmer qu’ils vont faire le ménage dans leurs pratiques, actualiser drastiquement la charia et définir une ligne exclusivement métaphysique à leur religion ?

La religion musulmane n’est pas monolithique et exclusivement constituée de conquérants assoiffés de pouvoir et de vengeance, c’est clair. Mais la conquête est consubstantielle de la religion musulmane. L’Islam, sa culture politique, sa doctrine, son prosélytisme, son histoire et sa finalité sont intrinsèquement d’inspiration guerrière. De même que la vie ne peut se concevoir sans la mort, il n’y a pas de soumission sans victoire, ni de victoire sans combat. Or, la soumission à Allah est l’essence même du message de l’Islam.

C’est pourquoi les musulmans se soumettent implicitement aujourd’hui au fondamentalisme que leur impose l’Islam radical. Ils s’y soumettront explicitement demain et vous ne résisterez pas, un jour, à la tentation de vous y soumettre à votre tour. Parce que la peur est l’arme absolue, l’arme que l’Islam politique utilise avec talent pour anéantir toute forme de résistance à leur domination. Ils l’utiliseront jusqu’au bout, contre vous, mais aussi contre ceux que vous appelez " les musulmans modérés " pour anéantir votre civilisation.

Bien sûr qu’il existe des courants plus ou moins progressistes comme le malikisme, dont le logiciel est régulièrement mis à jour par le Roi du Maroc. Bien sûr que l’on peut interpréter le Coran de dizaines, de centaines de manières. Bien sûr que l’on peut intellectualiser le concept du Djihad et en faire un idéal moral (…) Néanmoins le syllogisme est évident et les faits sont têtus : tous les musulmans ne sont pas des fondamentalistes islamiques ni des djihadistes ; mais tous les fondamentalistes islamiques et tous les djihadistes sont musulmans. Trop facile d’établir une distinction morale et sémantique entre les prescriptions religieuses supposées acceptables, que vous qualifiez d’ " islamiques " et celles, intolérables, cataloguées " islamistes ". Quand on tue au nom de l’Islam, on n’accomplit pas un acte de dément, pas plus qu’un crime de sang ordinaire. Quand on tue au nom de l’Islam, c’est qu’on vous a mis dans la tête qu’il est de votre devoir de croyant d’exterminer les incroyants, lesquels auraient soit disant " déclaré la guerre " aux soldats de la vraie foi !

La motivation du donneur d’ordre est politique, pas religieuse. Ils arriveront à leurs fins, parce que la dialectique de l’Islam est redoutable. Les stratégies et les techniques de communication qu’ils mettent en œuvre sont très subtiles et pertinentes, car ils savent parfaitement comment vous fonctionnez. Ils achètent depuis des années les réseaux de communication qui influencent l’opinion publique, en Europe comme aux USA. Vous êtes des enfants dans leurs mains. Ils vous connaissent très bien, alors que vous ne les connaissez pas. Vous êtes manipulés et vous ne le savez pas.

Ils ont compris voila longtemps que votre talon d’Achille, c’est la mauvaise conscience et la compassion. Les Français en sont rongés depuis qu’on leur a mis dans la tête que la colonisation de l’Afrique et du Maghreb avait été un crime contre l’Humanité commis par leurs aïeux. Les uns après les autres, tous les gouvernants français ont baissé leur froc et fait acte de " repentance " vis-à-vis de ces peuples que leurs pères avaient " exploités " ; mais a-t-on songé à demander aux Arabes de se repentir, eux qui ont réduit en esclavage pendant des siècles, des générations d’Africains ?

Je suis athée, mais je ne pourrais pas le dire si j’étais resté dans mon pays. Pas plus hier qu’aujourd’hui. Ce n’est pas un problème de liberté d’expression, c’est juste un problème de liberté d’être. On n’a pas le droit d’être athée en Islam : juif, chrétien, oui. Athée, non. Mon appréhension, au vu de tout ce qui s’est produit depuis une dizaine d’années, c’est que je ne puisse pas le dire demain ; ici, dans ce beau pays libre qu’est la France. Je ne le crains pas pour moi, bien sûr, je suis vieux. Mais je crains que mes enfants et mes petits enfants se trouvent confrontés à la main-mise de l’Islam, à laquelle j’ai eu la chance de me soustraire voila près d’un siècle.

En 25 ans, j’ai vu évoluer la société française d’un modèle républicain et comme vous dites " laïc " vers un modèle communautaire à l’anglo-américaine. Il a fallu dix-neuf siècles de conflits et de guerres pour que la France, " Fille aînée de l’Eglise " sépare sa " mère " de son Etat, en 1905. Et encore, nous sommes très loin du compte aujourd’hui, pour les raisons économiques et électoralistes que tu connais mieux que moi. Il n’y a qu’à regarder tes hommes politiques se trémousser dans les églises, les mosquées et les synagogues pour en être convaincu.

La religion est un leurre contre la peur de la mort ; un leurre pour assujettir ceux qui ont vocation à être dominés. Depuis toujours, la religion est l’auxiliaire du pouvoir. Dans toutes les religions. Pourquoi l’être humain a-t-il tellement besoin de se raccrocher à un Dieu et à un au-delà pour tenter d’évacuer la peur de la mort ? Je ne sais pas. Moi, vois-tu, je n’ai jamais eu peur. Jamais eu peur de la mort, en tous cas. Sauf (rires) que j’ai toujours craint d’être enterré vivant. Je fais très souvent un affreux cauchemar. On ferme mon cercueil alors que je suis assoupi. Je me réveille et je frappe désespérément sur le couvercle en hurlant : bande d’idiots, espèces d’imbéciles… Vous ne voyez donc pas que je ne suis pas mort ? "

Mon père est mort le 28 avril 2014 dans sa centième année. Il a arrêté de se nourrir, estimant qu’il avait suffisamment vécu.

Il n’a pas connu les attentats de Charlie Hebdo, du Bataclan, de la Promenade des Anglais à Nice, ni l’égorgement du Père Jacques Hamel à St. Etienne-du-Rouvray.

A chacune de ces attaques terroristes et plus encore aujourd’hui, après le carnage barbare du Hamas perpétré le samedi 7 octobre 2023, j’ai repensé à ce qu’il m’avait dit au lendemain du 11 septembre 2001. 

Auteur: Mansouret Anne

Info: https://www.causeur.fr/, 21 octobre 2023, [1] Agha Djoun est mon grand-père, le père de mon père. C’est l’appellation donnée dans les familles, qui peut s’interpréter : " Votre Éminence chérie " et qui traduit tout à la fois la déférence et l’affection. En l’occurrence, mon grand-père était haut fonctionnaire territorial, c’est à dire Trésorier général dans plusieurs provinces, d’où les déménagements successifs vécus par ma famille.

[ prise du pouvoir ] [ machiavélisme ] [ orient - occident ]

Gaule 2023

Marianne : Comment avez-vous perçu le mouvement social de contestation à la réforme des retraites ?

E.T. : Je suis allé en manifestation. Du mouvement de contestation, j'ai constaté la masse, l’énergie, la jeunesse. Je tiens à dire ce que je pense de la responsabilité des uns et des autres concernant le désordre actuel, tout d'abord. Pour moi – je dis bien pour moi – mais ça sera aux juristes de trancher, il est clair qu'en faisant passer une réforme des retraites en loi de finances rectificative et par l'article 49.3, Emmanuel Macron et Élisabeth Borne sont sortis de la Constitution, du moins de l'esprit de la Constitution. Ce sera au Conseil constitutionnel de le dire. Mais il n'est pas certain que j'accepte l'avis du Conseil constitutionnel, s’il valide Macron-Borne.

J'ai vu les commentaires, le soir, sur BFM TV, LCI et d'autres, où l’on parlait de feux de poubelle. Pour moi, 100 % de la responsabilité de ces feux de poubelle incombe au président de la République française et la question de savoir si ce sont plus les black blocks ou les manifestants qui les ont allumés ne m'intéresse pas.

Pourquoi Emmanuel Macron entretiendrait-il ce désordre ?

Ce qui m'étonne le plus, moi, c'est que c'est un désordre qui ne sert à rien. En général, quand on gouverne par le désordre pour faire se lever le parti de l’ordre, c’est qu’on veut consolider un pouvoir fragile, ou bien pour reprendre le pouvoir. Mais Macron avait le pouvoir. La vérité de ce projet de réforme des retraites, en dehors du fait qu’il est injuste et incohérent, c’est qu’il est insignifiant et inutile par rapport aux problèmes réels de la société française.

Il y en a deux : la désindustrialisation et la chute du niveau de vie, liée à l’inflation. La question qui se pose et ce qu’il faut analyser vraiment, c’est la raison de cette mise en désordre de la France par son président, pour rien. Était-ce pour mener à bien un projet néolibéral, appelé "réformateur" ? Ou est-ce que c’est un problème lié à la personnalité de Macron lui-même ?

Commençons par l’hypothèse d’une réforme pensée comme juste par Macron. Vous la jugez néolibérale ?

La réalité du monde occidental, qui entre en guerre, c’est que le néolibéralisme, en tant qu’idéologie économiste active transformant la planète, est en train de mourir parce que ses effets ultimes se révèlent. La mortalité augmente aux États-Unis, et donc, logiquement, l’espérance de vie baisse. Les États-Unis ont perdu leur base industrielle, comme l’Angleterre. Le contexte historique général en ce moment, dans le monde américain, est plutôt aux réflexions sur le retour de l’État entrepreneur.

Macron avait pourtant engagé un tournant néo-protectionniste avec le Covid…

Non ! Je pense que Macron est néolibéral archaïque, et donc en grand état de déficit cognitif. Quand il parle de protectionnisme, il n’est même pas capable de dire s’il s’agit de protectionnisme national ou européen. Mais si tu ne fixes pas d’échelle, tu ne parles de rien. Quand il parle de réindustrialisation, il n’est pas capable de voir que la réindustrialisation implique deux actions simultanées. D’abord, l’investissement direct de l’État dans l’économie. C’est ça qui serait important actuellement, pas la réforme des retraites. Et puis des mesures de protection des secteurs qu’on refonde, par exemple dans les médicaments, dans la fabrication de tel ou tel bien essentiel à la sécurité informatique, alimentaire et énergétique de la France.

C’est d’ailleurs l’une des choses stupéfiantes dans ce débat sur les retraites : les politiques légifèrent – croient-ils – sur des perspectives à long terme d’équilibre. Ils spéculent sur des années de travail qui vont couvrir des décennies pour la plupart des gens, sans se poser la question de ce qui restera, non pas comme argent, comme signes monétaires, mais comme bien réels produits pour servir ces retraites en 2050 ou 2070.

Les retraites sont menacées, c’est vrai, mais par la désindustrialisation. Quel que soit le système comptable, si la France ne produit plus rien le niveau des retraites réelles de tout le monde va baisser. En dehors du fait qu'il a déjà commencé à baisser avec l'inflation.

Notre élite économique fait, selon vous, une fois de plus fausse route.

Notre président et les gens autour de lui, une sorte de pseudo-intelligentsia economico-politique, sont hors du monde. À une époque, on savait que pour faire la guerre, il fallait des biens industriels, des ingénieurs, des ouvriers. On redécouvre aujourd’hui à Washington et à Londres que tout ça n’existe plus assez ! Les faucons néoconservateurs croyaient qu’on pouvait faire la guerre à la Russie avec des soldats ukrainiens et à la Chine en prime, grâce au travail d’ouvriers… chinois ! La réalité du néolibéralisme, c'est qu’il a tout détruit au cœur même de son Empire. Le vrai nom du néolibéralisme, c'est "nihilisme économique". Je me souviens de phrases prophétiques de Margaret Thatcher disant "There is no such thing as society ", ou "There is no alternative" (TINA). Ces idioties ne sortent pas du libéralisme britannique, de John Locke ou d'Adam Smith, mais bien plutôt du nihilisme russe du XIXe siècle.

Cette réforme des retraites à contretemps est guidée par un phénomène d'inertie, au nom d’une idéologie qui est en train de mourir. Le discours néolibéral est un discours de la rationalité économique, un discours de la rationalité des marchés qui va permettre de produire, en théorie, plus d'efficacité. Je vais vous dire l’état de mes recherches sur le nihilisme néolibéral : cette passion de détruire les cadres de sécurité établis au cours des siècles par les religions, les États et les partis de gauche. Le nihilisme néolibéral détruit la fécondité du monde avancé, la possibilité même d’un futur. Et vous allez être fier de cette France dont les néolibéraux rient.

Vous faites partie de ceux qui voient dans les indices de fécondité l'avenir de l'Occident…

La vérité historique fondamentale actuelle, c’est que la rationalité individualiste pure détruit la capacité des populations à se reproduire et des sociétés à survivre. Pour faire des enfants, particulièrement dans les classes moyennes qui veulent pour eux des études longues, il faut l’aide de la collectivité, il faut se projeter dans un avenir qui ne peut apparaître suffisamment sûr que grâce à l’État. Il faut donc sortir de la rationalité économique à court terme. Sans oublier que décider d’avoir un enfant, ce n’est être ni rationnel, ni parfois même raisonnable, mais vivant. Je sais qu'il y a des gens qui s'inquiètent de l'augmentation de la population mondiale, mais moi, je suis inquiet de la sous-fécondité de toutes les régions "avancées". Même les États-Unis, même l'Angleterre, sont tombés à 1,6 enfant par femme. L’Allemagne est à 1,5, le Japon est à 1,3. La Corée, chouchou des majorettes intellectuelles du succès économique, le pays de Samsung et d'une globalisation économique assumée, est à 0,8. … Le plus efficace économiquement est le plus suicidaire.

C'est là que la France redevient vraiment intéressante. Elle a deux caractéristiques. C'est d’abord le pays qui fait le moins bien ses "réformes", qui refuse le plus le discours de la rationalité économique. Dont l'État n'est jamais dégrossi comme le rêvent les idéologues du marché. Mais c'est aussi le seul pays avancé qui garde une fécondité de 1,8. C'est le pays qui, en ne voulant pas toutes ces réformes, a refusé la destruction de certaines des structures de protection des individus et des familles qui permettent aux gens de se projeter dans le futur et d'avoir des enfants. Une retraite jeune, ce sont aussi des grands-pères et des grands-mères utilisables pour des gardes d’enfants ! Désolé d’apparaître en être humain plutôt qu’en économiste ! La grandeur de la France, c'est son refus de la rationalité économique, son refus de la réforme. Ce qui fait de la France un pays génial, c'est son irrationalité économique. On saura si Macron a réussi s'il arrive à faire baisser la natalité française au niveau anglo-américain, au-delà de son cas personnel de non-reproduction.

Comment ce dernier peut-il alors imposer une telle réforme si c'est contre l'intérêt du pays ?

Pourquoi un président de la République en si grand état de déficit cognitif peut-il imposer cette réforme injuste, inutile et incohérente par un coup de force institutionnel ou même un coup d’État ? Parce qu’il agit dans un système sociopolitique détraqué que je qualifierais même de pathologique. Il y avait une organisation de la République qui reposait sur une opposition de la droite et de la gauche, permise par un mode de scrutin adapté : le scrutin uninominal majoritaire à deux tours. Il faisait qu’au premier tour, on choisissait son parti de droite préféré, son parti de gauche préféré. Au deuxième tour, les deux camps se regroupaient et on avait une très belle élection.

Tout a été dévasté par la nouvelle stratification éducative de la France. La montée de l’éducation supérieure a produit une première division en deux de la société entre les gens qui ont fait des études et ceux qui n’en ont pas fait. C’est le modèle qui s’impose partout dans le monde développé. Mais il y a une autre dimension qui, il faut l’avouer, n’a pas grand-chose à voir : le vieillissement de la population et l’apparition d’une masse électorale âgée, qui établissent un troisième pôle, les vieux, dont je suis. Cette société stratifiée et vieillie a accouché de trois pôles politiques qui structurent le système. Je simplifie jusqu’à la caricature : 1) les éduqués supérieurs mal payés, plutôt jeunes ou actifs, se sont dirigés vers Mélenchon ou la Nupes ; 2) les moins éduqués mal payés, plutôt jeunes et actifs, vers le RN ; 3) les vieux, derrière Macron.

Ils sont les seuls à soutenir la réforme des retraites, d’ailleurs…

Ce système est dysfonctionnel, "détraqué", à cause de l’opposition viscérale entre les électorats contestataires de gauche et de droite, Nupes et RN. Ces deux électorats ont en commun leur niveau de vie, leur structure d’âge, mais sont séparés par l’éducation et par la question de la nation et de l’immigration. Cette fracture conduit à une incapacité des uns et des autres à se considérer comme mutuellement légitimes. Leur opposition permet à Macron et aux vieux de régner. Les retraités peuvent donc imposer une réforme des retraites qui ne les touche pas. Le problème, c’est qu’une démocratie ne peut fonctionner que si les gens opposés se considèrent comme certes différents, mais mutuellement légitimes.

La France vire-t-elle à la gérontocratie ?

On a enfermé les jeunes pour sauver les gens de ma génération. Comment la démocratie est-elle possible avec un corps électoral qui vieillit sans cesse ? Mais dénoncer un système gérontocratique ne suffit pas, d’un point de vue anthropologique en tout cas. Ce qu’il faut dénoncer, c’est une société qui ne peut survivre. Une société humaine ne peut pas se projeter dans l’avenir si on part du principe que les ressources doivent remonter vers les vieux plutôt que descendre vers les jeunes.

La question institutionnelle fondamentale, ce n’est pas tant le pouvoir disproportionné du président dans la conception de la Ve République, mais un système électoral inadapté dans un contexte où les deux forces d’opposition refusent d’exister l’une pour l’autre. Il y a deux solutions : la première est le passage au mode de scrutin proportionnel. Mais cela ne se produira pas car la gérontocratie en place a trop intérêt à ce que le système dysfonctionne. L’autre solution, c’est de trouver une voie politique qui permette le sauvetage de la démocratie : je propose un contrat à durée limitée réconciliant les électorats du Rassemblement national et de la Nupes pour établir le scrutin proportionnel.

Mais comment les réconcilier ?

Je considère vraiment que ce qui se passe est inquiétant. J’ai un peu de mal à imaginer que cela ne se termine pas mal. Il y a un élément d’urgence, et la simple menace de désistement implicite ou explicite entre les deux forces d’opposition calmerait beaucoup le jeu. Il ferait tomber le sentiment d’impunité de la bureaucratie qui nous gouverne.

Le problème fondamental n’est pas un problème entre appareils. Le problème fondamental est un problème de rejet pluriel. 1) L’électorat du Rassemblement national est installé dans son rejet de l’immigration, un concept qui mélange l’immigration réelle qui passe aujourd’hui la frontière et la descendance de l’immigration ancienne, les gosses d’origine maghrébine qui sont maintenant une fraction substantielle de la population française. 2) L’électorat de LFI et de la Nupes croit seulement exprimer un refus du racisme du RN mais il exprime aussi, à l’insu de son plein gré, un rejet culturel de l’électorat du RN. Il vit un désir à la Bourdieu de distinction. Simplifions, soyons brutal, il s’agit de sauver la République : il y a d’un côté une xénophobie ethnique et de l’autre une xénophobie sociale.

J’ai un peu de mal à imaginer que le sauvetage à court terme de la démocratie par l’établissement de la proportionnelle, via un accord à durée limitée entre Nupes et RN, puisse se passer d’un minimum de négociation sur la question du rapport à l’étranger. La seule négociation possible, la seule chose raisonnable d’ailleurs du point de vue de l’avenir du pays, c’est que les électeurs de la Nupes admettent que le contrôle des frontières est absolument légitime et que les gens du Rassemblement national admettent que les gens d’origine maghrébine en France sont des Français comme les autres. Sur cette base, à la fois très précise et qui admet du flou, on peut s’entendre.

Le contexte actuel reproduit-il celui de l’époque des Gilets jaunes ?

"La police tape pour Macron, mais vote pour Le Pen", disais-je en 2018 au moment des Gilets jaunes… Je m’inquiétais de la possibilité d’une collusion entre les forces de ce que j’appelais à l’époque l’aristocratie stato-financière et l’autoritarisme implicitement associé à la notion d’extrême droite. J’avançais le concept de macrolepénisme. Le Rassemblement national aujourd’hui est confronté à une ambivalence qu’il doit lever. Le contexte actuel reproduit le contexte de l’époque des Gilets jaunes, en effet : d’un côté le Rassemblement national passe des motions de censure contre la politique gouvernementale sur les retraites (et je trouve tout à fait immoral que LFI refuse de voter les motions du Rassemblement national sur ces questions), mais, d’un autre côté, c’est, comme d’habitude, la police qui cogne sur les manifestants, qui est utilisée par Macron, qui continue de voter à plus de 50 % pour le Rassemblement national ! J’ajoute que le choix par Marine Le Pen de l’opposition à la grève des éboueurs n’est pas de bon augure.

Le Rassemblement national ne peut pas rester dans cette ambiguïté : il suffirait d’un petit mot de modération de Marine Le Pen pour que le comportement de la police change. Ce que je dis est grave : en mode démocratique normal, une police doit obéir au ministre de l’Intérieur. Mais je ne vois pas pourquoi une police appliquerait aveuglément les consignes de violence d’un président qui est sorti de la Constitution. Nous avons besoin d’une réflexion approfondie des juristes. Il s’agit de protéger les institutions dans un contexte extrêmement bizarre. Le conflit entre jeunes manifestants et jeunes policiers nous ramène d’ailleurs à la question du rejet mutuel Nupes/RN. L’hostilité qu’encourage le gouvernement entre la police et les jeunes manifestants est une menace pour l’équilibre du pays. On ne peut pas vivre dans un pays avec deux jeunesses qui se tapent dessus. Il y a dans le style policier violent Macron-Borne-Darmanin quelque chose de pensé et de pervers.

Vous dites que la première raison de l’obstination du gouvernement pourrait venir de l’esprit de Macron directement…

J’ai parlé de système électoral, j’ai parlé de néolibéralisme. J’ai parlé du déficit cognitif néolibéral de Macron. Une autre chose doit être évoquée, non systémique, accidentelle, dont je n’aime pas parler mais dont on doit parler : une autre raison de la préférence de Macron pour le désordre et la violence est sans doute un problème de personnalité, un problème psychologique grave. Son rapport au réel n’est pas clair. On lui reproche de mépriser les gens ordinaires. Je le soupçonne de haïr les gens normaux. Son rapport à son enfance n’est pas clair. Parfois, il me fait penser à ces enfants excités qui cherchent la limite, qui attendent d’un adulte qu’il les arrête. Ce qui serait bien, ce serait que le peuple français devienne adulte et arrête l’enfant Macron.

La situation est extrêmement dangereuse parce que nous avons peut-être un président hors contrôle dans un système sociopolitique qui est devenu pathologique. Au-delà de toutes les théories, sophistiquées ou non, j’en appelle à tous les gens pacifiques, moraux et raisonnables, quel que soit leur niveau éducatif, leur richesse, leur âge, à tous les députés quel que soit leur parti, Renaissance compris, j’en appelle au Medef, aux pauvres, aux inspecteurs des finances, aux vieillards et aux oligarques de bonne volonté, pour qu’ils se donnent la main et remettent ce président sous contrôle. La France vaut mieux que ce bordel. 



 

Auteur: Todd Emmanuel

Info: Marianne.net, 5 mars 2023, Interview Par Etienne Campion

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]