univers protonique

À l’intérieur du Proton, " la chose la plus complexe qu'on puisse imaginer "

La particule chargée positivement au cœur de l’atome est un objet d’une complexité indescriptible, qui change d’apparence en fonction de la manière dont elle est sondée. Nous avons tenté de relier les nombreuses faces du proton pour former l'image la plus complète à ce jour.

(image : Des chercheurs ont récemment découvert que le proton comprend parfois un quark charmé et un antiquark charmé, particules colossales puisqeu chacune est plus lourde que le proton lui-même.)

Plus d’un siècle après qu’Ernest Rutherford ait découvert la particule chargée positivement au cœur de chaque atome, les physiciens ont encore du mal à comprendre pleinement le proton.

Les professeurs de physique des lycées les décrivent comme des boules sans relief contenant chacune une unité de charge électrique positive – des feuilles parfaites pour les électrons chargés négativement qui bourdonnent autour d’elles. Les étudiants apprennent que la boule est en réalité un ensemble de trois particules élémentaires appelées quarks. Mais des décennies de recherche ont révélé une vérité plus profonde, trop bizarre pour être pleinement saisie avec des mots ou des images.

"C'est la chose la plus compliquée que l'on puisse imaginer", a déclaré Mike Williams, physicien au Massachusetts Institute of Technology. "En fait, on ne peut même pas imaginer à quel point c'est compliqué."

Le proton est un objet de mécanique quantique qui existe sous la forme d’un brouillard de probabilités jusqu’à ce qu’une expérience l’oblige à prendre une forme concrète. Et ses formes diffèrent radicalement selon la manière dont les chercheurs mettent en place leur expérience. Relier les nombreux visages de la particule a été l’œuvre de plusieurs générations. "Nous commençons tout juste à comprendre ce système de manière complète", a déclaré Richard Milner , physicien nucléaire au MIT.

Alors que la poursuite se poursuit, les secrets du proton ne cessent de se dévoiler. Plus récemment, une analyse monumentale de données publiée en août a révélé que le proton contient des traces de particules appelées quarks charmés, plus lourdes que le proton lui-même.

Le proton " a été une leçon d’humilité pour les humains ", a déclaré Williams. " Chaque fois qu'on pense pouvoir maîtriser le sujet, il nous envoie des balles à trajectoires courbées (en référence aux Pitchers du baseball)

Récemment, Milner, en collaboration avec Rolf Ent du Jefferson Lab, les cinéastes du MIT Chris Boebel et Joe McMaster et l'animateur James LaPlante, ont entrepris de transformer un ensemble d'intrigues obscures qui compilent les résultats de centaines d'expériences en une série d'animations de la forme -changement de proton. Nous avons intégré leurs animations dans notre propre tentative de dévoiler ses secrets.

Ouvrir le proton

La preuve que le proton contient de telles multitudes est venue du Stanford Linear Accelerator Center (SLAC) en 1967. Dans des expériences antérieures, les chercheurs l'avaient bombardé d'électrons et les avaient regardés ricocher comme des boules de billard. Mais le SLAC pouvait projeter des électrons avec plus de force, et les chercheurs ont constaté qu'ils rebondissaient différemment. Les électrons frappaient le proton assez fort pour le briser – un processus appelé diffusion inélastique profonde – et rebondissaient sur des fragments ponctuels du proton appelés quarks. "Ce fut la première preuve de l'existence réelle des quarks", a déclaré Xiaochao Zheng , physicien à l'Université de Virginie.

Après la découverte du SLAC, qui remporta le prix Nobel de physique en 1990, l'examen minutieux du proton s'est intensifié. Les physiciens ont réalisé à ce jour des centaines d’expériences de diffusion. Ils déduisent divers aspects de l'intérieur de l'objet en ajustant la force avec laquelle ils le bombardent et en choisissant les particules dispersées qu'ils collectent par la suite.

En utilisant des électrons de plus haute énergie, les physiciens peuvent découvrir des caractéristiques plus fines du proton cible. De cette manière, l’énergie électronique définit le pouvoir de résolution maximal d’une expérience de diffusion profondément inélastique. Des collisionneurs de particules plus puissants offrent une vision plus nette du proton.

Les collisionneurs à plus haute énergie produisent également un plus large éventail de résultats de collision, permettant aux chercheurs de choisir différents sous-ensembles d'électrons sortants à analyser. Cette flexibilité s'est avérée essentielle pour comprendre les quarks, qui se déplacent à l'intérieur du proton avec différentes impulsions.

En mesurant l'énergie et la trajectoire de chaque électron diffusé, les chercheurs peuvent déterminer s'il a heurté un quark transportant une grande partie de l'impulsion totale du proton ou juste une infime partie. Grâce à des collisions répétées, ils peuvent effectuer quelque chose comme un recensement, déterminant si l'impulsion du proton est principalement liée à quelques quarks ou répartie sur plusieurs.

(Illustration qui montre les apparences du proton en fonction des types de collisions)

Même les collisions de division de protons du SLAC étaient douces par rapport aux normes actuelles. Lors de ces événements de diffusion, les électrons jaillissaient souvent d'une manière suggérant qu'ils s'étaient écrasés sur des quarks transportant un tiers de l'impulsion totale du proton. Cette découverte correspond à une théorie de Murray Gell-Mann et George Zweig, qui affirmaient en 1964 qu'un proton était constitué de trois quarks.

Le " modèle des quarks " de Gell-Mann et Zweig reste une façon élégante d'imaginer le proton. Il possède deux quarks " up " avec des charges électriques de +2/3 chacun et un quark " down " avec une charge de −1/3, pour une charge totale de protons de +1.

(Image mobile : Trois quarks sont présents dans cette animation basée sur les données.)

Mais le modèle avec des quarks est une simplification excessive qui présente de sérieuses lacunes.

Qui échoue, par exemple, lorsqu'il s'agit du spin d'un proton, une propriété quantique analogue au moment cinétique. Le proton possède une demi-unité de spin, tout comme chacun de ses quarks up et down. Les physiciens ont initialement supposé que — dans un calcul faisant écho à la simple arithmétique de charge — les demi-unités des deux quarks up moins celle du quark down devaient être égales à une demi-unité pour le proton dans son ensemble. Mais en 1988, la Collaboration européenne sur les muons a rapporté que la somme des spins des quarks était bien inférieure à la moitié. De même, les masses de deux quarks up et d’un quark down ne représentent qu’environ 1 % de la masse totale du proton. Ces déficits ont fait ressortir un point que les physiciens commençaient déjà à comprendre : le proton est bien plus que trois quarks.

Beaucoup plus que trois quarks

L'accélérateur annulaire de hadrons et d'électrons (HERA), qui a fonctionné à Hambourg, en Allemagne, de 1992 à 2007, a projeté des électrons sur des protons avec une force environ mille fois supérieure à celle du SLAC. Dans les expériences HERA, les physiciens ont pu sélectionner les électrons qui avaient rebondi sur des quarks à impulsion extrêmement faible, y compris ceux transportant aussi peu que 0,005 % de l'impulsion totale du proton. Et ils les ont détectés : Les électrons d'HERA ont rebondi sur un maelström de quarks à faible dynamique et de leurs contreparties d'antimatière, les antiquarks.

(Photo image animée : De nombreux quarks et antiquarks bouillonnent dans une " mer " de particules bouillonnantes."

Les résultats ont confirmé une théorie sophistiquée et farfelue qui avait alors remplacé le modèle des quarks de Gell-Mann et Zweig. Développée dans les années 1970, il s’agissait d’une théorie quantique de la " force forte " qui agit entre les quarks. La théorie décrit les quarks comme étant liés par des particules porteuses de force appelées gluons. Chaque quark et chaque gluon possède l'un des trois types de charges "colorées ", étiquetées rouge, verte et bleue ; ces particules chargées de couleur se tirent naturellement les unes sur les autres et forment un groupe – tel qu’un proton – dont les couleurs s’additionnent pour former un blanc neutre. La théorie colorée est devenue connue sous le nom de chromodynamique quantique, ou QCD.

Selon cette QCD, les gluons peuvent capter des pics d’énergie momentanés. Avec cette énergie, un gluon se divise en un quark et un antiquark – chacun portant juste un tout petit peu d’impulsion – avant que la paire ne s’annihile et ne disparaisse. C'est cette " mer " de gluons, de quarks et d'antiquarks transitoires qu'HERA, avec sa plus grande sensibilité aux particules de faible impulsion, a détecté de première main.

HERA a également recueilli des indices sur ce à quoi ressemblerait le proton dans des collisionneurs plus puissants. Alors que les physiciens ajustaient HERA pour rechercher des quarks à faible impulsion, ces quarks – qui proviennent des gluons – sont apparus en nombre de plus en plus grand. Les résultats suggèrent que dans des collisions à énergie encore plus élevée, le proton apparaîtrait comme un nuage composé presque entièrement de gluons. (Image)

Les gluons abondent sous une forme semblable à un nuage.

Ce pissenlit de gluon est exactement ce que prédit la QCD. "Les données HERA sont une preuve expérimentale directe que la QCD décrit la nature", a déclaré Milner.

Mais la victoire de la jeune théorie s'est accompagnée d'une pilule amère : alors que la QCD décrivait magnifiquement la danse des quarks et des gluons à durée de vie courte révélée par les collisions extrêmes d'HERA, la théorie est inutile pour comprendre les trois quarks à longue durée de vie observés suite à un plus léger bombardement du SLAC.

Les prédictions de QCD ne sont faciles à comprendre que lorsque la force forte est relativement faible. Et la force forte ne s'affaiblit que lorsque les quarks sont extrêmement proches les uns des autres, comme c'est le cas dans les paires quark-antiquark de courte durée. Frank Wilczek, David Gross et David Politzer ont identifié cette caractéristique déterminante de la QCD en 1973, remportant le prix Nobel 31 ans plus tard.

Mais pour des collisions plus douces comme celle du SLAC, où le proton agit comme trois quarks qui gardent mutuellement leurs distances, ces quarks s'attirent suffisamment fortement les uns les autres pour que les calculs de QCD deviennent impossibles. Ainsi, la tâche de démystifier plus loin une vision du proton à trois quarks incombe en grande partie aux expérimentateurs. (Les chercheurs qui mènent des " expériences numériques ", dans lesquelles les prédictions QCD sont simulées sur des superordinateurs, ont également apporté des contributions clés .) Et c'est dans ce genre d' images à basse résolution que les physiciens continuent de trouver des surprises.

Une charmante nouvelle approche

Récemment, une équipe dirigée par Juan Rojo de l'Institut national de physique subatomique des Pays-Bas et de l'Université VU d'Amsterdam a analysé plus de 5 000 instantanés de protons pris au cours des 50 dernières années, en utilisant l'apprentissage automatique pour déduire les mouvements des quarks et des gluons à l'intérieur du proton via une procédure qui évite les conjectures théoriques.

Ce nouvel examen a détecté un flou en arrière-plan dans les images qui avait échappé aux chercheurs antérieurs. Dans des collisions relativement douces, juste capables d'ouvrir à peine le proton, la majeure partie de l'impulsion était enfermée dans les trois quarks habituels : deux ups et un down. Mais une petite quantité d’impulsion semble provenir d’un quark " charmé " et d’un antiquark charmé – particules élémentaires colossales dont chacune dépasse de plus d’un tiers le proton entier.

(Image mobie : Le proton agit parfois comme une " molécule " de cinq quarks.)

Ces charmés de courte durée apparaissent fréquemment dans le panorama " mer des quarks " du proton (les gluons peuvent se diviser en six types de quarks différents s'ils ont suffisamment d'énergie). Mais les résultats de Rojo et de ses collègues suggèrent que les charmés ont une présence plus permanente, ce qui les rend détectables lors de collisions plus douces. Dans ces collisions, le proton apparaît comme un mélange quantique, ou superposition, d'états multiples : un électron rencontre généralement les trois quarks légers. Mais il rencontrera occasionnellement une " molécule " plus rare de cinq quarks, comme un quark up, down et charmé regroupés d'un côté et un quark up et un antiquark charmé de l'autre.

Des détails aussi subtils sur la composition du proton pourraient avoir des conséquences. Au Grand collisionneur de hadrons, les physiciens recherchent de nouvelles particules élémentaires en frappant ensemble des protons à grande vitesse et en observant ce qui en ressort ; Pour comprendre les résultats, les chercheurs doivent commencer par savoir ce que contient un proton. L’apparition occasionnelle de quarks charmés géants rendrait impossible la production de particules plus exotiques.

Et lorsque des protons appelés rayons cosmiques déferlent ici depuis l'espace et percutent les protons de l'atmosphère terrestre, des quarks charmés apparaissant au bon moment inonderaient la Terre de neutrinos extra-énergétiques, ont calculé les chercheurs en 2021. Cela pourrait dérouter les observateurs à la recherche de neutrinos à haute énergie provenant de tout le cosmos.

La collaboration de Rojo prévoit de poursuivre l'exploration du proton en recherchant un déséquilibre entre les quarks charmés et les antiquarks. Et des constituants plus lourds, comme le quark top, pourraient faire des apparitions encore plus rares et plus difficiles à détecter.

Les expériences de nouvelle génération rechercheront des fonctionnalités encore plus inconnues. Les physiciens du Laboratoire national de Brookhaven espèrent lancer le collisionneur électron-ion dans les années 2030 et reprendre là où HERA s'est arrêté, en prenant des instantanés à plus haute résolution qui permettront les premières reconstructions 3D du proton. L'EIC utilisera également des électrons en rotation pour créer des cartes détaillées des spins des quarks et des gluons internes, tout comme le SLAC et HERA ont cartographié leurs impulsions. Cela devrait aider les chercheurs à enfin déterminer l'origine du spin du proton et à répondre à d'autres questions fondamentales concernant cette particule déroutante qui constitue l'essentiel de notre monde quotidien.

 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Charlie Bois, 19 octobre 2022

[ univers subatomique ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]

symphonie des équations

Des " murmurations " de courbe elliptique découvertes grâce à l'IA prennent leur envol

Les mathématiciens s’efforcent d’expliquer pleinement les comportements inhabituels découverts grâce à l’intelligence artificielle.

(photo - sous le bon angle les courbes elliptiques peuvent se rassembler comme les grands essaims d'oiseaux.)

Les courbes elliptiques font partie des objets les plus séduisants des mathématiques modernes. Elle ne semblent pas compliqués, mais  forment une voie express entre les mathématiques que beaucoup de gens apprennent au lycée et les mathématiques de recherche dans leur forme la plus abstruse. Elles étaient au cœur de la célèbre preuve du dernier théorème de Fermat réalisée par Andrew Wiles dans les années 1990. Ce sont des outils clés de la cryptographie moderne. Et en 2000, le Clay Mathematics Institute a désigné une conjecture sur les statistiques des courbes elliptiques comme l'un des sept " problèmes du prix du millénaire ", chacun d'entre eux étant récompensé d'un million de dollars pour sa solution. Cette hypothèse, formulée pour la première fois par Bryan Birch et Peter Swinnerton-Dyer dans les années 1960, n'a toujours pas été prouvée.

Comprendre les courbes elliptiques est une entreprise aux enjeux élevés qui est au cœur des mathématiques. Ainsi, en 2022, lorsqu’une collaboration transatlantique a utilisé des techniques statistiques et l’intelligence artificielle pour découvrir des modèles complètement inattendus dans les courbes elliptiques, cela a été une contribution bienvenue, bien qu’inattendue. "Ce n'était qu'une question de temps avant que l'apprentissage automatique arrive à notre porte avec quelque chose d'intéressant", a déclaré Peter Sarnak , mathématicien à l'Institute for Advanced Study et à l'Université de Princeton. Au départ, personne ne pouvait expliquer pourquoi les modèles nouvellement découverts existaient. Depuis lors, dans une série d’articles récents, les mathématiciens ont commencé à élucider les raisons derrière ces modèles, surnommés " murmures " en raison de leur ressemblance avec les formes fluides des étourneaux en troupeaux, et ont commencé à prouver qu’ils ne doivent pas se produire uniquement dans des cas particuliers. exemples examinés en 2022, mais dans les courbes elliptiques plus généralement.

L'importance d'être elliptique

Pour comprendre ces modèles, il faut jeter les bases de ce que sont les courbes elliptiques et de la façon dont les mathématiciens les catégorisent.

Une courbe elliptique relie le carré d'une variable, communément écrite comme y , à la troisième puissance d'une autre, communément écrite comme x : y 2  =  x 3  + Ax + B , pour une paire de nombres A et B , tant que A et B remplissent quelques conditions simples. Cette équation définit une courbe qui peut être représentée graphiquement sur le plan, comme indiqué ci-dessous. (Photo : malgré la similitude des noms, une ellipse n'est pas une courbe elliptique.)

Introduction

Bien qu’elles semblent simples, les courbes elliptiques s’avèrent être des outils incroyablement puissants pour les théoriciens des nombres – les mathématiciens qui recherchent des modèles dans les nombres entiers. Au lieu de laisser les variables x et y s'étendre sur tous les nombres, les mathématiciens aiment les limiter à différents systèmes numériques, ce qu'ils appellent définir une courbe " sur " un système numérique donné. Les courbes elliptiques limitées aux nombres rationnels – nombres qui peuvent être écrits sous forme de fractions – sont particulièrement utiles. "Les courbes elliptiques sur les nombres réels ou complexes sont assez ennuyeuses", a déclaré Sarnak. "Seuls les nombres rationnels sont profonds."

Voici une façon qui est vraie. Si vous tracez une ligne droite entre deux points rationnels sur une courbe elliptique, l’endroit où cette ligne coupe à nouveau la courbe sera également rationnel. Vous pouvez utiliser ce fait pour définir " addition " dans une courbe elliptique, comme indiqué ci-dessous. 

(Photo -  Tracez une ligne entre P et Q . Cette ligne coupera la courbe en un troisième point, R . (Les mathématiciens ont une astuce spéciale pour gérer le cas où la ligne ne coupe pas la courbe en ajoutant un " point à l'infini ".) La réflexion de R sur l' axe des x est votre somme P + Q . Avec cette opération d'addition, toutes les solutions de la courbe forment un objet mathématique appelé groupe.)

Les mathématiciens l'utilisent pour définir le " rang " d'une courbe. Le rang d'une courbe est lié au nombre de solutions rationnelles dont elle dispose. Les courbes de rang 0 ont un nombre fini de solutions. Les courbes de rang supérieur ont un nombre infini de solutions dont la relation les unes avec les autres à l'aide de l'opération d'addition est décrite par le rang.

Les classements (rankings) ne sont pas bien compris ; les mathématiciens n'ont pas toujours le moyen de les calculer et ne savent pas quelle taille ils peuvent atteindre. (Le plus grand rang exact connu pour une courbe spécifique est 20.) Des courbes d'apparence similaire peuvent avoir des rangs complètement différents.

Les courbes elliptiques ont aussi beaucoup à voir avec les nombres premiers, qui ne sont divisibles que par 1 et par eux-mêmes. En particulier, les mathématiciens examinent les courbes sur des corps finis – des systèmes d’arithmétique cyclique définis pour chaque nombre premier. Un corps fini est comme une horloge dont le nombre d'heures est égal au nombre premier : si vous continuez à compter vers le haut, les nombres recommencent. Dans le corps fini de 7, par exemple, 5 plus 2 est égal à zéro et 5 plus 3 est égal à 1.

(Photo : Les motifs formés par des milliers de courbes elliptiques présentent une similitude frappante avec les murmures des étourneaux.)

Une courbe elliptique est associée à une séquence de nombres, appelée a p , qui se rapporte au nombre de solutions qu'il existe à la courbe dans le corps fini défini par le nombre premier p . Un p plus petit signifie plus de solutions ; un p plus grand signifie moins de solutions. Bien que le rang soit difficile à calculer, la séquence a p est beaucoup plus simple.

Sur la base de nombreux calculs effectués sur l'un des tout premiers ordinateurs, Birch et Swinnerton-Dyer ont conjecturé une relation entre le rang d'une courbe elliptique et la séquence a p . Quiconque peut prouver qu’il avait raison gagnera un million de dollars et l’immortalité mathématique.

Un modèle surprise émerge

Après le début de la pandémie, Yang-Hui He , chercheur au London Institute for Mathematical Sciences, a décidé de relever de nouveaux défis. Il avait étudié la physique à l'université et avait obtenu son doctorat en physique mathématique du Massachusetts Institute of Technology. Mais il s'intéressait de plus en plus à la théorie des nombres et, étant donné les capacités croissantes de l'intelligence artificielle, il pensait essayer d'utiliser l'IA comme un outil permettant de trouver des modèles inattendus dans les nombres. (Il avait déjà utilisé l'apprentissage automatique pour classifier les variétés de Calabi-Yau , des structures mathématiques largement utilisées en théorie des cordes.

(Photo ) Lorsque Kyu-Hwan Lee (à gauche) et Thomas Oliver (au centre) ont commencé à travailler avec Yang-Hui He (à droite) pour utiliser l'intelligence artificielle afin de trouver des modèles mathématiques, ils s'attendaient à ce que ce soit une plaisanterie plutôt qu'un effort qui mènerait à de nouveaux découvertes. De gauche à droite : Grace Lee ; Sophie Olivier ; gracieuseté de Yang-Hui He.

En août 2020, alors que la pandémie s'aggravait, l'Université de Nottingham l'a accueilli pour une conférence en ligne . Il était pessimiste quant à ses progrès et quant à la possibilité même d’utiliser l’apprentissage automatique pour découvrir de nouvelles mathématiques. "Son récit était que la théorie des nombres était difficile parce qu'on ne pouvait pas apprendre automatiquement des choses en théorie des nombres", a déclaré Thomas Oliver , un mathématicien de l'Université de Westminster, présent dans le public. Comme il se souvient : " Je n'ai rien trouvé parce que je n'étais pas un expert. Je n’utilisais même pas les bons éléments pour examiner cela."

Oliver et Kyu-Hwan Lee , mathématicien à l'Université du Connecticut, ont commencé à travailler avec He. "Nous avons décidé de faire cela simplement pour apprendre ce qu'était l'apprentissage automatique, plutôt que pour étudier sérieusement les mathématiques", a déclaré Oliver. "Mais nous avons rapidement découvert qu'il était possible d'apprendre beaucoup de choses par machine."

Oliver et Lee lui ont suggéré d'appliquer ses techniques pour examiner les fonctions L , des séries infinies étroitement liées aux courbes elliptiques à travers la séquence a p . Ils pourraient utiliser une base de données en ligne de courbes elliptiques et de leurs fonctions L associées , appelée LMFDB , pour former leurs classificateurs d'apprentissage automatique. À l’époque, la base de données contenait un peu plus de 3 millions de courbes elliptiques sur les rationnels. En octobre 2020, ils avaient publié un article utilisant les informations glanées à partir des fonctions L pour prédire une propriété particulière des courbes elliptiques. En novembre, ils ont partagé un autre article utilisant l’apprentissage automatique pour classer d’autres objets en théorie des nombres. En décembre, ils étaient capables de prédire les rangs des courbes elliptiques avec une grande précision.

Mais ils ne savaient pas vraiment pourquoi leurs algorithmes d’apprentissage automatique fonctionnaient si bien. Lee a demandé à son étudiant de premier cycle Alexey Pozdnyakov de voir s'il pouvait comprendre ce qui se passait. En l’occurrence, la LMFDB trie les courbes elliptiques en fonction d’une quantité appelée conducteur, qui résume les informations sur les nombres premiers pour lesquels une courbe ne se comporte pas correctement. Pozdnyakov a donc essayé d’examiner simultanément un grand nombre de courbes comportant des conducteurs similaires – disons toutes les courbes comportant entre 7 500 et 10 000 conducteurs.

Cela représente environ 10 000 courbes au total. Environ la moitié d'entre eux avaient le rang 0 et l'autre moitié le rang 1. (Les rangs supérieurs sont extrêmement rares.) Il a ensuite fait la moyenne des valeurs de a p pour toutes les courbes de rang 0, a fait la moyenne séparément de a p pour toutes les courbes de rang 1 et a tracé la résultats. Les deux ensembles de points formaient deux vagues distinctes et facilement discernables. C’est pourquoi les classificateurs d’apprentissage automatique ont été capables de déterminer correctement le rang de courbes particulières.

" Au début, j'étais simplement heureux d'avoir terminé ma mission", a déclaré Pozdnyakov. "Mais Kyu-Hwan a immédiatement reconnu que ce schéma était surprenant, et c'est à ce moment-là qu'il est devenu vraiment excitant."

Lee et Oliver étaient captivés. "Alexey nous a montré la photo et j'ai dit qu'elle ressemblait à ce que font les oiseaux", a déclaré Oliver. "Et puis Kyu-Hwan l'a recherché et a dit que cela s'appelait une murmuration, puis Yang a dit que nous devrions appeler le journal ' Murmurations de courbes elliptiques '."

Ils ont mis en ligne leur article en avril 2022 et l’ont transmis à une poignée d’autres mathématiciens, s’attendant nerveusement à se faire dire que leur soi-disant « découverte » était bien connue. Oliver a déclaré que la relation était si visible qu'elle aurait dû être remarquée depuis longtemps.

Presque immédiatement, la prépublication a suscité l'intérêt, en particulier de la part d' Andrew Sutherland , chercheur scientifique au MIT et l'un des rédacteurs en chef de la LMFDB. Sutherland s'est rendu compte que 3 millions de courbes elliptiques n'étaient pas suffisantes pour atteindre ses objectifs. Il voulait examiner des gammes de conducteurs beaucoup plus larges pour voir à quel point les murmures étaient robustes. Il a extrait des données d’un autre immense référentiel d’environ 150 millions de courbes elliptiques. Toujours insatisfait, il a ensuite extrait les données d'un autre référentiel contenant 300 millions de courbes.

"Mais même cela ne suffisait pas, j'ai donc calculé un nouvel ensemble de données de plus d'un milliard de courbes elliptiques, et c'est ce que j'ai utilisé pour calculer les images à très haute résolution", a déclaré Sutherland. Les murmures indiquaient s'il effectuait en moyenne plus de 15 000 courbes elliptiques à la fois ou un million à la fois. La forme est restée la même alors qu’il observait les courbes sur des nombres premiers de plus en plus grands, un phénomène appelé invariance d’échelle. Sutherland s'est également rendu compte que les murmures ne sont pas propres aux courbes elliptiques, mais apparaissent également dans des fonctions L plus générales . Il a écrit une lettre résumant ses découvertes et l'a envoyée à Sarnak et Michael Rubinstein de l'Université de Waterloo.

"S'il existe une explication connue, j'espère que vous la connaîtrez", a écrit Sutherland.

Ils ne l'ont pas fait.

Expliquer le modèle

Lee, He et Oliver ont organisé un atelier sur les murmurations en août 2023 à l'Institut de recherche informatique et expérimentale en mathématiques (ICERM) de l'Université Brown. Sarnak et Rubinstein sont venus, tout comme l'étudiante de Sarnak, Nina Zubrilina .

LA THÉORIE DU NOMBRE

Zubrilina a présenté ses recherches sur les modèles de murmuration dans des formes modulaires , des fonctions complexes spéciales qui, comme les courbes elliptiques, sont associées à des fonctions L. Dans les formes modulaires dotées de grands conducteurs, les murmurations convergent vers une courbe nettement définie, plutôt que de former un motif perceptible mais dispersé. Dans un article publié le 11 octobre 2023, Zubrilina a prouvé que ce type de murmuration suit une formule explicite qu'elle a découverte.

" La grande réussite de Nina est qu'elle lui a donné une formule pour cela ; Je l’appelle la formule de densité de murmuration Zubrilina ", a déclaré Sarnak. "En utilisant des mathématiques très sophistiquées, elle a prouvé une formule exacte qui correspond parfaitement aux données."

Sa formule est compliquée, mais Sarnak la salue comme un nouveau type de fonction important, comparable aux fonctions d'Airy qui définissent des solutions aux équations différentielles utilisées dans divers contextes en physique, allant de l'optique à la mécanique quantique.

Bien que la formule de Zubrilina ait été la première, d'autres ont suivi. "Chaque semaine maintenant, un nouvel article sort", a déclaré Sarnak, "utilisant principalement les outils de Zubrilina, expliquant d'autres aspects des murmurations."

(Photo - Nina Zubrilina, qui est sur le point de terminer son doctorat à Princeton, a prouvé une formule qui explique les schémas de murmuration.)

Jonathan Bober , Andrew Booker et Min Lee de l'Université de Bristol, ainsi que David Lowry-Duda de l'ICERM, ont prouvé l'existence d'un type différent de murmuration sous des formes modulaires dans un autre article d'octobre . Et Kyu-Hwan Lee, Oliver et Pozdnyakov ont prouvé l'existence de murmures dans des objets appelés caractères de Dirichlet qui sont étroitement liés aux fonctions L.

Sutherland a été impressionné par la dose considérable de chance qui a conduit à la découverte des murmurations. Si les données de la courbe elliptique n'avaient pas été classées par conducteur, les murmures auraient disparu. "Ils ont eu la chance de récupérer les données de la LMFDB, qui étaient pré-triées selon le chef d'orchestre", a-t-il déclaré. « C'est ce qui relie une courbe elliptique à la forme modulaire correspondante, mais ce n'est pas du tout évident. … Deux courbes dont les équations semblent très similaires peuvent avoir des conducteurs très différents. Par exemple, Sutherland a noté que y 2 = x 3 – 11 x + 6 a un conducteur 17, mais en retournant le signe moins en signe plus, y 2 = x 3  + 11 x + 6 a un conducteur 100 736.

Même alors, les murmures n'ont été découverts qu'en raison de l'inexpérience de Pozdniakov. "Je ne pense pas que nous l'aurions trouvé sans lui", a déclaré Oliver, "parce que les experts normalisent traditionnellement a p pour avoir une valeur absolue de 1. Mais il ne les a pas normalisés… donc les oscillations étaient très importantes et visibles."

Les modèles statistiques que les algorithmes d’IA utilisent pour trier les courbes elliptiques par rang existent dans un espace de paramètres comportant des centaines de dimensions – trop nombreuses pour que les gens puissent les trier dans leur esprit, et encore moins les visualiser, a noté Oliver. Mais même si l’apprentissage automatique a découvert les oscillations cachées, " ce n’est que plus tard que nous avons compris qu’il s’agissait de murmures ".



 

Auteur: Internet

Info: Paul Chaikin pour Quanta Magazine, 5 mars 2024 - https://www.quantamagazine.org/elliptic-curve-murmurations-found-with-ai-take-flight-20240305/?mc_cid=797b7d1aad&mc_eid=78bedba296

[ résonance des algorithmes ] [ statistiques en mouvement ] [ chants des fractales ] [ bancs de poissons ]

évolution technologique

Intelligence artificielle ou stupidité réelle ?

Bien que le battage médiatique augmente la sensibilisation à l'IA, il facilite également certaines activités assez stupides et peut distraire les gens de la plupart des progrès réels qui sont réalisés.
Distinguer la réalité des manchettes plus dramatiques promet d'offrir des avantages importants aux investisseurs, aux entrepreneurs et aux consommateurs.

L'intelligence artificielle a acquis sa notoriété récente en grande partie grâce à des succès très médiatisés tels que la victoire d'IBM Watson à Jeopardy et celle de Google AlphaGo qui a battu le champion du monde au jeu "Go". Waymo, Tesla et d'autres ont également fait de grands progrès avec les véhicules auto-propulsés. Richard Waters a rendu compte de l'étendue des applications de l'IA dans le Financial Times : "S'il y a un message unificateur qui sous-tend la technologie grand public exposée [au Consumer Electronics Show] .... c'est : "L'IA partout."

Les succès retentissants de l'IA ont également capturé l'imagination des gens à un tel point que cela a suscité d'autres efforts d'envergure. Un exemple instructif a été documenté par Thomas H. Davenport et Rajeev Ronanki dans le Harvard Business Review. Ils écrirent, "En 2013, le MD Anderson Cancer Center a lancé un projet ""Moon shot " : diagnostiquer et recommander des plans de traitement pour certaines formes de cancer en utilisant le système cognitif Watson d'IBM". Malheureusement, ce système n'a pas fonctionné et en 2017 le projet fut mis en veilleuse après avoir coûté plus de 62 millions de dollars sans avoir été utilisé pour les patients.

Waters a également abordé un autre message, celui des attentes modérées. En ce qui concerne les "assistants personnels à commande vocale", note-t-elle, "on ne sait pas encore si la technologie est capable de remplacer le smartphone pour naviguer dans le monde numérique autrement autrement que pour écouter de la musique ou vérifier les nouvelles et la météo".

D'autres exemples de prévisions modérées abondent. Generva Allen du Baylor College of Medicine et de l'Université Rice a avertit , "Je ne ferais pas confiance à une très grande partie des découvertes actuellement faites qui utilisent des techniques de machine learning appliquées à de grands ensembles de données". Le problème, c'est que bon nombre des techniques sont conçues pour fournir des réponses précises et que la recherche comporte des incertitudes. Elle a précisé : "Parfois, il serait beaucoup plus utile qu'ils reconnaissent que certains sont vraiment consolidés, mais qu'on est pas sûr pour beaucoup d'autres".

Pire encore, dans les cas extrêmes, l'IA n'est pas seulement sous-performante ; elle n'a même pas encore été mise en œuvre. Le FT rapporte, "Quatre jeunes entreprises européennes sur dix n'utilisent aucun programme d'intelligence artificielle dans leurs produits, selon un rapport qui souligne le battage publicitaire autour de cette technologie.

Les cycles d'attentes excessives suivies de vagues de déception ne sont pas surprenants pour ceux qui ont côtoyé l'intelligence artificielle pendant un certain temps. Ils savent que ce n'est pas le premier rodéo de l'IA. En effet, une grande partie du travail conceptuel date des années 1950. D'ailleurs, en passant en revue certaines de mes notes récentes je suis tombé sur une pièce qui explorait les réseaux neuronaux dans le but de choisir des actions - datant de 1993.

La meilleure façon d'avoir une perspective sur l'IA est d'aller directement à la source et Martin Ford nous en donne l'occasion dans son livre, Architects of Intelligence. Organisé sous la forme d'une succession d'entrevues avec des chercheurs, des universitaires et des entrepreneurs de premier plan de l'industrie, le livre présente un historique utile de l'IA et met en lumière les principaux courants de pensée.

Deux perspectives importantes se dégagent de ce livre.

La première est qu'en dépit des origines et des personnalités disparates des personnes interrogées, il existe un large consensus sur des sujets importants.

L'autre est qu'un grand nombre des priorités et des préoccupations des principales recherches sur l'IA sont bien différentes de celles exprimées dans les médias grand public.

Prenons par exemple le concept d'intelligence générale artificielle (AGI). Qui est étroitement lié à la notion de "singularité" ce point où l'IA rejoindra celle de l'homme - avant un dépassement massif de cette dernière. Cette idée et d'autres ont suscité des préoccupations au sujet de l'IA, tout comme les pertes massives d'emplois, les drones tueurs et une foule d'autres manifestations alarmantes.

Les principaux chercheurs en AI ont des points de vue très différents ; ils ne sont pas du tout perturbés par l'AGI et autres alarmismes.

Geoffrey Hinton, professeur d'informatique à l'Université de Toronto et vice-président et chercheur chez Google, dit : "Si votre question est : Quand allons-nous obtenir un commandant-docteur Data (comme dans Star Trek ) je ne crois pas que ce sera comme çà que ça va se faire. Je ne pense pas qu'on aura des programmes uniques et généralistes comme ça."

Yoshua Bengio, professeur d'informatique et de recherche opérationnelle à l'Université de Montréal, nous dit qu'il y a des problèmes très difficiles et que nous sommes très loin de l'IA au niveau humain. Il ajoute : "Nous sommes tous excités parce que nous avons fait beaucoup de progrès dans cette ascension, mais en nous approchant du sommet, nous apercevons d'autres collines qui s'élèvent devant nous au fur et à mesure".

Barbara Grosz, professeur de sciences naturelles à l'Université de Harvard : "Je ne pense pas que l'AGI soit la bonne direction à prendre". Elle soutient que la poursuite de l'AGI (et la gestion de ses conséquences) sont si loin dans l'avenir qu'elles ne sont que "distraction".

Un autre fil conducteur des recherches sur l'IA est la croyance que l'IA devrait être utilisée pour améliorer le travail humain plutôt que le remplacer.

Cynthia Breazeal, directrice du groupe de robots personnels du laboratoire de médias du MIT, aborde la question : "La question est de savoir quelle est la synergie, quelle est la complémentarité, quelle est l'amélioration qui permet d'étendre nos capacités humaines en termes d'objectifs, ce qui nous permet d'avoir vraiment un plus grand impact dans le monde, avec l'IA."

Fei-Fei Li, professeur d'informatique à Stanford et scientifique en chef pour Google Cloud dit lui : "L'IA en tant que technologie a énormément de potentiel pour valoriser et améliorer le travail, sans le remplacer".

James Manyika, président du conseil et directeur du McKinsey Global Institute, fait remarquer que puisque 60 % des professions ont environ un tiers de leurs activités qui sont automatisables et que seulement environ 10 % des professions ont plus de 90 % automatisables, "beaucoup plus de professions seront complétées ou augmentées par des technologies qu'elles ne seront remplacées".

De plus, l'IA ne peut améliorer le travail humain que si elle peut travailler efficacement de concert avec lui.

Barbara Grosz fait remarquer : "J'ai dit à un moment donné que 'les systèmes d'IA sont meilleurs s'ils sont conçus en pensant aux gens'". Je recommande que nous visions à construire un système qui soit un bon partenaire d'équipe et qui fonctionne si bien avec nous que nous ne nous rendions pas compte qu'il n'est pas humain".

David Ferrucci, fondateur d'Elemental Cognition et directeur d'IA appliquée chez Bridgewater Associates, déclare : " L'avenir que nous envisageons chez Elemental Cognition repose sur une collaboration étroite et fluide entre l'intelligence humaine et la machine. "Nous pensons que c'est un partenariat de pensée." Yoshua Bengio nous rappelle cependant les défis à relever pour former un tel partenariat : "Il ne s'agit pas seulement de la précision [avec l'IA], il s'agit de comprendre le contexte humain, et les ordinateurs n'ont absolument aucun indice à ce sujet."

Il est intéressant de constater qu'il y a beaucoup de consensus sur des idées clés telles que l'AGI n'est pas un objectif particulièrement utile en ce moment, l'IA devrait être utilisée pour améliorer et non remplacer le travail et l'IA devrait fonctionner en collaboration avec des personnes. Il est également intéressant de constater que ces mêmes leçons sont confirmées par l'expérience des entreprises.

Richard Waters décrit comment les implémentations de l'intelligence artificielle en sont encore à un stade assez rudimentaire.

Éliminez les recherches qui monopolisent les gros titres (un ordinateur qui peut battre les humains au Go !) et la technologie demeure à un stade très primaire .

Mais au-delà de cette "consumérisation" de l'IT, qui a mis davantage d'outils faciles à utiliser entre les mains, la refonte des systèmes et processus internes dans une entreprise demande beaucoup de travail.

Ce gros travail prend du temps et peu d'entreprises semblent présentes sur le terrain. Ginni Rometty, responsable d'IBM, qualifie les applications de ses clients d'"actes aléatoires du numérique" et qualifie nombre de projets de "hit and miss". (ratages). Andrew Moore, responsable de l'intelligence artificielle pour les activités de Google Cloud business, la décrit comme "intelligence artificielle artisanale". Rometty explique : "Ils ont tendance à partir d'un ensemble de données isolé ou d'un cas d'utilisation - comme la rationalisation des interactions avec un groupe particulier de clients. Tout ceci n'est pas lié aux systèmes, données ou flux de travail plus profonds d'une entreprise, ce qui limite leur impact."

Bien que le cas HBR du MD Anderson Cancer Center soit un bon exemple d'un projet d'IA "au clair de lune "qui a probablement dépassé les bornes, cela fournit également une excellente indication des types de travail que l'IA peut améliorer de façon significative. En même temps que le centre essayait d'appliquer l'IA au traitement du cancer, son "groupe informatique expérimentait l'utilisation des technologies cognitives pour des tâches beaucoup moins ambitieuses, telles que faire des recommandations d'hôtels et de restaurants pour les familles des patients, déterminer quels patients avaient besoin d'aide pour payer leurs factures, et résoudre les problèmes informatiques du personnel".

Dans cette entreprise, le centre a eu de bien meilleures expériences : "Les nouveaux systèmes ont contribué à accroître la satisfaction des patients, à améliorer le rendement financier et à réduire le temps consacré à la saisie fastidieuse des données par les gestionnaires de soins de l'hôpital. De telles fonctions banales ne sont peut-être pas exactement du ressort de Terminator, mais elles sont quand même importantes.

Optimiser l'IA dans le but d'augmenter le travail en collaborant avec les humains était également le point central d'une pièce de H. James Wilson et Paul R. Daugherty "HBRpiece". Ils soulignent : "Certes, de nombreuses entreprises ont utilisé l'intelligence artificielle pour automatiser leurs processus, mais celles qui l'utilisent principalement pour déplacer leurs employés ne verront que des gains de productivité à court terme. Grâce à cette intelligence collaborative, l'homme et l'IA renforcent activement les forces complémentaires de l'autre : le leadership, le travail d'équipe, la créativité et les compétences sociales de la première, la rapidité, l'évolutivité et les capacités quantitatives de la seconde".

Wilson et Daugherty précisent : "Pour tirer pleinement parti de cette collaboration, les entreprises doivent comprendre comment les humains peuvent le plus efficacement augmenter les machines, comment les machines peuvent améliorer ce que les humains font le mieux, et comment redéfinir les processus commerciaux pour soutenir le partenariat". Cela demande beaucoup de travail et cela va bien au-delà du simple fait de balancer un système d'IA dans un environnement de travail préexistant.

Les idées des principaux chercheurs en intelligence artificielle, combinées aux réalités des applications du monde réel, offrent des implications utiles. La première est que l'IA est une arme à double tranchant : le battage médiatique peut causer des distractions et une mauvaise attribution, mais les capacités sont trop importantes pour les ignorer.

Ben Hunt discute des rôles de la propriété intellectuelle (PI) et de l'intelligence artificielle dans le secteur des investissements, et ses commentaires sont largement pertinents pour d'autres secteurs. Il note : "L'utilité de la propriété intellectuelle pour préserver le pouvoir de fixation des prix est beaucoup moins fonction de la meilleure stratégie que la PI vous aide à établir, et beaucoup plus fonction de la façon dont la propriété intellectuelle s'intègre dans le l'esprit du temps (Zeitgeist) dominant dans votre secteur.

Il poursuit en expliquant que le "POURQUOI" de votre PI doit "répondre aux attentes de vos clients quant au fonctionnement de la PI" afin de protéger votre produit. Si vous ne correspondez pas à l'esprit du temps, personne ne croira que les murs de votre château existent, même si c'est le cas". Dans le domaine de l'investissement (et bien d'autres encore), "PERSONNE ne considère plus le cerveau humain comme une propriété intellectuelle défendable. Personne." En d'autres termes, si vous n'utilisez pas l'IA, vous n'obtiendrez pas de pouvoir de fixation des prix, quels que soient les résultats réels.

Cela fait allusion à un problème encore plus grave avec l'IA : trop de gens ne sont tout simplement pas prêts à y faire face.

Daniela Rus, directrice du laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT déclare : "Je veux être une optimiste technologique. Je tiens à dire que je vois la technologie comme quelque chose qui a le potentiel énorme d'unir les gens plutôt que les diviser, et de les autonomiser plutôt que de les désolidariser. Mais pour y parvenir, nous devons faire progresser la science et l'ingénierie afin de rendre la technologie plus performante et plus utilisable." Nous devons revoir notre façon d'éduquer les gens afin de nous assurer que tous ont les outils et les compétences nécessaires pour tirer parti de la technologie.

Yann Lecun ajoute : "Nous n'aurons pas de large diffusion de la technologie de l'IA à moins qu'une proportion importante de la population ne soit formée pour en tirer parti ".

Cynthia Breazeal répéte : "Dans une société de plus en plus alimentée par l'IA, nous avons besoin d'une société alphabétisée à l'IA."

Ce ne sont pas non plus des déclarations creuses ; il existe une vaste gamme de matériel d'apprentissage gratuit pour l'IA disponible en ligne pour encourager la participation sur le terrain.

Si la société ne rattrape pas la réalité de l'IA, il y aura des conséquences.

Brezeal note : "Les craintes des gens à propos de l'IA peuvent être manipulées parce qu'ils ne la comprennent pas."

Lecun souligne : " Il y a une concentration du pouvoir. À l'heure actuelle, la recherche sur l'IA est très publique et ouverte, mais à l'heure actuelle, elle est largement déployée par un nombre relativement restreint d'entreprises. Il faudra un certain temps avant que ce ne soit utilisé par une plus grande partie de l'économie et c'est une redistribution des cartes du pouvoir."

Hinton souligne une autre conséquence : "Le problème se situe au niveau des systèmes sociaux et la question de savoir si nous allons avoir un système social qui partage équitablement... Tout cela n'a rien à voir avec la technologie".

À bien des égards, l'IA est donc un signal d'alarme. En raison de l'interrelation unique de l'IA avec l'humanité, l'IA a tendance à faire ressortir ses meilleurs et ses pires éléments. Certes, des progrès considérables sont réalisés sur le plan technologique, ce qui promet de fournir des outils toujours plus puissants pour résoudre des problèmes difficiles. Cependant, ces promesses sont également limitées par la capacité des gens, et de la société dans son ensemble, d'adopter les outils d'IA et de les déployer de manière efficace.

Des preuves récentes suggèrent que nous avons du pain sur la planche pour nous préparer à une société améliorée par l'IA. Dans un cas rapporté par le FT, UBS a créé des "algorithmes de recommandation" (tels que ceux utilisés par Netflix pour les films) afin de proposer des transactions pour ses clients. Bien que la technologie existe, il est difficile de comprendre en quoi cette application est utile à la société, même de loin.

Dans un autre cas, Richard Waters nous rappelle : "Cela fait presque dix ans, par exemple, que Google a fait trembler le monde de l'automobile avec son premier prototype de voiture autopropulsée". Il continue : "La première vague de la technologie des voitures sans conducteur est presque prête à faire son entrée sur le marché, mais certains constructeurs automobiles et sociétés de technologie ne semblent plus aussi désireux de faire le grand saut. Bref, ils sont menacés parce que la technologie actuelle est à "un niveau d'autonomie qui fait peur aux constructeurs automobiles, mais qui fait aussi peur aux législateurs et aux régulateurs".

En résumé, que vous soyez investisseur, homme d'affaires, employé ou consommateur, l'IA a le potentiel de rendre les choses bien meilleures - et bien pires. Afin de tirer le meilleur parti de cette opportunité, un effort actif axé sur l'éducation est un excellent point de départ. Pour que les promesses d'AI se concrétisent, il faudra aussi déployer beaucoup d'efforts pour mettre en place des infrastructures de systèmes et cartographier les forces complémentaires. En d'autres termes, il est préférable de considérer l'IA comme un long voyage plutôt que comme une destination à court terme.

Auteur: Internet

Info: Zero Hedge, Ven, 03/15/2019 - 21:10

[ prospective ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

non-voyant

Le monde tel que l'imaginent ceux qui n'ont jamais vu. (I)
Depuis les opérations pratiquées par le chirurgien anglais Cheselden en 1728 sur des personnes atteintes de cataracte congénitale, redonner la vue aux aveugles ne tient plus du miracle biblique mais de la science - et les avancées extraordinaires que la médecine a effectuées dans ce domaine invitent à être optimistes pour l'avenir. Toutefois, la plupart des aveugles de naissance qui vivent aujourd'hui savent que ces progrès bénéficieront surtout aux générations futures et que, pour la majorité d'entre eux, ils quitteront ce monde sans en avoir rien vu. Pour autant, à en croire certains, il n'y a nullement là de quoi s'affliger :" Je ne regrette jamais de ne pas voir. Je vois autrement et puis je n'ai jamais vu avec les yeux, ça ne peut pas me manquer." affirme Sophie Massieu (36 ans, journaliste).
L'aveugle de naissance "ne sait pas ce qu'il perd", littéralement parlant, il n'a donc aucune raison de soupirer après un état qu'il n'a jamais connu. Ce n'est donc pas, dans son cas, sur le mode de la lamentation ou du regret lyrique qu'il faut entendre le mot "jamais", comme ce peut être le cas pour les aveugles tardifs qui restent longtemps hantés par leurs souvenirs de voyant... Non, pour l'aveugle-né, ce "jamais" fonctionne à la manière d'un levier, d'une faille où s'engouffre son imagination : à quoi peut ressembler ce monde visible dont tout le monde parle autour de lui ? Comment se représenter des notions proprement visuelles, telles que les couleurs, l'horizon, la perspective ? Toutes ces questions pourraient tenir en une seule : comment concevoir ce qu'est la vue sans voir ? Question qui a sa réciproque pour le voyant : comment se représenter ce que c'est que de ne pas voir pour quiconque a toujours vu ? Il y a là un défi lancé à l'imagination, défi d'autant plus difficile à relever que les repères auxquels chacun aura spontanément tendance à se référer seront tirés d'un univers perceptif radicalement différent de celui qu'on cherche à se représenter, et qu'ils risquent fort, par conséquent, de nous induire en erreur. Il n'est pas dit que ce fossé perceptif puisse être franchi par l'imagination - mais comme tout fossé, celui-ci appelle des passerelles : analogies puisées dans les autres sens ou dans le langage, efforts pour s'abstraire de ses automatismes de pensée - ce que Christine Cloux, aveugle de naissance, appelle une forme de "souplesse mentale"... L'enjeu, s'il est vital pour l'aveugle, peut sembler minime pour le voyant : que gagne-t-on à imaginer le monde avec un sens en moins ? On aurait tort de négliger l'intérêt d'une telle démarche intellectuelle, car s'interroger sur la perception du monde d'un aveugle de naissance, c'est remettre la nôtre en perspective, en appréhender le caractère relatif, mesurer à quel point nos représentations mentales dépendent de nos dispositions sensibles - enfin, c'est peut-être le moyen de prendre conscience des limites de notre point de vue et, le temps d'un effort d'imagination, de les dépasser...
Imaginer le monde quand on est enfant
Le jeune enfant voyant croit que les choses cessent d'exister dès lors qu'elles quittent son champ de vision : un moment très bref, dit-on, sépare le temps où il croit encore sa mère absente et celui où il la croit déjà morte. Qu'on s'imagine alors ce qu'il en est pour l'enfant aveugle de naissance... "J'avais peur de lancer un ballon, parce que je pensais qu'il allait disparaître. Mon monde s'arrêtait à un mètre, au-delà, pour moi, c'était le vide. "explique Natacha de Montmollin (38 ans, informaticienne de gestion). Comment être sûr que les objets continuent d'exister quand ils sont hors de portée, d'autant plus quand on ne les retrouve pas là où on les avait laissés ? Comment accorder sa confiance à monde aussi inconstant ? Un enfant aveugle de naissance aura nécessairement besoin de plus de temps qu'un enfant voyant pour trouver ses marques et pour comprendre le monde qui l'entoure.
Dans les premières années de sa vie, l'aveugle de naissance n'a pas conscience de son handicap... De fait, s'il ne vivait dans une société de voyants, il passerait toute sa vie sans se douter de l'existence du monde visible. Dans la nouvelle de H. G. Wells Le pays des aveugles, le héros, voyant débarqué dans une communauté d'aveugles qui vit repliée sur elle-même, découvre à ses dépens qu'on y traite ceux qui se prétendent doués de la vue non comme des dieux ou des rois, mais comme des fous, comme nous traitons ceux qui affirment voir des anges - pour le dire autrement : au royaume des aveugles de naissance, les borgnes seraient internés. C'est uniquement parce qu'il vit dans une société organisée par et pour des voyants que l'aveugle finit par contracter, avec le temps, le sentiment de sa différence. Cette découverte peut se faire de différentes manières : les parents peuvent, quand ils estiment leur enfant assez mûr, lui expliquer son infirmité ; l'enfant peut également la découvrir par lui-même, au contact des autres enfants. "On ne m'a jamais expliqué que j'étais aveugle, j'en ai pris conscience avec le temps, explique Sophie Massieu. Quand je jouais à cache-cache avec les autres enfants, je ne comprenais pas pourquoi j'étais toujours la première débusquée... Evidemment, j'étais toujours cachée sous une table, sans rien autour pour me protéger, je sautais un peu aux yeux..."
Le jeune aveugle de naissance finit donc par comprendre qu'il existe une facette de la réalité que les autres perçoivent mais qui lui demeure inaccessible. Dans un premier temps, cette "face du monde" doit lui paraître pour le moins abstraite et difficile à concevoir. Pour avoir un aperçu de l'effort d'imagination que cela exige, le voyant devrait tenter de se représenter une quatrième dimension de l'espace qui l'engloberait sans qu'il en ait conscience...
Il est inévitable que l'aveugle de naissance commence par se faire de certaines choses une représentation inexacte : ces "fourvoiements de l'imagination" constituent des étapes indispensables à l'élaboration de l'intelligence, qu'on soit aveugle ou non. En outre, ils peuvent avoir leur poésie. Un psychologue russe (cité par Pierre Villey dans son ouvrage Le monde des aveugles) mentionne l'exemple d'un jeune aveugle de naissance qui se représentait absolument tous les objets comme en mouvement, jusqu'aux plus immobiles : "pour lui les pierres sautent, les couleurs jouent et rient, les arbres se battent, gémissent, pleurent". Cette représentation peut prêter à sourire, mais après tout, la science et la philosophie ne nous ont-elles pas enseigné que l'immobilité du monde n'était qu'une illusion de la perception, découlant de l'incomplétude de notre point de vue ? A ce titre, l'imagination de ce garçon semblait lui avoir épargné certaines illusions dont l'humanité a eu tant de mal à se déprendre : par exemple, quoiqu'il ne sut rien du mouvement des corps célestes, on raconte que, lorsqu'on lui posa la question : "le soleil et la lune se meuvent-ils ?", il répondit par l'affirmative, sans aucune hésitation.
L'aveugle de naissance peut se représenter la plupart des objets en les palpant. Quand ceux-ci sont trop imposants, des maquettes ou des reproductions peuvent s'y substituer. "J'ai su comment était foutue la Tour Eiffel en ayant un porte-clefs entre les mains... " se souvient Sophie Massieu. Tant que l'objet demeure hors de sa portée, hors du champ de son expérience, il n'est pas rare que l'aveugle s'en fasse une image fantaisiste en se fondant sur la sonorité du mot ou par associations d'idées. Ce défaut n'est pas propre aux aveugles, et "chez chacun, l'imagination devance l'action des sens", pour reprendre l'expression de Pierre Villey. Mais ce défaut peut avoir des conséquences nettement plus fâcheuses chez l'aveugle de naissance, car s'il se contente de ces représentations inexactes et ne cherche pas à les corriger, il risque de méconnaître le monde qui l'entoure et de s'isoler dans un royaume fantasque construit selon les caprices de son imagination. L'aveugle-né n'a pas le choix : il doit s'efforcer de se représenter le monde le plus fidèlement possible, sous peine d'y vivre en étranger...
Imaginer les individus
Très tôt, l'aveugle va trouver des expédients pour se représenter le monde qui l'entoure, à commencer par les gens qu'il côtoie. Leur voix, pour commencer, constitue pour lui une mine d'informations précieuses : l'aveugle prête autant attention à ce que dit son interlocuteur qu'à la manière dont il le dit. La voix révèle un caractère, le ton une humeur, l'accent une origine... "On peut dire ce qu'on veut, mais notre voix parle de nous à notre insu." explique Christine Cloux (36 ans, informaticienne). Certains aveugles considèrent qu'il est beaucoup plus difficile de déguiser les expressions de sa voix que celles de son visage, et pour eux, c'est la voix qui est le miroir de l'âme : "Un monde d'aveugle aurait ses Lavater [auteur de"L'Art de connaître les hommes par la physionomie"]. Une phonognomie y tiendrait lieu de notre physiognomie." écrit Pierre Villey dans Le monde des aveugles. Mais à trop se fier au caractère révélateur d'une voix, l'aveugle s'expose parfois à de cruelles désillusions... Villey cite le cas d'une jeune aveugle qui s'était éprise d'une actrice pour le charme de sa voix : "Instruite des déportements peu recommandables de son idole elle s'écrie dans un naïf élan de désespoir : "Si une pareille voix est capable de mentir, à quoi pourrons-nous donc donner notre confiance ?".
De nombreux autres indices peuvent renseigner l'aveugle sur son interlocuteur : une poignée de main en dit long (Sophie Massieu affirme haïr "les poignées de main pas franches, mollasses...", qu'elle imagine comparables à un regard fuyant) ; le son des pas d'un individu peut renseigner sur sa corpulence et sa démarche ; les odeurs qu'il dégage peuvent donner de précieux renseignements sur son mode de vie - autant d'indices que le voyant néglige souvent, en se focalisant principalement sur les informations que lui fournit sa vue. Quant à l'apparence physique en elle-même, la perspicacité de l'aveugle atteint ici ses limites : "Il y a des choses qu'on sait par le toucher mais d'autres nous échappent : on a la forme du visage, mais on n'a pas la finesse des traits, explique Sophie Massieu. On peut toujours demander aux copines "tiens, il me plaît bien, à quoi il ressemble ?" Bon, il faut avoir des bonnes copines... " Certains aveugles de naissance sont susceptibles de se laisser influencer par les goûts de la majorité voyante : Jane Hervé mentionne la préférence d'une aveugle de naissance pour les blonds aux yeux bleus :"Je crois que les blonds sont beaux. Peut-être que c'est rare...". "D'une façon générale, je pense que la manière dont nous imaginons les choses que nous ne pouvons pas percevoir tient beaucoup à la manière dont on nous en parle, explique Sophie Massieu. Si la personne qui vous le décrit trouve ça beau, vous allez trouvez ça beau, si elle trouve ça moche, vous allez trouver ça moche...". De ce point de vue, l'aveugle dépend - littéralement - du regard des autres : "Mes amis et ma famille verbalisent beaucoup ce qu'ils voient, alors ils sont en quelque sorte mon miroir parlant..." confie Christine Cloux.
Imaginer l'espace
On a cru longtemps que l'étendue était une notion impossible à concevoir pour un aveugle. Platner, un médecin philosophe du siècle dernier, en était même arrivé à la conclusion que, pour l'aveugle-né, c'était le temps qui devait faire office d'espace : "Eloignement et proximité ne signifient pour lui que le temps plus ou moins long, le nombre plus ou moins grand d'intermédiaires dont il a besoin pour passer d'une sensation tactile à une autre.". Cette théorie est très poétique - on se prend à imaginer, dans un monde d'aveugles-nés, des cartes en relief où la place dévolue à chaque territoire ne serait pas proportionnelle à ses dimensions réelles mais à son accessibilité, au temps nécessaire pour le parcourir... Dans les faits, cependant, cette théorie nous en dit plus sur la manière dont les voyants imaginent le monde des aveugles que sur le contraire. Car s'il faut en croire les principaux intéressés, ils n'ont pas spécialement de difficulté à se figurer l'espace.
"Tout est en 3D dans ma tête, explique Christine Cloux. Si je suis chez moi, je sais exactement comment mon appartement est composé : je peux décrire l'étage inférieur sans y aller, comme si j'en avais une maquette. Vraiment une maquette, pas un dessin ou une photo. De même pour les endroits que je connais ou que j'explore : les gares, des quartiers en ville, etc. Plus je connais, plus c'est précis. Plus j'explore, plus j'agrandis mes maquettes et j'y ajoute des détails."La représentation de l'espace de l'aveugle de naissance se fait bien sous formes d'images spatiales, mais celles-ci n'en sont pas pour autant des images-vues : il faudrait plutôt parler d'images-formes, non visuelles, où l'aveugle projette à l'occasion des impressions tactiles. Pour décrire cette perception, Jane Hervé utilise une comparaison expressive :"les sensations successives et multiples constituent une toile impressionniste - tramée de mille touchers et sensations - suggérant la forme sentie, comme les taches d'or étincelant dans la mer composant l'Impression, soleil devant de Claude Monet."
A l'époque des Lumières, certains commentateurs, stupéfaits par les pouvoirs de déduction des aveugles, s'imaginaient que ceux-ci étaient capables de voir avec le bout de leurs doigts (ils étaient trompés, il faut dire, par certains aveugles qui prétendaient pouvoir reconnaître les couleurs d'un vêtement simplement en touchant son étoffe). Mais les aveugles de naissance eux-mêmes ne sont pas à l'abri de ce genre de méprises : Jane Hervé cite le cas d'une adolescente de 18 ans - tout à fait intelligente par ailleurs - qui pensait que le regard des voyants pouvait contourner les obstacles - exactement comme la main permet d'enserrer entièrement un petit objet pour en connaître la forme. Elle pensait également que les voyants pouvaient voir de face comme de dos, qu'ils étaient doués d'une vision panoramique : "Elle imaginait les voyants comme des Janus bifaces, maîtres du regard dans toutes les directions.". L'aveugle du Puiseaux dont parle Diderot dans sa Lettre sur les aveugles, ne sachant pas ce que voulait dire le mot miroir, imaginait une machine qui met l'homme en relief, hors de lui-même. Chacun imagine l'univers perceptif de l'autre à partir de son univers perceptif propre : le voyant croit que l'aveugle voit avec les doigts, l'aveugle que le voyant palpe avec les yeux. Comme dans la parabole hindoue où des individus plongés dans l'obscurité tentent de déduire la forme d'un éléphant en se fondant uniquement sur la partie du corps qu'ils ont touché (untel qui a touché la trompe prétend que l'éléphant a la forme d'un tuyau d'eau, tel autre qui a touché l'oreille lui prête la forme d'un éventail...) - semblablement les êtres humains imaginent un inconnu radical à partir de ce qu'ils connaissent, quand bien même ces repères se révèlent impropres à se le représenter.
Parmi les notions spatiales particulièrement difficiles à appréhender pour un aveugle, il y a la perspective - le fait que la taille apparente d'un objet diminue proportionnellement à son éloignement pour le sujet percevant. "En théorie je comprends ce qu'est la perspective, mais de là à parvenir à réaliser un dessin ou à en comprendre un, c'est autre chose - c'est d'ailleurs la seule mauvaise note que j'ai eu en géométrie, explique Christine Cloux. Par exemple, je comprends que deux rails au loin finissent par ne former qu'une ligne. Mais ce n'est qu'une illusion, car en réalité il y a toujours deux rails, et dans ma tête aussi. Deux rails, même très loin, restent deux rails, sans quoi le train va avoir des ennuis pour passer..." Noëlle Roy, conservatrice du musée Valentin Haüy, se souvient d'une aveugle âgée, qui, effleurant avec ses doigts une reproduction en bas-relief du tableau l'Angélus de Millet, s'était étonnée que les deux paysans au premier plan soient plus grands que le clocher dont la silhouette se découpe sur l'horizon. Quand on lui expliqua que c'était en vertu des lois de la perspective, les personnages se trouvant au premier plan et le clocher très loin dans la profondeur de champ, la dame s'étonna qu'on ne lui ait jamais expliqué cela... On peut se demander comment cette dame aurait réagi si, recouvrant l'usage de la vue suite à une opération chirurgicale, elle avait aperçu la minuscule silhouette d'un individu dans le lointain : aurait-elle pensé que c'était là sa taille réelle et que cet individu, s'approchant d'elle, n'en serait pas plus grand pour autant ? Jane Hervé cite le témoignage d'une aveugle de 62 ans qui a retrouvé la vue suite à une opération : "Tout était déformé, il n'y avait plus aucune ligne droite, tout était concave... Les murs m'emprisonnaient, les toitures des maisons paraissaient s'effondrer comme après un bombardement. Ce que je voyais ovale, je le sentais rond avec mes mains. Ce que je distinguais à distance, je le sentais sur moi. J'avais des vertiges permanents. "On peut s'imaginer le cauchemar que représente une perception du monde où la vision et la sensation tactile ne concordent pas, où les sens envoient au cerveau des signaux impossibles à concilier... D'autres aveugles de naissance, ayant recouvré l'usage de la vue suite à une opération, dirent avoir l'impression que les objets leur touchaient les yeux : ils eurent besoin de plusieurs jours pour saisir la distance et de plusieurs semaines pour apprendre à l'évaluer correctement. Cela nous rappelle que notre vision du monde en trois dimensions n'a rien d'innée, qu'elle résulte au contraire d'un apprentissage et qu'il y entre une part considérable de construction intellectuelle.

Auteur: Molard Arthur

Info: http://www.jeanmarcmeyrat.ch/blog/2011/05/12/le-monde-tel-que-limaginent-ceux-qui-nont-jamais-vu

[ réflexion ] [ vacuité ] [ onirisme ] [ mimétisme ] [ synesthésie ] [ imagination ]

méta-moteur

Le comportement de cet animal est programmé mécaniquement.

Des interactions biomécaniques, plutôt que des neurones, contrôlent les mouvements de l'un des animaux les plus simples. Cette découverte offre un aperçu de la façon dont le comportement animal fonctionnait avant l'apparition des neurones.

L'animal extrêmement simple Trichoplax adhaerens se déplace et réagit à son environnement avec agilité et avec un but apparent, mais il n'a pas de neurones ou de muscles pour coordonner ses mouvements. De nouveaux travaux montrent que les interactions biomécaniques entre les cils de l'animal suffisent à en expliquer ses mouvements.

Le biophysicien Manu Prakash se souvient très bien du moment où, tard dans la nuit, dans le laboratoire d'un collègue, il y a une douzaine d'années, il a regardé dans un microscope et a rencontré sa nouvelle obsession. L'animal sous les lentilles n'était pas très beau à voir, ressemblant plus à une amibe qu'à autre chose : une tache multicellulaire aplatie, de 20 microns d'épaisseur et de quelques millimètres de diamètre, sans tête ni queue. Elle se déplaçait grâce à des milliers de cils qui recouvraient sa face inférieure pour former la "plaque velue collante" qui lui a inspiré son nom latin, Trichoplax adhaerens.

Cette étrange créature marine, classée dans la catégorie des placozoaires, dispose pratiquement d'une branche entière de l'arbre de l'évolution de la vie pour elle-même, ainsi que du plus petit génome connu du règne animal. Mais ce qui a le plus intrigué Prakash, c'est la grâce, l'agilité et l'efficacité bien orchestrées avec lesquelles les milliers ou les millions de cellules du Trichoplax se déplacent.

Après tout, une telle coordination nécessite habituellement des neurones et des muscles - et le Trichoplax n'en a pas.

Prakash s'est ensuite associé à Matthew Storm Bull, alors étudiant diplômé de l'université de Stanford, pour faire de cet étrange organisme la vedette d'un projet ambitieux visant à comprendre comment les systèmes neuromusculaires ont pu évoluer et comment les premières créatures multicellulaires ont réussi à se déplacer, à trouver de la nourriture et à se reproduire avant l'existence des neurones.

"J'appelle souvent ce projet, en plaisantant, la neuroscience sans les neurones", a déclaré M. Prakash.

Dans un trio de prétirés totalisant plus de 100 pages - publiés simultanément sur le serveur arxiv.org l'année dernière - lui et Bull ont montré que le comportement de Trichoplax pouvait être décrit entièrement dans le langage de la physique et des systèmes dynamiques. Les interactions mécaniques qui commencent au niveau d'un seul cilium, puis se multiplient sur des millions de cellules et s'étendent à des niveaux supérieurs de structure, expliquent entièrement la locomotion coordonnée de l'animal tout entier. L'organisme ne "choisit" pas ce qu'il doit faire. Au contraire, la horde de cils individuels se déplace simplement - et l'animal dans son ensemble se comporte comme s'il était dirigé par un système nerveux. Les chercheurs ont même montré que la dynamique des cils présente des propriétés qui sont généralement considérées comme des signes distinctifs des neurones.

Ces travaux démontrent non seulement comment de simples interactions mécaniques peuvent générer une incroyable complexité, mais ils racontent également une histoire fascinante sur ce qui aurait pu précéder l'évolution du système nerveux.

"C'est un tour de force de la biophysique", a déclaré Orit Peleg, de l'université du Colorado à Boulder, qui n'a pas participé aux études. Ces découvertes ont déjà commencé à inspirer la conception de machines mécaniques et de robots, et peut-être même une nouvelle façon de penser au rôle des systèmes nerveux dans le comportement animal. 

La frontière entre le simple et le complexe

Les cerveaux sont surestimés. "Un cerveau est quelque chose qui ne fonctionne que dans le contexte très spécifique de son corps", a déclaré Bull. Dans les domaines connus sous le nom de "robotique douce" et de "matière active", la recherche a démontré que la bonne dynamique mécanique peut suffire à accomplir des tâches complexes sans contrôle centralisé. En fait, les cellules seules sont capables de comportements remarquables, et elles peuvent s'assembler en systèmes collectifs (comme les moisissures ou les xénobots) qui peuvent accomplir encore plus, le tout sans l'aide de neurones ou de muscles.

Mais est-ce possible à l'échelle d'un animal multicellulaire entier ?

Le Trichoplax fut un cas d'étude parfait : assez simple pour être étudié dans les moindres détails, mais aussi assez compliqué pour offrir quelque chose de nouveau aux chercheurs. En l'observant, "vous regardez simplement une danse", a déclaré Prakash. "Elle est d'une incroyable complexité". Elle tourne et se déplace sur des surfaces. Elle s'accroche à des plaques d'algues pour les piéger et les consommer comme nourriture. Elle se reproduit asexuellement en se divisant en deux.

"Un organisme comme celui-ci se situe dans un régime intermédiaire entre quelque chose de réellement complexe, comme un vertébré, et quelque chose qui commence à devenir complexe, comme les eucaryotes unicellulaires", explique Kirsty Wan, chercheur à l'université d'Exeter en Angleterre, qui étudie la locomotion ciliaire.

Ce terrain intermédiaire entre les cellules uniques et les animaux dotés de muscles et de systèmes nerveux semblait être l'endroit idéal pour que Prakash et Bull posent leurs questions. "Pour moi, un organisme est une idée", a déclaré Prakash, un terrain de jeu pour tester des hypothèses et un berceau de connaissances potentielles.

Prakash a d'abord construit de nouveaux microscopes permettant d'examiner le Trichoplax par en dessous et sur le côté, et a trouvé comment suivre le mouvement à grande vitesse de ses cils. (Ce n'était pas un terrain entièrement nouveau pour lui, puisqu'il était déjà célèbre pour ses travaux sur le Foldscope, un microscope facile à assembler et dont la fabrication coûte moins d'un dollar). Il pouvait alors voir et suivre des millions de cils individuels, chacun apparaissant comme une minuscule étincelle dans le champ de vision du microscope pendant une fraction de seconde à la fois. "Vous ne voyez que les empreintes lorsqu'elles se posent sur la surface", a déclaré Prakash.

Lui-même - et plus tard Bull, qui a rejoint son laboratoire il y a six ans - ont passé des heures à observer l'orientation de ces petites empreintes. Pour que ces motifs complexes soient possibles, les scientifiques savaient que les cils devaient être engagés dans une sorte de communication à longue distance. Mais ils ne savaient pas comment.

Ils ont donc commencé à rassembler les pièces du puzzle, jusqu'à ce que, l'année dernière, ils décident enfin qu'ils avaient leur histoire.

Une marche en pilote automatique

Au départ, Prakash et Bull s'attendaient à ce que les cils glissent sur des surfaces, avec une fine couche de liquide séparant l'animal du substrat. Après tout, les cils sont généralement vus dans le contexte des fluides : ils propulsent des bactéries ou d'autres organismes dans l'eau, ou déplacent le mucus ou les fluides cérébrospinaux dans un corps. Mais lorsque les chercheurs ont regardé dans leurs microscopes, ils ont constaté que les cils semblaient marcher, et non nager.

Bien que l'on sache que certains organismes unicellulaires utilisent les cils pour ramper, ce type de coordination n'avait jamais été observé à cette échelle. "Plutôt qu'utiliser les cils pour propulser un fluide, il s'agit de mécanique, de friction, d'adhésion et de toutes sortes de mécanismes solides très intéressants", a-t-elle déclaré.

Prakash, Bull et Laurel Kroo, une étudiante diplômée en génie mécanique de Stanford, ont donc entrepris de caractériser la démarche des cils. Ils ont suivi la trajectoire de l'extrémité de chaque cilium au fil du temps, l'observant tracer des cercles et pousser contre des surfaces. Ils ont défini trois types d'interactions : le glissement, au cours duquel les cils effleurent à peine la surface ; la marche, lorsque les cils adhèrent brièvement à la surface avant de se détacher ; et le calage, lorsque les cils restent coincés contre la surface.

Dans leurs modèles, l'activité de marche émergeait naturellement de l'interaction entre les forces motrices internes des cils et l'énergie de leur adhésion à la surface. Le bon équilibre entre ces deux paramètres (calculé à partir de mesures expérimentales de l'orientation, de la hauteur et de la fréquence des battements des cils) permettant une locomotion régulière, chaque cilium se collant puis se soulevant, comme une jambe. Un mauvais équilibre produisant les phases de glissement ou de décrochage.

Nous pensons généralement, lorsque quelque chose se passe comme ça, qu'il y a un signal interne semblable à une horloge qui dit : "OK, allez-y, arrêtez-vous, allez-y, arrêtez-vous", a déclaré Simon Sponberg, biophysicien à l'Institut de technologie de Géorgie. "Ce n'est pas ce qui se passe ici. Les cils ne sont pas rythmés. Il n'y a pas une chose centrale qui dit 'Go, go, go' ou autre. Ce sont les interactions mécaniques qui mettent en place quelque chose qui va, qui va, qui va."

De plus, la marche pourrait être modélisée comme un système excitable, c'est-à-dire un système dans lequel, sous certaines conditions, les signaux se propagent et s'amplifient au lieu de s'atténuer progressivement et de s'arrêter. Un neurone est un exemple classique de système excitable : De petites perturbations de tension peuvent provoquer une décharge soudaine et, au-delà d'un certain seuil, le nouvel état stimulé se propage au reste du système. Le même phénomène semble se produire ici avec les cils. Dans les expériences et les simulations, de petites perturbations de hauteur, plutôt que de tension, entraînent des changements relativement importants dans l'activité des cils voisins : Ils peuvent soudainement changer d'orientation, et même passer d'un état de stase à un état de marche. "C'est incroyablement non linéaire", a déclaré Prakash.

En fait, les modèles de cils de Prakash, Bull et Kroo se sont avérés très bien adaptés aux modèles établis pour les potentiels d'action au sein des neurones. "Ce type de phénomène unique se prête à une analogie très intéressante avec ce que l'on observe dans la dynamique non linéaire des neurones individuels", a déclaré Bull. Sponberg est d'accord. "C'est en fait très similaire. Il y a une accumulation de l'énergie, et puis pop, et puis pop, et puis pop".

Les cils s'assemblent comme des oiseaux

Forts de cette description mathématique, Prakash et Bull ont examiné comment chaque cilium pousse et tire sur ses voisins lors de son interaction avec la surface, et comment toute ces activités indépendantes peuvent se transformer en quelque chose de synchronisé et cohérent.

Ils ont mesuré comment la démarche mécanique de chaque cilium entraînait de petites fluctuations locales de la hauteur du tissu. Ils ont ensuite écrit des équations pour expliquer comment ces fluctuations pouvaient influencer le comportement des cellules voisines, alors même que les cils de ces cellules effectuaient leurs propres mouvements, comme un réseau de ressorts reliant de minuscules moteurs oscillants.

Lorsque les chercheurs ont modélisé "cette danse entre élasticité et activité", ils ont constaté que les interactions mécaniques - de cils poussant contre un substrat et de cellules se tirant les unes les autres - transmettaient rapidement des informations à travers l'organisme. La stimulation d'une région entraînait des vagues d'orientation synchronisée des cils qui se déplaçaient dans le tissu. "Cette élasticité et cette tension dans la physique d'un cilium qui marche, maintenant multipliées par des millions d'entre eux dans une feuille, donnent en fait lieu à un comportement mobile cohérent", a déclaré Prakash.

Et ces modèles d'orientation synchronisés peuvent être complexes : parfois, l'activité du système produit des tourbillons, les cils étant orientés autour d'un seul point. Dans d'autres cas, les cils se réorientent en quelques fractions de seconde, pointant d'abord dans une direction puis dans une autre - se regroupant comme le ferait un groupe d'étourneaux ou un banc de poissons, et donnant lieu à une agilité qui permet à l'animal de changer de direction en un clin d'œil.

"Nous avons été très surpris lorsque nous avons vu pour la première fois ces cils se réorienter en une seconde", a déclaré M. Bull.

Ce flocage agile est particulièrement intriguant. Le flocage se produit généralement dans des systèmes qui se comportent comme des fluides : les oiseaux et les poissons individuels, par exemple, peuvent échanger librement leurs positions avec leurs compagnons. Mais cela ne peut pas se produire chez Trichoplax, car ses cils sont des composants de cellules qui ont des positions fixes. Les cils se déplacent comme "un troupeau solide", explique Ricard Alert, physicien à l'Institut Max Planck pour la physique des systèmes complexes.

Prakash et Bull ont également constaté dans leurs simulations que la transmission d'informations était sélective : Après certains stimuli, l'énergie injectée dans le système par les cils se dissipe tout simplement, au lieu de se propager et de modifier le comportement de l'organisme. Nous utilisons notre cerveau pour faire cela tout le temps, pour observer avec nos yeux et reconnaître une situation et dire : "Je dois soit ignorer ça, soit y répondre", a déclaré M. Sponberg.

Finalement, Prakash et Bull ont découvert qu'ils pouvaient écrire un ensemble de règles mécaniques indiquant quand le Trichoplax peut tourner sur place ou se déplacer en cercles asymétriques, quand il peut suivre une trajectoire rectiligne ou dévier soudainement vers la gauche, et quand il peut même utiliser sa propre mécanique pour se déchirer en deux organismes distincts.

"Les trajectoires des animaux eux-mêmes sont littéralement codées" via ces simples propriétés mécaniques, a déclaré Prakash.

Il suppose que l'animal pourrait tirer parti de ces dynamiques de rotation et de reptation dans le cadre d'une stratégie de "course et culbute" pour trouver de la nourriture ou d'autres ressources dans son environnement. Lorsque les cils s'alignent, l'organisme peut "courir", en continuant dans la direction qui vient de lui apporter quelque chose de bénéfique ; lorsque cette ressource semble s'épuiser, Trichoplax peut utiliser son état de vortex ciliaire pour se retourner et tracer une nouvelle route.

Si d'autres études démontrent que c'est le cas, "ce sera très excitant", a déclaré Jordi Garcia-Ojalvo, professeur de biologie systémique à l'université Pompeu Fabra de Barcelone. Ce mécanisme permettrait de faire le lien entre beaucoups d'échelles, non seulement entre la structure moléculaire, le tissu et l'organisme, mais aussi pour ce qui concerne écologie et environnement.

En fait, pour de nombreux chercheurs, c'est en grande partie ce qui rend ce travail unique et fascinant. Habituellement, les approches des systèmes biologiques basées sur la physique décrivent l'activité à une ou deux échelles de complexité, mais pas au niveau du comportement d'un animal entier. "C'est une réussite...  vraiment rare", a déclaré M. Alert.

Plus gratifiant encore, à chacune de ces échelles, la mécanique exploite des principes qui font écho à la dynamique des neurones. "Ce modèle est purement mécanique. Néanmoins, le système dans son ensemble possède un grand nombre des propriétés que nous associons aux systèmes neuro-mécaniques : il est construit sur une base d'excitabilité, il trouve constamment un équilibre délicat entre sensibilité et stabilité et il est capable de comportements collectifs complexes." a déclaré Sponberg.

"Jusqu'où ces systèmes mécaniques peuvent-ils nous mener ?... Très loin." a-t-il ajouté.

Cela a des implications sur la façon dont les neuroscientifiques pensent au lien entre l'activité neuronale et le comportement de manière plus générale. "Les organismes sont de véritables objets dans l'espace", a déclaré Ricard Solé, biophysicien à l'ICREA, l'institution catalane pour la recherche et les études avancées, en Espagne. Si la mécanique seule peut expliquer entièrement certains comportements simples, les neuroscientifiques voudront peut-être examiner de plus près comment le système nerveux tire parti de la biophysique d'un animal pour obtenir des comportements complexes dans d'autres situations.

"Ce que fait le système nerveux n'est peut-être pas ce que nous pensions qu'il faisait", a déclaré M. Sponberg.

Un pas vers la multicellularité

"L'étude de Trichoplax peut nous donner un aperçu de ce qu'il a fallu faire pour développer des mécanismes de contrôle plus complexes comme les muscles et les systèmes nerveux", a déclaré Wan. "Avant d'arriver à ça, quelle est le meilleur truc à suivre ? Ca pourrait bien être ça".

Alert est d'accord. "C'est une façon si simple d'avoir des comportements organisationnels tels que l'agilité que c'est peut-être ainsi qu'ils ont émergé au début et  au cours de l'évolution, avant que les systèmes neuronaux ne se développent. Peut-être que ce que nous voyons n'est qu'un fossile vivant de ce qui était la norme à l'époque".

Solé considère que Trichoplax occupe une "twilight zone... au centre des grandes transitions vers la multicellularité complexe". L'animal semble commencer à mettre en place "les conditions préalables pour atteindre la vraie complexité, celle où les neurones semblent être nécessaires."

Prakash, Bull et leurs collaborateurs cherchent maintenant à savoir si Trichoplax pourrait être capable d'autres types de comportements ou même d'apprentissage. Que pourrait-il réaliser d'autre dans différents contextes environnementaux ? La prise en compte de sa biochimie en plus de sa mécanique ouvrirait-elle vers un autre niveau de comportement ?

Les étudiants du laboratoire de Prakash ont déjà commencé à construire des exemples fonctionnels de ces machines. Kroo, par exemple, a construit un dispositif de natation robotisé actionné par un matériau viscoélastique appelé mousse active : placée dans des fluides non newtoniens comme des suspensions d'amidon de maïs, elle peut se propulser vers l'avant.

"Jusqu'où voulez-vous aller ? a demandé Peleg. "Pouvez-vous construire un cerveau, juste à partir de ce genre de réseaux mécaniques ?"

Prakash considère que ce n'est que le premier chapitre de ce qui sera probablement une saga de plusieurs décennies. "Essayer de vraiment comprendre cet animal est pour moi un voyage de 30 ou 40 ans", a-t-il dit. "Nous avons terminé notre première décennie... C'est la fin d'une époque et le début d'une autre".

Auteur: Internet

Info: https://www.quantamagazine.org/before-brains-mechanics-may-have-ruled-animal-behavior. Jordana Cepelewicz, 16 mars 2022. Trad Mg

[ cerveau rétroactif ] [ échelles mélangées ] [ action-réaction ] [ plus petit dénominateur commun ] [ grégarisme ] [ essaims ] [ murmurations mathématiques ]

big brother consumériste

Nulle part où se cacher : Les collecteurs de données sont venus pour capter votre vie privée - et ils l'ont trouvée

La manière dont vos données sont stockées et partagées évolue et votre activité en ligne peut être utilisée pour vous catégoriser d'une manière qui modifie radicalement votre vie. Il existe des moyens de reprendre le contrôle.

Un vendredi de 2021, je suis entré dans un hôtel d'Exeter, au Royaume-Uni, à 17:57:35. Le lendemain matin, j'ai fait 9 minutes de route pour me rendre à l'hôpital le plus proche. J'y suis resté trois jours. Le trajet de retour, qui dure normalement 1 heure 15 minutes, a duré 1 heure 40 minutes. La raison de cette lenteur : mon tout nouveau bébé dormait à l'arrière.

Ce ne sont pas les détails d'un journal. Il s'agit plutôt de ce que Google sait de la naissance de ma fille, sur la base de mon seul historique de localisation.

Un aperçu des données de ce week-end révèle que ce n'est pas tout ce que les entreprises savent de moi. Netflix se souvient que j'ai regardé toute une série d'émissions de bien-être, dont Gilmore Girls et How to Lose a Guy in 10 Days (Comment perdre un homme en 10 jours). Instagram a enregistré que j'ai "aimé" un post sur l'induction du travail, puis que je ne me suis pas reconnectée pendant une semaine.

Et alors ? Nous savons tous maintenant que nous sommes suivis en ligne et que les données collectées sur nous sont à la fois granulaires et constantes. Peut-être aimez-vous que Netflix et Instagram connaissent si bien vos goûts en matière de cinéma et de mode.

Mais un nombre croissant d'enquêtes et de poursuites judiciaires révèlent un nouveau paysage du suivi en ligne dans lequel la portée des entreprises qui collectent des données est plus insidieuse que beaucoup d'entre nous ne le pensent. En y regardant de plus près, j'ai découvert que mes données personnelles pouvaient avoir une incidence sur tout, depuis mes perspectives d'emploi et mes demandes de prêt jusqu'à mon accès aux soins de santé. En d'autres termes, elles peuvent façonner ma vie quotidienne d'une manière dont je n'avais pas conscience. "Le problème est énorme et il y a toujours de nouvelles horreurs", déclare Reuben Binns, de l'université d'Oxford.

On pourrait vous pardonner de penser qu'avec l'introduction d'une législation comme le règlement général sur la protection des données (RGPD) - des règles de l'Union européenne mises en œuvre en 2018 qui donnent aux gens un meilleur accès aux données que les entreprises détiennent sur eux et limitent ce que les entreprises peuvent en faire - la confidentialité des données n'est plus un vrai problème. Vous pouvez toujours refuser les cookies si vous ne voulez pas être suivi, n'est-ce pas ? Mais lorsque je dis cela à Pam Dixon, du groupe de recherche à but non lucratif World Privacy Forum, elle se met à rire d'incrédulité. "Tu y crois vraiment ?" me dit-elle.

Les gratteurs de données

Des centaines d'amendes ont été infligées pour violation du GDPR, notamment à Google, British Airways et Amazon. Mais les experts en données affirment qu'il ne s'agit là que de la partie émergée de l'iceberg. Une étude réalisée l'année dernière par David Basin de l'ETH Zurich, en Suisse, a révélé que 95 % des sites web pourraient enfreindre les règles du GDPR. Même l'objectif de la législation visant à faciliter la compréhension des données que nous acceptons de fournir n'a pas été atteint. Depuis l'entrée en vigueur de la législation, les recherches montrent que les accords de confidentialité sont devenus plus compliqués, rein de moins. Et si vous pensiez que les bloqueurs de publicité et les réseaux privés virtuels (VPN) - qui masquent l'adresse IP de votre ordinateur - vous protégeaient, détrompez-vous. Bon nombre de ces services vendent également vos données.

Nous commençons à peine à saisir l'ampleur et la complexité du paysage de la traque en ligne. Quelques grands noms - Google, Meta, Amazon et Microsoft - détiennent l'essentiel du pouvoir, explique Isabel Wagner, professeur associé de cybersécurité à l'université de Bâle, en Suisse. Mais derrière ces grands acteurs, un écosystème diversifié de milliers, voire de millions, d'acheteurs, de vendeurs, de serveurs, de traqueurs et d'analyseurs partagent nos données personnelles.

Qu'est-ce que tout cela signifie pour l'utilisateur lambda que je suis ? Pour le savoir, je me suis rendu chez HestiaLabs à Lausanne, en Suisse, une start-up fondée par Paul-Olivier Dehaye, mathématicien et lanceur d'alerte clé dans le scandale de l'utilisation des données de Facebook par la société de conseil politique Cambridge Analytica. Cette société a utilisé des données personnelles pour influencer l'élection de Donald Trump à la présidence des États-Unis en 2016. L'enquête de Dehaye sur Cambridge Analytica a montré de manière frappante à quel point l'influence des entreprises qui achètent et vendent des données est profonde. Il a créé HestiaLabs pour changer cette situation.

(Photo : Votre téléphone suit votre position même si les données mobiles sont désactivées)

Avant d'arriver, j'ai demandé mes données personnelles à diverses entreprises, un processus plus compliqué qu'il ne devrait l'être à l'ère du RGPD. Je rencontre Charles Foucault-Dumas, le chef de projet de HestiaLabs, au siège de l'entreprise - un modeste espace de co-working situé en face de la gare de Lausanne. Nous nous asseyons et téléchargeons mes fichiers dans son portail sur mesure.

Mes données s'étalent devant moi, visualisées sous la forme d'une carte de tous les endroits où je suis allé, de tous les posts que j'ai aimés et de toutes les applications qui ont contacté un annonceur. Dans les lieux que je fréquente régulièrement, comme la crèche de ma fille, des centaines de points de données se transforment en taches semblables à de la peinture. À l'adresse de mon domicile, il y a une énorme cible impossible à manquer. C'est fascinant. Et un peu terrifiant.

L'une des plus grandes surprises est de savoir quelles applications de mon téléphone contactent des entreprises tierces en mon nom. Au cours de la semaine écoulée, c'est un navigateur web que j'utilise parce qu'il se décrit comme "le respect de la vie privée avant tout" qui a été le plus grand contrevenant, en contactant 29 entreprises. Mais pratiquement toutes les applications de mon téléphone, du service d'épicerie au bloc-notes virtuel, étaient occupées à contacter d'autres entreprises pendant que je vaquais à mes occupations.

En règle générale, une entreprise qui souhaite vendre un produit ou un service s'adresse à une agence de publicité, qui se met en relation avec des plates-formes chargées de la diffusion des publicités, qui utilisent des échanges publicitaires, lesquels sont reliés à des plates-formes d'approvisionnement, qui placent les publicités sur les sites web des éditeurs. Chaque fois que vous ouvrez un site web ou que vous survolez momentanément un message sur un média social, cette machine - dont la valeur est estimée à 150 milliards de livres sterling par an - se met en marche.

Que partageaient exactement ces entreprises à mon sujet ? Pour le savoir, il faudrait que je fasse des demandes auprès de chacune d'entre elles. Et même avec celles que j'ai contactées avec l'aide de HestiaLabs, ce n'est pas toujours clair.

Prenons l'exemple d'Instagram. Il m'a fourni des données montrant qu'il a enregistré 333 "intérêts" en mon nom. Certains d'entre eux sont très éloignés de la réalité : le rugby, le festival Burning Man, la promotion immobilière, et même "femme à chats". Lecteur, je n'ai jamais eu de chat. Mais d'autres sont plus précis, et un certain nombre d'entre eux, sans surprise, sont liés au fait que je suis devenue parent, qu'il s'agisse de marques telles que Huggies et Peppa Pig ou de sujets tels que les berceaux et le sevrage pour bébés.

Je me demande comment ces données ont pu affecter non seulement mes achats, mais aussi la vie de ma fille. Son amour pour le cochon rose de dessin animé est-il vraiment organique, ou ces vidéos nous ont-elles été "servies" en raison des informations qu'Instagram a transmises à mon sujet ? Est-ce que les posts sur le sevrage dirigé par les bébés se sont retrouvés partout dans mon fil d'actualité - et ont donc influencé la façon dont ma fille a été initiée à la nourriture - par hasard, ou parce que j'avais été ciblée ? Je n'ai pas accès à cette chaîne de causes et d'effets, et je ne sais pas non plus comment ces divers "intérêts" ont pu me catégoriser pour d'éventuels spécialistes du marketing.

Il est pratiquement impossible de démêler l'écheveau complexe des transactions de données dans l'ombre. Les données personnelles sont souvent reproduites, divisées, puis introduites dans des algorithmes et des systèmes d'apprentissage automatique. En conséquence, explique M. Dixon, même avec une législation comme le GDPR, nous n'avons pas accès à toutes nos données personnelles. "Nous avons affaire à deux strates de données. Il y a celles qui peuvent être trouvées", dit-elle. "Mais il y a une autre strate que vous ne pouvez pas voir, que vous n'avez pas le droit légal de voir - aucun d'entre nous ne l'a."

Profilage personnel

Des rapports récents donnent un aperçu de la situation. En juin, une enquête de The Markup a révélé que ce type de données cachées est utilisé par les publicitaires pour nous classer en fonction de nos convictions politiques, de notre état de santé et de notre profil psychologique. Pourrais-je être considérée comme une "mère accro au portable", une "indulgente", une "facilement dégonflée" ou une "éveillée" ? Je n'en ai aucune idée, mais je sais qu'il s'agit là de catégories utilisées par les plateformes publicitaires en ligne.

Il est troublant de penser que je suis stéréotypée d'une manière inconnue. Une autre partie de moi se demande si cela a vraiment de l'importance. Je comprends l'intérêt d'une publicité qui tient compte de mes préférences, ou de l'ouverture de mon application de cartographie qui met en évidence des restaurants et des musées qui pourraient m'intéresser ou que j'ai déjà visités. Mais croyez-moi, il y a peu de façons de faire grimacer un expert en données plus rapidement qu'avec la désinvolture de ce compromis.

D'une part, l'utilisation de ces données va bien au-delà de la vente de publicité, explique M. Dixon. Quelque chose d'apparemment anodin comme le fait de faire des achats dans des magasins discount (signe d'un revenu inférieur) ou d'acheter des articles de sport (signe que vous faites de l'exercice) peut avoir une incidence sur tout, de l'attrait de votre candidature à l'université au montant de votre assurance maladie. "Il ne s'agit pas d'une simple publicité", précise M. Dixon. "Il s'agit de la vie réelle.

Une législation récente aux États-Unis a contraint certaines de ces entreprises à entrer dans la lumière. Le Vermont's 2018 Data Broker Act, par exemple, a révélé que les courtiers en données enregistrés dans l'État - mais qui sont également actifs ailleurs - vendent des informations personnelles à des propriétaires et des employeurs potentiels, souvent par l'intermédiaire de tierces parties. En juillet, le Bureau américain de protection financière des consommateurs a appris que cette deuxième strate cachée de données comprenait également des informations utilisées pour établir un "score de consommation", employé de la même manière qu'un score de crédit. "Les choses que vous avez faites, les sites web que vous avez visités, les applications que vous utilisez, tout cela peut alimenter des services qui vérifient si vous êtes un locataire convenable ou décident des conditions à vous offrir pour un prêt ou une hypothèque", explique M. Binns.

À HestiaLabs, je me rends compte que j'ai moi aussi été concrètement affectée, non seulement par les publicités que je vois, mais aussi par la façon dont les algorithmes ont digéré mes données. Dans les "inférences" de LinkedIn, je suis identifiée à la fois comme "n'étant pas un leader humain" et "n'étant pas un leader senior". Et ce, bien que j'aie dirigé une équipe de 20 personnes à la BBC et que j'aie été rédacteur en chef de plusieurs sites de la BBC auparavant - des informations que j'ai moi-même introduites dans LinkedIn. Comment cela peut-il affecter mes opportunités de carrière ? Lorsque j'ai posé la question à LinkedIn, un porte-parole m'a répondu que ces déductions n'étaient pas utilisées "de quelque manière que ce soit pour informer les suggestions de recherche d'emploi".

Malgré cela, nous savons, grâce à des poursuites judiciaires, que des données ont été utilisées pour exclure les femmes des annonces d'emploi dans le secteur de la technologie sur Facebook. En conséquence, le propriétaire de la plateforme, Meta, a cessé d'offrir cette option aux annonceurs en 2019. Mais les experts en données affirment qu'il existe de nombreuses solutions de contournement, comme le fait de ne cibler que les personnes ayant des intérêts stéréotypés masculins. "Ces préjudices ne sont pas visibles pour les utilisateurs individuels à ce moment-là. Ils sont souvent très abstraits et peuvent se produire longtemps après", explique M. Wagner.

À mesure que les données collectées sur notre vie quotidienne prolifèrent, la liste des préjudices signalés par les journaux ne cesse de s'allonger. Des applications de suivi de l'ovulation - ainsi que des messages textuels, des courriels et des recherches sur le web - ont été utilisés pour poursuivre des femmes ayant avorté aux États-Unis depuis que l'arrêt Roe v Wade a été annulé l'année dernière. Des prêtres ont été démasqués pour avoir utilisé l'application de rencontres gay Grindr. Un officier militaire russe a même été traqué et tué lors de sa course matinale, prétendument grâce à des données accessibles au public provenant de l'application de fitness Strava. La protection des données est censée prévenir bon nombre de ces préjudices. "Mais il y a manifestement une énorme lacune dans l'application de la loi", déclare M. Binns.

Le problème réside en partie d'un manque de transparence. De nombreuses entreprises s'orientent vers des modèles "préservant la vie privée", qui divisent les points de données d'un utilisateur individuel et les dispersent sur de nombreux serveurs informatiques, ou les cryptent localement. Paradoxalement, il est alors plus difficile d'accéder à ses propres données et d'essayer de comprendre comment elles ont été utilisées.

Pour sa part, M. Dehaye, de HestiaLabs, est convaincu que ces entreprises peuvent et doivent nous rendre le contrôle. "Si vous allez consulter un site web en ce moment même, en quelques centaines de millisecondes, de nombreux acteurs sauront qui vous êtes et sur quel site vous avez mis des chaussures dans un panier d'achat il y a deux semaines. Lorsque l'objectif est de vous montrer une publicité pourrie, ils sont en mesure de résoudre tous ces problèmes", explique-t-il. Mais lorsque vous faites une demande de protection de la vie privée, ils se disent : "Oh, merde, comment on fait ça ?".

Il ajoute : "Mais il y a un moyen d'utiliser cette force du capitalisme qui a résolu un problème dans une industrie de plusieurs milliards de dollars pour vous - pas pour eux".

J'espère qu'il a raison. En marchant dans Lausanne après avoir quitté HestiaLabs, je vois un homme qui s'attarde devant un magasin de couteaux, son téléphone rangé dans sa poche. Une femme élégante porte un sac Zara dans une main, son téléphone dans l'autre. Un homme devant le poste de police parle avec enthousiasme dans son appareil.

Pour moi, et probablement pour eux, ce sont des moments brefs et oubliables. Mais pour les entreprises qui récoltent les données, ce sont des opportunités. Ce sont des signes de dollars. Et ce sont des points de données qui ne disparaîtront peut-être jamais.

Reprendre le contrôle

Grâce aux conseils de M. Dehaye et des autres experts que j'ai interrogés, lorsque je rentre chez moi, je vérifie mes applications et je supprime celles que je n'utilise pas. Je supprime également certaines de celles que j'utilise mais qui sont particulièrement désireuses de contacter des entreprises, en prévoyant de ne les utiliser que sur mon ordinateur portable. (J'ai utilisé une plateforme appelée TC Slim pour me dire quelles entreprises mes applications contactent). J'installe également un nouveau navigateur qui (semble-t-il) accorde la priorité à la protection de la vie privée. Selon M. Wagner, les applications et les navigateurs open source et à but non lucratif peuvent constituer des choix plus sûrs, car ils ne sont guère incités à collecter vos données.

Je commence également à éteindre mon téléphone plus souvent lorsque je ne l'utilise pas. En effet, votre téléphone suit généralement votre position même lorsque les données mobiles et le Wi-Fi sont désactivés ou que le mode avion est activé. De plus, en me connectant à mes préférences Google, je refuse d'enregistrer l'historique de mes positions, même si la nostalgie - pour l'instant - m'empêche de demander que toutes mes données antérieures soient supprimées.

Nous pouvons également réinitialiser notre relation avec le suivi en ligne en changeant notre façon de payer, explique Mme Dixon. Elle suggère d'utiliser plusieurs cartes de crédit et d'être "très prudent" quant au portefeuille numérique que nous utilisons. Pour les achats susceptibles de créer un signal "négatif", comme ceux effectués dans un magasin discount, il est préférable d'utiliser de l'argent liquide, si possible. M. Dixon conseille également de ne pas utiliser d'applications ou de sites web liés à la santé, si possible. "Ce n'est tout simplement pas un espace clair et sûr", dit-elle.

En réalité, quelles que soient les mesures que vous prenez, les entreprises trouveront toujours de nouveaux moyens de contourner le problème. "C'est un jeu où l'on ne peut que perdre", affirme M. Dehaye. C'est pourquoi la solution ne dépend pas des individus. "Il s'agit d'un véritable changement de société.

En réunissant suffisamment de voix individuelles, M. Dehaye pense que nous pouvons changer le système - et que tout commence par le fait que vous demandiez vos données. Dites aux entreprises : "Si vous vous dérobez, notre confiance est perdue"", déclare-t-il. "Et dans ce monde de données, si les gens ne font pas confiance à votre entreprise, vous êtes mort.

Auteur: Ruggeri Amanda

Info: https://blog.shiningscience.com/2023/08/nowhere-to-hide-data-harvesters-came.html, 26 août 2023

[ idiosyncrasie numérique ] [ capitalisme de surveillance ] [ internet marchand ]