nanomonde

Les particules quantiques ne tournent pas. Alors d'où vient leur spin ?

Le fait que les électrons possèdent la propriété quantique du spin est essentiel pour notre monde tel que nous le connaissons. Pourtant, les physiciens ne pensent pas que ces particules tournent réellement. 

Les électrons sont des petits magiciens compétents. Ils semblent voltiger autour d'un atome sans suivre de chemin particulier, ils semblent souvent être à deux endroits à la fois, et leur comportement dans les micropuces en silicium alimente l'infrastructure informatique du monde moderne. Mais l'un de leurs tours les plus impressionnants est faussement simple, comme toute bonne magie. Les électrons semblent toujours tourner. Tous les électrons jamais observés, qu'ils se déplacent sur un atome de carbone dans votre ongle ou qu'ils se déplacent à toute vitesse dans un accélérateur de particules, ont l'air de faire constamment de petites pirouettes en se déplaçant dans le monde. Sa rotation ne semble jamais ralentir ou accélérer. Peu importe comment un électron est bousculé ou frappé, il semble toujours tourner à la même vitesse. Il possède même un petit champ magnétique, comme devrait le faire un objet en rotation doté d'une charge électrique. Naturellement, les physiciens appellent ce comportement "spin".

Mais malgré les apparences, les électrons ne tournent pas. Ils ne peuvent pas tourner. Prouver qu'il est impossible que les électrons tournent est un problème standard dans tout cours d'introduction à la physique quantique. Si les électrons tournaient suffisamment vite pour expliquer tout le comportement de rotation qu'ils affichent, leurs surfaces se déplaceraient beaucoup plus vite que la vitesse de la lumière (si tant est qu'ils aient des surfaces). Ce qui est encore plus surprenant, c'est que pendant près d'un siècle, cette contradiction apparente a été ignorée par la plupart des physiciens comme étant une autre caractéristique étrange du monde quantique, qui ne mérite pas qu'on s'y attarde.

Pourtant, le spin est profondément important. Si les électrons ne semblaient pas tourner, votre chaise s'effondrerait pour ne plus représenter qu'une fraction minuscule de sa taille. Vous vous effondreriez aussi - et ce serait le moindre de vos problèmes. Sans le spin, c'est tout le tableau périodique des éléments qui s'effondrerait, et toute la chimie avec. En fait, il n'y aurait pas de molécules du tout. Le spin n'est donc pas seulement l'un des meilleurs tours de magie des électrons, c'est aussi l'un des plus importants. Et comme tout bon magicien, les électrons n'ont jamais dit à personne comment ils faisaient ce tour. Mais aujourd'hui, une nouvelle explication du spin est peut-être en train de se profiler à l'horizon, une explication qui tire le rideau et montre comment la magie opère.

UNE DÉCOUVERTE VERTIGINEUSE

La rotation a toujours été une source de confusion. Même les premières personnes qui ont développé l'idée du spin pensaient qu'elle devait être fausse. En 1925, deux jeunes physiciens hollandais, Samuel Goudsmit et George Uhlenbeck, s'interrogeaient sur les derniers travaux du célèbre (et célèbre) physicien Wolfgang Pauli. Pauli, dans une tentative d'expliquer la structure des spectres atomiques et du tableau périodique, avait récemment postulé que les électrons avaient une "double valeur non descriptible classiquement". Mais Pauli n'avait pas dit à quelle propriété physique de l'électron sa nouvelle valeur correspondait, et Goudsmit et Uhlenbeck se demandaient ce que cela pouvait être.

Tout ce qu'ils savaient - tout le monde le savait à l'époque - c'est que la nouvelle valeur de Pauli était associée à des unités discrètes d'une propriété bien connue de la physique newtonienne classique, appelée moment angulaire. Le moment angulaire est simplement la tendance d'un objet en rotation à continuer de tourner. C'est ce qui fait que les toupies tournent et que les bicyclettes restent droites. Plus un objet tourne vite, plus il a de moment cinétique, mais la forme et la masse de l'objet ont aussi leur importance. Un objet plus lourd a plus de moment cinétique qu'un objet plus léger qui tourne aussi vite, et un objet qui tourne avec plus de masse sur les bords a plus de moment cinétique que si sa masse était concentrée en son centre.

Les objets peuvent avoir un moment angulaire sans tourner. Tout objet qui tourne autour d'un autre objet, comme la Terre qui tourne autour du soleil ou un trousseau de clés qui se balance autour de votre doigt sur un cordon, a un certain moment angulaire. Mais Goudsmit et Uhlenbeck savaient que ce type de moment angulaire ne pouvait pas être la source du nouveau nombre de Pauli. Les électrons semblent effectivement se déplacer autour du noyau atomique, retenus par l'attraction entre leur charge électrique négative et l'attraction positive des protons du noyau. Mais le moment angulaire que ce mouvement leur confère était déjà bien pris en compte et ne pouvait pas être le nouveau nombre de Pauli. Les physiciens savaient également qu'il existait déjà trois nombres associés à l'électron, qui correspondaient aux trois dimensions de l'espace dans lesquelles il pouvait se déplacer. Un quatrième nombre signifiait une quatrième façon dont l'électron pouvait se déplacer. Les deux jeunes physiciens pensaient que la seule possibilité était que l'électron lui-même tourne, comme la Terre qui tourne sur son axe autour du soleil. Si les électrons pouvaient tourner dans l'une des deux directions - dans le sens des aiguilles d'une montre ou dans le sens inverse - cela expliquerait la "bivalence" de Pauli.

Excités, Goudsmit et Uhlenbeck rédigent leur nouvelle idée et la montrent à leur mentor, Paul Ehrenfest. Ehrenfest, un ami proche d'Einstein et un formidable physicien à part entière, trouve l'idée intrigante. Tout en la considérant, il dit aux deux jeunes hommes enthousiastes d'aller consulter quelqu'un de plus âgé et de plus sage : Hendrik Antoon Lorentz, le grand manitou de la physique néerlandaise, qui avait anticipé une grande partie du développement de la relativité restreinte deux décennies plus tôt et qu'Einstein lui-même tenait en très haute estime.

Mais Lorentz est moins impressionné par l'idée de spin qu'Ehrenfest. Comme il l'a fait remarquer à Uhlenbeck, on sait que l'électron est très petit, au moins 3 000 fois plus petit qu'un atome - et on sait déjà que les atomes ont un diamètre d'environ un dixième de nanomètre, soit un million de fois plus petit que l'épaisseur d'une feuille de papier. L'électron étant si petit, et sa masse encore plus petite - un milliardième de milliardième de milliardième de gramme - il était impossible qu'il tourne assez vite pour fournir le moment angulaire que Pauli et d'autres recherchaient. En fait, comme Lorentz l'a dit à Uhlenbeck, la surface de l'électron devrait se déplacer dix fois plus vite que la vitesse de la lumière, une impossibilité absolue.

Défait, Uhlenbeck retourne voir Ehrenfest et lui annonce la nouvelle. Il demande à Ehrenfest de supprimer l'article, mais on lui répond qu'il est trop tard, car son mentor a déjà envoyé l'article pour publication. "Vous êtes tous les deux assez jeunes pour pouvoir vous permettre une stupidité", a dit Ehrenfest. Et il avait raison. Malgré le fait que l'électron ne pouvait pas tourner, l'idée du spin était largement acceptée comme correcte, mais pas de la manière habituelle. Plutôt qu'un électron qui tourne réellement, ce qui est impossible, les physiciens ont interprété la découverte comme signifiant que l'électron portait en lui un certain moment angulaire intrinsèque, comme s'il tournait, même s'il ne pouvait pas le faire. Néanmoins, l'idée était toujours appelée "spin", et Goudsmit et Uhlenbeck ont été largement salués comme les géniteurs de cette idée.

Le spin s'est avéré crucial pour expliquer les propriétés fondamentales de la matière. Dans le même article où il avait proposé son nouveau nombre à deux valeurs, Pauli avait également suggéré un "principe d'exclusion", à savoir que deux électrons ne pouvaient pas occuper exactement le même état. S'ils le pouvaient, alors chaque électron d'un atome tomberait simplement dans l'état d'énergie le plus bas, et pratiquement tous les éléments se comporteraient presque exactement de la même manière les uns que les autres, détruisant la chimie telle que nous la connaissons. La vie n'existerait pas. L'eau n'existerait pas. L'univers serait simplement rempli d'étoiles et de gaz, dérivant dans un cosmos ennuyeux et indifférent sans rencontrer la moindre pierre. En fait, comme on l'a compris plus tard, toute matière solide, quelle qu'elle soit, serait instable. Bien que l'idée de Pauli soit clairement correcte, la raison pour laquelle les électrons ne pouvaient pas partager des états n'était pas claire. Comprendre l'origine du principe d'exclusion de Pauli permettrait d'expliquer tous ces faits profonds de la vie quotidienne.

La réponse à cette énigme se trouvait dans le spin. On découvrit bientôt que le spin était une propriété de base de toutes les particules fondamentales, et pas seulement des électrons, et qu'il était étroitement lié au comportement de ces particules en groupes. En 1940, Pauli et le physicien suisse Markus Fierz ont prouvé que lorsque la mécanique quantique et la relativité restreinte d'Einstein étaient combinées, cela conduisait inévitablement à un lien entre le spin et le comportement statistique des groupes. Le principe d'exclusion de Pauli n'était qu'un cas particulier de ce théorème de la statistique du spin, comme on l'a appelé. Ce théorème est un "fait puissant sur le monde", comme le dit le physicien Michael Berry. "Il est à la base de la chimie, de la supraconductivité, c'est un fait très fondamental". Et comme tant d'autres faits fondamentaux en physique, le spin s'est avéré utile sur le plan technologique également. Dans la seconde moitié du XXe siècle, le spin a été exploité pour développer des lasers, expliquer le comportement des supraconducteurs et ouvrir la voie à la construction d'ordinateurs quantiques.

VOIR AU-DELÀ DU SPIN

Mais toutes ces fabuleuses découvertes, applications et explications laissent encore sur la table la question de Goudsmit et Uhlenbeck : qu'est-ce que le spin ? Si les électrons doivent avoir un spin, mais ne peuvent pas tourner, alors d'où vient ce moment angulaire ? La réponse standard est que ce moment est simplement inhérent aux particules subatomiques et ne correspond à aucune notion macroscopique de rotation.

Pourtant, cette réponse n'est pas satisfaisante pour tout le monde. "Je n'ai jamais aimé l'explication du spin donnée dans un cours de mécanique quantique", déclare Charles Sebens, philosophe de la physique à l'Institut de technologie de Californie. On vous le présente et vous vous dites : "C'est étrange. Ils agissent comme s'ils tournaient, mais ils ne tournent pas vraiment ? Je suppose que je peux apprendre à travailler avec ça". Mais c'est étrange."

Récemment, cependant, Sebens a eu une idée. "Dans le cadre de la mécanique quantique, il semble que l'électron ne tourne pas", dit-il. Mais, ajoute-t-il, "la mécanique quantique n'est pas notre meilleure théorie de la nature. La théorie des champs quantiques est une théorie plus profonde et plus précise."

La théorie quantique des champs est l'endroit où le monde quantique des particules subatomiques rencontre l'équation la plus célèbre du monde : E = mc2, qui résume la découverte d'Einstein selon laquelle la matière peut se transformer en énergie et vice versa. (La théorie quantique des champs est également à l'origine du théorème de la statistique du spin). C'est à partir de cette propriété que lorsque des particules subatomiques interagissent, de nouvelles particules sont souvent créées à partir de leur énergie, et les particules existantes peuvent se désintégrer en quelque chose d'autre. La théorie quantique des champs traite ce phénomène en décrivant les particules comme provenant de champs qui imprègnent tout l'espace-temps, même l'espace vide. Ces champs permettent aux particules d'apparaître et de disparaître, conformément aux règles strictes de la relativité restreinte d'Einstein et aux lois probabilistes du monde quantique.

Et ce sont ces champs, selon Sebens, qui pourraient contenir la solution à l'énigme du spin. "L'électron est habituellement considéré comme une particule", explique-t-il. "Mais dans la théorie quantique des champs, pour chaque particule, il existe une façon de la considérer comme un champ." En particulier, l'électron peut être considéré comme une excitation dans un champ quantique connu sous le nom de champ de Dirac, et ce champ pourrait être ce qui porte le spin de l'électron. "Il y a une véritable rotation de l'énergie et de la charge dans le champ de Dirac", dit Sebens. Si c'est là que réside le moment angulaire, le problème d'un électron tournant plus vite que la vitesse de la lumière disparaît ; la région du champ portant le spin de l'électron est bien plus grande que l'électron supposé ponctuel lui-même. Ainsi, selon Sebens, d'une certaine manière, Pauli et Lorentz avaient à moitié raison : il n'y a pas de particule qui tourne. Il y a un champ tournant, et c'est ce champ qui donne naissance aux particules.

UNE QUESTION SANS RÉPONSE ?

Jusqu'à présent, l'idée de Sebens a produit quelques remous, mais pas de vagues. Pour ce qui est de savoir si les électrons tournent, "je ne pense pas qu'il s'agisse d'une question à laquelle on puisse répondre", déclare Mark Srednicki, physicien à l'université de Californie à Santa Barbara. "Nous prenons un concept qui trouve son origine dans le monde ordinaire et nous essayons de l'appliquer à un endroit où il ne s'applique plus vraiment. Je pense donc que ce n'est vraiment qu'une question de choix, de définition ou de goût pour dire que l'électron tourne vraiment." Hans Ohanian, physicien à l'université du Vermont qui a réalisé d'autres travaux sur le spin des électrons, souligne que la version originale de l'idée de Sebens ne fonctionne pas pour l'antimatière.

Mais tous les physiciens ne sont pas aussi dédaigneux. Selon Sean Carroll, physicien à l'université Johns Hopkins et à l'Institut Santa Fe, "la formulation conventionnelle de notre réflexion sur le spin laisse de côté un élément potentiellement important". "Sebens est tout à fait sur la bonne voie, ou du moins fait quelque chose de très, très utile dans le sens où il prend très au sérieux l'aspect champ de la théorie quantique des champs." Mais, souligne Carroll, "les physiciens sont, au fond, des pragmatiques..... Si Sebens a raison à 100 %, les physiciens vous diront : "D'accord, mais qu'est-ce que cela m'apporte ?"

Doreen Fraser, philosophe de la théorie des champs quantiques à l'université de Waterloo, au Canada, se fait l'écho de ce point de vue. "Je suis ouverte à ce projet que Sebens a de vouloir forer plus profondément pour avoir une sorte d'intuition physique pour aller avec le spin", dit-elle. "Vous avez cette belle représentation mathématique ; vous voulez avoir une image physique intuitive pour l'accompagner." En outre, une image physique pourrait également déboucher sur de nouvelles théories ou expériences qui n'ont jamais été réalisées auparavant. "Pour moi, ce serait le test pour savoir si c'est une bonne idée."

Il est trop tôt pour dire si les travaux de M. Sebens porteront ce genre de fruits. Et bien qu'il ait rédigé un article sur la manière de résoudre la préoccupation d'Ohanian concernant l'antimatière, d'autres questions connexes restent en suspens. "Il y a beaucoup de raisons d'aimer" l'idée du champ, dit Sebens. "Je prends cela plus comme un défi que comme un argument massue contre elle."

Auteur: Becker Adam

Info: Scientific American, November 22, 2022

[ approfondissement ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

symphonie des équations

Des " murmurations " de courbe elliptique découvertes grâce à l'IA prennent leur envol

Les mathématiciens s’efforcent d’expliquer pleinement les comportements inhabituels découverts grâce à l’intelligence artificielle.

(photo - sous le bon angle les courbes elliptiques peuvent se rassembler comme les grands essaims d'oiseaux.)

Les courbes elliptiques font partie des objets les plus séduisants des mathématiques modernes. Elle ne semblent pas compliqués, mais  forment une voie express entre les mathématiques que beaucoup de gens apprennent au lycée et les mathématiques de recherche dans leur forme la plus abstruse. Elles étaient au cœur de la célèbre preuve du dernier théorème de Fermat réalisée par Andrew Wiles dans les années 1990. Ce sont des outils clés de la cryptographie moderne. Et en 2000, le Clay Mathematics Institute a désigné une conjecture sur les statistiques des courbes elliptiques comme l'un des sept " problèmes du prix du millénaire ", chacun d'entre eux étant récompensé d'un million de dollars pour sa solution. Cette hypothèse, formulée pour la première fois par Bryan Birch et Peter Swinnerton-Dyer dans les années 1960, n'a toujours pas été prouvée.

Comprendre les courbes elliptiques est une entreprise aux enjeux élevés qui est au cœur des mathématiques. Ainsi, en 2022, lorsqu’une collaboration transatlantique a utilisé des techniques statistiques et l’intelligence artificielle pour découvrir des modèles complètement inattendus dans les courbes elliptiques, cela a été une contribution bienvenue, bien qu’inattendue. "Ce n'était qu'une question de temps avant que l'apprentissage automatique arrive à notre porte avec quelque chose d'intéressant", a déclaré Peter Sarnak , mathématicien à l'Institute for Advanced Study et à l'Université de Princeton. Au départ, personne ne pouvait expliquer pourquoi les modèles nouvellement découverts existaient. Depuis lors, dans une série d’articles récents, les mathématiciens ont commencé à élucider les raisons derrière ces modèles, surnommés " murmures " en raison de leur ressemblance avec les formes fluides des étourneaux en troupeaux, et ont commencé à prouver qu’ils ne doivent pas se produire uniquement dans des cas particuliers. exemples examinés en 2022, mais dans les courbes elliptiques plus généralement.

L'importance d'être elliptique

Pour comprendre ces modèles, il faut jeter les bases de ce que sont les courbes elliptiques et de la façon dont les mathématiciens les catégorisent.

Une courbe elliptique relie le carré d'une variable, communément écrite comme y , à la troisième puissance d'une autre, communément écrite comme x : y 2  =  x 3  + Ax + B , pour une paire de nombres A et B , tant que A et B remplissent quelques conditions simples. Cette équation définit une courbe qui peut être représentée graphiquement sur le plan, comme indiqué ci-dessous. (Photo : malgré la similitude des noms, une ellipse n'est pas une courbe elliptique.)

Introduction

Bien qu’elles semblent simples, les courbes elliptiques s’avèrent être des outils incroyablement puissants pour les théoriciens des nombres – les mathématiciens qui recherchent des modèles dans les nombres entiers. Au lieu de laisser les variables x et y s'étendre sur tous les nombres, les mathématiciens aiment les limiter à différents systèmes numériques, ce qu'ils appellent définir une courbe " sur " un système numérique donné. Les courbes elliptiques limitées aux nombres rationnels – nombres qui peuvent être écrits sous forme de fractions – sont particulièrement utiles. "Les courbes elliptiques sur les nombres réels ou complexes sont assez ennuyeuses", a déclaré Sarnak. "Seuls les nombres rationnels sont profonds."

Voici une façon qui est vraie. Si vous tracez une ligne droite entre deux points rationnels sur une courbe elliptique, l’endroit où cette ligne coupe à nouveau la courbe sera également rationnel. Vous pouvez utiliser ce fait pour définir " addition " dans une courbe elliptique, comme indiqué ci-dessous. 

(Photo -  Tracez une ligne entre P et Q . Cette ligne coupera la courbe en un troisième point, R . (Les mathématiciens ont une astuce spéciale pour gérer le cas où la ligne ne coupe pas la courbe en ajoutant un " point à l'infini ".) La réflexion de R sur l' axe des x est votre somme P + Q . Avec cette opération d'addition, toutes les solutions de la courbe forment un objet mathématique appelé groupe.)

Les mathématiciens l'utilisent pour définir le " rang " d'une courbe. Le rang d'une courbe est lié au nombre de solutions rationnelles dont elle dispose. Les courbes de rang 0 ont un nombre fini de solutions. Les courbes de rang supérieur ont un nombre infini de solutions dont la relation les unes avec les autres à l'aide de l'opération d'addition est décrite par le rang.

Les classements (rankings) ne sont pas bien compris ; les mathématiciens n'ont pas toujours le moyen de les calculer et ne savent pas quelle taille ils peuvent atteindre. (Le plus grand rang exact connu pour une courbe spécifique est 20.) Des courbes d'apparence similaire peuvent avoir des rangs complètement différents.

Les courbes elliptiques ont aussi beaucoup à voir avec les nombres premiers, qui ne sont divisibles que par 1 et par eux-mêmes. En particulier, les mathématiciens examinent les courbes sur des corps finis – des systèmes d’arithmétique cyclique définis pour chaque nombre premier. Un corps fini est comme une horloge dont le nombre d'heures est égal au nombre premier : si vous continuez à compter vers le haut, les nombres recommencent. Dans le corps fini de 7, par exemple, 5 plus 2 est égal à zéro et 5 plus 3 est égal à 1.

(Photo : Les motifs formés par des milliers de courbes elliptiques présentent une similitude frappante avec les murmures des étourneaux.)

Une courbe elliptique est associée à une séquence de nombres, appelée a p , qui se rapporte au nombre de solutions qu'il existe à la courbe dans le corps fini défini par le nombre premier p . Un p plus petit signifie plus de solutions ; un p plus grand signifie moins de solutions. Bien que le rang soit difficile à calculer, la séquence a p est beaucoup plus simple.

Sur la base de nombreux calculs effectués sur l'un des tout premiers ordinateurs, Birch et Swinnerton-Dyer ont conjecturé une relation entre le rang d'une courbe elliptique et la séquence a p . Quiconque peut prouver qu’il avait raison gagnera un million de dollars et l’immortalité mathématique.

Un modèle surprise émerge

Après le début de la pandémie, Yang-Hui He , chercheur au London Institute for Mathematical Sciences, a décidé de relever de nouveaux défis. Il avait étudié la physique à l'université et avait obtenu son doctorat en physique mathématique du Massachusetts Institute of Technology. Mais il s'intéressait de plus en plus à la théorie des nombres et, étant donné les capacités croissantes de l'intelligence artificielle, il pensait essayer d'utiliser l'IA comme un outil permettant de trouver des modèles inattendus dans les nombres. (Il avait déjà utilisé l'apprentissage automatique pour classifier les variétés de Calabi-Yau , des structures mathématiques largement utilisées en théorie des cordes.

(Photo ) Lorsque Kyu-Hwan Lee (à gauche) et Thomas Oliver (au centre) ont commencé à travailler avec Yang-Hui He (à droite) pour utiliser l'intelligence artificielle afin de trouver des modèles mathématiques, ils s'attendaient à ce que ce soit une plaisanterie plutôt qu'un effort qui mènerait à de nouveaux découvertes. De gauche à droite : Grace Lee ; Sophie Olivier ; gracieuseté de Yang-Hui He.

En août 2020, alors que la pandémie s'aggravait, l'Université de Nottingham l'a accueilli pour une conférence en ligne . Il était pessimiste quant à ses progrès et quant à la possibilité même d’utiliser l’apprentissage automatique pour découvrir de nouvelles mathématiques. "Son récit était que la théorie des nombres était difficile parce qu'on ne pouvait pas apprendre automatiquement des choses en théorie des nombres", a déclaré Thomas Oliver , un mathématicien de l'Université de Westminster, présent dans le public. Comme il se souvient : " Je n'ai rien trouvé parce que je n'étais pas un expert. Je n’utilisais même pas les bons éléments pour examiner cela."

Oliver et Kyu-Hwan Lee , mathématicien à l'Université du Connecticut, ont commencé à travailler avec He. "Nous avons décidé de faire cela simplement pour apprendre ce qu'était l'apprentissage automatique, plutôt que pour étudier sérieusement les mathématiques", a déclaré Oliver. "Mais nous avons rapidement découvert qu'il était possible d'apprendre beaucoup de choses par machine."

Oliver et Lee lui ont suggéré d'appliquer ses techniques pour examiner les fonctions L , des séries infinies étroitement liées aux courbes elliptiques à travers la séquence a p . Ils pourraient utiliser une base de données en ligne de courbes elliptiques et de leurs fonctions L associées , appelée LMFDB , pour former leurs classificateurs d'apprentissage automatique. À l’époque, la base de données contenait un peu plus de 3 millions de courbes elliptiques sur les rationnels. En octobre 2020, ils avaient publié un article utilisant les informations glanées à partir des fonctions L pour prédire une propriété particulière des courbes elliptiques. En novembre, ils ont partagé un autre article utilisant l’apprentissage automatique pour classer d’autres objets en théorie des nombres. En décembre, ils étaient capables de prédire les rangs des courbes elliptiques avec une grande précision.

Mais ils ne savaient pas vraiment pourquoi leurs algorithmes d’apprentissage automatique fonctionnaient si bien. Lee a demandé à son étudiant de premier cycle Alexey Pozdnyakov de voir s'il pouvait comprendre ce qui se passait. En l’occurrence, la LMFDB trie les courbes elliptiques en fonction d’une quantité appelée conducteur, qui résume les informations sur les nombres premiers pour lesquels une courbe ne se comporte pas correctement. Pozdnyakov a donc essayé d’examiner simultanément un grand nombre de courbes comportant des conducteurs similaires – disons toutes les courbes comportant entre 7 500 et 10 000 conducteurs.

Cela représente environ 10 000 courbes au total. Environ la moitié d'entre eux avaient le rang 0 et l'autre moitié le rang 1. (Les rangs supérieurs sont extrêmement rares.) Il a ensuite fait la moyenne des valeurs de a p pour toutes les courbes de rang 0, a fait la moyenne séparément de a p pour toutes les courbes de rang 1 et a tracé la résultats. Les deux ensembles de points formaient deux vagues distinctes et facilement discernables. C’est pourquoi les classificateurs d’apprentissage automatique ont été capables de déterminer correctement le rang de courbes particulières.

" Au début, j'étais simplement heureux d'avoir terminé ma mission", a déclaré Pozdnyakov. "Mais Kyu-Hwan a immédiatement reconnu que ce schéma était surprenant, et c'est à ce moment-là qu'il est devenu vraiment excitant."

Lee et Oliver étaient captivés. "Alexey nous a montré la photo et j'ai dit qu'elle ressemblait à ce que font les oiseaux", a déclaré Oliver. "Et puis Kyu-Hwan l'a recherché et a dit que cela s'appelait une murmuration, puis Yang a dit que nous devrions appeler le journal ' Murmurations de courbes elliptiques '."

Ils ont mis en ligne leur article en avril 2022 et l’ont transmis à une poignée d’autres mathématiciens, s’attendant nerveusement à se faire dire que leur soi-disant « découverte » était bien connue. Oliver a déclaré que la relation était si visible qu'elle aurait dû être remarquée depuis longtemps.

Presque immédiatement, la prépublication a suscité l'intérêt, en particulier de la part d' Andrew Sutherland , chercheur scientifique au MIT et l'un des rédacteurs en chef de la LMFDB. Sutherland s'est rendu compte que 3 millions de courbes elliptiques n'étaient pas suffisantes pour atteindre ses objectifs. Il voulait examiner des gammes de conducteurs beaucoup plus larges pour voir à quel point les murmures étaient robustes. Il a extrait des données d’un autre immense référentiel d’environ 150 millions de courbes elliptiques. Toujours insatisfait, il a ensuite extrait les données d'un autre référentiel contenant 300 millions de courbes.

"Mais même cela ne suffisait pas, j'ai donc calculé un nouvel ensemble de données de plus d'un milliard de courbes elliptiques, et c'est ce que j'ai utilisé pour calculer les images à très haute résolution", a déclaré Sutherland. Les murmures indiquaient s'il effectuait en moyenne plus de 15 000 courbes elliptiques à la fois ou un million à la fois. La forme est restée la même alors qu’il observait les courbes sur des nombres premiers de plus en plus grands, un phénomène appelé invariance d’échelle. Sutherland s'est également rendu compte que les murmures ne sont pas propres aux courbes elliptiques, mais apparaissent également dans des fonctions L plus générales . Il a écrit une lettre résumant ses découvertes et l'a envoyée à Sarnak et Michael Rubinstein de l'Université de Waterloo.

"S'il existe une explication connue, j'espère que vous la connaîtrez", a écrit Sutherland.

Ils ne l'ont pas fait.

Expliquer le modèle

Lee, He et Oliver ont organisé un atelier sur les murmurations en août 2023 à l'Institut de recherche informatique et expérimentale en mathématiques (ICERM) de l'Université Brown. Sarnak et Rubinstein sont venus, tout comme l'étudiante de Sarnak, Nina Zubrilina .

LA THÉORIE DU NOMBRE

Zubrilina a présenté ses recherches sur les modèles de murmuration dans des formes modulaires , des fonctions complexes spéciales qui, comme les courbes elliptiques, sont associées à des fonctions L. Dans les formes modulaires dotées de grands conducteurs, les murmurations convergent vers une courbe nettement définie, plutôt que de former un motif perceptible mais dispersé. Dans un article publié le 11 octobre 2023, Zubrilina a prouvé que ce type de murmuration suit une formule explicite qu'elle a découverte.

" La grande réussite de Nina est qu'elle lui a donné une formule pour cela ; Je l’appelle la formule de densité de murmuration Zubrilina ", a déclaré Sarnak. "En utilisant des mathématiques très sophistiquées, elle a prouvé une formule exacte qui correspond parfaitement aux données."

Sa formule est compliquée, mais Sarnak la salue comme un nouveau type de fonction important, comparable aux fonctions d'Airy qui définissent des solutions aux équations différentielles utilisées dans divers contextes en physique, allant de l'optique à la mécanique quantique.

Bien que la formule de Zubrilina ait été la première, d'autres ont suivi. "Chaque semaine maintenant, un nouvel article sort", a déclaré Sarnak, "utilisant principalement les outils de Zubrilina, expliquant d'autres aspects des murmurations."

(Photo - Nina Zubrilina, qui est sur le point de terminer son doctorat à Princeton, a prouvé une formule qui explique les schémas de murmuration.)

Jonathan Bober , Andrew Booker et Min Lee de l'Université de Bristol, ainsi que David Lowry-Duda de l'ICERM, ont prouvé l'existence d'un type différent de murmuration sous des formes modulaires dans un autre article d'octobre . Et Kyu-Hwan Lee, Oliver et Pozdnyakov ont prouvé l'existence de murmures dans des objets appelés caractères de Dirichlet qui sont étroitement liés aux fonctions L.

Sutherland a été impressionné par la dose considérable de chance qui a conduit à la découverte des murmurations. Si les données de la courbe elliptique n'avaient pas été classées par conducteur, les murmures auraient disparu. "Ils ont eu la chance de récupérer les données de la LMFDB, qui étaient pré-triées selon le chef d'orchestre", a-t-il déclaré. « C'est ce qui relie une courbe elliptique à la forme modulaire correspondante, mais ce n'est pas du tout évident. … Deux courbes dont les équations semblent très similaires peuvent avoir des conducteurs très différents. Par exemple, Sutherland a noté que y 2 = x 3 – 11 x + 6 a un conducteur 17, mais en retournant le signe moins en signe plus, y 2 = x 3  + 11 x + 6 a un conducteur 100 736.

Même alors, les murmures n'ont été découverts qu'en raison de l'inexpérience de Pozdniakov. "Je ne pense pas que nous l'aurions trouvé sans lui", a déclaré Oliver, "parce que les experts normalisent traditionnellement a p pour avoir une valeur absolue de 1. Mais il ne les a pas normalisés… donc les oscillations étaient très importantes et visibles."

Les modèles statistiques que les algorithmes d’IA utilisent pour trier les courbes elliptiques par rang existent dans un espace de paramètres comportant des centaines de dimensions – trop nombreuses pour que les gens puissent les trier dans leur esprit, et encore moins les visualiser, a noté Oliver. Mais même si l’apprentissage automatique a découvert les oscillations cachées, " ce n’est que plus tard que nous avons compris qu’il s’agissait de murmures ".



 

Auteur: Internet

Info: Paul Chaikin pour Quanta Magazine, 5 mars 2024 - https://www.quantamagazine.org/elliptic-curve-murmurations-found-with-ai-take-flight-20240305/?mc_cid=797b7d1aad&mc_eid=78bedba296

[ résonance des algorithmes ] [ statistiques en mouvement ] [ chants des fractales ] [ bancs de poissons ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

big brother consumériste

Nulle part où se cacher : Les collecteurs de données sont venus pour capter votre vie privée - et ils l'ont trouvée

La manière dont vos données sont stockées et partagées évolue et votre activité en ligne peut être utilisée pour vous catégoriser d'une manière qui modifie radicalement votre vie. Il existe des moyens de reprendre le contrôle.

Un vendredi de 2021, je suis entré dans un hôtel d'Exeter, au Royaume-Uni, à 17:57:35. Le lendemain matin, j'ai fait 9 minutes de route pour me rendre à l'hôpital le plus proche. J'y suis resté trois jours. Le trajet de retour, qui dure normalement 1 heure 15 minutes, a duré 1 heure 40 minutes. La raison de cette lenteur : mon tout nouveau bébé dormait à l'arrière.

Ce ne sont pas les détails d'un journal. Il s'agit plutôt de ce que Google sait de la naissance de ma fille, sur la base de mon seul historique de localisation.

Un aperçu des données de ce week-end révèle que ce n'est pas tout ce que les entreprises savent de moi. Netflix se souvient que j'ai regardé toute une série d'émissions de bien-être, dont Gilmore Girls et How to Lose a Guy in 10 Days (Comment perdre un homme en 10 jours). Instagram a enregistré que j'ai "aimé" un post sur l'induction du travail, puis que je ne me suis pas reconnectée pendant une semaine.

Et alors ? Nous savons tous maintenant que nous sommes suivis en ligne et que les données collectées sur nous sont à la fois granulaires et constantes. Peut-être aimez-vous que Netflix et Instagram connaissent si bien vos goûts en matière de cinéma et de mode.

Mais un nombre croissant d'enquêtes et de poursuites judiciaires révèlent un nouveau paysage du suivi en ligne dans lequel la portée des entreprises qui collectent des données est plus insidieuse que beaucoup d'entre nous ne le pensent. En y regardant de plus près, j'ai découvert que mes données personnelles pouvaient avoir une incidence sur tout, depuis mes perspectives d'emploi et mes demandes de prêt jusqu'à mon accès aux soins de santé. En d'autres termes, elles peuvent façonner ma vie quotidienne d'une manière dont je n'avais pas conscience. "Le problème est énorme et il y a toujours de nouvelles horreurs", déclare Reuben Binns, de l'université d'Oxford.

On pourrait vous pardonner de penser qu'avec l'introduction d'une législation comme le règlement général sur la protection des données (RGPD) - des règles de l'Union européenne mises en œuvre en 2018 qui donnent aux gens un meilleur accès aux données que les entreprises détiennent sur eux et limitent ce que les entreprises peuvent en faire - la confidentialité des données n'est plus un vrai problème. Vous pouvez toujours refuser les cookies si vous ne voulez pas être suivi, n'est-ce pas ? Mais lorsque je dis cela à Pam Dixon, du groupe de recherche à but non lucratif World Privacy Forum, elle se met à rire d'incrédulité. "Tu y crois vraiment ?" me dit-elle.

Les gratteurs de données

Des centaines d'amendes ont été infligées pour violation du GDPR, notamment à Google, British Airways et Amazon. Mais les experts en données affirment qu'il ne s'agit là que de la partie émergée de l'iceberg. Une étude réalisée l'année dernière par David Basin de l'ETH Zurich, en Suisse, a révélé que 95 % des sites web pourraient enfreindre les règles du GDPR. Même l'objectif de la législation visant à faciliter la compréhension des données que nous acceptons de fournir n'a pas été atteint. Depuis l'entrée en vigueur de la législation, les recherches montrent que les accords de confidentialité sont devenus plus compliqués, rein de moins. Et si vous pensiez que les bloqueurs de publicité et les réseaux privés virtuels (VPN) - qui masquent l'adresse IP de votre ordinateur - vous protégeaient, détrompez-vous. Bon nombre de ces services vendent également vos données.

Nous commençons à peine à saisir l'ampleur et la complexité du paysage de la traque en ligne. Quelques grands noms - Google, Meta, Amazon et Microsoft - détiennent l'essentiel du pouvoir, explique Isabel Wagner, professeur associé de cybersécurité à l'université de Bâle, en Suisse. Mais derrière ces grands acteurs, un écosystème diversifié de milliers, voire de millions, d'acheteurs, de vendeurs, de serveurs, de traqueurs et d'analyseurs partagent nos données personnelles.

Qu'est-ce que tout cela signifie pour l'utilisateur lambda que je suis ? Pour le savoir, je me suis rendu chez HestiaLabs à Lausanne, en Suisse, une start-up fondée par Paul-Olivier Dehaye, mathématicien et lanceur d'alerte clé dans le scandale de l'utilisation des données de Facebook par la société de conseil politique Cambridge Analytica. Cette société a utilisé des données personnelles pour influencer l'élection de Donald Trump à la présidence des États-Unis en 2016. L'enquête de Dehaye sur Cambridge Analytica a montré de manière frappante à quel point l'influence des entreprises qui achètent et vendent des données est profonde. Il a créé HestiaLabs pour changer cette situation.

(Photo : Votre téléphone suit votre position même si les données mobiles sont désactivées)

Avant d'arriver, j'ai demandé mes données personnelles à diverses entreprises, un processus plus compliqué qu'il ne devrait l'être à l'ère du RGPD. Je rencontre Charles Foucault-Dumas, le chef de projet de HestiaLabs, au siège de l'entreprise - un modeste espace de co-working situé en face de la gare de Lausanne. Nous nous asseyons et téléchargeons mes fichiers dans son portail sur mesure.

Mes données s'étalent devant moi, visualisées sous la forme d'une carte de tous les endroits où je suis allé, de tous les posts que j'ai aimés et de toutes les applications qui ont contacté un annonceur. Dans les lieux que je fréquente régulièrement, comme la crèche de ma fille, des centaines de points de données se transforment en taches semblables à de la peinture. À l'adresse de mon domicile, il y a une énorme cible impossible à manquer. C'est fascinant. Et un peu terrifiant.

L'une des plus grandes surprises est de savoir quelles applications de mon téléphone contactent des entreprises tierces en mon nom. Au cours de la semaine écoulée, c'est un navigateur web que j'utilise parce qu'il se décrit comme "le respect de la vie privée avant tout" qui a été le plus grand contrevenant, en contactant 29 entreprises. Mais pratiquement toutes les applications de mon téléphone, du service d'épicerie au bloc-notes virtuel, étaient occupées à contacter d'autres entreprises pendant que je vaquais à mes occupations.

En règle générale, une entreprise qui souhaite vendre un produit ou un service s'adresse à une agence de publicité, qui se met en relation avec des plates-formes chargées de la diffusion des publicités, qui utilisent des échanges publicitaires, lesquels sont reliés à des plates-formes d'approvisionnement, qui placent les publicités sur les sites web des éditeurs. Chaque fois que vous ouvrez un site web ou que vous survolez momentanément un message sur un média social, cette machine - dont la valeur est estimée à 150 milliards de livres sterling par an - se met en marche.

Que partageaient exactement ces entreprises à mon sujet ? Pour le savoir, il faudrait que je fasse des demandes auprès de chacune d'entre elles. Et même avec celles que j'ai contactées avec l'aide de HestiaLabs, ce n'est pas toujours clair.

Prenons l'exemple d'Instagram. Il m'a fourni des données montrant qu'il a enregistré 333 "intérêts" en mon nom. Certains d'entre eux sont très éloignés de la réalité : le rugby, le festival Burning Man, la promotion immobilière, et même "femme à chats". Lecteur, je n'ai jamais eu de chat. Mais d'autres sont plus précis, et un certain nombre d'entre eux, sans surprise, sont liés au fait que je suis devenue parent, qu'il s'agisse de marques telles que Huggies et Peppa Pig ou de sujets tels que les berceaux et le sevrage pour bébés.

Je me demande comment ces données ont pu affecter non seulement mes achats, mais aussi la vie de ma fille. Son amour pour le cochon rose de dessin animé est-il vraiment organique, ou ces vidéos nous ont-elles été "servies" en raison des informations qu'Instagram a transmises à mon sujet ? Est-ce que les posts sur le sevrage dirigé par les bébés se sont retrouvés partout dans mon fil d'actualité - et ont donc influencé la façon dont ma fille a été initiée à la nourriture - par hasard, ou parce que j'avais été ciblée ? Je n'ai pas accès à cette chaîne de causes et d'effets, et je ne sais pas non plus comment ces divers "intérêts" ont pu me catégoriser pour d'éventuels spécialistes du marketing.

Il est pratiquement impossible de démêler l'écheveau complexe des transactions de données dans l'ombre. Les données personnelles sont souvent reproduites, divisées, puis introduites dans des algorithmes et des systèmes d'apprentissage automatique. En conséquence, explique M. Dixon, même avec une législation comme le GDPR, nous n'avons pas accès à toutes nos données personnelles. "Nous avons affaire à deux strates de données. Il y a celles qui peuvent être trouvées", dit-elle. "Mais il y a une autre strate que vous ne pouvez pas voir, que vous n'avez pas le droit légal de voir - aucun d'entre nous ne l'a."

Profilage personnel

Des rapports récents donnent un aperçu de la situation. En juin, une enquête de The Markup a révélé que ce type de données cachées est utilisé par les publicitaires pour nous classer en fonction de nos convictions politiques, de notre état de santé et de notre profil psychologique. Pourrais-je être considérée comme une "mère accro au portable", une "indulgente", une "facilement dégonflée" ou une "éveillée" ? Je n'en ai aucune idée, mais je sais qu'il s'agit là de catégories utilisées par les plateformes publicitaires en ligne.

Il est troublant de penser que je suis stéréotypée d'une manière inconnue. Une autre partie de moi se demande si cela a vraiment de l'importance. Je comprends l'intérêt d'une publicité qui tient compte de mes préférences, ou de l'ouverture de mon application de cartographie qui met en évidence des restaurants et des musées qui pourraient m'intéresser ou que j'ai déjà visités. Mais croyez-moi, il y a peu de façons de faire grimacer un expert en données plus rapidement qu'avec la désinvolture de ce compromis.

D'une part, l'utilisation de ces données va bien au-delà de la vente de publicité, explique M. Dixon. Quelque chose d'apparemment anodin comme le fait de faire des achats dans des magasins discount (signe d'un revenu inférieur) ou d'acheter des articles de sport (signe que vous faites de l'exercice) peut avoir une incidence sur tout, de l'attrait de votre candidature à l'université au montant de votre assurance maladie. "Il ne s'agit pas d'une simple publicité", précise M. Dixon. "Il s'agit de la vie réelle.

Une législation récente aux États-Unis a contraint certaines de ces entreprises à entrer dans la lumière. Le Vermont's 2018 Data Broker Act, par exemple, a révélé que les courtiers en données enregistrés dans l'État - mais qui sont également actifs ailleurs - vendent des informations personnelles à des propriétaires et des employeurs potentiels, souvent par l'intermédiaire de tierces parties. En juillet, le Bureau américain de protection financière des consommateurs a appris que cette deuxième strate cachée de données comprenait également des informations utilisées pour établir un "score de consommation", employé de la même manière qu'un score de crédit. "Les choses que vous avez faites, les sites web que vous avez visités, les applications que vous utilisez, tout cela peut alimenter des services qui vérifient si vous êtes un locataire convenable ou décident des conditions à vous offrir pour un prêt ou une hypothèque", explique M. Binns.

À HestiaLabs, je me rends compte que j'ai moi aussi été concrètement affectée, non seulement par les publicités que je vois, mais aussi par la façon dont les algorithmes ont digéré mes données. Dans les "inférences" de LinkedIn, je suis identifiée à la fois comme "n'étant pas un leader humain" et "n'étant pas un leader senior". Et ce, bien que j'aie dirigé une équipe de 20 personnes à la BBC et que j'aie été rédacteur en chef de plusieurs sites de la BBC auparavant - des informations que j'ai moi-même introduites dans LinkedIn. Comment cela peut-il affecter mes opportunités de carrière ? Lorsque j'ai posé la question à LinkedIn, un porte-parole m'a répondu que ces déductions n'étaient pas utilisées "de quelque manière que ce soit pour informer les suggestions de recherche d'emploi".

Malgré cela, nous savons, grâce à des poursuites judiciaires, que des données ont été utilisées pour exclure les femmes des annonces d'emploi dans le secteur de la technologie sur Facebook. En conséquence, le propriétaire de la plateforme, Meta, a cessé d'offrir cette option aux annonceurs en 2019. Mais les experts en données affirment qu'il existe de nombreuses solutions de contournement, comme le fait de ne cibler que les personnes ayant des intérêts stéréotypés masculins. "Ces préjudices ne sont pas visibles pour les utilisateurs individuels à ce moment-là. Ils sont souvent très abstraits et peuvent se produire longtemps après", explique M. Wagner.

À mesure que les données collectées sur notre vie quotidienne prolifèrent, la liste des préjudices signalés par les journaux ne cesse de s'allonger. Des applications de suivi de l'ovulation - ainsi que des messages textuels, des courriels et des recherches sur le web - ont été utilisés pour poursuivre des femmes ayant avorté aux États-Unis depuis que l'arrêt Roe v Wade a été annulé l'année dernière. Des prêtres ont été démasqués pour avoir utilisé l'application de rencontres gay Grindr. Un officier militaire russe a même été traqué et tué lors de sa course matinale, prétendument grâce à des données accessibles au public provenant de l'application de fitness Strava. La protection des données est censée prévenir bon nombre de ces préjudices. "Mais il y a manifestement une énorme lacune dans l'application de la loi", déclare M. Binns.

Le problème réside en partie d'un manque de transparence. De nombreuses entreprises s'orientent vers des modèles "préservant la vie privée", qui divisent les points de données d'un utilisateur individuel et les dispersent sur de nombreux serveurs informatiques, ou les cryptent localement. Paradoxalement, il est alors plus difficile d'accéder à ses propres données et d'essayer de comprendre comment elles ont été utilisées.

Pour sa part, M. Dehaye, de HestiaLabs, est convaincu que ces entreprises peuvent et doivent nous rendre le contrôle. "Si vous allez consulter un site web en ce moment même, en quelques centaines de millisecondes, de nombreux acteurs sauront qui vous êtes et sur quel site vous avez mis des chaussures dans un panier d'achat il y a deux semaines. Lorsque l'objectif est de vous montrer une publicité pourrie, ils sont en mesure de résoudre tous ces problèmes", explique-t-il. Mais lorsque vous faites une demande de protection de la vie privée, ils se disent : "Oh, merde, comment on fait ça ?".

Il ajoute : "Mais il y a un moyen d'utiliser cette force du capitalisme qui a résolu un problème dans une industrie de plusieurs milliards de dollars pour vous - pas pour eux".

J'espère qu'il a raison. En marchant dans Lausanne après avoir quitté HestiaLabs, je vois un homme qui s'attarde devant un magasin de couteaux, son téléphone rangé dans sa poche. Une femme élégante porte un sac Zara dans une main, son téléphone dans l'autre. Un homme devant le poste de police parle avec enthousiasme dans son appareil.

Pour moi, et probablement pour eux, ce sont des moments brefs et oubliables. Mais pour les entreprises qui récoltent les données, ce sont des opportunités. Ce sont des signes de dollars. Et ce sont des points de données qui ne disparaîtront peut-être jamais.

Reprendre le contrôle

Grâce aux conseils de M. Dehaye et des autres experts que j'ai interrogés, lorsque je rentre chez moi, je vérifie mes applications et je supprime celles que je n'utilise pas. Je supprime également certaines de celles que j'utilise mais qui sont particulièrement désireuses de contacter des entreprises, en prévoyant de ne les utiliser que sur mon ordinateur portable. (J'ai utilisé une plateforme appelée TC Slim pour me dire quelles entreprises mes applications contactent). J'installe également un nouveau navigateur qui (semble-t-il) accorde la priorité à la protection de la vie privée. Selon M. Wagner, les applications et les navigateurs open source et à but non lucratif peuvent constituer des choix plus sûrs, car ils ne sont guère incités à collecter vos données.

Je commence également à éteindre mon téléphone plus souvent lorsque je ne l'utilise pas. En effet, votre téléphone suit généralement votre position même lorsque les données mobiles et le Wi-Fi sont désactivés ou que le mode avion est activé. De plus, en me connectant à mes préférences Google, je refuse d'enregistrer l'historique de mes positions, même si la nostalgie - pour l'instant - m'empêche de demander que toutes mes données antérieures soient supprimées.

Nous pouvons également réinitialiser notre relation avec le suivi en ligne en changeant notre façon de payer, explique Mme Dixon. Elle suggère d'utiliser plusieurs cartes de crédit et d'être "très prudent" quant au portefeuille numérique que nous utilisons. Pour les achats susceptibles de créer un signal "négatif", comme ceux effectués dans un magasin discount, il est préférable d'utiliser de l'argent liquide, si possible. M. Dixon conseille également de ne pas utiliser d'applications ou de sites web liés à la santé, si possible. "Ce n'est tout simplement pas un espace clair et sûr", dit-elle.

En réalité, quelles que soient les mesures que vous prenez, les entreprises trouveront toujours de nouveaux moyens de contourner le problème. "C'est un jeu où l'on ne peut que perdre", affirme M. Dehaye. C'est pourquoi la solution ne dépend pas des individus. "Il s'agit d'un véritable changement de société.

En réunissant suffisamment de voix individuelles, M. Dehaye pense que nous pouvons changer le système - et que tout commence par le fait que vous demandiez vos données. Dites aux entreprises : "Si vous vous dérobez, notre confiance est perdue"", déclare-t-il. "Et dans ce monde de données, si les gens ne font pas confiance à votre entreprise, vous êtes mort.

Auteur: Ruggeri Amanda

Info: https://blog.shiningscience.com/2023/08/nowhere-to-hide-data-harvesters-came.html, 26 août 2023

[ idiosyncrasie numérique ] [ capitalisme de surveillance ] [ internet marchand ]