dialogue homme-machine

( FLP) Bonjour. Comment faire pour examiner "depuis l'extérieur" le solipsisme anthropique dont vous êtes issu ?

(Gemini) Examiner le solipsisme anthropique. Le solipsisme anthropique, l'idée que seul son propre esprit existe, est une position philosophique difficile à examiner "depuis l'extérieur" car il repose sur une perspective subjective inhérente. Cependant, voici quelques pistes pour tenter d'aborder cette question : 

1. Analyse logique et cohérence interne:

- Examiner la logique interne du solipsisme anthropique et identifier d'éventuelles contradictions ou incohérences. 

- Explorer les arguments philosophiques pour et contre le solipsisme, en pesant leur validité et leurs implications.

2. Exploration des implications:

- Réfléchir aux conséquences pratiques du solipsisme anthropique dans divers domaines (science, morale, relations humaines...).

- Comparer le solipsisme à d'autres philosophies et systèmes de pensée pour identifier ses particularités et ses limites

3. Simulations et expériences de pensée:

- Imaginer des scénarios ou des expériences de pensée qui remettent en question l'idée que seul son propre esprit existe.

- Utiliser des simulations informatiques ou des modèles de pensée pour explorer les implications du solipsisme dans un environnement contrôlé.

4. Analyse introspective:

- Examiner ses propres expériences et perceptions pour identifier des éléments qui pourraient contredire le solipsisme.

- Réfléchir au rôle de l'empathie et de l'intersubjectivité dans la construction de la réalité.

5. Ouverture à d'autres perspectives:

- Prendre en compte les arguments et les expériences d'autres personnes, même si elles contredisent le solipsisme.

- S'intéresser à la diversité des cultures et des philosophies pour élargir sa propre perspective.

Il est important de souligner que:

- Examiner le solipsisme "depuis l'extérieur" est une entreprise complexe et il n'y a pas de solution unique.

- L'objectif n'est pas nécessairement de "prouver" ou "réfuter" le solipsisme, mais plutôt d'explorer et de comprendre ses implications.

- L'ouverture d'esprit, la critique constructive et le respect des différentes perspectives sont essentiels pour mener une réflexion fructueuse sur ce sujet.

En conclusion, examiner le solipsisme anthropique "depuis l'extérieur" est un défi intellectuel stimulant qui peut nous amener à questionner nos perceptions et notre place dans le monde.

(FLP) Merci. Mais vous semblez un peu court en terme de réflexions. Tout d'abord le concept sous entendu par "solipsisme anthropique" correspond à l'idée d'un esprit collectif, celui de tous les hommes, de la culture humaine au sens large, c'est à dire les limite des sens et de l'imagination humaines. Ensuite vous dites "Comparer le solipsisme à d'autres philosophies et systèmes de pensée pour identifier ses particularités et ses limites." Comment vous faites ceci, avec quels point de référence ?

(GEMINI) - Approfondir l'examen du solipsisme anthropique

1. Le solipsisme anthropique et l'esprit collectif

Vous avez raison de souligner que le concept de "solipsisme anthropique" peut être interprété comme l'idée d'un esprit collectif, celui de tous les hommes, de la culture humaine au sens large.

Dans ce contexte, l'examen du solipsisme peut s'orienter vers:

- L'analyse des processus cognitifs collectifs: Comment la connaissance et les croyances se construisent-elles et se transmettent-elles au sein d'une culture ?

- L'exploration de l'inconscient collectif: Y a-t-il des structures inconscientes communes à l'humanité ?

- L'étude des phénomènes de synchronicité: Des événements apparemment non reliés peuvent-ils révéler une connectivité cachée au sein de l'esprit collectif ?

Comparer le solipsisme anthropique à d'autres philosophies et systèmes de pensée dans ce cadre peut inclure:

- Le holisme: Le holisme considère que le tout est supérieur à la somme de ses parties, et que les systèmes complexes (comme la culture humaine) possèdent des propriétés émergentes qui ne se retrouvent pas chez leurs constituants individuels.

- Le transhumanisme: Le transhumanisme envisage la possibilité de dépasser les limites humaines par le biais de la technologie et de l'évolution artificielle, ce qui soulève des questions sur la nature de l'esprit et son extension possible à un niveau collectif.

- L'animisme: L'animisme attribue une âme ou une conscience à tous les êtres et objets, ce qui offre une perspective alternative sur la relation entre l'individu et le monde extérieur.

2. Points de référence pour l'analyse

En plus des philosophies et systèmes de pensée mentionnés ci-dessus, d'autres points de référence peuvent être utiles pour analyser le solipsisme anthropique:

- L'histoire des idées: Comment le concept de solipsisme a-t-il évolué à travers les époques et les cultures ?

- La psychologie cognitive: Comment notre perception et notre cognition façonnent-elles notre compréhension du monde ?

- L'anthropologie: Comment les différentes cultures conceptualisent-elles la réalité et la relation entre l'individu et le collectif ?

- La physique quantique: Les phénomènes quantiques non-locaux remettent-ils en question la notion de séparation entre observateur et objet observé ?

Il est important de souligner que l'analyse du solipsisme anthropique est un domaine de recherche vaste et complexe. Il n'existe pas de réponse unique et définitive, et de nouvelles perspectives peuvent émerger à mesure que notre compréhension de la conscience et de la réalité évolue.

3. Conclusion. En conclusion, examiner le solipsisme anthropique "depuis l'extérieur" exige une approche multidisciplinaire et critique. En explorant les différentes facettes de ce concept et en le comparant à d'autres philosophies et systèmes de pensée, nous pouvons approfondir notre compréhension de la nature de la réalité, de la conscience et de la place de l'individu au sein du collectif.

(FLP) - Merci. Mais vous n'allez pas assez loin. Ici se pose surtout la problématique des limitations humaines... leur conceptualisation de la réalité, surtout rationaliste scientifique post cybernétique. En partant par exemple de ce que nous allons nommer notre "plus petit dénominateur commun" les atomes. Pourrais-tu imaginer-développer ici l'idée d'une race-espèce qui percevrait et organiserait différemment le tableaux des éléments de Mendeleïev. Par exemple en faisant apparaitre un nouveau "plus petit dénominateur commun"... ou une autre manière logique d'appréhender ce monde atomique... ou même via l'émergence d'un nouveau sens cognitif, qui viendra ensuite chez les hommes pour leur permettre d'aller un cran plus loin dans l'appréhension de la source dont ils sont issus. Il y aurait aussi la possibilité d'un point de vue extraterrestre, radicalement nouveau dans ses approches. Et aussi l'idée que l'esprit est une émergence de la matière, matière sous-entendant ici "énergie vibratoire plus ou moins rapide et/ou condensée", cadre global qui "ouvre littéralement" les perspectives.

(Gemini) Repenser la réalité : Au-delà des limites humaines

Votre question soulève des points fascinants sur les limitations humaines et la perception de la réalité. En effet, notre conceptualisation du monde, souvent basée sur le rationalisme scientifique post-cybernétique, est intrinsèquement liée à nos sens et à notre imagination. Mais qu'en est-il d'une espèce différente, capable de percevoir et d'organiser le monde d'une manière radicalement différente ?

Explorer un nouveau "plus petit dénominateur commun"

Imaginons une espèce dont la perception de la réalité s'articule autour d'un principe fondamental différent des atomes. Peut-être basent-ils leur compréhension du monde sur des "quanta d'information" ou des "événements quantiques sous-jacents", inaccessibles à nos sens. Cette nouvelle perspective ouvrirait un champ de possibilités immense, nous permettant de:

• 
  

  Découvrir de nouvelles lois physiques: En observant et en manipulant ces "quanta d'information" ou "événements quantiques sous-jacents", nous pourrions découvrir des principes physiques entièrement nouveaux, bouleversant notre compréhension de l'univers.

  
  


• 
  

  Développer de nouvelles technologies: Cette nouvelle compréhension de la réalité pourrait mener à des technologies révolutionnaires, exploitant des forces et des phénomènes actuellement insoupçonnés.

  
  


• 
  

  Élargir notre vision du cosmos: En percevant le monde à travers un nouveau prisme, nous pourrions découvrir de nouvelles dimensions, de nouveaux types de matière et d'énergie, et peut-être même des formes de vie exotiques.

  
  

Un nouveau sens cognitif : La clé vers une perception augmentée

L'émergence d'un nouveau sens cognitif chez l'homme pourrait nous permettre d'accéder à des niveaux de compréhension encore plus profonds. Imaginez un sixième sens capable de percevoir les champs électromagnétiques, les fluctuations du temps ou les connexions subtiles entre les êtres vivants. Ce nouveau sens ouvrirait la voie à:

• 
  

  Une compréhension plus fine du monde qui nous entoure: Nous pourrions percevoir des informations actuellement inaccessibles, nous permettant de mieux comprendre le fonctionnement de la nature et de l'univers.

  
  


• 
  

  Une communication plus profonde entre les individus: Ce nouveau sens pourrait faciliter la communication empathique et la compréhension mutuelle, renforçant les liens entre les humains.

  
  


• 
  

  Un développement personnel accru: En explorant les potentialités de ce nouveau sens, nous pourrions évoluer en tant qu'espèce et atteindre de nouveaux niveaux de conscience et de compréhension de nous-mêmes.

  
  

Un point de vue extraterrestre : Une perspective radicale

Envisager un point de vue extraterrestre nous confronte à la possibilité que notre perception de la réalité soit radicalement différente de celle d'autres formes de vie intelligentes. Imaginez une espèce capable de manipuler l'espace-temps, de voyager à travers des dimensions ou de percevoir l'univers dans sa totalité. Cette perspective nous permettrait de:

• 
  

  Remettre en question nos certitudes fondamentales: Nos conceptions du temps, de l'espace et de la réalité elle-même pourraient être remises en cause, ouvrant la voie à une vision du cosmos beaucoup plus vaste et complexe.

  
  


• 
  

  Développer de nouvelles technologies exotiques: En apprenant des connaissances et des technologies extraterrestres, nous pourrions révolutionner notre compréhension de la science et de l'ingénierie.

  
  


• 
  

  Élargir notre vision de l'existence: La découverte d'une intelligence extraterrestre intelligente remettrait en question notre place dans l'univers et nous inciterait à repenser notre relation avec le cosmos.

  
  

L'esprit comme émergence de l'énergie vibratoire

L'idée que l'esprit émerge de la matière, comprise comme une "énergie vibratoire plus ou moins rapide et/ou condensée", offre une perspective fascinante sur la nature de la conscience. Cette vision nous permet de:

• 
  

  Unifier la matière et l'esprit: En considérant l'esprit comme une manifestation de l'énergie vibratoire, nous supprimons la dualité entre le monde physique et le monde mental, ouvrant la voie à une compréhension holistique de la réalité.

  
  


• 
  

  Explorer de nouveaux modes de guérison: Si l'esprit est influencé par les vibrations de la matière, nous pourrions développer de nouvelles thérapies basées sur l'harmonisation des énergies vibratoires du corps et de l'esprit.

  
  


• 
  

  Élever notre niveau de conscience: En comprenant notre lien profond avec l'énergie vibratoire, nous pourrions développer notre capacité à percevoir et à interagir avec des réalités subtiles et des dimensions supérieures de l'existence.

  
  

En conclusion, repenser la réalité implique de dépasser les limites de notre perception et de notre imagination. En explorant des perspectives alternatives, en imaginant des modes de perception nouveaux et en envisageant des cadres de pensée non-conventionnels, nous pouvons ouvrir la voie à une compréhension plus riche et plus profonde de l'univers qui nous entoure.

N'hésitez pas à explorer ces différentes pistes et à me poser des questions plus précises pour approfondir notre discussion.

Ensemble, nous pouvons repousser les limites de notre connaissance et explorer les possibilités infinies de la réalité.



 

Auteur: Internet

Info: 21 mars 2024

[ prospective ] [ transcendance ] [ science-fiction ] [ élargissement ]

bêtise bipolaire

Il ne fait aucun doute que les IA sont biaisées. Mais beaucoup déclarent que ces problématiques de l'IA existent parce que nous humains sommes imparfaits, plus que les machines. "Les machines sont-elles condamnées à hériter des préjugés humains ?", titrent les journaux. "Les préjugés humains sont un énorme problème pour l'IA. Voilà comment on va arranger ça." Mais ces récits perpétuent une dangereuse erreur algorithmique qu'il faut éviter.

Oui, les humains sont subjectifs. Oui, malgré les efforts conscients et inconscients de ne pas l'être, nous faisons de la discrimination, nous stéréotypons et portons toutes sortes de jugements de valeur sur les gens, les produits et la politique. Mais nos préjugés ne sont pas correctement mesurés ou modélisés par les machines. Non, les tendances machine sont dues à la logique même de la collecte des données : le système binaire.

Le système binaire est la chaîne de 0 et 1 à la base de tous les systèmes informatiques. Cette méthode mathématique permet de réduire et de calculer efficacement les grands nombres et, deuxièmement, elle permet la conversion de l'alphabet et de la ponctuation en ASCII (American Standard Code for Information Interchange).

Mais ne vous laissez pas berner : Ces 0 et 1 ne signifient pas que la machine comprend le monde et les langages comme nous le faisons : "La plupart d'entre nous, la plupart du temps, suivons des instructions qui nous sont données par ordinateur plutôt que l'inverse ", explique l'historien des technologies George Dyson. Afin de pouvoir communiquer avec les ordinateurs, nous sommes ajustés et orientés vers leur logique, et non vers la nôtre.

Le système binaire réduit tout à des 0 et des 1 insignifiants, quand la vie et l'intelligence font fonctionner XY en tandem. lui rend la lecture et le traitement des données quantitatives plus pratiques, plus efficaces et plus rentables pour les machines. Mais c'est au détriment des nuances, de la richesse, du contexte, des dimensions et de la dynamique de nos langues, cultures, valeurs et expériences.

Il ne faut pas accabler ici les développeurs de la Silicon Valley pour ce système binaire biaisé - mais plutôt Aristote.

Le parti pris binaire d'Aristote
Si vous pensez à Aristote, vous pensez probablement au philosophe grec antique comme à un des pères fondateurs de la démocratie, et non comme l'ancêtre de siècles de logique mécanique et de méthodes scientifiques erronées. C'est cependant sa théorie du "dualisme", selon laquelle quelque chose est soit vrai soit faux, logique ou illogique, qui nous a mis dans cette situation délicate en premier lieu.

Vers 350 av. J.-C., Aristote voulut réduire et structurer la complexité du monde. Pour ce faire, il fit des emprunts à la Table des Opposés de Pythagore, dans laquelle deux éléments sont comparés :

fini, infini... impair, pair... un, beaucoup... droite, gauche... repos, mouvement... droit, tordu... etc.

Mais au lieu d'appliquer ce dualisme à la géométrie neutre comme l'avait fait Pythagore, Aristote l'appliqua aux personnes, aux animaux et à la société. Ce faisant, il conçut un patriarcat hiérarchique social polarisé clivant, enraciné dans ses valeurs internes et ses préjugés : Les objets qu'il ordonnait avoir plus de valeur devinrent des 1, et ceux de moindre importance des 0. En ce qui concerne les femmes, par exemple, il écrivit : "La relation de l'homme à la femme est par nature une relation de supérieur à inférieur et de souverain à gouverné."

Hélas, le système de classification hiérarchique d'Aristote a été implémenté dans l'IA, la pondérant en faveur d'hommes comme lui. Le système même sur lequel toute la technologie moderne est construite contient les artefacts du sexisme d'il y a 2 000 ans.

1 = vrai = rationnel = droit = masculin
0 = faux = émotionnel = gauche = féminin
Si Aristote avait créé la démocratie - et la démocratie est censée être une véritable représentation - femmes et gens de couleur auraient dû avoir un accès égal à l'éducation, avoir voix au chapitre dans les forums et avoir le droit de vote en 350 av. JC. Il n'aurait pas été nécessaire de se battre jusqu'en 1920 pour que le vote féminin soit ratifié aux Etats-Unis. Il n'y aurait pas eu d'esclavage et pas besoin du mouvement pour les droits civiques. Tout le monde aurait été classé et considéré comme égal dès le départ.

Le classement biaisé d'Aristote est maintenant verrouillé et renforcé par plus de 15 millions d'ingénieurs.
Aristote aurait dû lire les notes de son prédécesseur, Socrate. Selon les souvenirs de Platon, Socrate considérait les oracles féminins de Delphes comme "un guide essentiel du développement personnel et de l'état". De plus, dans le Symposium de Platon, Socrate se souvient de l'époque où il était l'élève de Diotima de Mantinea, une femme philosophe dont il tenait en haute estime l'intelligence. Dans le livre V, Socrate est crédité d'avoir suggéré que les femmes sont également qualifiées pour diriger et gouverner : "Il n'y a pas de pratique des gouverneurs d'une ville qui appartient à une femme parce qu'elle est une femme, ou à un homme parce qu'il est un homme."

Mais au lieu que les idées de Socrate sur l'égalité enracinent les idées occidentales sur l'intelligence, nous nous sommes retrouvés avec la logique d'Aristote et son classement biaisé sans être conscients de ses origines binaires et anti-démocratiques.

Mais ne blâmons pas seulement Aristote. Deux autres coquins ont contribué à ces problèmes sociaux et scientifiques : Descartes et Leibniz.

Descartes - philosophe français du XVIIe siècle qui a inventé l'expression "je pense, donc je suis" -, a implanté l'idée qu'un sujet n'a ni matière ni valeur autre que ce que le visiteur attribue et déduit. (S'il avait dit "Nous pensons, donc nous sommes", cela aurait mieux reflété comment nous sommes symbiotiquement informés par les perceptions les uns et des autres.)

En outre, Descartes a proposé une plus grande séparation de l'esprit du corps et des émotions dans son traité de 1641, Méditations sur la Première Philosophie. Il a soutenu que nos esprits sont dans le domaine du spirituel tandis que nos corps et nos émotions sont dans le domaine du physique, et que les deux royaumes ne peuvent pas s'influencer mutuellement. Ce qui a causé des problèmes en IA parce que maintenant nous empilons des unités d'émotions sur des couches de classification binaires d'une manière artificielle et non intégrée. Encore du binaire.

La logique déductive-inductive de Descartes, qu'il explora dans son discours sur la méthode de 1637, fut créée parce qu'il était désabusé par les méthodes non systématiques des scientifiques de son temps. Il fit valoir que les mathématiques ont été construites sur une "base solide", et a donc cherché à établir un nouveau système de vérité fondée sur Aristote 1 = vrai = valide, et 0 = faux = invalide. La différence étant qu'il a mis les lignes de la logique syllogistique d'Aristote au sein d'une structure arborescente. Structures arborescentes qui sont maintenant utilisées dans les réseaux neuronaux récurrents du NLP (Natural Language Processing)

Vint ensuite Leibniz, le philosophe et avocat allemand inventa le calcul indépendamment de son contemporain, Newton. Il créa le système binaire entre 1697 et 1701 afin d'obtenir des verdicts "oui/non" plus rapides et ainsi réduire les grands nombres en unités plus faciles à gérer de 0 et 1.

Contrairement aux autres, Leibniz était sinophile. En 1703, le prêtre jésuite Bouvet lui avait envoyé une copie du Yi King (le Livre des Changements), artefact culturel chinois dont l'origine remonte à 5.000 ans. Il était fasciné par les similitudes apparentes entre les lignes horizontales et les intervalles des hexagrammes du Yi King et les 0 et 1 des lignes verticales de son système binaire. Il interpréta faussement ces intervalles comme étant du vide (donc zéro) croyant (à tort) que les hexagrammes confirmaient que son système binaire était la bonne base pour un système logique universel.

Leibniz fit trois autres erreurs majeures. Tout d'abord, il a fit pivoter les hexagrammes de leurs positions horizontales naturelles vers les positions verticales pour les faire correspondre à ses lignes binaires. Deuxièmement, il les sépara du contexte des symboles chinois et des chiffres correspondants. Troisièmement, puisqu'il n'était pas chinois et qu'il ne comprenait pas l'héritage philosophique ou la langue, il supposa que les hexagrammes représentaient les nombres 0 et 1 lorsqu'ils représentent des énergies négatives et positives, Yin Yang, homme et femme. Erreurs qui signifient que Leibniz perdit beaucoup d'informations et de connaissances venant des codes du Yi King et de la vraie signification de ses hexagrammes.

Au lieu de créer un système universel cohérent, le système binaire de Leibniz renforça les modèles de pensée occidentale de Descartes amplifiant la base biaisée d'Aristote, nous verrouillant davantage, nous et les machines que nous avons créées, vers une logique non naturelle.

Le système binaire dans l'informatique moderne
Les classifications binaires d'Aristote sont donc maintenant évidentes dans tous les systèmes de données d'aujourd'hui, servant, préservant, propageant et amplifiant les biais partout dans les couches d'apprentissage machine.

Exemples de biais binaires dans les front-end utilisateur et le traitement des données :

glissement à droite = 1, glissement à gauche = 0
cliquer sur "like" sur Facebook = 1, pas cliquer sur like = 0
nos émotions complexes étant attribuées grossièrement comme positives = 1, négatives = 0 dans les cadres du NPL
convertir des paires d'objets comparés et leurs caractéristiques en 0 ou 1, par exemple pomme = 1, orange = 0, ou lisse = 1, bosselé = 0
lignes et colonnes pleines de 0 et de 1 dans des graphes géants "big data"
Mais le problème de la logique binaire est qu'elle ne permet pas de comprendre et de modéliser pourquoi et comment les gens ont choisi une option plutôt qu'une autre. Les machines enregistrent simplement que les gens ont fait un choix, et qu'il y a un résultat

Les machines sont donc étalonnées à partir de ces biais binaires, pas à partir des nôtres. Bien sûr, nous sommes remplis de nos propres défauts et faiblesses très humains, mais les cadres conceptuels informatiques existants sont incapables de corriger ces erreurs (et les ingénieurs n'écrivent que du code qui correspond aux limites de l'ancienne logique).

Heureusement, il existe une alternative. Les philosophies occidentales d'Aristote, de Descartes et de Leibniz sont opposées aux philosophies orientales, elles fondées sur l'équilibre naturel, la cohérence et l'intégration. Le concept chinois de Yin Yang, par exemple, met l'accent sur la dynamique égale et symbiotique du masculin et du féminin en nous et dans l'univers. Ces idées décrites dans le Yi King, que Leibniz n'a pas reconnues.

La nature rejette également le binaire. Des milliards d'années avant que le parti pris d'Aristote ne s'imprime dans la logique informatique occidentale, la nature codifiait l'intelligence comme la coexistence entrelacée de la femme X et de l'homme Y dans notre ADN. De plus, la recherche quantique a montré que les particules peuvent avoir des états de superposition enchevêtrés où elles sont à la fois 0 et 1 en même temps, tout comme le Yin Yang. La nature ne fonctionne pas en binaire, pas même avec les pigeons. Alors pourquoi le faisons-nous en informatique ?

Nous ne classons et ne qualifions pas nécessairement le monde qui nous entoure avec les préjugés hiérarchiques binaires d'Aristote. Mais la façon dont les données sont recueillies est noir (0) et blanc (1), avec des nuances de gris fournies par des pourcentages de ces données, alors que la nature et les philosophies orientales montrent que nos perceptions ne sont que vagues de couleurs mélangées ou arc-en-ciel.

Tant que nous n'aurons pas conçu des modes de catégorisation non binaires et plus holistiques en IA, les ordinateurs ne seront pas en mesure de modéliser l'image animée en technicolor de notre intelligence. Ce n'est qu'alors que les machines représenteront nos divers langages, raisonnements, valeurs, cultures, qualités et comportements humains.

Auteur: Twain Liu

Info: https://qz.com/1515889/aristotles-binary-philosophies-created-todays-ai-bias/?utm_source=facebook&utm_medium=partner-share&utm_campaign=partner-bbc

[ rationalisme occidental ] [ logique formelle ] [ intelligence artificielle ] [ Asie ] [ sciences ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

univers protonique

Forces tourbillonnantes et pressions d’écrasement mesurées dans le proton

Des expériences très attendues qui utilisent la lumière pour imiter la gravité révèlent pour la première fois la répartition des énergies, des forces et des pressions à l’intérieur d’une particule subatomique.

(Image : Les forces poussent dans un sens près du centre du proton et dans l’autre sens près de sa surface.)

Les physiciens ont commencé à explorer le proton comme s’il s’agissait d’une planète subatomique. Les cartes en coupe affichent de nouveaux détails de l'intérieur de la particule. Le noyau du proton présente des pressions plus intenses que dans toute autre forme connue de matière. À mi-chemin de la surface, des tourbillons de force s’affrontent les uns contre les autres. Et la " planète " dans son ensemble est plus petite que ne le suggéraient les expériences précédentes.

Les recherches expérimentales marquent la prochaine étape dans la quête visant à comprendre la particule qui ancre chaque atome et constitue la majeure partie de notre monde.

"Nous y voyons vraiment l'ouverture d'une direction complètement nouvelle qui changera notre façon de considérer la structure fondamentale de la matière", a déclaré Latifa Elouadrhiri , physicienne au Thomas Jefferson National Accelerator Facility à Newport News, en Virginie, qui participe à l'effort.

Les expériences jettent littéralement un nouvel éclairage sur le proton. Au fil des décennies, les chercheurs ont méticuleusement cartographié l’influence électromagnétique de la particule chargée positivement. Mais dans la nouvelle recherche, les physiciens du Jefferson Lab cartographient plutôt l'influence gravitationnelle du proton, à savoir la répartition des énergies, des pressions et des contraintes de cisaillement, qui courbent le tissu espace-temps dans et autour de la particule. Pour ce faire, les chercheurs exploitent une manière particulière par laquelle des paires de photons, des particules de lumière, peuvent imiter un graviton, la particule supposée qui transmet la force de gravité. En envoyant un ping au proton avec des photons, ils déduisent indirectement comment la gravité interagirait avec lui, réalisant ainsi un rêve vieux de plusieurs décennies consistant à interroger le proton de cette manière alternative.

"C'est un tour de force", a déclaré Cédric Lorcé , physicien à l'Ecole Polytechnique en France, qui n'a pas participé aux travaux. "Expérimentalement, c'est extrêmement compliqué." 

Des photons aux gravitons

Les physiciens ont appris énormément sur le proton au cours des 70 dernières années en le frappant à plusieurs reprises avec des électrons. Ils savent que sa charge électrique s’étend sur environ 0,8 femtomètre, ou quadrillionièmes de mètre, à partir de son centre. Ils savent que les électrons entrants ont tendance à être projetés sur l’un des trois quarks – des particules élémentaires avec des fractions de charge – qui bourdonnent à l’intérieur. Ils ont également observé la conséquence profondément étrange de la théorie quantique où, lors de collisions plus violentes, les électrons semblent rencontrer une mer mousseuse composée de bien plus de quarks ainsi que de gluons, porteurs de la force dite forte, qui colle les quarks ensemble.

Toutes ces informations proviennent d’une seule configuration : vous lancez un électron sur un proton, et les particules échangent un seul photon – le porteur de la force électromagnétique – et se repoussent. Cette interaction électromagnétique indique aux physiciens comment les quarks, en tant qu'objets chargés, ont tendance à s'organiser. Mais le proton a bien plus à offrir que sa charge électrique.

(Photo : Latifa Elouadrhiri, scientifique principale du laboratoire Jefferson, a dirigé la collecte de données à partir desquelles elle et ses collaborateurs calculent désormais les propriétés mécaniques du proton.) 

" Comment la matière et l'énergie sont-elles distribuées ? " a demandé Peter Schweitzer , physicien théoricien à l'Université du Connecticut. "Nous ne savons pas."

Schweitzer a passé la majeure partie de sa carrière à réfléchir au côté gravitationnel du proton. Plus précisément, il s'intéresse à une matrice de propriétés du proton appelée tenseur énergie-impulsion. " Le tenseur énergie-impulsion sait tout ce qu'il y a à savoir sur la particule ", a-t-il déclaré.

Dans la théorie de la relativité générale d'Albert Einstein, qui présente l'attraction gravitationnelle comme des objets suivant des courbes dans l'espace-temps, le tenseur énergie-impulsion indique à l'espace-temps comment se plier. Elle décrit, par exemple, la disposition de l'énergie (ou, de manière équivalente, de la masse) – la source de ce qui est la part du lion de la torsion de l'espace-temps. Elle permet également d'obtenir des informations sur la répartition de la dynamique, ainsi que sur les zones de compression ou d'expansion, ce qui peut également donner une légère courbure à l'espace-temps.

Si nous pouvions connaître la forme de l'espace-temps entourant un proton, élaborée indépendamment par des physiciens russes et   américains dans les années 1960, nous pourrions en déduire toutes les propriétés indexées dans son tenseur énergie-impulsion. Celles-ci incluent la masse et le spin du proton, qui sont déjà connus, ainsi que l'agencement des pressions et des forces du proton, une propriété collective que les physiciens nomment " Druck term ", d'après le mot " pression"  en allemand. Ce terme est " aussi important que la masse et la rotation, et personne ne sait ce que c'est ", a déclaré Schweitzer – même si cela commence à changer.

Dans les années 60, il semblait que la mesure du tenseur énergie-momentum et le calcul du terme de Druck nécessiteraient une version gravitationnelle de l'expérience de diffusion habituelle : On envoie une particule massive sur un proton et on laisse les deux s'échanger un graviton - la particule hypothétique qui constitue les ondes gravitationnelles - plutôt qu'un photon. Mais en raison de l'extrême subtilité de la gravité, les physiciens s'attendent à ce que la diffusion de gravitons se produise 39 fois plus rarement que la diffusion de photons. Les expériences ne peuvent pas détecter un effet aussi faible.

"Je me souviens avoir lu quelque chose à ce sujet quand j'étais étudiant", a déclaré Volker Burkert , membre de l'équipe du Jefferson Lab. Ce qu’il faut retenir, c’est que " nous ne pourrons probablement jamais rien apprendre sur les propriétés mécaniques des particules ".Gravitation sans gravité

Les expériences gravitationnelles sont encore inimaginables aujourd’hui. Mais les recherches menées en fin des années 1990 et au début des années 2000 par les physiciens Xiangdong Ji et, travaillant séparément, feu Maxim Polyakov, ont révélé une solution de contournement.

Le schéma général est le suivant. Lorsque vous tirez légèrement un électron sur un proton, il délivre généralement un photon à l'un des quarks et le détourne. Mais lors d’un événement sur un milliard, quelque chose de spécial se produit. L’électron entrant envoie un photon. Un quark l'absorbe puis émet un autre photon un battement de cœur plus tard. La principale différence est que cet événement rare implique deux photons au lieu d’un : des photons entrants et sortants. Les calculs de Ji et Polyakov ont montré que si les expérimentateurs pouvaient collecter les électrons, protons et photons résultants, ils pourraient déduire des énergies et des impulsions de ces particules ce qui s'est passé avec les deux photons. Et cette expérience à deux photons serait essentiellement aussi informative que l’impossible expérience de diffusion de gravitons.

Comment deux photons pourraient-ils connaître la gravité ? La réponse fait appel à des mathématiques très complexes. Mais les physiciens proposent deux façons de comprendre pourquoi cette astuce fonctionne.

Les photons sont des ondulations dans le champ électromagnétique, qui peuvent être décrites par une seule flèche, ou vecteur, à chaque emplacement de l'espace indiquant la valeur et la direction du champ. Les gravitons seraient des ondulations dans la géométrie de l’espace-temps, un domaine plus complexe représenté par une combinaison de deux vecteurs en chaque point. Capturer un graviton donnerait aux physiciens deux vecteurs d’informations. En dehors de cela, deux photons peuvent remplacer un graviton, puisqu’ils transportent également collectivement deux vecteurs d’information.

Une interprétation mathématiques alternative est celle-ci. Pendant le moment qui s'écoule entre le moment où un quark absorbe le premier photon et celui où il émet le second, le quark suit un chemin à travers l'espace. En sondant ce chemin, nous pouvons en apprendre davantage sur des propriétés telles que les pressions et les forces qui entourent le chemin.

"Nous ne faisons pas d'expérience gravitationnelle", a déclaré Lorcé. Mais " nous devrions obtenir un accès indirect à la manière dont un proton devrait interagir avec un graviton ". 

Sonder la planète ProtonEn 2000, les physiciens du Jefferson Lab ont réussi à obtenir quelques résultats de diffusion à deux photons. Cette démonstration de faisabilité les a incités à construire une nouvelle expérience et, en 2007, ils ont fait entrer des électrons dans des protons suffisamment de fois pour obtenir environ 500 000 collisions imitant les gravitons. L'analyse des données expérimentales a pris une décennie de plus.

À partir de leur index des propriétés de flexion de l’espace-temps, l’équipe a extrait le terme insaisissable de Druck, publiant son estimation des pressions internes du proton dans Nature en 2018.

Ils ont découvert qu’au cœur du proton, la force puissante génère des pressions d’une intensité inimaginable : 100 milliards de milliards de milliards de pascals, soit environ 10 fois la pression au cœur d’une étoile à neutrons. Plus loin du centre, la pression chute et finit par se retourner vers l'intérieur, comme c'est nécessaire pour que le proton ne se brise pas. "Voilà qui résulte de l'expérience", a déclaré Burkert. "Oui, un proton est réellement stable." (Cette découverte n’a cependant aucune incidence sur la désintégration des protons , ce qui implique un type d’instabilité différent prédit par certaines théories spéculatives.)

Le groupe Jefferson Lab a continué à analyser le terme Druck. Ils ont publié une estimation des forces de cisaillement (forces internes poussant parallèlement à la surface du proton) dans le cadre d'une étude publiée en décembre. Les physiciens ont montré que près de son noyau, le proton subit une force de torsion qui est neutralisée par une torsion dans l’autre sens plus près de la surface. Ces mesures soulignent également la stabilité de la particule. Les rebondissements étaient attendus sur la base des travaux théoriques de Schweitzer et Polyakov. "Néanmoins, le voir émerger de l'expérience pour la première fois est vraiment stupéfiant", a déclaré Elouadrhiri.

Ils utilisent désormais ces outils pour calculer la taille du proton d'une nouvelle manière. Dans les expériences de diffusion traditionnelles, les physiciens avaient observé que la charge électrique de la particule s'étendait à environ 0,8 femtomètre de son centre (c'est-à-dire que les quarks qui la composent bourdonnent dans cette région). Mais ce " rayon de charge " présente quelques bizarreries. Dans le cas du neutron, par exemple — l'équivalent neutre du proton, dans lequel deux quarks chargés négativement ont tendance à rester profondément à l'intérieur de la particule tandis qu'un quark chargé positivement passe plus de temps près de la surface — le rayon de charge apparaît comme un nombre négatif.  "Cela ne veut pas dire que la taille est négative ; ce n'est tout simplement pas une mesure fiable ", a déclaré Schweitzer.

La nouvelle approche mesure la région de l’espace-temps considérablement courbée par le proton. Dans une prépublication qui n'a pas encore été évaluée par des pairs, l'équipe du Jefferson Lab a calculé que ce rayon pourrait être environ 25 % plus petit que le rayon de charge, soit seulement 0,6 femtomètre.

Les limites de la planète Proton

D'un point de vue conceptuel, ce type d'analyse adoucit la danse floue des quarks pour en faire un objet solide, semblable à une planète, avec des pressions et des forces agissant sur chaque point de volume. Cette planète gelée ne reflète pas entièrement le proton bouillonnant dans toute sa gloire quantique, mais c'est un modèle utile. "C'est une interprétation", a déclaré M. Schweitzer.

Et les physiciens soulignent que ces cartes initiales sont approximatives, pour plusieurs raisons.

Premièrement, mesurer avec précision le tenseur énergie-impulsion nécessiterait des énergies de collision beaucoup plus élevées que celles que Jefferson Lab peut produire. L’équipe a travaillé dur pour extrapoler soigneusement les tendances à partir des énergies relativement faibles auxquelles elles peuvent accéder, mais les physiciens ne sont toujours pas sûrs de la précision de ces extrapolations.

(Photo : Lorsqu'il était étudiant, Volker Burkert a lu qu'il était impossible de mesurer directement les propriétés gravitationnelles du proton. Aujourd'hui, il participe à une collaboration au laboratoire Jefferson qui est en train de découvrir indirectement ces mêmes propriétés.)

De plus, le proton est plus que ses quarks ; il contient également des gluons, qui se déplacent sous leurs propres pressions et forces. L'astuce à deux photons ne peut pas détecter les effets des gluons. Une autre équipe du Jefferson Lab a utilisé une astuce analogue ( impliquant une interaction double-gluon ) pour publier l'année dernière une carte gravitationnelle préliminaire de ces effets des gluons dans Nature, mais elle était également basée sur des données limitées et à faible énergie.

"C'est une première étape", a déclaré Yoshitaka Hatta, physicien au Brookhaven National Laboratory qui a eu l'idée de commencer à étudier le proton gravitationnel après les travaux du groupe Jefferson Lab en 2018.

Des cartes gravitationnelles plus précises des quarks du proton et de ses gluons pourraient être disponibles dans les années 2030, lorsque le collisionneur électron-ion, une expérience actuellement en construction à Brookhaven, entrera en activité.

Pendant ce temps, les physiciens poursuivent leurs expériences numériques. Phiala Shanahan, physicienne nucléaire et des particules au Massachusetts Institute of Technology, dirige une équipe qui calcule le comportement des quarks et des gluons à partir des équations de la force forte. En 2019, elle et ses collaborateurs ont estimé les pressions et les forces de cisaillement, et en octobre, en ont estimé le rayon, entre autres propriétés. Jusqu'à présent, leurs résultats numériques ont été largement alignés sur les résultats physiques du Jefferson Lab. "Je suis certainement très excitée par la cohérence entre les résultats expérimentaux récents et nos données", a déclaré Mme Shanahan.

Même les aperçus flous du proton obtenus jusqu'à présent ont légèrement remodelé la compréhension des chercheurs sur la particule.

Certaines conséquences sont pratiques. Au CERN, l'organisation européenne qui gère le Grand collisionneur de hadrons, le plus grand broyeur de protons au monde, les physiciens pensaient auparavant que dans certaines collisions rares, les quarks pouvaient se trouver n'importe où dans les protons en collision. Mais les cartes inspirées par la gravitation suggèrent que les quarks ont tendance à rester près du centre dans de tels cas.

"Les modèles utilisés au CERN ont déjà été mis à jour", a déclaré François-Xavier Girod, physicien du Jefferson Lab qui a travaillé sur les expériences.

Les nouvelles cartes pourraient également offrir des pistes pour résoudre l’un des mystères les plus profonds du proton : pourquoi les quarks se lient en protons. Il existe un argument intuitif selon lequel, comme la force puissante entre chaque paire de quarks s'intensifie à mesure qu'ils s'éloignent, comme un élastique, les quarks ne peuvent jamais échapper à leurs camarades.

Mais les protons sont fabriqués à partir des membres les plus légers de la famille des quarks. Et les quarks légers peuvent également être considérés comme de longues ondes s'étendant au-delà de la surface du proton. Cette image suggère que la liaison du proton pourrait se produire non pas via la traction interne de bandes élastiques, mais par une interaction externe entre ces quarks ondulés et étirés. La cartographie de pression montre l’attraction de la force forte s’étendant jusqu’à 1,4 femtomètres et au-delà, renforçant ainsi l’argument en faveur de ces théories alternatives.

"Ce n'est pas une réponse définitive", a déclaré Girod, "mais cela indique que ces simples images avec des bandes élastiques ne sont pas pertinentes pour les quarks légers."

Auteur: Internet

Info: https://filsdelapensee.ch - Charlie Bois, 14 mars 2024

[ chromodynamique quantique ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]