théorie du tout

Notre réalité est pure information. Information géométrique. L'information étant le sens, sous forme de symbolisme. 

D'où la question, quel type d'information pour exprimer un langage géométrique ?

Information implique signification. Mais que veut dire signification ?

C'est une comparaison, c'est à dire la perception de quelque chose relativement à quelque chose d'autre. Ainsi, pour pouvoir exister une chose doit être perçue, ou mesurée, par quelque forme de conscience. 

Einstein a montré que passé et futur existent simultanément dans un objet géométrique ; de fait tous les temps existent conjointement (les mathématiques le montrent de plein de manières). Donc : passé et futur s'influençant sans cesse, tout est toujours dans l'instant présent. Alors, si chaque moment influence et co-crée chaque autre moment dans quelque sens que ce soit, la réalité ne peut qu'être un massif  réseau neuronal qui sillonne l'espace et le temps.

Réseau doté d'une spécificité étonnante. Il serait son propre créateur.

Parallèlement, comme l'a démontré la mécanique quantique, le futur n'est pas prédéterminé. Conséquemment existe le libre-arbitre.

Comment marche le libre-arbitre ? La physique quantique montre que la réalité n'existe que lorsqu'elle est observée. Wheeler déclara en son temps que la réalité est constitué d'informations, elles-mêmes créées par l'observation. Frank Wilczec ajouta ensuite que la physique quantique reste obscure et sujette à débat. Et qu'elle le restera tant qu'on aura pas défini, au sein du formalisme quantique, un observateur, entité moderne dont les conditions et/ou contours correspondent à une caricature reconnaissable de la conscience consciente. C'est à dire une entité, pas nécessairement terrestre, capable d'observer et mesurer.

Mais comment pourrait être cette entité ? Je suis, nous sommes... tous conscient, mais qu'est-.ce que cela veut dire ?

On sait juste que la conscience est liée de manière proche à  la science physique mais personne ne sait dire ce qu'elle hors de l'idée qu'elle joue un rôle central dans l'existence du réel.

Est-elle juste l'émergence d'une boucle de rétroaction de causalité ? Heisenberg développa en son temps les maths matricielles, arrivant à la conclusion que la réalité est pixelliseé en nano unités tridimensionnelles insécables, de la taille la plus petite dans l'échelle de Planck. Chacune (nommée tétrahedron, c'est à dire un polyèdre composé de quatre faces triangulaires) fonctionnant comme nos pixels sur les écrans TV.

Hélas ce qui précède n'apporte aucune preuve que cet espace, le notre, soit un tel ensemble uniforme, homogène, fluide, etc.  Malgré tout, mathématiquement, tout converge vers la consolidation de cette idée d'une pixellisation de la réalité.

Du coup quel code géométrique sera-t'il à même de modéliser cette réalité pixellisée ?

Les recherches au CERN ou ailleurs  sur la physique des particules conduisent toutes vers ce que les physiciens nomment "transformation de symétrie de jauge", chacune menant vers une notion de forme, géomètrique donc.

Mais ici apparait une forme, et pas n'importe laquelle. Il s'agit d'un modèle géométrique à 8 dimensions, plus précisément un crystal 8 D (Rappelons que crystal signifie motif périodique), modèle qu'on pourra se représenter tel un "treillis à 8  dimensions" (E8 lattice), structure 8 D qui présente 240 noeuds, ou points tournants (vertex-vertices), que nous nommons gosset polytope.

Lorsque ce gosset polytope est projeté en 4 dimensions il se métamorphose en deux formes identiques de tailles différentes, dont le ratio est précisément 0,618, c'est à dire celui du nombre d'or, constante fondamentale de la nature qui apparait à toutes les échelles de l'univers connu (par exemple il détermine le moment précis ou un trou noir passe de positif à négatif en étant partie de l'équation qui précise la limite inférieure de son entropie). Il se rapporte aussi à la gravité de la boucle quantique.

Ainsi ce ratio de Fibonnaci unifie les limites inférieures et supérieures (cosmiques - quantique) de la préhension du réel par les scientifiques, physiciens pour grande partie.

Et, si on revient aux maths matricielles qui fonctionnent à partir d'eigen values (Valeur propre, vecteur propre et espace propre) indiquées comme triviales (1,2 ou 0) ou non triviales (pour les nombres plus complexes.) on arrive à la partie intéressante : les deux plus grandes probabilités d'eigenvalues non triviales qui apparaissent dans une matrice binaire sont :

-  le golden ratio  et

-1 sur (over) le nombre d'or.

Tel est le lien très profond qui unit mécanique quantique et cosmologie. Ce ratio, qui est apparu dans un grand nombre d'observations, a cependant toujours été appréhendé par les scientifiques comme un truc d'amateurs. Et maintenant on constate, une fois de plus, que ce nombre d'or apparait vraiment partout.

Pour terminer résumons ici les sept indices que nous donne la nature pour contruire cette théorie du tout (emergence theory)

information

indéterminisme

boucle de causalité

conscience

pixellisation

cristal E 8  (à 8 dimensions)

nombre d'or

Auteur: Anonyme

Info: Youtube - Quantum Gravity Research, What Is Reality? Official Film. https://www.youtube.com/watch?v=w0ztlIAYTCU

[ sciences ] [ septénaire ] [ miroir anthropocentrique ] [ monde humain consensuel ] [ atemporalité ] [ programme de langlands ]

USA

Le paysage médiatique en Amérique est dominé par les "fausses nouvelles". Depuis des décennies. Ces fausses nouvelles n’émanent pas du Kremlin. C’est une industrie de plusieurs milliards de dollars par an, qui est habilement conçue et gérée par des agences de relations publiques, des publicistes et des services de communications au nom d’individus précis, du gouvernement, et des sociétés pour manipuler l’opinion publique.
Cette industrie de la propagande met en scène des pseudo-événements pour façonner notre perception de la réalité. Le public est tellement inondé par ces mensonges, livrés 24 heures par jour à la radio, à la télévision et dans la presse écrite, que les téléspectateurs et les lecteurs ne peuvent plus distinguer entre la vérité et la fiction.
Donald Trump et les théoriciens racistes-conspirateurs, les généraux et les milliardaires autour de lui, ont hérité et exploité cette situation, tout comme ils ont hérité et exploiteront la destruction des libertés civiles et l’effondrement des institutions démocratiques. Trump n’a pas créé ce vide politique, moral et intellectuel. C’est l’inverse. Ce vide a créé un monde où les faits changent avec l’opinion, où les célébrités ont d’énormes mégaphones tout simplement parce que ce sont des célébrités, où l’information doit être divertissante et où nous avons la possibilité de croire ce que nous voulons, indépendamment de la vérité. Un démagogue comme Trump est le résultat que vous obtenez quand la culture et la presse tournent au burlesque.
Les journalistes ont depuis longtemps renoncé à décrire un monde objectif ou à donner la parole aux hommes et aux femmes ordinaires. Ils ont été conditionnés pour répondre aux demandes des entreprises. Les personnalités de l’actualité, qui gagnent souvent des millions de dollars par an, deviennent courtisanes. Elles vendent des commérages. Elles favorisent le consumérisme et l’impérialisme. Elles bavardent sans cesse au sujet des sondages, des stratégies, de la présentation et des tactiques ou jouent à des jeux de devinettes sur les rendez-vous présidentiels à venir. Elles comblent l’absence de nouvelles avec des histoires triviales, conduites émotionnellement, qui nous font sentir bien dans notre peau. Ils sont incapables de produire de véritables reportages. Elles s’appuient sur des propagandistes professionnels pour encadrer toute discussion et débat.
Il y a des journalistes établis qui ont passé toute leur carrière à reformuler des communiqués de presse ou à participer à des séances d’information officielles ou à des conférences de presse – j’en connaissais plusieurs lorsque j’étais au New York Times. Ils travaillent comme sténographes des puissants. Beaucoup de ces reporters sont très estimés dans la profession.
Les entreprises qui possèdent des médias, contrairement aux anciens empires de presse, voient les nouvelles comme simplement une autre source de revenus publicitaires. Ces revenus concourent au bénéfice de l’entreprise. Lorsque le secteur des nouvelles ne produit pas ce qui est considéré comme un profit suffisant, la hache tombe. Le contenu n’est pas pertinent. Les courtisans de la presse, redevables à leurs seigneurs dans l’entreprise, s’accrochent férocement à des places privilégiées et bien rémunérées. Parce qu’ils endossent servilement les intérêts du pouvoir des entreprises, ils sont haïs par les travailleurs américains, qu’ils ont rendus invisibles. Ils méritent la haine qu’ils suscitent.
La plupart des rubriques d’un journal – "style de vie", voyages, immobilier et mode, entre autres – sont conçues pour s’adresser au 1%. Ce sont des appâts pour la publicité. Seulement environ 15% de la surface rédactionnelle de n’importe quel journal est consacrée aux nouvelles. Si vous supprimez de ces 15% le contenu fourni par l’industrie des relations publiques à l’intérieur et à l’extérieur du gouvernement, le pourcentage de nouvelles tombe à un seul chiffre. Pour les nouvelles diffusées par les ondes et le câble, le pourcentage des nouvelles véritables, rapportées de façon indépendante, serait proche de zéro.
L’objet des fausses nouvelles est de façonner l’opinion publique, en créant des personnalités fantoches et des réponses émotionnelles qui submergent la réalité. Hillary Clinton, contrairement à la façon dont elle a souvent été dépeinte lors de la récente campagne présidentielle, n’a jamais combattu dans l’intérêt des femmes et des enfants – elle avait défendu la destruction d’un système d’aide sociale dans lequel 70% des bénéficiaires étaient des enfants. Elle est un outil des grandes banques, de Wall Street et de l’industrie de guerre. De pseudo-événements ont été créés pour maintenir la fiction de son souci pour les femmes et les enfants, de sa compassion et de ses liens avec les gens ordinaires. Trump n’a jamais été un grand homme d’affaires. Il a une longue histoire de faillites et de pratiques commerciales obscures. Mais il a joué le rôle fictif d’un titan de la finance dans son émission de télé-réalité, L’Apprenti.
"Les pseudo-événements qui inondent notre conscience ne sont ni vrais ni faux, dans le vieux sens familier", écrit Daniel Boorstin dans son livre L’image : un guide des pseudo-événements en Amérique : "Les mêmes progrès qui les ont rendues possibles, ont aussi rendu les images plus réalistes, plus attirantes, plus impressionnantes et plus convaincantes que la réalité elle-même, bien que planifiées, artificielles ou déformées."
La réalité est consciemment prémâchée en récits faciles à digérer. Ceux qui sont impliqués dans les relations publiques, les campagnes politiques et le gouvernement ressassent implacablement le message. Ils ne s’écartent pas du simple slogan criard ou du cliché qu’ils sont invités à répéter. C’est une espèce de conversation continue avec des bébés.
"Les raffinements de la raison et les nuances d’ombre de l’émotion ne peuvent pas atteindre un public considérable", a noté cyniquement Edward Bernays, le père des relations publiques modernes.
Le rythme trépidant et le format abrégé de la télévision excluent les complexités et les nuances. La télévision est manichéenne, bien et mal, noir et blanc, héros et méchant. Elle nous fait confondre les émotions induites avec la connaissance. Elle renforce le récit mythique de la vertu et de la bonté américaines. Elle rend hommage à des experts et spécialistes soigneusement sélectionnés par les élites du pouvoir et l’idéologie régnante. Elle discrédite ou ridiculise tous ceux qui s’opposent.
Le Parti démocrate est-il assez stupide pour croire qu’il a perdu l’élection présidentielle à cause des courriels fuités de John Podesta et de la décision du directeur du FBI, James Comey, peu de temps avant le vote, d’envoyer une lettre au Congrès à propos du serveur de messagerie privé de Clinton ? La direction du parti démocrate ne peut-elle pas voir que la cause première de la défaite est qu’elle a abandonné les travailleurs pour promouvoir les intérêts des entreprises ? Ne comprend-t’elle pas que, bien que ses mensonges et sa propagande aient fonctionné pendant trois décennies, les Démocrates ont fini par perdre leur crédibilité auprès de ceux qu’ils avaient trahis ?
L’indignation de l’establishment démocratique, au sujet de la fuite de courrier électronique vers le site de WikiLeaks, ignore le fait qu’une telle divulgation d’information dommageable est une tactique employée couramment par le gouvernement des États-Unis et d’autres, y compris la Russie, pour discréditer des individus et des entités. Cela fait partie intégrante de la presse. Personne, même au sein du parti démocrate, n’a fait valoir de façon convaincante que les emails de Podesta étaient fabriqués. Ces courriels sont réels. Ils ne peuvent pas être étiquetés fausses nouvelles.
En tant que correspondant à l’étranger, j’ai reçu régulièrement des informations divulguées, parfois confidentielles, de divers groupes ou gouvernements cherchant à endommager certaines cibles. L’agence de renseignement nationale d’Israël, le Mossad, m’avait parlé d’un petit aéroport appartenant au gouvernement iranien à l’extérieur de Hambourg, en Allemagne. Je suis allé à l’aéroport et j’ai publié une enquête qui a constaté que, comme les Israéliens m’en avaient correctement informé, l’Iran l’utilisait pour démonter du matériel nucléaire, l’expédier en Pologne, le remonter et l’envoyer vers l’Iran par avion. L’aéroport a été fermé après mon article.
Dans un autre cas, le gouvernement des États-Unis m’a remis des documents montrant qu’un membre important du parlement chypriote et son cabinet d’avocats blanchissaient de l’argent pour la mafia russe. Mon histoire a paralysé les affaires légitimes du cabinet d’avocats et a incité le politicien à poursuivre The New York Times et moi. Les avocats du journal ont choisi de contester la poursuite devant un tribunal chypriote, en disant qu’ils ne pouvaient pas obtenir un procès équitable là-bas. Ils m’ont dit que, pour éviter l’arrestation, je ne devais pas retourner à Chypre.
Je pourrais remplir plusieurs colonnes avec des exemples comme ceux-ci.
Les gouvernements n’organisent pas des fuites parce qu’ils se soucient de la démocratie ou d’une presse libre. Ils le font parce qu’il est dans leur intérêt de faire tomber quelqu’un ou quelque chose. Dans la plupart des cas, parce que le journaliste vérifie l’information divulguée, la nouvelle n’est pas un faux. C’est lorsque le journaliste ne vérifie pas l’information – comme ce fut le cas lorsque le New York Times a rapporté sans scrupule les accusations de l’administration Bush prétendant faussement que Saddam Hussein avait des armes de destruction massive en Irak – qu’il participe à la vaste industrie des fausses nouvelles.
De fausses nouvelles sont maintenant utilisées pour dépeindre des sites d’information indépendants, y compris Truthdig, et des journalistes indépendants, comme des informateurs ou des agents involontaires de la Russie. Les élites des partis républicain et démocrate utilisent des fausses nouvelles dans leur tentative pour présenter Trump comme une marionnette du Kremlin et invalider l’élection. Aucune preuve convaincante de telles accusations n’a été rendue publique. Mais la fausse nouvelle est devenue un bélier dans la dernière série de diffamations russophobes.
Dans une lettre à Truthdig, datée du 7 décembre, l’avocat du Washington Post (qui a publié un article le 24 novembre à propos d’allégations selon lesquelles Truthdig et quelque 200 autres sites Web étaient des outils de propagande russe), disait que l’auteur de l’article, Craig Timberg connaissait l’identité des accusateurs anonymes de PropOrNot, le groupe qui a fait les accusations. [Note de la rédaction de Truthdig : l’avocat a écrit, en partie, au sujet de l’article du 24 novembre et de PropOrNot, "La description de l’article repose sur des rapports substantiels de M. Timberg, y compris de nombreuses entrevues, des vérifications d’antécédents de personnes spécifiques impliquées dans le groupe (dont les identités étaient connues de Timberg, contrairement à vos spéculations). […]"]. Le Washington Post dit qu’il doit protéger l’anonymat de PropOrNot. Il a transmis une fausse accusation sans preuve. Les victimes, dans ce cas, ne peuvent pas répondre adéquatement, parce que les accusateurs sont anonymes. Ceux qui sont diffamés sont informés qu’ils devraient faire appel à PropOrNot pour obtenir que leurs noms soient retirés de la liste noire du groupe. Ce procédé de raisonnement circulaire donne de la crédibilité aux groupes anonymes qui établissent des listes noires et propagent des fausses nouvelles, ainsi qu’aux mensonges qu’ils répandent.
La transformation culturelle et sociale du XXe siècle, dont E.P. Thompson a parlé dans son essai Time, Work-Discipline, and Industrial Capitalism, s’est avérée être beaucoup plus que l’étreinte d’un système économique ou la célébration du patriotisme. Cela fait partie, a-t-il souligné, d’une réinterprétation révolutionnaire de la réalité. Elle marque l’ascendant de la culture de masse, la destruction de la culture authentique et de la véritable vie intellectuelle.
Richard Sennett, dans son livre The Fall of the Public Man, a identifié la montée de la culture de masse comme l’une des forces principales derrière ce qu’il a appelé une nouvelle "personnalité collective […] engendrée par un fantasme commun". Et les grands propagandistes du siècle sont non seulement d’accord, mais ajoutent que ceux qui peuvent manipuler et façonner ces fantasmes déterminent les directions prises par la "personnalité collective".
Cette énorme pression interne, cachée à la vue du public, rend la production d’un bon journalisme et d’une bonne érudition très, très difficile. Les journalistes et les universitaires qui se soucient de la vérité, et ne reculent pas, sont soumis à une coercition subtile, parfois ouverte, et sont souvent purgés des institutions.
Les images, qui sont le moyen par lequel la plupart des gens ingèrent maintenant les informations, sont particulièrement enclines à être transformées en fausses nouvelles. La langue, comme le remarque le critique culturel Neil Postman, "ne fait sens que lorsqu’elle est présentée comme une suite de propositions. La signification est déformée lorsqu’un mot ou une phrase est, comme on dit, pris hors contexte. Quand un lecteur ou un auditeur est privé de ce qui a été dit avant et après". Les images n’ont pas de contexte. Elles sont "visibles d’une manière différente". Les images, surtout lorsqu’elles sont livrées en segments longs et rapides, démembrent et déforment la réalité. Le procédé "recrée le monde dans une série d’événements idiosyncrasiques".
Michael Herr, qui a couvert la guerre du Vietnam pour le magazine Esquire, a observé que les images de la guerre présentées dans les photographies et à la télévision, à la différence du mot imprimé, obscurcissent la brutalité du conflit. "La télévision et les nouvelles ont toujours été présentées comme ayant mis fin à la guerre, a déclaré M. Herr. J’ai pensé le contraire. Ces images ont toujours été vues dans un autre contexte – intercalées entre les publicités – de sorte qu’elles sont devenues un entremet sucré dans l’esprit du public. Je pense que cette couverture a prolongé la guerre."
Une population qui a oublié l’imprimerie, bombardée par des images discordantes et aléatoires, est dépouillée du vocabulaire ainsi que du contexte historique et culturel permettant d’articuler la réalité. L’illusion est la vérité. Un tourbillon d’élans émotionnels fabriqués nourrit notre amnésie historique.
Internet a accéléré ce processus. Avec les nouvelles par câble, il a divisé le pays en clans antagonistes. Les membres d’un clan regardent les mêmes images et écoutent les mêmes récits, créant une réalité collective. Les fausses nouvelles abondent dans ces bidonvilles virtuels. Le dialogue est clos. La haine des clans opposés favorise une mentalité de troupeau. Ceux qui expriment de l’empathie pour l’ennemi sont dénoncés par leurs compagnons de route pour leur impureté supposée. C’est aussi vrai à gauche qu’à droite. Ces clans et leurs troupeaux, gavés régulièrement de fausses nouvelles conçues pour émouvoir, ont donné naissance à Trump.
Trump est habile à communiquer à travers l’image, les slogans tapageurs et le spectacle. Les fausses nouvelles, qui dominent déjà la presse écrite et la télévision, définiront les médias sous son administration. Ceux qui dénonceront les mensonges seront vilipendés et bannis. L’État dévoué aux grandes entreprises multinationales a créé cette machine monstrueuse de propagande et l’a léguée à Trump. Il l’utilisera.

Auteur: Hedges Chris

Info: Internet, Truthdig, 18 décembre 2016

[ Etats-Unis ] [ Russie ] [ vingt-et-unième siècle ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]