authenticité

Je n'ai pas l'intention de raconter les diverses aventures qui nous arrivèrent, à moi et à mon fils, ensemble et séparément, avant notre arrivée dans le pays de Molloy. Ce serait fastidieux. Mais ce n'est pas là ce qui m'arrête. Tout est fastidieux, dans ce récit qu'on m'impose. Mais je le mènerai à mon gré, jusqu'à un certain point. Et s'il n'a pas l'heur de plaire, au commanditaire, s'il y trouve des passages désobligeants pour lui ou pour ses associés, tant pis pour nous tous, pour eux tous, car il n'y a plus de pis pour moi. C'est-à-dire que pour m'en faire une idée il me faudrait plus d'imagination que je n'en ai. Et cependant j'en ai plus qu'autrefois. Et ce triste travail de clerc qui n'est pas de mon ressort, je m'y soumets pour des raisons qui ne sont pas celles qu'on pourrait croire. J'obéis encore aux ordres, si l'on veut, mais ce n'est plus la crainte qui m'inspire. Si, j'ai toujours peur, mais c'est plutôt là un effet de l'habitude. Et la voix que j'écoute, je n'ai pas eu besoin de Gaber pour me la transmettre. Car elle est en moi et elle m'exhorte à être jusqu'au bout ce fidèle serviteur que j'ai toujours été, d'une cause qui n'est pas la mienne, et de remplir patiemment mon rôle jusque dans ses dernières amertumes et extrémités, comme je voulais, du temps de mon vouloir, que les autres fissent. Et cela dans la haine de mon maître et le mépris de ses desseins. Comme vous voyez, c'est une voix assez ambiguë et qui n'est pas toujours facile à suivre, dans ses raisonnements et décrets. Mais je la suis néanmoins, plus ou moins, je la suis en ce sens, que je la comprends, et en ce sens, que je lui obéis. Et les voix sont rares je crois dont on puisse en dire autant.

Auteur: Beckett Samuel

Info: In "Molloy", éd. de Minuit, p. 178-179

[ écriture ] [ fidélité ] [ motivation ] [ source ] [ témoignage ]

cognition

Cependant, des questions se posent. Existe-t-il des gens qui ne soient pas de naïfs réalistes, ou des situations particulières lors desquelles le réalisme naïf disparaît ?
Ma théorie - celle de l'auto-modélisation de la subjectivité - prédit que dès qu'une représentation consciente devient opaque (c'est-à-dire dès qu'on la vit comme une représentation), on perd le réalisme naïf. Cela se produit chaque fois qu'à l'aide d'autres représentations de second ordre nous prenons conscience du processus de construction - de toutes les ambiguïtés et étapes dynamiques précédant l'état stable qui émerge à la fin.
Ou autrement, si cette fenêtre est sale ou fissurée, nous nous rendons immédiatement compte que la perception consciente n'est qu'une interface et prenons conscience du médium lui-même.
En clair, si le livre entre vos mains devient moins transparent, vous le ressentirez comme un état d'esprit plutôt que comme un élément du monde extérieur. Vous douterez même de son existence indépendante. Ce sera plus comme une pensée de livre qu'une perception de livre. C'est précisément ce qui se produit dans diverses situations - par exemple lors d'hallucinations visuelles au cours desquelles le patient est conscient d'halluciner, ou lors d'illusions d'optique ordinaires lorsque nous réalisons que nous ne sommes pas en contact véritable avec la réalité.
Si on pouvait consciemment faire l'expérience des premières étapes du traitement de la représentation du livre qu'on a entre les mains l'image deviendrait probablement instable et ambiguë, elle commencerait à respirer et à bouger légèrement. Sa surface deviendrait irisée, scintillant simultanément de couleurs différentes. Immédiatement on se demandera si ça peut être un rêve, si nos yeux ont un problème, ou si quelqu'un a mélangé un puissant hallucinogène à notre boisson.
Un segment du mur du tunnel de l'Ego a perdu sa transparence et la nature auto-construite du flux global de l'expérience a surgi. De manière non conceptuelle et entièrement non théorique, on comprend soudain, mieux que jamais, le fait que ce monde, en ce moment même, n'apparaît qu'à nous.

Auteur: Metzinger Thomas

Info: Le Tunnel de l'Ego : Science de l'esprit et mythe du moi

[ psyché ]

pouvoir sémantique temporel

Le fait est général: on sait que toutes les religions ont fait la fortune d'une langue qu'elles ont maintenue contre vents et marées. C'est le cas du sanscrit pour le brahmanisme, du latin pour le catholicisme, de l'hébreu pour la religion israélite, etc. Mais la Réforme a ceci de particulier qu'au contraire de toutes ces religions elle a toujours adopté la langue parlée par le peuple et non pas une langue morte ou en passe de le devenir. Ainsi, la traduction de la Bible en allemand a joué un rôle non négligeable dans l'histoire linguistique et politique et des Etats allemands, et le même fait apparaît, nous venons de le voir, au pays de Galles. La religion peut donc sauver une langue, mais son intervention est ambiguë car elle restreint en même temps cette langue à certains secteurs, ceux précisément qui lui abandonne la langue dominante. Le fait est flagrant pour le pays de Galles où, face à l'anglais langue officielle de l'administration et de l'école, le gallois restera du XVIe au XIXe siècle la langue des écoles parallèles; mais il est assez général, Mostefa Lacheraf signale par exemple qu'en Algérie "chez le peuple la langue française fut décrétée langue d'ici-bas, par opposition à l'arabe qui devenait langue du mérite spirituel dans l'autre vie" et cette "sauvegarde d'une langue peut donc se transformer assez vite en une autre forme d'enterrement. La langue dominante (ici le français) occupe le domaine profane, c'est-à-dire tout ce qui concerne la vie quotidienne, l'administration, la justice, les techniques, la politique, les études, etc. tandis que la langue dominée (ici l'arabe) est refoulée vers le domaine sacré. Ainsi l'opposition langue dominée-langue dominante se trouve convertie en opposition entre ancien et nouveau: la langue dominée est plus ou moins obligée de s'assumer comme langue confessionnelle, rétrograde, du moins est-ce l'image que les mass media lui renvoient d'elle-même. Il s'est produit dans l'hexagone un phénomène semblable avec le breton, présenté par la IIIe République laïque et glottophage comme la langue des curés (voir chapitre VII).

Auteur: Calvet Louis-Jean

Info: Linguistique et colonialisme

[ langage ]

histoire légendaire

[...] le mythe a dans l’ensemble un caractère de fiction. Mais cette fiction présente une stabilité qui ne la rend aucunement malléable aux modifications qui peuvent lui être apportées, ou, plus exactement, qui implique que toute modification en implique de ce fait même une autre, suggérant invariablement la notion d’une structure. D’autre part, cette fiction entretient un rapport singulier avec quelque chose qui est toujours impliqué derrière elle, et dont elle porte même le message formellement indiqué, à savoir la vérité. Voilà quelque chose qui ne peut être détaché du mythe. [...]

Le mythe se présente aussi dans sa visée avec un caractère d’inépuisable. Pour employer un terme ancien, disons qu’il participe du caractère d’un schème au sens kantien. Il est beaucoup plus près de la structure que de tout contenu, et se retrouve et se réapplique, au sens le plus matériel du mot, sur toutes sortes de données, avec cette efficacité ambiguë qui le caractérise. Le plus adéquat, c’est de dire que la sorte de moule que donne la catégorie mythique est un certain type de vérité, où, pour nous limiter à ce qui est notre champ et notre expérience, nous ne pouvons pas ne pas voir qu’il s’agit d’une relation de l’homme – mais à quoi ? [...]

Il ne tient qu’à nous de nous apercevoir qu’il s’agit des thèmes de la vie et de la mort, de l’existence et de la non-existence, de la naissance tout spécialement, c’est-à-dire de l’apparition de ce qui n’existe pas encore. Il s’agit donc des thèmes qui sont liés, d’une part, à l’existence du sujet lui-même et aux horizons que son expérience lui apporte, d’autre part au fait qu’il est le sujet d’un sexe, de son sexe naturel. Voilà à quoi l’expérience nous montre que l’activité mythique est employée chez l’enfant. [...]

Les mythes, tels qu’ils se présentent dans leur fiction, visent toujours plus ou moins, non pas l’origine individuelle de l’homme, mais son origine spécifique, la création de l’homme, la genèse de ses relations nourricières fondamentales, l’invention des grandes ressources humaines, le feu, l’agriculture, la domestication des animaux. Nous y trouvons aussi constamment mis en question le rapport de l’homme avec une force secrète, maléfique ou bénéfique, mais essentiellement caractérisée par ce qu’elle a de sacré.

Cette puissance sacrée, diversement désignée dans les récits mythiques qui expliquent comment l’homme est venu en relation avec elle, se laisse situer pour nous dans une identité manifeste avec le pouvoir de signification, et très spécialement de son instrument signifiant.

Auteur: Lacan Jacques

Info: dans le "Séminaire, Livre IV", "La relation d'objet", éditions du Seuil, 1994, pages 353 à 355

[ caractéristiques ] [ psychanalyse ] [ parole ]

recherche extrême

Si le déni du signifiant chez le dépressif rappelle le mécanisme de la perversion, deux remarques s’imposent.

D’abord, dans la dépression, le déni est d’une puissance supérieure à celle du déni pervers, qui atteint l’identité subjective elle-même et non seulement l’identité sexuelle mise en cause par l’inversion (homosexualité) ou la perversion (fétichisme, exhibitionnisme, etc.). Le déni annihile jusqu’aux introjections du dépressif et lui laisse le sentiment d’être sans valeur, "vide". En se dépréciant et en se détruisant, il consume toute possibilité d’objet, ce qui est aussi un moyen détourné de le préserver... ailleurs, intouchable. Les seules traces d’objectalité que conserve le dépressif sont les affects. [...] Aussi l’affect dépressif – et sa verbalisation dans les cures, mais aussi dans les œuvres d’art – est-il la panoplie perverse du dépressif, sa source de plaisir ambiguë qui comble le vide et évince la mort, préservant le sujet aussi bien du suicide que de l’accès psychotique.

Parallèlement, les diverses perversions apparaissent, dans cette optique, comme l’autre face du déni dépressif. [...] Ces actes et relations avec des objets partiels préservent le sujet et son objet d’une destruction totale et procurent, avec l’homéostase narcissique, une vitalité qui contrecarre Thanatos. La dépression est ainsi mise entre parenthèses, mais au prix d’une dépendance souvent vécue comme atroce vis-à-vis du théâtre pervers où se déploient les objets et les relations omnipotentes qui évitent l’affrontement à la castration et font écran à la douleur de la séparation pré-œdipienne. La faiblesse du fantasme qui est évincé par le passage à l’acte témoigne de la permanence du déni du signifiant au niveau du fonctionnement mental dans les perversions. Ce trait rejoint l’inconsistance du symbolique vécue par le dépressif ainsi que l’excitation maniaque par des actes qui ne deviennent effrénés qu’à condition d’être considérés insignifiants.

[...] Le déni dépressif [...] atteint jusqu’aux possibilités de représentation d’une cohérence narcissique et prive, par conséquent, le sujet de sa jubilation auto-érotique, de son "assomption jubilatoire". Seule demeure alors la domination masochique des replis narcissiques par un surmoi sans médiation qui condamne l’affect à rester sans objet, fût-il partiel, et à ne se représenter à la conscience que comme veuf, endeuillé, douloureux. Cette douleur affective, résultante du déni, est un sens sans signification, mais elle est utilisée comme écran contre la mort. Lorsque cet écran cède aussi, il ne reste comme seul enchaînement ou acte possible que l’acte de rupture, de dés-enchaînement, imposant le non-sens de la mort : défi pour les autres ainsi retrouvés au titre de rejetés, ou bien consolidation narcissique du sujet qui se fait reconnaître, par un passage à l’acte fatal, comme ayant toujours été hors du pacte symbolique parental, c’est-à-dire là où le déni (parental ou le sien propre) l’avait bloqué.

Auteur: Kristeva Julia

Info: Dans "Soleil noir", éditions Gallimard, 1987, pages 60-61

[ conjonction impossible ] [ absurde ] [ suicide ]

mystère

Le Pentagone a admis qu'il enquêtait sur les ovnis dans le cadre d'une initiative gouvernementale secrète connue sous le nom de "Advanced Aerospace Threat Identification Program (AATIP)".

Le ministère de la Défense affirmait avoir fermé l'AATIP en 2012, mais le porte-parole Christopher Sherwood a déclaré au Post que le ministère continue d'enquêter sur d'éventuelles observations d'Ovnis.

"Le ministère de la Défense est toujours préoccupé par le maintien d'une identification fiable de tous les aéronefs dans notre environnement opérationnel, ainsi que l'identification de toute capacité étrangère qui pourrait constituer une menace pour notre pays", a déclaré Sherwood.

"Le ministère continuera d'enquêter, selon les procédures normales, sur les cas d'aéronefs non identifiés rencontrés par des aviateurs militaires américains afin d'assurer la défense de la patrie et la protection contre les surprises stratégiques des adversaires de notre nation."

Nick Pope, qui a secrètement enquêté sur les OVNI pour le gouvernement britannique dans les années 1990, a qualifié les commentaires de la Défense de "bombe".

Pope, un ancien responsable de la défense britannique devenu auteur, a déclaré : "Les déclarations officielles précédentes étaient ambiguës et laissaient la porte ouverte à la possibilité que l'AATIP s'intéresse simplement aux menaces aéronautiques de la prochaine génération, comme le prétendaient les sceptiques, que ce soit les avions, les missiles ou les drones.
Cette nouvelle admission montre clairement qu'ils ont vraiment étudié ce que le public appelle des Ufos... (...) Cela montre aussi l'influence britannique, car UAP était le terme que nous utilisions au ministère de la Défense afin de nous distancier de tout le bagage de la culture pop qui accompagnait le terme OVNI.

L'existence de l'AATIP a été révélée en 2017, lorsque l'ancien leader de la majorité au Sénat Harry Reid (D-NV) a annoncé avoir organisé le financement annuel de 22 millions $ du programme. Reid avait dit au New York Times que c'était "l'une des bonnes choses que j'ai faites dans mon service au Congrès".

Le New York Times a publié l'article après que le DoD a publié une vidéo de 33 secondes via l'AATIP, mettant en scène un objet aéroporté poursuivi au large de la côte de San Diego par deux avions de la marine en 2004.

Dimanche, nous avons rendu compte d'un éditorial écrit par Christopher Mellon dans The Hill, sur le fait que depuis 2015, "des dizaines d'avions de chasse F-18 de la Marine ont rencontré des phénomènes aériens non identifiés (UAP) - autrefois communément appelés UFO - au large de la côte Est des États-Unis, certains non loin de la capitale nationale. Des rencontres ont été rapportées par d'autres avions militaires et des avions de ligne civils ailleurs aux États-Unis et à l'étranger, y compris des vidéos tournées par des passagers aériens."

Ce qu'étaient ces UAP et qui les pilotait - qu'il s'agisse d'amis, d'ennemis ou de forces inconnues - reste une énigme . Pourtant, un examen attentif des données mène inévitablement à une conclusion possible et troublante : Un adversaire potentiel des États-Unis maîtrise des technologies que nous ne comprenons pas, et possède des capacités que nous ne pouvons pas égaler.

"Il est grand temps que le Congrès recueille les réponses à ces questions et qu'il partage au moins certaines de ses conclusions avec le public." (Dans le journal The Hill)

Alors, de quoi s’agit-il. Que se passe-t'il là-bas ?

Auteur: Internet

Info: https://nypost.com Wed, 05/22/2019 - 22:05

[ Etats-unis ] [ extraterrestres ]

scepticisme

Les nouvelles disent que les derniers sondages confirment que la moitié des Américains croient que la vie extraterrestre existe. Plus étrange, une bonne partie pense qu'on visite la terre.
Plusieurs émissions de TV récentes en ont encore parlé, affirmant que de tels véhicules, atterriraient de temps en temps, assez longtemps pour permettre à leurs passagers d'entreprendre de bizarres expériences sur des citoyens malchanceux. Alors que ces visions impressionnantes suggèrent qu'on ira finalement au fond de la "discussion UFO" cela n'arrive jamais.
C'est parce que les preuves sont faibles. Lors d’un show récent auquel j'ai participé, les experts en la matière invités - qui ont longtemps étudié les UFOs - ont plaidé pour la présence extraterrestre en montrant des photographies de soucoupes putatives à de basses altitudes. Certains de ces objets apparaissant comme de simple lumières de feux à l’extérieur ; d'autres ressemblaient à des frisbees.
Comme c’est ambigu, ça demande davantage d'attention. Comment peut-on savoir si ce ne sont pas des projectiles jetés en l'air par un hoaxer utilisant un appareil-photo ? La réponse d'un expert : "ces photos sont un exemple". Une fois questionné sur le fait de savoir quel échantillon était maîtrisé, sa réponse fut "les effets atmosphériques nous donnent une indication sur la distance et des examens soigneux éliminent la supercherie photographique". Bien, c'est plus risqué, et ça se fonde sur une certaine prétention quant aux conditions atmosphériques (était-ce un jour brumeux sur San Francisco ?). Bref, ça ne prouve rien.
Un vrai projectile aéroporté exempt de supercherie photographique. La preuve additionnelle est "le témoignage des expert". Les pilotes, astronautes, et d'autres, tous ont prétendu avoir vu d'étranges choses se promenant dans l'air. Il est raisonnable de dire que ces témoins ont vu quelque chose. Mais ce n'est pas parce que tu ne reconnais pas un phénomène aérien que ça signifie que c'est un visiteur extraterrestre. Tout ceci exige une preuve additionnelle qui, jusqu'ici, n'est pas convaincante.
Que diriez-vous de ces gens qui prétendent avoir été enlevés ? Lors d'un programme TV, des experts en matière d'UFO ont montrés des photos de marques sur les bras et les jambes de sujets humains en déclarant que ces défigurations mineures étaient dues à une malversation alien. Ici aussi, hormis la question embarrassante du pourquoi des êtres de mondes éloignés viendraient faire de telles choses, cette preuve est à nouveau ambiguë. Ces marques pourraient être provoquées par des ET’s, mais elles pourraient aussi être des brûlures de cigarette. Et lorsque poussés à dire s'il y a une preuve évidente de visite extraterrestre ces experts disent "Nous ne savons pas d'où ils viennent. Mais quelque chose se passe sans aucun doute." Cette dernière affirmation étant à peine controversée. La question maladroite même. Si les soucoupes ne sont pas d'un espace extra-atmosphérique, d'où sont-elles ? De Belgique ?
Le fond de tout cela est qu’une certaine démonstration ou preuve de visiteurs extraterrestres n'a pas convaincu beaucoup de scientifiques. Très peu d'universitaires ont pondu des papiers pour journaux "avec referee" avec pour sujet des véhicule ET’s ou leurs occupants. Confrontés avec ce fait inconfortable, les experts ufologues prennent refuge dans deux explications :
1. Le matériel qui donnerait preuve a été rassemblé et caché par les autorités. Argument de l'ignorance, qui implique nécessairement que certains gouvernements de la planète dissimulent efficacement tous les meilleurs objets manufacturés aliens.
2. Les scientifiques refusent d'étudier le phénomène. En d'autres termes, les scientifiques devraient s’auto blâmer du fait que cette hypothèse de visite ne les branche pas. C'est non seulement injuste, mais surtout mal orienté. Bien sûrs, peu de chercheurs ont tamisé eux-mêmes toutes ces histoires, vidéos et autres photos étranges qui montreraient l'évidence d'une présence étrangère. Mais ce n’est pas leur boulot. C'est comme si on disait aux critiques de film que les films seraient meilleurs si seulement ils mettaient eux-mêmes en scène.
La charge d’apporter la preuve repose sur ceux qui font ces assertions, pas sur ceux qui trouvent ces données douteuses. S'il y a des investigateurs qui sont convaincus que des véhicules d'autres mondes bourdonnent dans le nôtre, ils devraient alors présenter leurs meilleures preuves et arguments, et ne pas recourir aux explications qui font appel à de mystérieux censeurs ou au manque d'ouverture d'esprit des autres. Les avocats des UFOs nous demandent de croire quelque chose de très important. Après tout, il ne pourrait guère y avoir découverte plus dramatique que la visite d’êtres d'autres mondes.
Si on pouvait montrer que des aliens sont ici, je serais aussi intimidé que n'importe qui. Mais j'attends toujours une preuve, de niveau A.

Auteur: Shostak Seth

Info: Fortean Times, The Guardian, Jeudi 18 Août 2005

[ réalisme ] [ Ovnis ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]