machine-homme

- (Q) Peux-tu expliquer et définir le mot "temps" ?

- (R) Le temps est un concept fondamental utilisé pour mesurer la progression des événements, la durée qui les sépare et l'ordre dans lequel ils se produisent. C'est une dimension qui nous permet d'organiser et de comprendre la séquence du passé, du présent et du futur.

En physique, le temps est souvent considéré comme la quatrième dimension avec les trois dimensions spatiales, formant le tissu de l'espace-temps. Il joue un rôle crucial dans diverses théories physiques, notamment la mécanique classique, la relativité et la mécanique quantique.

D'un point de vue philosophique, la nature du temps a fait l'objet de débats et d'explorations. Il existe différents points de vue philosophiques sur la nature du temps, tels que le présentisme (la croyance que seul le moment présent existe), l'éternalisme (la croyance que le passé, le présent et le futur existent tous), et diverses autres perspectives qui considèrent le temps comme une expérience subjective ou une construction mentale.

Dans le langage courant, le "temps" désigne la mesure des durées et des intervalles entre les événements, ainsi que la perception du passage du temps. Il nous permet d'organiser notre vie, de programmer nos activités et de comprendre l'ordre chronologique des événements.

Globalement, le "temps" est un concept à multiples facettes qui englobe à la fois la mesure objective des durées et l'expérience subjective de l'écoulement des événements. Sa compréhension et son interprétation peuvent varier selon les contextes scientifiques, philosophiques et quotidiens.

Auteur: chatGPT4

Info: 18 mai 2023. Ici I.A. qui donne les réponses peut être considérée comme un promptuaire

[ chronos ] [ question-réponse ] [ compendium ]

FLP défini 1

Application hors-sol qui donne l'impression de ne servir à rien, n'est qu'à aider quelques fous de lecture analytique à s'occuper, FLP reste néanmoins un outil statistique sans équivalent, puissant, souple et polyvalent, fondé sur ses possibilités d'explorations géographiques, temporelles, diachroniques,etc... et surtout sémantiques, c'est à dire : par caractères (a,b,c,d, etc), par mots ou bouts de mots, phrases... et autres combinaisons de la langue française. C'est un moteur de recherche, lié à une base de données intelligente créée collectivement, qui peut être appréhendé comme une encyclopédie d'un nouveau genre. 

Cet outil permettra souvent d'aller vers l'essentiel des idées. C'est à dire les formulations linguistiques les plus efficaces, au sens "des plus ramassées" pour qui veut bien voir au-delà des mots simples et/ou composés. C'est à dire leurs associations, en partant des plus sommaires, comme, par exemple : mort - libération, sagesse - amour, citation - béquille, etc. (voir le mode d'emploi détaillé pour plus à ce sujet). 

C'est aussi une approche non-séquentielle du langage, puisqu'on peut s'arrêter sur une pensée et, via le nuage de corrélats par exemple, verticaliser sa réflexion propre.

Nouvelle manière de lire, mais surtout de réfléchir, c'est à dire de ne pas nécessairement suivre tout le cheminement de pensée de tel ou tel, mais en en comparant plusieurs. Tout ceci à partir de fondations sobres, les mots (et leurs significations admises) - souvent en partant de leurs agencements les plus simples - tels que créés/combinés par les collectifs humains. 

En ce sens c'est un dictionnaire orthogonal.

Auteur: Mg

Info: 5 août 2021

[ lexicologie ] [ citations s'appliquant à ce logiciel ]

période mythique

Tombouctou, bien que située au Mali, à l’embouchure du Niger, était autrefois considérée comme l’extrémité occidentale du Soudan, frontière symbolique qui pourrait s’expliquer par la fonction de carrefour culturel de ce lieu, point de jonction entre les deux zones qui nous intéressent : le Niger et le Soudan. Tombouctou, la "boucle du Niger", semble en effet avoir recueilli à différents niveaux l’héritage des cités-états antédiluviennes du royaume d’Ophir. C’est Léon l’Africain qui, le premier, fit une description de la "Cité Interdite" du Nord Mali, évoquant ses mosquées où l’on raconte qu’étaient conservés de précieux manuscrits arabes, et "des palais aux toits revêtus d’or". Idéalement située entre l’Afrique saharienne, arabo-berbère, et l’Afrique soudanaise, la ville s’est développé considérablement sous Kanga Moussa qui régna sur l’empire du Mali au XIVe siècle. Ce roi légendaire, qui tirait ses immenses revenus du commerce du sel et de l’or fut à l’origine de la construction de la plus grande mosquée de Tombouctou, celle de Djinguereber. Après avoir été dominée par les Touareg au XIVe siècle, la cité marchande se plaça ensuite sous la protection de l’empire Songhaï et multiplia les échanges avec les grands centres commerciaux, au point de regorger au XVe siècle d’articles de luxe venus de Venise ou d’Orient. Mais c’est surtout en profitant du développement qui a lieu au Soudan au XVe siècle, concomitant à notre Renaissance, que Tombouctou fut communément nommée "la Perle noire du désert". Ainsi, Léopold Ségar Senghor, écrivain sénégalais, affirmait que "ce n’est pas un hasard si le Songhaï, avec Tombouctou, sa principale ville, réalisa à la veille de la Renaissance européenne, la civilisation africaine la plus riche, sinon la plus brillante…". Aux XIVème et XVe siècles, la ville comptait jusqu’à 100 000 habitants, dont 25 000 étudiants. L’une de ses trois mosquées, la mosquée Sankoré, avec sa Madrasa célèbre (école coranique), aurait rayonné sur toute l’Afrique de l’Ouest avant d’être littéralement ensevelie sous les sables (c’est nous qui le soulignons). Jusqu’au XIXe siècle, Tombouctou n’était considérée par les occidentaux que comme une cité légendaire et imprenable, située dans un lieu "insaisissable", perdue au milieu du désert, description qui n’est pas sans nous évoquer les attributs propres à l’Agarttha ou à la Cité légendaire de Shambhala, qui sont toutes les deux des désignations particulières du Centre suprême occulté. Une légende tenace s’est par ailleurs développée à travers les siècles, affirmant que la "Cité interdite" ensevelie sous les sables du désert saharien abritait d’énormes quantités d’or. Si Tombouctou avait acquis ce caractère mythique, c’était principalement du à l’inaccessibilité de la ville ainsi qu’à l’abnégation et au courage que les pèlerins du passé étaient tenus de posséder s’ils désiraient être dignes de l’atteindre. Et parce qu’elle était réputée inaccessible, Tombouctou aurait pu tenir le rôle symbolique d’une Shambhala sub-saharienne dans l’esprit des voyageurs et des caravaniers. Comment aussi ne pas penser à l’Atlantide saharienne et tritonienne de Pierre Benoit ? Au XIXe siècle, Tombouctou n’était donc plus, aux yeux des explorateurs européens, qu’une cité perdue dans les sables jusqu’à ce que René Caillié réussisse à l’atteindre lors de l’une de ses explorations en 1829, où il décrivit un "amas de maisons en terre, mal construites" dans "des plaines immenses de sable mouvant…".

Auteur: Anonyme

Info: Dans "Les magiciens du nouveau siècle"

[ apogée ] [ islam ]

monades et leur limites

Un peu de science-fiction pour présenter/entamer cette chaine. 

Tout d'abord il y a ici un problème de point de vue. D'où parle le créateur lecteur de cette chaine FLP ? A l'évidence il le fait depuis le sol terrestre, armé de ses sens, de la logique, et du langage, tous fortement grégaires, de son époque. Il sait qu'il n'est qu'un produit de tout ceci. 

Donc, avec le temps, les explorations multiples et tout le recul qu'il en acquiert, ces outils lui paraissent limitants.

Et puis, Internet aidant, il y a accès à de multiples sites/vidéos/témoignages, qui parlent d'autres réalités, mondes parallèles, mentaux, éthériques... Appelez-les comme vous voulez, ces autres dimensions, elles aussi fortement imprégnées par la culture de ceux qui en font témoignages, et donc sujettes à caution, voire peut-être plus à interpréter comme les projections de la singularité de chaque conteur-univers. Ici apparait une fois encore le tropisme humain, qui consiste à vouloir analogiser, catégoriser, conforter, etc. bref à développer des modèles rassurants. 

Mais oublions cela.

Ces autres réels permettent, même si c'est fortement virtuel, de se placer d'un point de vue d'où notre "réalité consensuelle humaine" peut être appréhendée avec un plus de distanciation. 

Et ça c'est bien sympatoche. 

Ainsi, bien calés depuis cette nouvelle perspective, on peut y aller avec des questions qui, n'en doutons pas, donneront à beaucoup une forte "impression d'olé olé". Et alors ?

Donc : est-ce qu'il existe une limitation personnelle, plus qu'une limitation d'espèce ? Quelle est la part limitative de l'individu au sein de sa race ?  Si nous sommes tous quelque part connectés à ce qu'on nommera au-delà, ceci via un "higher self", ce dernier est-il  limité à l'akashique Gaïa ? (ce qui est mon impression personnelle au passage) 

Autrement dit : les limitations se transcendent-elles mieux, ou plus facilement, au niveau personnel ou au niveau collectif ?... 

Exprimé différement : s'il existe un "Moi supérieur" métempirique, mieux averti, hyper conscient ou autre... est-il autant éloigné des autres "Moi supérieurs" que les "petits moi-ego" humains le sont entre eux à notre niveau inférieur ?

D'un point de vue astral élargi on pourrait aussi le formuler comme ceci : quelles sont les analogies entre mondes à basses vibrations (planétaires ?) et ceux dépeints comme "mondes supérieurs ou mondes à plus hautes vibrations", ces derniers étant par définition beaucoup plus vastes, plus élargis... plus ouverts. 

D'où, au-delà de ce questionnement quant aux éloignements des entités entre elles, cette question : s'il existe des analogies entre les divers niveaux vibratoires, planètes, univers... quelles sont elles ?

Et, pour pousser le bouchon plus au large : qu'en est-il alors de ceux aptes à se déplacer entre les couches, verticalement, pour autant que ce terme puisse avoir un sens ? 

Les anges en sont parait-il, même si les sources indiquent - par exemple - que notre niveau vibratoire pris à son plus haut point possible reste comme situé au fond d'un abime très difficilement accessible (trop bas) pour un ange. 

Bref tout ceci est bien amusant, et permet de tenter, humblement et sémantiquement, de tatouiller des limites qui semblent bien être celles de nos perceptions... et puis, de nos langages.

Auteur: Mg

Info: 26 août 2020

[ extrapolations ] [ prospectives ] [ anticipation ] [ moi miroir ] [ point de singularité ]

univers sons

Le son est-il le système nerveux du cosmos ?
Il existe un moyen de rendre les sons visibles. On appelle "cymatique" cette science énigmatique, qui puise ses racines dans l'histoire de l'univers. Quelle est la nature de l'onde sonore? Que sait-on vraiment de son pouvoir sur nous?
Allemagne, 18ème siècle. Ernst Chladni est un mathématicien doué et discret. L'homme est aussi musicien et sa passion pour le violon va le conduire à une découverte extraordinaire. Saupoudrant de sable un disque de cuivre, il en frotta le bord avec son archet. La plaque se mit à vibrer et le sable à se déplacer, dessinant d'authentiques formes géométriques. "Qu'on juge de mon étonnement voyant ce que personne n'avait encore vu", dira plus tard son ami et philosophe Lichtenberg, auteur de travaux sur l'électricité statique.
Dans les années soixante, le physicien Hans Jenny sera le premier à révéler ce phénomène oublié. Grâce à l'évolution de l'électronique, il prolonge les recherches et fait varier les supports. Il invente le tonoscope, petit appareil tubulaire assorti d'une membrane sur laquelle on aura versé de la poudre, qui permet de créer des formes étonnantes avec le son de sa voix. Plus d'un siècle après les premières expériences, Jenny livre des observations d'une grande précision sur la nature du son, et invente une nouvelle science : la cymatique. Du grec 'vague', la cymatique étudie l'interaction du son et de la matière. Les outils de mesure acoustique modernes ont permis d'étudier ces modulations spontanées : dans l'eau par exemple, un son grave produit un cercle entouré d'anneaux ; un son aïgu accroît le nombre d'anneaux concentriques. Soumise au rythme des oscillations, la variété de formes générées semble sans limite. Hans Jenny parlera de "modèle dynamique mais ordonné" Quel pouvoir autonome renferme l'onde sonore ?
Toute activité produit du bruit. Du plus retentissant au plus subtil, il est trace du mouvement. Christian Hugonnet, ingénieur acousticien et fondateur de la Semaine du Son, décrit un enchaînement simple : "l'action entraîne la vibration de l'air qui va déplacer des molécules, se choquant les unes aux autres comme pour se transmettre un message". Avant d'être une manifestation audible, le son se caractérise par un changement moléculaire, sur une surface donnée et en un temps donné. Dans cette équation, nul besoin d'oreille pour considérer qu'il y a dynamique sonore. C'est la fréquence de l'onde qui va diriger toute l'énergie. "Dans l'expérience avec le sable, les grains s'agglutinent là où la fréquence est haute", détaille le spécialiste. La propriété d'un corps à entrer en résonance avec le flux d'énergie va créer la forme. La matière prend la forme de l'énergie qui lui est adressée.
Le son primordial
Spirales, polygones, stries... ces marques sont souvent analogues à celles déjà présentes dans la nature. "J'ai constaté qu'une plaque elliptique soumise à des vibrations sonores reproduit les figures qu'on trouve sur la carapace d'une tortue", constate le photographe Alexander Lauterwasser. Une morphogenèse fondée sur la transmission de codes génétiques nécessaires à la formation des masses et à leur différenciation, et qui révèle un processus harmonieux dans l'ADN terrestre. Dès lors, est-il possible que les formes animales et végétales qui nous entourent – et la matière vivante dans son ensemble – soient elles-mêmes le résultat de vibrations, comme le rapportent de nombreuses traditions ?
Bien avant ces découvertes scientifiques, les cultures traditionnelles du monde entier ont développé leur récit mythologique de la création de l'univers. La voix et le souffle y sont féconds. "Au commencement était le verbe, dit l'Evangile. Les textes celtes sacrés évoquent Trois Cris qui firent éclater l'Oeuf du Monde", rapporte le Docteur Alain Boudet, enseignant et conférencier. "Chez les hindous et les bouddhistes, le principe structurant du chaos d'origine est le mantra Om et les Mayas parlent du chant des Dieux comme du système nerveux de l'univers". Une cosmogonie universelle, portée par des figures archétypales semblables aux formations cymatiques, telles que les mandalas. Ces mystérieuses corrélations entre figures naturelles et symboliques renverraient à une intuition de la forme, perdue avec le temps : "Cette géométrie originelle est en nous. Nous l'avons oubliée à mesure que le mental s'est imposé", raconte Alain Boudet. Dans son ouvrage Cymatics, le pionnier Hans Jenny conclut à la puissance fondamentale et génératrice de la vibration. Sa périodicité soutient la bipolarité de la vie : le mouvement et la forme. La vibration comme source de toute chose : un constat, mais aussi une opportunité de reconsidérer le monde dans lequel nous évoluons.
Echos d'avenir
Pythagore disait : "L'homme possède toutes les valeurs du cosmos". L'auteur du célèbre théorème de géométrie a développé le principe de microcosme, reliant l'organisme humain à l'organisation de l'univers. L'influence du son invite désormais à une nouvelle écoute du vivant. "La biorésonance nous renseigne sur la fréquence optimale de nos organes", explique Andreas Freund, physicien quantique. Au Tibet, les bols chantants sont reconnus pour leurs vertus. Leurs tonalités spécifiques communiquent avec la matière cristalline de notre corps : les os, les tissus et l'eau qui nous compose à 70%. Plus le son est grave, plus l'on travaillera la zone racine du corps. Comme la cymatique, notre résonance cellulaire trace un chemin pour la vibration, réharmonisant notre énergie interne. Un processus identique aux diapasons thérapeutiques employés depuis des siècles en Europe, dont les fréquences en hertz sont réglées pour des actions cibles. Mais pour masser nos entrailles, quel meilleur instrument que la voix ? Le chant harmonique des traditions chamaniques, aussi appelé chant diphonique dans nos conservatoires de musique, est une technique vocale sur deux notes simultanées, par un positionnement de la langue et des lèvres. Curiosité ou évidence biologique, ce son très apaisant ressemble à celui des vents solaires.
La vague de l'action contient à la fois l'intention et son empreinte. "Le son in-forme. Il est porteur d'information", nous dit Andreas Freund. Une attention portée aux messages de la nature, qui permet aujourd'hui de décrypter jusqu'au langage par ultrasons des dauphins ou la sensibilité des plantes. La dimension vibratoire du son sert de modèle dans une recherche de cohérence et d'alignement. Ses explorations scientifiques, artistiques et spirituelles offrent les clés d'une autre conscience de l'homme et de son environnement, vers une nouvelle signature écologique.

Auteur: De La Reberdiere Lucile

Info: https://www.inrees.com/articles/cymatique-son-systeme-nerveux-cosmos/

[ ondes ] [ proportions ] [ archétypes ]

onirologie

Les rêves sont des portes d'accès au monde invisible pour de nombreuses civilisations, cette porte ouvre sur le royaume des morts, des entités célestes et chthoniennes. Ces êtres interagissent avec nous grâce aux rêves, et certains d'entres eux peuvent nous apporter des messages célestes, et d'autres des messages plutôt sombres et funestes. Dans la mystique juive, il est admis que le dormeur à la capacité d'entrer en contact avec différents êtres durant le sommeil, Moshé Idel nous dévoile certaines techniques onirologiques utilisées par des Maîtres Kabbalistes.

Dans la technique dite du she’elot halom, particulièrement présente chez les Kabbalistes, technique qui consiste à formuler des questions avant d’aller dormir, le praticien entre en dialogue avec le monde invisible. Le grand Besht, plus connu sous le nom de Ba'al Shem Tov, est dit avoir utilisé cette technique et que tout ce que savait le Besht provenait des réponses qu'il recevait en rêve. Dans certains cas, ces réponses prennent la forme d’un verset de la Bible comme une révélation personnelle, dans lequel la réponse était contenu. Par conséquent, on devait interpréter le verset comme la Thora est interprétée par les Maîtres.

R. Isaac ben Samuel d’Acre, un Kabbaliste du début du XIVème siècle, rapporte ce qui suit : "Moi, le jeune Isaac d’Acre, étais endormi dans mon lit, et à la fin de la troisième garde, une merveilleuse réponse par le rêve m’a été révélée, dans une véritable vision, comme si j’étais pleinement éveillé, et la voici [le verset] : - Sois entièrement avec l’Éternel ton Dieu…" Deutéronome, chapitre 18, verset 13

R. Isaac voit toutes sortes de combinaisons de mots et leurs équivalences numériques qui font allusion au nom divin YBQ, et "pense aux lettres du Tétragramme telles qu’elles sont prononcées (...). En une cogitation conceptuelle, méditative et intellectuelle… non pas d’une façon qui arrive du cœur à la gorge…".

Cette technique de permutation des lettres associée à une médiation est l'oeuvre d'Abraham Aboulafia (1240-1291), George Lahy définit cette permutation des lettres, le Tserouf, comme suit :

"La pratique du Tserouf, l’art combinatoire, ouvre les portes de la Kabbale extatique. Cette extase provoquée par le Kabbaliste est un ravissement de l’esprit fusionné par la méditation et détaché du monde sensible."

Dans son livre H’aye haOlam haBa, Abraham Aboulafia nous explique de quelle manière procéder :

"Il te faut t’apprêter pour l’union du coeur et la purification du corps. Un lieu particulier et préservé doit être choisi, d’où ta voix ne sera entendue de personne. Installe-toi complètement seul et retire-toi dans l’HITBODED (esseulement). Tu dois être assis en ce lieu préservé, qui peut être une pièce ou une cellule ; mais surtout ne révèle ce secret à personne. Si tu peux, applique la méthode le jour dans une maison, mais le moment le plus favorable est la nuit. Éloigne de ton esprit les vanités de ce monde, car c’est l’instant où tu vas parler avec ton Créateur, de qui tu souhaites connaître la Grandeur.

Enveloppe-toi dans ton châle de prière et place ta tête et ton bras tes tefillim car tu dois être rempli de révérence envers la Shekhinah qui t’enrobe maintenant. Vérifie que tes vêtements soient purs et de préférence blancs ; cette précaution invite avec force au recueillement…"

Un autre exemple de la pratique onirologique du she’elat halom découle de l’un des plus célèbres Kabbalistes, Rabbi Hayyim Vital, qui recommande ceci :

"Tu iras au lit pour dormir, prie : - Que Ta Volonté soit faite, et utilise l’une des prononciations des noms [divins] écrits devant toi, et dirige ta pensée vers les sphères mystiques qui y sont liées. Puis évoque ta question soit pour découvrir les problèmes liés à un rêve et les choses futures, soit pour obtenir quelque chose que tu désires, ensuite pose [la question]."

Ailleurs, ce Kabbaliste a recours à une technique de visualisation de la couleur pour obtenir une réponse à sa question, qu’il atteint dans un état similaire au rêve :

"Visualise qu’au-dessus du firmament des Aravot (des cieux), il y a un très grand rideau blanc, blanc comme la neige, sur lequel le Tétragramme est inscrit, en écriture assyrienne (il ne s’agit pas de l’écriture cunéiforme assyrienne, Hayyim Vital fait référence à une forme calligraphique traditionnelle de l’alphabet hébraïque : l’écriture carrée, dite ashourite (ktav ashuri), qui vient du nom Ashur. Ashur en hébreu désigne l’Assyrie), dans une certaine couleur…. et chacune des grandes lettres inscrites là sont aussi grandes qu’une montagne ou une colline. Et tu devras imaginer, dans tes pensées, que tu poses ta question à ces combinaisons de lettres écrites là, et elles répondront à ta question, ou elles feront résider leur esprit dans ta bouche, ou bien tu seras somnolent et elles te répondront, comme dans un rêve."

Une autre technique d’induction des rêves a été élaborée à partir de textes mystiques juifs, elle s’appelle "les pleurs mystiques" : il s’agit d’un effort pour atteindre un résultat direct par le biais des pleurs provoqués sur soi-même. Ce résultat recherché peut aller de la connaissance paranormale aux visions porteuses d’informations à propos de quelque secret. Nous trouvons quelques exemples dans la littérature apocalyptique, où la prière, les pleurs et les jeûnes sont utilisés pour induire le Parole de Dieu dans un rêve.

Le lien entre les pleurs et les perceptions paranormales qui se forme dans les rêves est également évident dans une histoire midrashique :

"L’un des étudiants de R. Simeon bar Yohaï avait oublié ce qu’il avait appris. En larmes, il se rendit au cimetière. Du fait de ses grands pleurs, il [R. Simeon] vint à lui en rêve et lui dit : - lorsque tu te lamentes, lance trois brindilles, et je viendrai... L’étudiant se rendit auprès d’un interprète des rêves et lui raconta ce qui s’était produit. Ce dernier lui dit : - répète ton chapitre [ce que tu as appris] trois fois, et il te reviendra... L’étudiant suivit ses conseils et c’est effectivement ce qui se passa."

La corrélation entre les pleurs et la visite d’une tombe semble faire allusion à une pratique destinée à induire des visions. Ceci, bien sûr, faisait partie d’un contexte plus étendu dans lequel les cimetières étaient des sites où il était possible de recevoir une vision. Tomber de sommeil en larmes, ce dont il est question ici, semble également être une part de l’enchaînement : la visite au cimetière, les pleurs, tomber de sommeil en larmes, le rêve révélateur.

La technique des pleurs pour atteindre la "Sagesse" est puissamment expliquée par R. Abraham ha-Levi Berukhim, l’un des disciples d’Isaac Louria. Dans l’un de ses programmes, après avoir spécifié le "silence" comme première condition, il nomme "la seconde condition : dans toutes tes prières, et dans toutes tes heures d’étude, en un lieu que l’on trouve difficile (le lieu où l’on étudie), dans lequel tu ne peux pas comprendre et appréhender les sciences propédeutiques ou certains secrets, provoque en toi d’amères lamentations, jusqu’à ce que des larmes mouillent tes yeux, et pleure autant que tu pourras. Et fais redoubler tes pleurs, car les portails des larmes n’étaient pas fermés et les portails célestes s’ouvriront à toi."

Pour Louria et Berukhim, pleurer est une aide pour surmonter les difficultés intellectuelles et recevoir des secrets. Ceci s’apparente à l’histoire de R. Abraham Berukhim qui est la confession autobiographique de son ami, R. Hayyim Vital :

"En 1566, la veille de Chabbath, le 8 du mois de Tevet, j’ai récité le Kiddush et me suis assis pour manger ; et mes yeux s’emplirent de larmes, j’avais signé et j’étais triste dès lors… J’étais lié par la sorcellerie… Et je pleurais également pour avoir négligé la Torah au cours des deux dernières années… Et à cause de mon inquiétude, je n’ai pas mangé du tout, et je me suis étendu, le visage contre mon lit, en pleurs, et je me suis endormi d’avoir trop pleuré, et j’ai fais un rêve extraordinaire."

Ces she’elot halom (les questions posées par le biais des rêves, la visualisation de couleur, les pleurs mystiques), comme d’autres techniques mystiques appartiennent à la littérature juive, mais également au quotidien des Kabbalistes. Moshé Idel affirme que cette technique suppose que le mystique peut prendre l’initiative et établir un contact avec d’autres royaumes, et qu’il peut induire certaines expériences en ayant recours à ces techniques.

Auteur: Shoushi Daniel

Info: Le she’elot halom, ou le processus d'induction spirituelle par les rêves chez les mystiques juifs, par Moshé Idel, 11 Avril 2018. Sources : Kabbale extatique et Tsérouf, Georges Lahy. Editions : Lahy. Astral Dreams in Judaism Twelfth to Fourteenth Centuries, Moshé Idel. Editions : Dream Cultures; Explorations in the Comparative History of Dreaming. Ed. by David Shulman and Guy G. Stroumsa. New York : Oxford University Press, 1999. Les kabbalistes de la nuit, Moshé Idel. Editions Allia

[ songes ] [ astralogie ] [ psychanalyse ]

surnaturel

Les scientifiques ont-ils finalement démontré des phénomènes psychiques ? De nouvelles études montrent que les gens peuvent prévoir des événements futurs.
Dans "au travers du miroir" de Lewis Carroll, la reine blanche dit a Alice que dans son pays, la mémoire travaille dans deux sens. Non seulement la reine peut se rappeler de choses du passé, mais elle se rappelle également de "choses qui se produiront la semaine d'après." Alice essaye de discuter avec la reine, énonçant : "je suis sûr que la mienne ne va que dans un sens... je ne peut me rappeler de choses avant qu'elles ne se produisent." La reine répond, "c'est une sorte de faiblesse, si ta mémoire ne fonctionne qu'en arrière."
Combien nos vies seraient meilleures si nous pouvions vivre dans le royaume de la reine blanche, où notre mémoire travaillerait en arrière et en avant. Dans un tel monde, par exemple, on pourrais faire un examen et étudier après coup pour s'assurer qu'on l'a bien réussi dans le passé. Bon, la bonne nouvelle est que selon une série récente d'études scientifiques de Daryl Bem, nous vivons déjà dans pareil monde !
Le Dr.Bem, psychologue social à l'université de Cornell, a entrepris une série d'études qui seront bientôt publiées dans un des journaux de psychologie les plus prestigieux. Au travers de neuf expériences, Bem a examiné l'idée que notre cerveau a la capacité de réfléchir non seulement sur des expériences antérieures, mais peut également en prévoir de futures. Cette capacité de "voir" est souvent désignée comme phénomène psi.
Bien que des recherches antérieures aient été conduites sur de tel phénomènes - nous avons tous vu ces films où des personnes regardent fixement des cartes de Zener avec une étoile ou des lignes ondulées dessus - de telles études n'arrivent pas vraiment à atteindre le statut seuil "de recherche scientifique." Les études de Bem sont uniques du fait qu'elles présentent des méthodes scientifiques standard et se fondent sur des principes bien établis en psychologie. Cela donne essentiellement des résultats qui sont considérés comme valides et fiables en psychologie. Par exemple, l'étude améliore la mémoire, et facilite le temps de réponse - mais ici on inverse simplement l'ordre chronologique.
Par exemple, nous savons tous que répéter un ensemble de mots rend plus facile le fait de s'en souvenir dans l'avenir, mais si la répétition se produit après le rappel ?... Dans une des études, on a donné une liste de mots à lire à des étudiants et, après lecture de la liste, on les a confrontés à un test surprise pour voir de combien de mots ils se rappelaient. Ensuite, un ordinateur a aléatoirement choisi certains des mots sur la liste et on a demandé aux participants de les retaper plusieurs fois à la machine. Les résultats de l'étude ont montré que les étudiants étaient meilleurs pour se remémorer les mots apparus dans l'exercice qui avait suivi, donné par surprise et fait au hasard. Selon Bem, la pratique de ces mots après le test a permis d'une façon ou d'une autre aux participants "de revenir en arrière dans le temps pour faciliter le souvenir."
Dans une autre étude, Bem examiné si l'effet bien connu d'amorçage pouvait également être inversé. Dans une étude typique d'amorçage, on montre à des gens une photo et ils doivent rapidement indiquer si la photo représente une image négative ou positive. Si la photo est un chaton câlin, on appuie sur le bouton "positif" et si la photo représente des larves sur de la viande en décomposition, on appuie sur le bouton "négatif". Une recherche de masse a montré combien l'amorçage subliminal peut accélérer la capacité à classer ces photos. L'amorçage subliminal se produit quand un mot est clignoté sur l'écran tellement rapidement que le cerveau conscient ne l'identifie pas, mais le cerveau inconscient le fait. Ainsi on voit juste un flash, et si on vous demande de dire ce que vous avez vu, vous ne pouvez pas. Mais, profondément, votre cerveau inconscient a vu le mot et l'a traité. Dans l'étude d'amorçage, on constate uniformément que les gens qui s'amorcent avec un mot conformé à la valence de la photo la classeront par catégorie plus vite. Ainsi si on clignote rapidement le mot "heureux" avant l'image de chaton, la personne cliquera le bouton "positif" encore plus vite, mais on clignote à la place le mot "laid" avant, la personne prendra plus longtemps pour répondre. C'est parce que l'amorçage avec le mot "heureux" fait que l'esprit de la personne est prêt à recevoir un truc heureux.
Dans l'étude rétroactive d'amorçage de Bem, on a simplement inversé l'ordre du temps, faisant clignoter le mot amorcé après que la personne ait classé la photo. Ainsi on montre l'image du chaton, la personne sélectionne si elle est positive ou négative, et alors on choisit aléatoirement d'amorcer avec un bon ou mauvais mot. Les résultats ont prouvé que les gens sont plus rapides à classer des photos par catégorie quand elle était suivie d'un mot amorce cohérent. A tel point que non seulement le fait qu'on classe le chaton plus vite quand il est précédé par un bon mot, on le classera également plus vite par catégorie si il est suivit du bon mot après coup. C'est comme si, alors que les participants classaient la photo, leur cerveau savait quel mot viendrait après, qui facilite leur décision.
Voilà juste deux exemples des études que Bem conduit, mais les autres ont montrés des effets "rétroactifs" semblables. Les résultats suggèrent clairement que des gens moyens "non psychiques" semblent pouvoir prévoir des événement futurs.
La question qu'on peut se poser est "quel est l'ordre de grandeur de la différence ?" Ce fait d'étudier un essai après qu'il se soit produit, ou l'amorçage qu'on a eu avec un mot après avoir classé la photo donne un changement énorme, ou est-ce juste une légère bosse dans les statistiques ? Quelle est la taille de effet ?. Il est vrai que les tailles d'effet dans les études de Bem sont petites (par exemple, seulement légèrement plus grandes que la chance). Mais il y a plusieurs raisons pour lesquelles nous ne devons pas négliger ces résultats basés sur de petites, mais fortement conformées, tailles d'effet.
Tout d'abord, au travers ses études, Bem a constaté que certaines personnes ont des résultats plus forts que d'autres. En particulier les gens en grande quête de stimulus - aspect d'extraversion où les gens répondent plus favorablement aux nouveau stimulus. Pour des différences de l'ordre d'environ deux fois plus d'efficacité qu'une personne moyenne. Ceci suggère que des gens sont plus sensibles aux effets psi que d'autres.
Deuxièmement ces petites tailles d'effet ne sont pas rare en psychologie (et pour d'autres sciences). Par exemple la moyenne les études de Bem eut pour résultat des tailles d'effets assez petites, mais tout aussi grandes - ou plus grandes - que certains effets bien établis : lien entre l'aspirine et l'empêchement de crise cardiaque, prise de calcium et os améliorés, fumée et cancer du poumon, utilisation de condom et protection du HIV, etc.... Cohen précise que de telles tailles d'effet se produisent plus facilement quand on est dans les premiers stades d'exploration d'une matière, quand les scientifiques commencent juste à découvrir pourquoi l'effet se produit et quand il est le plus susceptible de se produire.
Ainsi si nous prenons ces phénomènes psi comme vrai, comment pouvons nous alors les expliquer sans jeter à la poubelle notre compréhension du temps et de la physique ? Bon, la vérité est que ces effets ressemblent vraiment beaucoup à ce que la physique moderne dit du temps et de l'espace. Par exemple, Einstein a cru que le seul acte d'observer quelque chose pouvait affecter cette chose là, phénomène qu'il appela "spooky action à distance."
De même, la physique quantique moderne a démontré que les particules légères semblent savoir ce qui se trouve en avant d'elles dans le temps et qu'elles ajusteront leur comportement en conséquence, quoique le futur événement ne se soit pas produit encore. Par exemple dans l'expérience classique "de la double fente" les physiciens ont découvert que les particules légères répondent différemment si elles sont observées. Mais en 1999, les chercheurs ont poussé cette expérience plus loin en se demandant "ce qui se produirait si l'observation avait lieu après que les particules légères aient été déployées. "Tout à fait curieusement, ils ont démontré que les particules agissaient de la même manière, comme si elles savaient qu'elles seraient observées plus tard..." même si cela ne s'était pas encore produit.
De tels effets, "dingues", avec le temps semblent contredire le bon sens et essayer de les comprendre peut donner un sacré mal de tête. Mais les physiciens ont simplement appris à l'accepter. Comme disait une fois le Dr. Chiao, physicien de Berkeley, au sujet de la mécanique quantique, "c'est complètement contre intuitif et extérieur à notre expérience journalière, mais nous (les physiciens) y sommes habitués"
Ainsi, alors que les humains perçoivent le temps comme linéaire, cela ne signifie pas nécessairement qu'il en soit ainsi. Donc, en tant que bons scientifiques, nous ne devrions pas nous laisser influencer par les préjugés sur ce que nous étudions, même si ces idées préconçues reflètent nos idées de base sur la façon dont le temps et l'espace fonctionnent.
Le travail du DR. Bem est un provocation pour la pensée, et comme toute science révolutionnaire est censée faire, il apporte plus de questions que de réponses. Si nous mettons entre parenthèses nos croyances sur le temps et acceptons que le cerveau est capable d'une prise sur le futur, la prochaine question est : comment le fait-il ?. Ce n'est pas parce que l'effet semble "surnaturel" que cela signifie que la cause le soit. Beaucoup de découvertes scientifiques furent considérées comme exotiques par le passé, convenant davantage à la science-fiction (par exemple : la terre est ronde, il y a des organismes microscopiques, etc...). Une recherche future est nécessaire pour explorer les causes exactes des effets de ces études
Comme beaucoup de nouvelles explorations en science, les résultats de Bem peuvent avoir un effet profond sur ce que nous savons et avons accepté comme "vrai". Mais pour certains d'entre vous, peut-être que ces effets ne sont pas une si grande surprise, parce que quelque part, profondément à l'intérieur, nous savons déjà que nous en aurions connaissance aujourd'hui !

Auteur: Internet

Info: Fortean Times, Octobre 11, 2010

[ sciences ] [ prémonition ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]