écrivain-sur-philosophe

Avec Nietzsche apparaît pour la première fois sur les mers de la philosophie allemande le pavillon noir du corsaire et du pirate : un homme d’une autre espèce, d’une autre race, une nouvelle sorte d’héroïsme, une philosophie qui ne se présente plus sous la robe des professeurs et des savants, mais cuirassée et armée pour la lutte. Les autres avant lui, également hardis et héroïques navigateurs de l’esprit, avaient découvert des continents et des empires ; mais c’était en quelque sorte dans une intention civilisatrice et utilitaire, afin de les conquérir pour l’humanité, afin de compléter la carte philosophique en pénétrant plus avant dans la terra incognita de la pensée. Ils plantent le drapeau de Dieu ou de l’esprit sur les terres nouvelles qu’ils ont conquises, ils construisent des villes, des temples et de nouvelles rues dans la nouveauté de l’inconnu et derrière eux viennent les gouverneurs et administrateurs, pour labourer le terrain acquis et pour en tirer une moisson, — les commentateurs et les professeurs, les hommes de la culture.

Mais le sens dernier de leurs fatigues est toujours le repos, la paix et la stabilité : ils veulent augmenter les possessions du monde, propager des normes et des lois, c’est-à-dire un ordre supérieur. Nietzsche, au contraire, fait irruption dans la philosophie allemande comme les flibustiers à la fin du XVIe siècle faisaient leur apparition dans l’empire espagnol, — un essaim de Desperados sauvages, téméraires, sans frein, sans nation, sans souverains, sans roi, sans drapeau, sans domicile ni foyer. Comme eux, il ne conquiert rien pour lui ni pour personne après lui, ni pour un Dieu, ni pour un roi, ni pour une foi ; il lutte pour la joie de la lutte, car il ne veut rien posséder, rien gagner, rien acquérir. Il ne conclut pas de traité et ne bâtit pas de maison ; il dédaigne les lois de la guerre établies par les philosophes et il ne cherche pas de discipes ; lui, le passionné trouble-fête de tout "repos brun", de tout établissement confortable, désire uniquement piller, détruire l’ordre de la propriété, la paix assurée et jouisseuse des hommes ; il ne veut que propager par le fer et le feu cette vivacité de l’esprit toujours en éveil qui lui est aussi précieuse que le sommeil morne et terne l’est aux amis de la paix. Il surgit audacieusement, renverse les forteresses de la morale, les barrières de la loi ; nulle part il ne fait quartier à personne ; aucune excommunication venue de l’Église ou de la Couronne ne l’arrête. Derrière lui, comme après l’incursion des flibustiers, on trouve des églises violées, des sanctuaires millénaires profanés, des autels écroulés, des sentiments insultés, des convictions assassinées, des bercails moraux mis à sac, un horizon d’incendie, un monstrueux fanal de hardiesse et de force. Mais il ne se retourne jamais pour jouir de ses triomphes : l’inconnu, ce qui n’a jamais été encore ni conquis, ni exploré, est sa zone infinie ; son unique plaisir, c’est d’exercer sa force, de "troubler les endormis". N’appartenant à aucune croyance, n’ayant prêté serment à aucun pays, ayant à son mât renversé le drapeau noir de l’amoraliste et devant lui l’inconnu sacré, l’éternelle incertitude dont il se sent démoniaquement le frère, il appareille continuellement pour de nouvelles et périlleuses traversées. Le glaive au poing, le tonneau de poudre à ses pieds, il éloigne son navire du rivage et, solitaire dans tous les dangers, il se chante à lui-même, pour se glorifier, son magnifique chant de pirate, son chant de la flamme, son chant du destin :

"Oui, je sais d’où je viens ;

Irrassasié comme la flamme,

Je brûle et je me consume ;

Tout ce que je touche devient lumière

Et tout ce que je laisse devient charbon,

A coup sûr, je suis flamme..."

Auteur: Zweig Stefan

Info: Le Combat avec le Démon : Kleist, Hölderlin, Nietzsche

[ poème ]

humanité

Notre sort passé et futur sont déterminé par six axes-clés et treize personnages qui les mirent à jour et qui en furent l’incarnation. Par ordre chronologique : Confucius, Socrate, Aristote, Paul de Tarse, Machiavel, Shakespeare, Hegel, Victor Hugo, Nietzsche, Freud, Mao, Taubes et Xi Jinping et de six axes-clés :

1° la déchirure qui traverse le sujet humain, entre ce qu’il entend faire et les tâches et les entraves que lui imposent d’une part la reproduction de l’espèce, et d’autre part son propre instinct de survie, qui s’assimile à vivre suffisamment longtemps pour s’être acquitté de ses devoirs envers la reproduction de l’espèce,

2° la Raison comme guide du comportement, petite voix intérieure autonome par rapport aux exigences des dieux que nous nous sommes inventés,

3° le devenir inéluctable, moteur constitutif de l’Histoire, mêlant les grandes forces naturelles et les actes des hommes dont ils imaginent qu’ils sont le produit de leur volonté, alors qu’ils viennent de beaucoup plus loin,

4° la capacité individuelle à infléchir le cours de l’Histoire,

5° le parcours global du genre humain qu’est l’Histoire, résultant des effets collectifs et spécifiques de l’extraordinaire éventail des particularités individuelles que l’on observe chez ses représentants, soit ce que l’on peut caractériser comme la Raison dans l’Histoire,

6° la possibilité de coordonner les comportements humains grâce à des injonctions : des rites, de la morale, des lois.

Confucius a dit que nous ne pouvons vivre ensemble sur cette Terre – vivants et morts alliés et confondus – que si le Ciel et elle vivent en bonne entente ; les hommes doivent s’intégrer dans la communauté et la communauté doit y pourvoir ; la connaissance est la voie royale vers le bonheur.

Socrate nous a appris que nous disposons d’un pouvoir supérieur à celui de ces dieux dont nous ne savons rien, c’est la voix intérieure appelée la Raison ; grâce à elle nous pouvons contrer leurs édits.

Aristote a décrit le mécanisme de la Raison ; nous l’appelons aujourd’hui la logique ; Hegel dira, à la suite de Kant, qu’Aristote a expliqué comment fonctionne la Raison "une fois pour toutes".

Paul de Tarse (Saint Paul) a mis le doigt sur la présence de deux volontés distinctes et contradictoires causant en nous une déchirure ; il fut le premier à dire que nous, humains, sommes tous les mêmes, et que l’amour, la réciprocité positive, est la valeur suprême nous permettant de vivre ensemble et heureux.

Machiavel nous a montré ce qu’un être humain peut accomplir seul pour changer le cours de l’Histoire.

Shakespeare a brossé le portrait de qui nous sommes vraiment dans nos comportements et nos motivations, en-deçà et au-delà des récits que nous aimons narrer à propos de nous-mêmes.

Pour définir la personne que nous sommes, dit Hegel, nos prédispositions ne sont rien sans les circonstances qui la feront advenir ; il y a de la Raison dans l’Histoire et la ruse à laquelle elle recourt est de venir aux hommes à leur corps défendant ; Hegel a encore dit que les seuls vrais révolutionnaires – ils sont très peu nombreux – sont ceux qui changèrent le cadre de la loi.

Victor Hugo nous a fait comprendre l’exploit accompli par Shakespeare ; il prouve quant à lui qu’ont pleinement compris le message de Paul de Tarse ceux qui, comme eux, l’on attend le moins.

Nietzsche nous révèle que l’essence du destin humain est tragédie ; une manière de hausser les épaules devant la tragédie fut la sienne : s’anesthésier ; Nietzsche a traduit Paul de Tarse de telle manière que Freud n’eut plus qu’à compléter celui-ci.

Freud a démontré que nous sommes davantage inconscients que conscients ; il nous a fait découvrir aussi que nous devenons à proprement parler humains quand notre conscience prend au sérieux ce que notre inconscient a à dire.

Mao a fait se rencontrer l’Occident et l’Orient en rapprochant leurs concepts jusque-là étrangers les uns aux autres.

De nous, Occidentaux, Taubes a tout compris : que chacun d’entre nous est un messie en puissance, héraut et annonciateur d’une Apocalypse.

Xi Jinping a désormais toutes les cartes en main.

Auteur: Jorion Paul

Info: 13 mai 2018, résumé-argument de vente pour son bouquin DÉFENSE ET ILLUSTRATION DU GENRE HUMAIN

[ historique ] [ christianisme ]

entomologie

Découvrez comment certains vers du cerveau transforment les fourmis en mortes-vivantes 

(photo : Dans la tête d'une fourmi infectée par plusieurs vers plats parasites en jaune, un ver en rouge se niche à l'intérieur du cerveau de la fourmi, - image capturée par le centre d'imagerie et d'analyse du musée d'histoire naturelle de Londres.)

Peut-on comprendre l’idée d’un ver parasite dans le cerveau d’une fourmi ? Ne vous inquiétez pas, il y a des photos.

Les scientifiques ont récemment capturé les premières images montrant ces parasites " contrôlant l'esprit " en action à l'intérieur de la tête d'une malheureuse fourmi, révélant des vues inédites d'un ver plat mortel vivant dans le cerveau, Dicrocoelium dendriticum (douve lancette du foie ou lancet liver fluke)  et les indices mis au jour quant aux secrets de manipulation et de comportement du ver.

Les douves du foie de Lancet ciblent un large éventail d'espèces de fourmis. Selon les Centres de contrôle et de prévention des maladies (CDC), bien qu'elles ne pratiquent leurs tours de passe-passe que sur les fourmis hôtes, elles font du ping-pong entre plusieurs espèces pour compléter leur cycle de vie.

Sous forme d’œufs, elles habitent les excréments d’animaux de pâturage comme les cerfs ou le bétail. Une fois les excréments infectés mangés par les escargots, les larves de vers éclosent et se développent dans les intestins des mollusques. Les escargots finissent par éjecter les larves de vers sous forme de boules visqueuses, qui sont ensuite englouties par les fourmis. [ 8 terribles infections parasitaires qui feront ramper votre peau ]

C'est à l'intérieur de la fourmi que le ver se transforme. Les fourmis ingèrent généralement plusieurs vers, dont la plupart se cachent dans leur abdomen. Toutefois, l'un d'entre eux parvient jusqu'au cerveau de la fourmi, où il devient le moteur de l'insecte, l'obligeant à adopter des "comportements absurdes", ont rapporté des scientifiques dans une nouvelle étude.

Sous le contrôle du ver, la fourmi désormais zombifiée affiche un souhait de mort, grimpant sur des brins d'herbe, des pétales de fleurs ou d'autres végétaux au crépuscule, une époque où les fourmis retournent généralement à leurs nids. Nuit après nuit, la fourmi s'accroche avec ses mâchoires à une plante, attendant d'être mangée par un mammifère qui en pâture. Une fois que cela se produit, les parasites se reproduisent et pondent chez le mammifère hôte. Les œufs sont expulsés dans les selles et le cycle recommence.

Tout est question de contrôle

Pendant des années, les biologistes avaient été intrigués par la relation entre les vers plats et les fourmis, mais les détails sur la manière dont les parasites manipulent le comportement des fourmis restaient un mystère, " en partie parce que jusqu'à présent, nous n'avons pas pu voir la relation physique entre le parasite et le cerveau de fourmi ", a déclaré le co-auteur de l'étude, Martin Hall, chercheur au département des sciences de la vie du Musée d'histoire naturelle (NHM) de Londres,  Tout a changé lorsqu'une équipe de scientifiques a examiné l'intérieur de la tête et du corps des fourmis infectées à l'aide d'une technique appelée micro-tomographie par ordinateur, ou micro-CT. Cette méthode combine la microscopie et l’imagerie aux rayons X pour visualiser les structures internes de minuscules objets en 3D et avec des détails époustouflants.

(Photo : La plupart des parasites vers plats d'une fourmi infectée attendent patiemment à l'intérieur de l'abdomen de leur hôte, tandis qu'un ou plusieurs vers envahissent le cerveau de la fourmi)

Les chercheurs ont décapité des fourmis prélevées, enlevant leurs mandibules pour mieux voir l'intérieur de leur tête, puis ils ont coloré et scanné la tête et l'abdomen des fourmis, ainsi qu'un corps complet de fourmi, écrivent-ils dans l'étude.

Leurs analyses ont montré qu'une fourmi pouvait avoir jusqu'à trois vers se disputant le contrôle de son cerveau, même si un seul ver parvient finalement à entrer en contact avec le cerveau lui-même. Les ventouses orales aident les parasites à s'accrocher au tissu cérébral de la fourmi, et les vers semblent cibler une région du cerveau associée à la locomotion et au contrôle de la mandibule.

Le détournement de cette zone du cerveau permis très probablement au ver de diriger la fourmi et verrouiller ses mâchoires sur une ancre d'herbe ou de fleur en attendant d'être mangée, rapportent les auteurs de l'étude. 

Auteur: Internet

Info: https://www.livescience.com/62763-zombie-ant-brain-parasite.html, 5 juin 2018, Mindy Weisberger

[ myrmécologie ] [ nématologie ]

théorie du tout

Une nouvelle "loi de la nature" qui englobe le vivant, les planètes et les étoiles

(Photo) Ammonite irisée trouvée près de Calgary, Canada. La diversité biologique (biodiversité) entraîne la diversité minérale, et vice versa.

Selon une équipe composée de scientifiques et de philosophes, la théorie de l'évolution formulée par Charles Darwin au 19e siècle n'est qu'un "cas particulier" d'une loi de la nature qui engloberait le vivant mais aussi les minéraux, les planètes et les étoiles. Attention, débats en perspective !

Et si l'évolution ne se limitait pas à la vie sur Terre ? C'est ce que suggère une équipe de neuf scientifiques et philosophes américains dirigés par la Carnegie Institution for Science, à travers un nouvel article publié dans la revue Proceedings of the National Academy of Sciences.

La publication énonce la "loi de l'augmentation de l'information fonctionnelle", selon laquelle tous les "systèmes naturels complexes" – qu'il s'agisse de la vie sur Terre ou des atomes, des minéraux, des planètes et des étoiles – évoluent vers des états "plus structurés, plus diversifiés et plus complexes".

Vivant, atomes, étoiles…

Concrètement, qu'est-ce que cela signifie ? Juste avant d'en venir aux exemples, il faut définir en quelques mots ce que les auteurs entendent par "évolution". Un terme qu'il faut ici comprendre comme "sélection pour la fonction". Restez concentré, c'est tout simple !

Si le naturaliste du 19e siècle Charles Darwin avait globalement assimilé la "fonction" à la survie des êtres, c'est-à-dire à la capacité de vivre assez longtemps pour produire une progéniture fertile, les auteurs vont plus loin en reconnaissant également comme fonctions la "stabilité" (capacité à perdurer) et la "nouveauté" (nouvelles configurations).

Pour illustrer la sélection de la "nouveauté", l'article évoque à la fois des cas qui concernent le vivant, à l'instar de la photosynthèse, de la vie multicellulaire (quand les cellules ont "appris" à coopérer jusqu'à ne former plus qu'un organisme) et des comportements animaux. Mais aussi des exemples au sein du règne minéral !

Ainsi, les minéraux de la Terre, qui étaient au nombre d'une vingtaine à l'aube de notre système solaire, sont aujourd'hui près de 6 000. Et c'est à partir de seulement deux éléments majeurs – l'hydrogène et l'hélium – que se sont constituées, peu après le big bang, les premières étoiles, au sein desquelles se sont ensuite formés une vingtaine d'éléments chimiques plus lourds, avant que la génération suivante d'étoiles ne s'appuie sur cette diversité initiale pour produire près d'une centaine d'autres éléments.

"L'évolution est partout"

"Charles Darwin a décrit avec éloquence la façon dont les plantes et les animaux évoluent par sélection naturelle, avec de nombreuses variations et caractéristiques des individus et de nombreuses configurations différentes. Nous soutenons que la théorie darwinienne n'est qu'un cas très particulier et très important au sein d'un phénomène naturel beaucoup plus vaste", résume dans un communiqué le Pr Robert M. Hazen, de Carnegie, qui a supervisé les travaux.

Et son collègue Michael L. Wong, astrobiologiste à Carnegie et premier auteur de l'étude, de compléter : "l'univers génère de nouvelles combinaisons d'atomes, de molécules, de cellules, etc. Les combinaisons qui sont stables et qui peuvent engendrer encore plus de nouveauté continueront à évoluer."

"C'est ce qui fait de la vie l'exemple le plus frappant de l'évolution, mais l'évolution est partout."

Cette nouvelle "loi de la nature" qui décrit une complexité croissante n'est pas sans en rappeler une autre : le deuxième principe de la thermodynamique. Celui-ci stipule en effet que "l'entropie" (autrement dit, le désordre) d'un système isolé augmente avec le temps – raison pour laquelle la chaleur circule toujours des objets les plus chauds vers les objets les plus froids.

Discussion ouverte

Forces et mouvement, gravité, électromagnétisme, énergie… La plupart des "lois de la nature", décrivant et expliquant les phénomènes observés en permanence dans le monde naturel, ont été énoncées il y a plus de 150 ans.

Nul doute que la nouvelle "loi de la nature" énoncée par l'équipe américaine – formée de trois philosophes des sciences, de deux astrobiologistes, d'un spécialiste des données, d'un minéralogiste et d'un physicien théorique – suscitera moult réactions au sein de la communauté scientifique.

"À ce stade du développement de ces idées, un peu comme les premiers concepts au milieu du 19e siècle pour comprendre "l'énergie" et "l'entropie", une discussion ouverte et large est maintenant essentielle", a d'ailleurs commenté dans le communiqué Stuart Kauffman, chercheur à l'Institut de biologie des systèmes (Seattle).

Pour rappel, une théorie n'est "scientifique" que si les principes qui la constituent conduisent à au moins une prédiction suffisamment précise pour pouvoir être testée par une expérience (ou une mesure) susceptible de la réfuter…

Auteur: Internet

Info: https://www.geo.fr, Nastasia Michaels, 16/10/2023

[ panthéisme ] [ panpsychisme ] [ complexification ]

anecdote

Je suis un peu jaloux de mes confrères journalistes qui, sous prétexte que l'actualité est aux frasques des uns ou des autres, trempent leurs plumes dans une encre glauque, celle avec laquelle on écrit des canards au sexe, comme jadis on faisait des canards au sang en mettant les faits divers les plus horribles à la "une" : ça fait vendre. Voulant, tout comme eux, ma part d'audience, je vais me complaire dans le stupre et dénoncer les scandales sexuels qui entachent le continent blanc.
Il s'en passe de belles chez les manchots Adélie. Sous leurs dehors de petits couples fidèles, bien mis en livrée noire et blanche, deux enfants par foyer comme papa et maman, se cachent des moeurs pas très avouables, dévoilées dans une étude publiée en 1998 par The Auk, revue scientifique d'ornithologie. Monogames, ces oiseaux qui ne volent pas profitent du court été de l'Antarctique pour se reproduire. A cette fin, le mâle et la femelle commencent par construire un nid au sol, avec des petits cailloux. Cette plateforme permettra de tenir les deux futurs oeufs au sec quand la glace fondra. Mais, que ce soit en Terre Adélie où j'ai pris la photo ci-dessus ou dans les autres colonies situées sur le pourtour du continent, ces cailloux sont rares et valent de l'or.
Que ne ferait-on pas pour en avoir plus ! Ceux qui osent en chiper dans le nid du voisin sont poursuivis, insultés copieusement et se prennent des roustes à grands coups de bec et d'ailerons. Certaines femelles ont donc mis au point une stratégie que d'aucuns qualifient de prostitution. Les belles commencent par repérer un mâle solitaire. En attendant de trouver sa dulcinée et aussi dans le but de l'attirer, celui-ci a bâti son nid d'amour. Arrive une femelle. Elle est déjà en couple mais comme les manchots ne portent pas d'alliance et n'ont ni livret de famille ni attestation de pacs, il est difficile de le savoir. Petite séance de drague, bonjour bonjour, vous êtes charmant, vous jouez en équipe de France de foot ? Et, ni une ni deux, la femelle s'allonge sur le ventre, sous le bec du mâle qui se dit que son jour de chance est venu. S'ensuit ce que vous imaginez, scène qui a été censurée dans Happy Feet.
Et là, la femelle se relève, prend un caillou pour sa peine et retourne compléter son nid où l'attend son cocu, son régulier ou son proxénète, cela dépend des points de vue. Il arrive d'ailleurs souvent que la belle revienne sur les lieux de son aventure extra-conjugale pour chercher une seconde pierre (mais sans repasser à la casserole), comme si le tarif était : un coup=deux cailloux, mon chou. Les auteurs de l'étude ont même observé une femelle prélever son écot pas moins de dix fois : donne-moi ton portefeuille, je me sers, ça ira plus vite. A chaque fois, le mâle laisse faire sans râler, sans doute content de la chance qui lui a été donnée de perpétuer ses gènes sans avoir à élever les gosses ! Les auteurs de l'étude se demandent si tout le monde n'est pas gagnant dans l'histoire : le couple parce qu'il a récupéré des cailloux pour son nid, et donc augmenté les chances de survie de sa future couvée, le mâle solitaire parce que, même délesté de quelques galets, il va peut-être avoir une descendance à bas prix.
Mais il y a mieux. Certaines oiselles de petite vertu viennent se promener autour du "pigeon", engagent la séance de flirt, bonjour, bonjour, on ne vous a jamais dit que vous devriez être président du conseil en Italie ? Cependant, au lieu de s'allonger, elles se contentent de prendre un caillou sous les yeux du gogo qui reste sans réaction, comme s'il était normal de payer pour avoir eu l'espoir de trouver chaussure à son pied. Les chercheurs ont observé ce comportement avec dix femelles différentes mais une d'entre elles a particulièrement attiré leur attention car elle a, en une heure de temps, piqué 62 pierres dans le nid de son naïf, sans que celui-ci lève le petit aileron, pour aller les mettre dans le sien qui devait forcément se trouver à proximité.
Cela dit, cette stratégie comporte quelques risques. On ne vient pas toujours impunément émoustiller le mâle, surtout quand il sort juste de l'océan glacial Antarctique. En de rares occasions, les ornithologues ont vu ce dernier sauter sur la femelle lorsque celle-ci s'est baissée pour prendre le caillou. A-t-il confondu la posture de dame manchot avec le salut qui précède la copulation ? A-t-il pris cette intrusion dans son territoire pour une invitation à l'acte sexuel ? Le fait est qu'à chaque fois, la femelle s'est débattue et n'a pas laissé le bougre venir à bout de son entreprise.
Toute ressemblance avec des personnes existant ou ayant existé ne serait que pure coïncidence.

Auteur: Barthélémy Pierre

Info: sur Internet

[ animal ] [ raccolage ] [ mâles-femelles ] [ commerce ]

évolution biologique

Une nouvelle étude de Yale sur la levure montre comment des facteurs non génétiques sont impliqués dans l'évolution en temps réel.

Dans l'étude, publiée dans la revue Cell Reports du 27 octobre, des chercheurs de l'Institut de biologie systémique de Yale ont montré comment les mécanismes épigénétiques - des modifications du phénotype d'un organisme non causées par des altérations de sa séquence d'ADN - contribuent à l'évolution du réseau de gènes chez la levure qui est responsable de la régulation de l'utilisation du sucre galactose. L'étude a montré qu'un changement épigénétique dans l'activité des gènes se transmettait à travers des centaines de générations de levure, et elle a des implications plus larges concernant le rôle de l'épigénétique dans l'évolution.

"La nature est futée", a déclaré Murat Acar, auteur principal de l'article et professeur associé de biologie moléculaire, cellulaire et du développement, ainsi que de physique. "Elle trouve toujours une solution chaque fois qu'elle est mise au défi par quelque chose. Vous voulez avoir une sorte de gagnant parmi votre population pour surmonter cet environnement difficile".

Jusqu'à récemment, l'explication de l'évolution reposait uniquement sur des mutations génétiques spontanées stimulant des adaptations avantageuses dans les organismes, selon David Moreno Fortuno, associé postdoctoral à l'Institut de biologie des systèmes et l'un des co-auteurs de l'article. Il a expliqué que cette théorie est connue sous le nom de néodarwinisme parce que la nature des gènes n'avait pas encore été découverte à l'époque de Darwin.

La théorie darwinienne de l'évolution contraste avec l'idée de Jean-Baptiste Lamarck, autrefois largement discréditée, selon laquelle l'évolution consiste à transmettre de petits changements qui sont acquis au cours de la vie d'un organisme, selon le PBS. Lamarck a publié sa théorie au début du 19ème siècle en France, et l'exactitude de cette théorie est toujours débattue aujourd'hui, surtout au vu de la résurgence, au cours des deux dernières décennies, de l'étude des influences épigénétiques - ou pas - sur l'évolution.

Les chercheurs ont utilisé un marquage fluorescent dans les cellules de levure pour suivre l'expression des gènes codant du galactose, des cellules plus brillantes correspondant à une plus grande expression de ces gènes. Ils ont observé les niveaux de fluorescence sur une période de sept jours et ont sélectionné à plusieurs reprises les cellules les plus faibles de la population. Les chercheurs nomment cette séparation des cellules plus faibles de la population générale de "pression sélective". Par rapport à la population de levure d'origine, ils ont constaté une diminution dans le temps de la quantité d'expression de ces marqueurs au sein de la population expérimentale.

 "Cette diminution s'est maintenue, même lorsque  la pression sélective fut supprimée pendant plus de 200 générations", a déclaré M. Fortuno.

Du fait que le génome de la levure soit si petit - seulement 12 millions de paires de bases contre 3 milliards pour l'homme - l'analyse de l'ensemble du génome de l'organisme pour les mutations génétiques est beaucoup plus facile à réaliser dans les cellules de levure.

Certaines des cellules de levure qui avaient modifié l'expression du gène codant pour le galactose ne présentèrent aucune mutation dans le réseau de gènes spécifié. Les chercheurs ont donc pu exclure les contributions génétiques à leurs observations.

"En fin de compte, nous avons vu que les théories darwiniennes de l'évolution génétique ne sont pas en mesure d'expliquer ces résultats par elles-mêmes", a déclaré M. Acar. "Il est nécessaire d'y inclure la théorie évolutionniste lamarckienne pour expliquer tout le spectre de nos résultats".

M. Fortuno a abordé les implications potentielles de l'étude, en prédisant que les cellules cancéreuses malignes sont similaires aux cellules de levure dans la mesure où les deux types de cellules sont en "évolution constante". Il a ajouté que la compréhension du rôle des mécanismes épigénétiques dans les génomes des cellules de levure pourrait ouvrir des pistes de recherche pour développer des traitements contre le cancer ou déterminer le stade du cancer dont souffre un patient.

Il note également que certains scientifiques pensent que la culture est un mécanisme épigénétique. Bien que la culture soit non génétique, il est possible qu'elle ait un impact mesurable sur nos marques épigénétiques si ces experts ont raison.

Le document indique également que les mécanismes génétiques et épigénétiques "n'ont pas à s'exclure mutuellement". 

"En réponse à une condition environnementale particulière, les deux types de mécanismes peuvent jouer un rôle et se compléter l'un l'autre", peut-on lire dans le document.

Le document explique également que les mécanismes épigénétiques peuvent provoquer des adaptations plus rapides à un environnement changeant, ils agissent généralement sur une échelle de temps plus courte que les mécanismes génétiques. À l'inverse, les mécanismes génétiques sont en jeu sur des périodes plus longues et entraînent des changements plus permanents dans un organisme.

M. Acar souligne que cette étude n'est qu'une première étape vers une meilleure compréhension du rôle des facteurs épigénétiques et qu'il attend avec impatience de voir des expériences similaires être réalisées sur d'autres organismes.

"Ce n'est qu'alors que nous verrons si ces résultats peuvent être généralisés, qu'ils soient darwiniens, lamarckiens ou hybrides - une théorie unifiée de l'évolution régissant l'évolution des organismes", a-t-il déclaré.

Les cellules de levure se reproduisent de manière asexuée toutes les 90 à 100 minutes.

Auteur: Jalbert Jonathan

Info: https://yaledailynews.com/ NOV 12, 2020

[ biophysique ]

final sans fin

Mesdames et messieurs nous avons été absolument ravis de passer ce bon moment avec vous et j'ai donc le plaisir de vous présenter à la guitare : Monsieur Piotr Idriss Lee... Au saxophone nous avons Mme Franzisca Brel. Les arrangement sont de Jean-Philippe Erbien (qui a remplacé au pied levé Jacques Edouard de la Petite Bouillotte, qui s'est fracturé le poignet et à qui nous souhautons un prompt rétablissement... )

À la section rythmique vous aurez reconnu notre bassiste aimé l'inspecteur Missaire... ainsi que notre batteur le comissaire Pecteur. Merci mille fois d'être venu si nombreux... toute notre reconnaissance aussi au staff technique, au personnel du bar, de la billetterie et des vestiaires... bon retour à la maison à tous.... portez-vous bien... soyez prudent sur la route... que la paix soit avec vous... et à bientôt allez ciao tout le monde...

C'est fini, on arrive au bout... oui, c'est l'épilogue... le point final... la conclusion... le terme. Oui, nous touchons au but... c'est le dénouement, la mort du spectacle... nous sommes à destination... voici la chute, la clôture, la coda, le couronnement, l'ultime déclin, le crépuscule, le terminus, l'extinction, c'est une cessation, une finition, c'est l'accomplissement, l'arrêt, la dernière borne, il nous faut clore, clôturer, conclure, couronner ce sujet, dénouer cette affaire, ce thème est épuisé, il faut l'expédier, le mener à bien, fignoler cette fermeture, y mettre la dernière main... la dernière main... 

C'est la fin, il nous faut conclure C'est fini, on arrive au bout... ça va s'interrompre.... On y est c'est vraiment fini oui, c'est l'épilogue le point final la conclusion le terme enfin... On y arrive nous touchons au but, c'est l'aboutissement... le dénouement, la fin du voyage, l'extrémité finale, l'ultime frontière, l'issue, la résolution, c'est là que tout va se terminer, s'arrêter, cesser.... couper, stopper, s'achever, s'éteindre, se tarir, s'estomper, s'escamoter... nous allons partir, nous tirer, caleter, nous carapater, appareiller, battre en retraite, vous brûler la politesse, débarrasser le plancher, décamper, décaniller, décarrer, dégager, déguerpir, déménager, déserter le paysage, détaler, émigrer, foutre le camps, filer à l'anglaise, lever le siège, mettre les bouts, mettre les voiles, prendre congé, prendre la poudre d'escampette, prendre le large, prendre nos cliques et nos claques, prendre nos jambes à notre cou, nous barrer, nous casser, nous cavaler, nous débiner, nous défiler, nous dérober, nous mettre en route, nous tailler, nous trisser, tirer notre révérence....

Tout va maintenant se dénouer, se régler, finir, finir, finir, finir, se dissiper, Nous allons compléter la chose, définitivement, y mettre la dernière main, couper court... tout est consommé ! ...... nous avons couronné le tout, cette pièce va décéder, disparaître, nous allons entonner son chant du départ, elle a épuisé ses dernières ressources, il faut expédier les ultimes affaires courantes, fermer ce dossier définitivement, tout sera mort, nous aurons parachevé cette oeuvre, nous allons la parfaire, nous allons partir, nous ne faisions que passer, comme toute chose il faut disparaître, périr, il faut rompre le cycle...........

En musique .......... voilà, voilà, voilà...

Maintenant que les musiciens s'en sont donné à coeur joie nous allons enfin pouvoir conclure cette magnifique fin différée.... qui va maintenant gentiment s'amenuiser, s'arrêter petit à petit, s'éteindre, s'évanouir, s'interrompre, se dénouer pour finalement passer, succomber de sa belle mort, se tarir, trépasser.... Elle va atteindre sa dernière borne, son aboutissement, voici venir le bout du bout, le confins des confins, l'extrême, frontière finale, l'ultime lisière, le jour dernier, le dernier sommeil, son dernier soupir, dernier souffle, sa disparition, la cessation du grand voyage, le plongeon définitif, nous voilà rendu, c'est le repos éternel, voici son tombeau, l'extrémité finale, Quel bilan, quel couronnement, quelle apothéose.....

Il faut que ça cesse, que ça cesse, que ça cesse, que ça cesse, que ça cesse, que ça cesse... allez COUCHé !... qu'on stoppe qu'on en finisse, allez, partez !, dégagez ! disparaissez, foutez le camp, caletez, dépeuplez moi ces notes, détruisez les, que cela se dissolve, allez, vite, et non pas une éclipse mais une disparition pure et simple, un effacement, un effondrement, allez, stop... et vite allez, stop, je vous en prie, je vous en supplie... bououhhhh oiiinnn... j'ai promis au public que c'était fini, qu'on était au bout du tunnel... s'il vous plait... que tout s'arrête, finisse pour de bon, qu'on ne laisse pas ceci décliner, agoniser tout ceci trop longtemps, il faut liquider le problème, prendre une décision, lui donner le coup de grâce... trouver son bourreau, c'est fastidieux, assommant, ennuyeux, lassant, moribond... mon Dieu, quelle décadence, quelle décomposition, décrépitude,... quelle détresse d'en arriver à ce pareille extrémités, quel sinistre râle... je suis fatigué... ah, enfin.... Cela semble s'arrêter pour de bon... chhuuuut, taisez-vous, je n'ai pas envie de post scriptum, de complément, addenda, apostille, postface et autres explications complémentaires... Je suis usé, vidé, vide, essoré mais tranquille, enfin dans la vacuité désertique du néant, détruit mais enfin tout s'est arrêté, le spectacle est complet, achevé... Nous en voici débarrassés, tout s'est dégarni, démeublé, dénudé, dépeuplé, dépouillé, désempli, quelle heureuse solitude, joie de l'inanimé, l'infréquenté, l'inhabité, l'inoccupé....

Voici le silence infini, perpétuel... le vide intégral, la parfaite vacuité, l'insondable perfection cosmique, le plein, désert, le rien dans sa plénitude, la profonde perpétuité, un espace complètement pur et vacant, ouvert.. ah quel souverain vacuum, le zéro à son summum, la nudité suprême, insondable abîme, pleine inconsistance, totale inexistence.... non-être.

Auteur: MG

Info: 2008, texte d'une création humoristico-musicale, non aboutie, qui consistait à extendre la plus possible la fin d'un spectacle sur scène. Le lien en début de texte conduit vers une pré-maquette musicale de la chose qui avec ce texte et les images peut être appréhendée comme un triple codage

[ excipit ] [ exagération ] [ synonymes ]

orient-ponant

La pensée chinoise archaïque

Quelques éléments sur ce que nous savons aujourd’hui de la pensée chinoise archaïque (XVe – XIe siècles av. J.-C.).

La manière dont les Chinois parlent et écrivent constitue, chacun le sait, un langage dont la structure grammaticale est très éloignée de la nôtre, occidentale. Ce que nous appelons les " mots d’armature " : les articles, les prépositions, les conjonctions, ces mots qui nous permettent de relier entre eux les " mots de contenu " : les substantifs, les verbes, les adjectifs qualificatifs, les adverbes, ces mots d’armature qui constituent à nos yeux le " tissu conjonctif " de la langue, sont pour la plupart absents du chinois.

Alors que nous, Occidentaux, nous attendons à lire ces mots d’armature dans un texte comme la manière requise pour l’articuler, nous constatons à la place en chinois des séquences de noms de choses à la queue leu-leu, lesquels peuvent éventuellement être reliés par quelques éléments syntaxiques mais en tout cas d’une façon beaucoup plus rudimentaire que chez nous.

Il existe en particulier dans la phrase chinoise un mot que nous écrivons dans notre graphie comme " yeh " et que nous qualifions de marqueur d’affirmation, pour préciser la façon dont il sert à relier deux notions. Un philologue de la Chine, Kyril Ryjik, dit à propos de yeh : " … ce caractère entretient, entre son sens original et son emploi opératoire, le type de rapport qu’entretient la notion de “copule” […]. Il opère avec une notion de très forte jonction entre deux termes " (Ryjik 1980 : 218). Deux termes chinois sont rapprochés et il est suggéré à l’aide du terme yeh qu’il existe un lien spécial entre les deux.

Chad Hansen, commentateur éminent de la langue chinoise archaïque, explique : 

" Il n’y a pas en chinois de est, pas d’expression prédicative dénotant l’identité ou l’inclusion. La juxtaposition de deux termes (ordinairement suivis de la particule yeh) constitue une phrase relationnelle grossièrement équivalente à une phrase affirmant l’identité ou l’inclusion […] La phrase pai ma ma yeh (blanc cheval cheval “est”) : “(du) cheval blanc ‘est’ (du) cheval”, est un exemple d’une telle structure de phrase " (Hansen 1983 : 45). 

Par ailleurs, si je prononce l’un après l’autre les mots chinois pour cheval et pour bœuf et que je fais suivre leur séquence de yeh : " cheval bœuf yeh ", je laisse entendre qu’il existe quelque chose reliant les deux termes, quelque chose fait qu’ils aient été mentionnés ensemble et je réunis ce faisant automatiquement ces deux notions sous un seul concept qui conduit à parler de ce que nous caractérisons nous comme " animal de trait ", parce que l’union établie entre le bœuf et le cheval par la particule yeh met en avant ce qui nous apparaît comme un trait commun aux deux notions évoquées. Si l’on recourt au vocabulaire de la théorie mathématique des ensembles, on dira que leur rapprochement souligné par yeh met en avant l’intersection de leurs caractères propres : le principe de l’animal de trait ne combine pas l’équinité et la bovinité selon leur union, additionnant l’ensemble des chevaux à celui des bœufs, mais selon leur intersection : là où la blancheur recoupe l’équinité, nous avons " du cheval blanc ", là où l’équinité rencontre la bovinité, nous trouvons le principe de l’animal de trait, en l’occurrence le fait qu’ils puissent l’un et l’autre tracter un objet lourd, comme un chariot, une charrue, la meule d’un moulin à grain, etc. Et à partir de là, la conjonction cheval bœuf signifie en chinois " animal de trait ".

Nous disposons dès lors d’éléments susceptibles de nous faire appréhender de plus près cette notion d’affinité qui nous semble propre à la pensée totémique dont je considère, à la suite de Durkheim et de Mauss, qu’il s’agit avec elle des échos de la pensée archaïque chinoise dans le reste de la zone circum-pacifique, échos dus à un processus historique de diffusion à partir de la Chine ou à une identité foncière trouvant sa source dans leur origine commune.

Deux notions sont rapprochées, sans qu’il soit précisé pour quelle raison précise elles le sont, le seul geste posé étant cette suggestion d’un lien entre les deux. Comment opérons-nous, par exemple en français, dans un contexte similaire ? Dans un usage de copule, nous disposons de deux verbes : être et avoir. Le verbe être, nous l’utilisons pour exprimer la nature de la chose : " Le cheval est blanc ", où un élément de l’ordre d’une caractéristique vient compléter la description de la chose jusque-là : une nouvelle qualification est apportée en complément. Mais nous utilisons aussi le verbe être pour dire : " Le cheval est un mammifère ", ce qui nous permet de signaler l’inclusion d’une sorte dans une autre sorte. La sorte " cheval " est l’une des composantes de la sorte " mammifère ".

Le verbe avoir a un sens qui peut être en français celui de la possession mais également celui d’un lien plus lâche, à la façon de ce yeh que je viens d’évoquer. Quand nous disons : " Le pharaon et la pyramide ", nous savons qu’il existe un lien entre les deux sans qu’il soit clair de quel lien précis nous voulons parler. Est-ce le fait que le pharaon a une pyramide ? Que le pharaon a fait bâtir une pyramide ? Quoi qu’il en soit, que nous précisions d’une manière ou d’une autre, nous savons qu’il existe un lien, qu’il existe – pour recourir à ce terme vague que nous utilisons en Occident pour évoquer la pensée totémique ou celle de la Chine archaïque – une affinité entre le pharaon et la pyramide.

Un autre exemple, quand on dit " L’abeille et son miel ", on peut vouloir dire que l’abeille fait du miel ou que l’abeille dispose de miel. On peut dire aussi " le miel de l’abeille ". Là aussi, nous pouvons préciser la relation exacte mais quand on se contente de dire " l’abeille et son miel ", on procède comme le faisait le chinois dans la forme archaïque de sa langue quand il rapprochait, rassemblait, les deux notions à l’aide de ce terme yeh. Un autre exemple encore, fenêtre et verre : " la fenêtre est en verre ", " il y a du verre dans la fenêtre ", " le verre de la fenêtre ", etc. Tout cela demeure de l’ordre du réversible, d’une symétrie essentielle entre les deux notions rapprochées, alors que, par contraste, les langues de l’Occident, aussi haut que nous puissions retracer leur ascendance, sont familières de la relation anti-symétrique d’inclusion, ingrédient indispensable du raisonnement scientifique. L’émergence du discours théorique qu’est la science a permis la naissance d’une technologie qui soit à proprement parler de la " science appliquée ", par opposition à la technologie résultant de la méthode empirique de l’essai et erreur, la seule que connaissait la culture humaine, à l’Ouest comme à l’Est, dans la période qui précéda le XVIIe siècle.

Le moyen de signifier la relation d’inclusion manquait au chinois, du coup quand il s’agissait d’indiquer un rapport entre deux notions, n’existait dans tous les cas de figure que l’option d’indiquer une proximité, un apparentement, ou comme nous nous exprimons, une " affinité ", faute de pouvoir qualifier la relation plus précisément. Impossible dans ce contexte d’opérer une véritable classification de l’ensemble de ces notions : nous ne pouvons au mieux qu’en établir la liste.

H. G. Creel explique : " Le point crucial est que les anciens Chinois n’étaient dans l’ensemble ni des penseurs systématiques ni ordonnés […]. Ils étaient des cataloguistes infatigables ; ils n’étaient pas systématiciens " (in Hansen 1983 : 25).

Pour qu’un classement systématique puisse être opéré dans l’espace d’une langue, il faut qu’elle dispose parmi ses outils de cette relation d’inclusion et qu’elle permette en particulier d’utiliser le verbe être – ou ce qui en tient lieu – dans le sens qui est le sien quand nous disons : " Le cheval est un animal " ou " Le rat est un mammifère ", soit l’inclusion d’une sorte dans une autre.

Si vous êtes familier de l’œuvre de Jorge Luis Borges. Vous n’ignorez pas alors qu’il nous a diverti avec de petits textes mettant habilement en scène certains paradoxes essentiels. Parmi ceux-ci, celui qui est consacré à " Pierre Ménard, auteur du Don Quichotte ". Ménard, explique Borges, est considéré comme l’un des grands auteurs des années 1930 parce qu’il est parvenu à s’imprégner à ce point de l’esprit du temps de de Cervantes, qu’il a pu réécrire à l’identique deux chapitres (et une partie importante d’un troisième) du Don Quichotte. L’idée est ridicule bien sûr parce que l’on peut imaginer aussi bien qu’au lieu de s’imprégner à la perfection de l’esprit d’une époque, le Ménard en question se soit contenté de recopier le texte du Don Quichotte. Borges avait par ailleurs saisi dans l’une de ses petites fables ce qu’avançait Creel quand il rapportait que les Chinois anciens étaient " des cataloguistes infatigables et non des systématiciens ". Selon Borges, on pouvait trouver dans un ancien texte chinois que :

" Les animaux se divisent en : a) appartenant à l’Empereur, b) embaumés, c) apprivoisés, d) cochons de lait, e) sirènes, f) fabuleux, g) chiens en liberté, h) inclus dans la présente classification, i) qui s’agitent comme des fous, j) innombrables, k) dessinés avec un pinceau très fin en poils de chameau, l) etc., m) qui viennent de casser la cruche, n) qui de loin semblent des mouches ".

Un inventaire sans doute, mais privé de tout caractère systématique, au pôle opposé d’une classification fondée sur l’emboîtement des sortes sur plusieurs niveaux, les niveaux étant ici mélangés. Il s’agit d’une plaisanterie bien entendu et non d’un vrai texte chinois, mais Borges a su saisir ce qui caractérisait à nos yeux d’Occidentaux, l’essence de la … chinoiserie.

Lucien Lévy-Bruhl caractérisait de la même manière la " mentalité primitive ", l’autre nom chez lui, nous le verrons, du totémisme, qui est aussi ce que j’appelle, comme leur synonyme, et à la suite de Durkheim et Mauss, la pensée chinoise archaïque : 

" … les connaissances ne se hiérarchisent pas en concepts subordonnés les uns aux autres. Elles demeurent simplement juxtaposées sans ordre. Elles forment une sorte d’amas ou de tas " (Lévy-Bruhl 1935 : xiv).

Il s’agit bien avec la " mentalité primitive " selon Lévy-Bruhl, le totémisme et la pensée chinoise archaïque d’une seule et même entité.

Auteur: Jorion Paul

Info: 20 janvier 2024, sur son blog.

[ langues comparées ] [ listes ] [ éparpillement ] [ imprécision sémantique ] [ historique ] [ différences ] [ nord-sud ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]