ligne de conduite

Un anarchiste rationnel croit que des concepts tels que "État", "société" et "gouvernement" n'ont pas d'existence, sauf à être illustrés physiquement par les actes d'individus auto-responsables. Il croit qu'il est impossible de déplacer le blâme, de partager le blâme ou le distribuer... car le reproche, la culpabilité, la responsabilité sont des questions qui se déroulent à l'intérieur des êtres humains et nulle part ailleurs. Mais comme il est rationnel, il sait que tous les individus ne partagent pas ses évaluations, il essaie donc de vivre parfaitement dans un monde imparfait... conscient que son effort sera moins que parfait, mais pas découragé par la connaissance de son propre échec.

[...]

Ce que je veux dire, c'est qu'un individu est responsable. Toujours. [...] En termes de morale, il n'y a pas d'"État". Seulement des hommes. Des individus. Chacun étant responsable de ses propres actes.

Auteur: Heinlein Robert A.

Info: The Moon Is a Harsh Mistress

[ communautarisme ] [ définition ] [ responsabilité individuelle ]

lecture

L'atteinte faite au langage dépasse largement le cadre des évaluations académiques formelles. Elle s'incarne aussi dans la " vraie vie ".

En ce domaine il apparaît ainsi, par exemple, que les enfants d'aujourd'hui sont incapables d'absorber les ouvrages de la " Bibliothèque rose " que lisaient aisément leurs ascendants dans les années 1960-1970.

Pour ne pas condamner Fantômette et Le Club des Cinq aux oubliettes, nos amis éditeurs ont dû se lancer dans une vaste opération de réécriture.

Ainsi, entre l'édition originale du " Club des Cinq et le trésor de l'île" de 1962 et celle de 2006, la longueur du texte a été réduite de 45 % et le nombre de mots uniques de 42 % !

Tout est désormais court et concis. On ne précise plus " le pique-nique marqua une halte agréable, dans un cadre champêtre à souhait " ; on écrit " la famille s'arrête pique-niquer en haut d'une colline "..

Fini le passé simple, les mots sortant de l'ordinaire, les formes irrégulières, les descriptions fécondes : trop compliqués...

Auteur: Desmurget Michel

Info: La fabrique du crétin digital

[ évolution ]

management

Nous concevons notre temps objectivé comme s'étendant aussi bien dans le futur que dans le passé, et nous coulons pareillement dans le même moule nos évaluations du futur et nos souvenirs du passé, en établissant des programmes, des prévisions et des budgets. L'identité de forme des unités (conforme au système de mesure des quantités spatiales) au moyen desquelles nous mesurons et concevons le temps nous amène à considérer ‘‘l'élément sans forme’’, ou ‘‘substance’’, du temps comme étant homogène et en raison directe du nombre d'unités. Aussi attribuons-nous à toutes les prestations des valeurs calculées en unités de temps, ce qui permet l'édification d'une structure commerciale temporelle : salaire horaire (le travail horaire remplace de plus en plus le travail à la pièce), rente, crédit, intérêt, frais d'amortissement, et primes d'assurance. Il ne fait pas de doute que ce vaste système, une fois édifié, continuera de fonctionner quel que soit le traitement linguistique dont le concept de temps sera l'objet. Mais le fait qu'il ait été élaboré pour atteindre l'ampleur et la forme particulière qu'il a dans le monde occidental est incontestablement en accord avec les structures des langues appartenant au groupe S.A.E. (Standard Average European).

Auteur: Lee Whorf Benjamin

Info: Linguistique et anthropologie, p. 108-109

[ linéaire ] [ rationalisé ] [ langage ]

anti-natalisme

On raconte que le christianisme est populationniste, mais j’ai des flopées de textes sous la main où la chose, au contraire, est décrite comme une fatalité plutôt encombrante. Saint Jérôme. Saint Thomas. Saint Ambroise. Les évaluations dubitatives de saint Augustin, qui ne trouve en fin de compte, comme justification à l’espèce à se reproduire, que la nécessité où elle est de remplir le plan de Dieu en faisant le nombre d’enfants connu de Lui seul au terme duquel surviendra la fin du monde. Perspective qui se trouve déjà dans l’Apocalypse au chapitre où est rompu le Cinquième Sceau et où les âmes des martyrs qui demandent quand arrivera le Jour du Jugement s’entendent répondre de patienter parce que le chiffre de ceux qui sont comme eux destinés à être mis à mort n’est toujours pas atteint. […] En son essence aucune religion véritable ne peut être d’abord nataliste (l’Eglise catholique ne s’y est résignée que poussée a contrario par les hérésies gnostiques frénétiquement opposées à toute procréation et qui divinisaient du même coup l’ "union" sexuelle). Ce sont les Tyrannies qui sont natalistes, et avec acharnement, parce que l’idéologie c’est le culte de l’Avenir et que l’avenir c’est l’enfant, pas l’annulation de tout dans la fin du monde et son jugement. 

Auteur: Muray Philippe

Info: Dans "Exorcismes spirituels, tome 2 : Mutins de Panurge", éd. Les Belles lettres, Paris, 1998, page 277

[ textes bibliques ]

esprit

Il y a quelques années, le charmant philosophe des sciences et journaliste italien Giulio Giorello m'a interviewé. Et je ne sais pas quel article est précisément paru mais le titre du "Corriere della Sera" était. "Sì, abbiamo un'anima. Ma è fatta di tanti piccoli robot - "Oui, nous avons une âme, mais elle est faite de beaucoup de petits robots". Et je me suis dit : exactement. C'est ça, oui, nous avons une âme, mais dans quel sens ? Dans le sens où notre cerveau, contrairement à celui des chiens, des chats, des chimpanzés et des dauphins, possède des structures fonctionnelles qui lui donnent des capacités qu'aucun autre cerveau n'a - d'anticipation et de prévoyance principalement. Nous pouvons comprendre notre position dans le monde, nous pouvons imaginer l'avenir, nous pouvons avoir une idée d'où nous venons. Nous savons que nous sommes ici. Aucun buffle ne sait qu'il est un buffle alors que nous savons très bien que nous sommes parts de la race Homo sapiens, et c'est le savoir que nous avons et ce que nous pouvons faire, notre capacité de penser à le futur, de réfléchir, d'évaluer et d'évaluer nos évaluations, et d'évaluer les motifs de nos évaluations. C'est cette capacité extensible de nous représenter nos raisonnements qui nous donne une âme. Mais de quoi est-elle constituée ? Elle est faite de neurones. C'est à dire de beaucoup de petits robots. Nous pouvons alors expliquer la structure et le fonctionnement de ce genre d'âme, alors qu'une âme éternelle, immortelle et immatérielle n'est qu'un tapis métaphysique sous lequel on balaie sa gêne de ne pas avoir d'explication".

Auteur: Dennett Daniel C.

Info:

[ définition ] [ ego multiple ]

communisme

Lénine meurt en 1924. La lutte pour sa succession s’engage presque aussitôt entre les deux bureaucrates les mieux placés : Staline et Trotsky [Trotski]. Ce dernier, doctrinaire et tribun, jouit d’une énorme popularité. Malheureusement pour lui, il s’appuie sur les couches inférieures du Parti, sur les cellules de base, les ouvriers d’usines, prouvant ainsi qu’il n’a rien, rien compris aux événements. Staline, lui, a vu clair. Il sait qu’en régime "socialiste", la réalité du pouvoir appartient, non au peuple, ni à la classe ouvrière, non pas même au Parti, dans son ensemble, mais aux sept ou huit membres qui constituent le Bureau politique du comité central. Il en est, mise sur eux, joue et gagne. Trotsky part en exil. Plus tard, il sera assassiné.

Staline est au pouvoir. C’est le premier "grand patron" du parti communiste qui soit vraiment un homme du peuple. Comme tel, il méprise le peuple, et vomit les idéologues, ces petits-bourgeois bavards et prétentieux qui, pendant des années, lui ont barré la route, l’ont regardé de haut en bas, l’ont abreuvé de citations de Marx... Lui, c’est un politique pur. Son but est simple : agrandir le pays, le faire craindre et respecter, et constituer enfin le Grand Empire panslave. Son instrument sera la bureaucratie, devenue classe dominante : ses ennemis : les ouvriers, les paysans et les intellectuels. 

Dès le début de son règne, il transforme les usines en casernes, réprime l’absentéisme, se sert des syndicats pour faire voter des résolutions "spontanées" visant à augmenter la production sans augmenter les salaires. Les militants serviles et arrivistes comme seuls peuvent l’être des révolutionnaires, entrent immédiatement dans le jeu. L’ouvrier russe, trahi par les siens, livré pieds et poings liés à l’État-patron, accusé, s’il proteste, de faire le jeu des ennemis du peuple, se résigne et se console toutes les fois qu’il le peut, en faisant de la reprise individuelle, c’est-à-dire en volant le matériel.

Il n’en est pas de même dans les campagnes, où Staline rétablit au profit de l’État bureaucratique, le régime féodal. Il prend la terre aux paysans, les encaserne dans les kolkhozes, et refait d’eux des serfs de la couronne. Les paysans prennent les armes, massacrent le bétail, provoquent la famine. C’est une véritable guerre. Bilan : sept millions de morts, d’après les évaluations les plus modérées...

Le reste va tout seul : les artisans, les femmes, sont prolétarisés de gré ou de force. Les écrivains eux-mêmes, les artistes, les penseurs, deviennent des agitateurs, des crétiniseurs à gages, des valets du régime. Ceux qui n’acceptent pas ce rôle sont immédiatement supprimés. Ceux qui l’acceptent se déshonorent, s’enivrent ou se suicident.

Enfin, pour couronner le tout, Staline organise les procès de Moscou, au cours desquels sont condamnés les anciens compagnons de Lénine. Il les accuse de trahison. Ce sont, bien entendu, des traîtres puisqu’ils sont léninistes, mais l’humour de Staline consiste à leur faire avouer qu’ils sont également traîtres au "socialisme". Ce qu’ils font, semble-t-il, avec une sorte de volupté. Après quoi ils vont à la mort au milieu de l’indifférence complète de la population car, au début des années 30 du siècle, le peuple russe est, de beaucoup, le plus dépolitisé d’Europe.

Auteur: Gripari Pierre

Info: Dans "La vie, la mort et la résurrection de Socrate-Marie-Gripotard", éditions de la Table Ronde, 1968, pages 49-50

[ histoire ] [ chronologie ] [ totalitarisme ]

songes

Comment utiliser les rêves comme source d'inspiration créative

En s'inspirant de Thomas Edison et de Salvador Dalí, des chercheurs montrent que le modelage de l'imagerie des rêves peut susciter des idées créatives pour résoudre un problème spécifique.

(Photo de Salvador Dalí, avec ce texte) Dali avait des moyens originaux pour tirer une inspiration artistique de ses rêves, par exemple en mettant du parfum sur ses paupières ou en lâchant un objet pour se réveiller afin de se souvenir du contenu de ses rêves.)

Structure du benzène, Google et Frankenstein : Qu'ont en commun ces icônes de la science, de la technologie et de la littérature ? Elles  font partie des nombreuses découvertes et inventions qui auraient été inspirées par un rêve.

Pendant des décennies, les spécialistes du sommeil ont réfléchi au lien entre le rêve et l'inspiration créatrice. Ils ont longtemps pensé que ces idées provenaient de la phase de sommeil à mouvements oculaires rapides (REM), riche en rêves, et qui commence une heure ou plus après le début du cycle de sommeil. Mais de nouvelles données mettent en lumière une phase du sommeil beaucoup plus précoce - la zone crépusculaire qui sépare le sommeil de l'éveil - comme terrain fertile pour un élan créatif.

Dans une étude publiée le 15 mai dans Scientific Reports, une équipe de chercheurs montre que les personnes qui font de brèves siestes précédant l'endormissement obtiennent des résultats plus élevés quant aux critères de créativité que celles qui se lancent dans les mêmes tâches créatives après être restées éveillées. "L'importance de cet état de sommeil précoce pour la créativité a fait l'objet de spéculations, mais à ma connaissance, il s'agit de la meilleure étude démontrant sa valeur", déclare Jonathan Schooler, psychologue cognitif à l'université de Californie à Santa Barbara, qui n'a pas participé à l'étude.

De plus, les scientifiques ont découvert qu'ils pouvaient même exercer un certain contrôle sur le processus de rêve. Pour ce faire, ils ont orienté les rêves des participants vers un sujet spécifique. Plus les participants rêvaient de ce thème, plus ils étaient créatifs dans les tâches qui s'y rapportaient. "C'est à peu près ce qui nous permet de dire que rêver d'un sujet améliore la créativité ultérieure sur ce sujet", déclare Robert Stickgold, neuroscientifique cognitif et chercheur sur les rêves à la Harvard Medical School, qui faisait partie de l'équipe de l'étude.

L'expérience s'est appuyée sur un détecteur de sommeil en forme de gant appelé Dormio, mis au point par une équipe comprenant le co-chercheur principal Adam Haar Horowitz, chercheur postdoctoral au Massachusetts Institute of Technology. Dormio suit le début du sommeil en surveillant le tonus musculaire, la conductance de la peau et la fréquence cardiaque par l'intermédiaire de contacts sur le poignet et la main. Il communique avec une application qui émet des messages vocaux pour les rêves et enregistre les rapports de rêves.

Plus d'un penseur célèbre a tiré parti de la première phase de transition dans le sommeil, appelée stade 1 du sommeil non REM (sans mouvements oculaires rapides - N1), pour générer des idées créatives. Le peintre Salvador Dalí s'assoupissait délibérément en tenant un jeu de clés au-dessus d'une plaque de métal lorsqu'il réfléchissait à une idée de peinture. Au fur et à mesure qu'il s'assoupissait, les muscles de sa main se détendaient et il laissait tomber les clés qui heurtaient la plaque et le réveillaient, et il gardait l'image de son rêve. Thomas Edison aurait utilisé une technique similaire avec des billes de métal au lieu de clés pour obtenir des idées à intégrer dans ses inventions.

En 2021, une équipe de chercheurs de l'Institut du cerveau de Paris a rapporté certaines des premières preuves solides comme quoi Dalí et Edison étaient sur la bonne voie. Ils ont demandé à des personnes de faire de courtes siestes après les avoir exposées à des problèmes de mathématiques pour lesquels existait un raccourci caché. Parmi la grande majorité des personnes n'ayant pas vu le raccourci tout de suite, celles qui ont fait une sieste au stade N1 furent presque trois fois plus efficaces que celles n'ayant pas fait de sieste pour trouver la meilleure solution lorsqu'elles s'attaquaient à de nouveaux problèmes nécessitant de mettre en œuvre les mêmes connaissances mathématiques.

Stickgold, Haar Horowitz et leurs collègues ont voulu vérifier l'idée que le rêve était l'intermédiaire clé pour générer des éclats de perspicacité pendant le stade N1. Avant la publication de l'étude de 2021 sur les mathématiques, les chercheurs ont entrepris une étude contrôlée sur le rêve, dans laquelle ils ont incité des personnes à rêver de quelque chose de spécifique, comme un arbre.

Ils ont recruté 50 personnes pour une "étude sur la sieste" de l'après-midi - intitulé qui a vraisemblablement attiré les personnes qui aiment faire la sieste, bien que les chercheurs n'aient en fait demandé qu'à la moitié des participants de dormir dans le cadre de l'étude. Alors qu'ils portaient Dormio, les participants se sont endormis et l'application liée à Dormio leur a demandé de "penser à un arbre" ou de "penser à observer leurs pensées". Une à cinq minutes plus tard, l'application les réveillait en leur demandant de raconter leur rêve. Ce cycle s'est répété pendant 45 minutes, produisant en moyenne cinq récits de rêve par personne. Les personnes à qui l'on a demandé de rester éveillées ont laissé leur esprit vagabonder tout en recevant des instructions similaires. (Les chercheurs ont créé une version simplifiée de ce protocole d'incubation de rêves, accessible sur le web, que vous pouvez essayer chez vous).

Parmi les siesteurs qui ont reçu l'instruction sur les arbres, tous sauf un ont déclaré avoir rêvé d'arbres ou de parties d'arbres, alors qu'une seule personne parmi les siesteurs ayant reçu l'instruction plus générale l'a fait. L'un d'entre eux a décrit des "arbres se divisant en une infinité de morceaux" et s'est retrouvé dans le désert avec "un chaman assis sous l'arbre avec moi".

Les participants ont ensuite passé trois tests de créativité : Ils ont écrit une histoire créative dans laquelle figurait le mot "arbre". Ils ont énuméré "toutes les utilisations alternatives créatives" qu'ils pouvaient imaginer pour un arbre. Enfin, ils ont écrit le premier verbe qui leur venait à l'esprit pour chacun des 31 noms qui se rapportaient, plus ou moins, aux arbres. La créativité des réponses a été évaluée par des personnes qui ne savaient pas qui faisait la sieste ou qui avait reçu l'invitation à parler d'un arbre. Ces évaluations ont été combinées en un indice de créativité globale.

Les personnes ayant fait la sieste et qui avaient reçu l'indice de l'arbre ont obtenu les scores de créativité les plus élevés. "Il existe un lien objectif et expérimental entre l'incubation d'un rêve spécifique et la créativité post-sommeil autour de ce sujet", explique Haar Horowitz. "Cela valide des siècles de rapports anecdotiques de personnes qui se trouvent dans l'espace créatif.

En outre, plus une personne fait référence à des arbres, plus son score de créativité est élevé. "Plus vous rêvez d'un arbre, meilleures sont vos performances ultérieures", explique Kathleen Esfahany, étudiante de premier cycle au M.I.T., qui a codirigé l'étude avec Haar Horowitz. Les personnes semblent utiliser leurs rêves pour trouver des idées pour ces tâches, ajoute Kathleen Esfahany. Par exemple, une personne ayant rêvé que son corps était en bois a écrit une histoire sur un "roi chêne" qui portait une "couronne de feuilles" et dont le corps était tantôt "en bois", tantôt "en lumière".

L'ensemble de ces données indique que le rêve pendant N1 est un ingrédient actif de la créativité, comme l'ont supposé les chercheurs. "Il s'agit d'une étude pionnière", déclare Tore Nielsen, chercheur sur le rêve à l'Université de Montréal, qui n'a pas participé à l'étude. "Personne n'a démontré expérimentalement que le fait de rêver de quelque chose au début du sommeil est en fait lié à la créativité qui s'ensuit.

Nielsen et d'autres chercheurs estiment que l'étude est de petite envergure et qu'elle doit être reproduite. En outre, les résultats des tâches de créativité individuelles (par opposition au résultat composite) n'étaient pas significativement plus élevés chez les personnes qui ont fait une sieste guidée que chez celles qui n'ont pas été guidées, explique Penny Lewis, neuroscientifique à l'université de Cardiff au Pays de Galles, qui n'a pas participé à l'étude. "Je pense que leurs données montrent de manière convaincante que le fait de passer un certain temps dans le stade 1 du sommeil - c'est-à-dire le sommeil très léger qui se produit lorsque vous vous endormez - conduit à de meilleures performances dans ces trois tâches", explique Penny Lewis. Mais l'idée "que l'incitation conduit à ces effets devrait être traitée avec prudence parce que les statistiques ne sont pas très solides".

Une mesure objective et automatisée de la créativité, nommée "distance sémantique", indiquait qu'une brève sieste favorise l'inventivité, mais qu'il n'y a pas d'avantage supplémentaire lorsqu'on ajoutait une incitation à l'idée d'un arbre. Dans cette mesure, un ordinateur évalue la similarité des paires de mots produites dans chaque tâche de créativité, une similarité moindre étant liée à une plus grande créativité. Néanmoins, cette mesure laisse entrevoir un mécanisme de stimulation de la créativité au cours de la période N1. "Elle suggère que les gens sont capables de faire des associations plus éloignées et donc de trouver des ponts [conceptuels] qu'ils n'auraient pas pu découvrir autrement", explique M. Schooler.

L'étude ne portait que sur un seul motif, impliquant un arbre, de sorte que le système doit être testé sur d'autres sujets et éventuellement utilisé pour résoudre des problèmes réels. "C'est passionnant car, en principe, il s'agit d'une technologie que les gens pourraient utiliser eux-mêmes pour stimuler leur propre créativité", explique M. Schooler.

Il semble que les personnes désireuses de l'essayer ne manquent pas. "Des gens très différents sont venus frapper à la porte du laboratoire et ont demandé à faire des rêves", déclare Haar Horowitz.

Auteur: Internet

Info: https://www.scientificamerican.com/. Par Ingrid Wickelgren, 15 mai 2023

[ subconscient ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

épistémologie

Opinion: Pourquoi la science a besoin de la philosophe

Malgré les liens historiques étroits entre la science et la philosophie, les scientifiques d'aujourd'hui perçoivent souvent la philosophie comme complètement différente, voire antagoniste, de la science. Nous soutenons ici que, au contraire, la philosophie peut avoir un impact important et productif sur la science.

Nous illustrons notre propos par trois exemples tirés de divers domaines des sciences de la vie contemporaines. Chacun d'entre eux concerne la recherche scientifique de pointe, et chacun ayant été explicitement reconnu par les chercheurs en exercice comme une contribution utile à la science. Ces exemples, et d'autres, montrent que la contribution de la philosophie peut prendre au moins quatre formes : la clarification des concepts scientifiques, l'évaluation critique des hypothèses ou des méthodes scientifiques, la formulation de nouveaux concepts et de nouvelles théories, et la promotion du dialogue entre les différentes sciences, ainsi qu'entre la science et la société.

Clarification conceptuelle et cellules souches.

Tout d'abord, la philosophie offre une clarification conceptuelle. Les clarifications conceptuelles améliorent non seulement la précision et l'utilité des termes scientifiques, mais conduisent également à de nouvelles recherches expérimentales, car le choix d'un cadre conceptuel donné contraint fortement la façon dont les expériences sont conçues.

La définition des cellules souches (stem cells) en est un excellent exemple. La philosophie a une longue tradition d'étude des propriétés, et les outils utilisés dans cette tradition ont récemment été appliqués pour décrire la "souche", propriété qui définit les cellules souches. L'un d'entre nous a montré que quatre types de propriétés différentes existent sous cette dénomination de souche (stemness) au vu des connaissances scientifiques actuelles. Selon le type de tissu, la stemness peut être une propriété catégorielle (propriété intrinsèque de la cellule souche, indépendante de son environnement), une propriété dispositionnelle (propriété intrinsèque de la cellule souche qui est contrôlée par le micro-environnement), une propriété relationnelle (propriété extrinsèque qui peut être conférée aux cellules non souches par le microenvironnement), ou une propriété systémique (propriété qui est maintenue et contrôlée au niveau de la population cellulaire entière).

Hans Clevers, chercheur en biologie des cellules souches et du cancer, note que cette analyse philosophique met en lumière d'importants problèmes sémantiques et conceptuels en oncologie et en biologie des cellules souches ; il suggère également que cette analyse soit facilement applicable à l'expérimentation. En effet, au-delà de la clarification conceptuelle, ce travail philosophique a des applications dans le monde réel, comme l'illustre le cas des cellules souches cancéreuses en oncologie.

Les recherches visant à développer des médicaments ciblant soit les cellules souches cancéreuses, soit leur microenvironnement, reposent en fait sur différents types de souches et sont donc susceptibles d'avoir des taux de réussite différents selon le type de cancer. En outre, elles pourraient ne pas couvrir tous les types de cancer, car les stratégies thérapeutiques actuelles ne tiennent pas compte de la définition systémique de la souche. Déterminer le type de souche présent dans chaque tissu et chaque cancer est donc utile pour orienter le développement et le choix des thérapies anticancéreuses. Dans la pratique, ce cadre a conduit à la recherche de thérapies anticancéreuses qui combinent le ciblage des propriétés intrinsèques des cellules souches cancéreuses, de leur microenvironnement et des points de contrôle immunitaires afin de couvrir tous les types possibles de souches.

En outre, ce cadre philosophique a récemment été appliqué à un autre domaine, l'étude des organoïdes (tissus en 3D dérivés de cellules souches, sont capables de s'auto-organiser et de reproduire certaines fonctions d'un organe.). Dans une revue systémique des données expérimentales sur les organoïdes provenant de diverses sources, Picollet-D'hahan et al. ont caractérisé la capacité à former des organoïdes comme une propriété dispositionnelle. Ils ont pu alors affirmer que pour accroître l'efficacité et la reproductibilité de la production d'organoïdes, actuellement un défi majeur dans le domaine, les chercheurs doivent mieux comprendre la partie intrinsèque de la propriété dispositionnelle qui est influencée par le microenvironnement. Pour distinguer les caractéristiques intrinsèques des cellules qui ont une telle disposition, ce groupe développe actuellement des méthodes de génomique fonctionnelle à haut débit, permettant d'étudier le rôle de pratiquement tous les gènes humains dans la formation des organoïdes.

Immunogénicité et microbiome.

En complément de son rôle dans la clarification conceptuelle, la philosophie peut contribuer à la critique des hypothèses scientifiques et peut même être proactive dans la formulation de théories nouvelles, testables et prédictives qui aident à définir de nouvelles voies pour la recherche empirique.

Par exemple, une critique philosophique du cadre du cadre immunitaire du soi et du non-soi a conduit à deux contributions scientifiques importantes. Tout d'abord, elle a servi de base à la formulation d'un nouveau cadre théorique, la théorie de la discontinuité de l'immunité, qui complète les modèles antérieurs du non-soi et du danger en proposant que le système immunitaire réagisse aux modifications soudaines des motifs antigéniques. Cette théorie éclaire de nombreux phénomènes immunologiques importants, notamment les maladies auto-immunes, les réponses immunitaires aux tumeurs et la tolérance immunologique à des ligands exprimés de façon chronique. La théorie de la discontinuité a été appliquée à une multitude de questions, aidant à explorer les effets des agents chimiothérapeutiques sur l'immunomodulation dans le cancer et expliquant comment les cellules tueuses naturelles modifient constamment leur phénotype et leurs fonctions grâce à leurs interactions avec leurs ligands** d'une manière qui assure la tolérance aux constituants corporels. La théorie permet également d'expliquer les conséquences des vaccinations répétées chez les personnes immunodéprimées et propose des modèles mathématiques dynamiques de l'activation immunitaire. Collectivement, ces diverses évaluations empiriques illustrent comment des propositions d'inspiration philosophique peuvent conduire à des expériences inédites, ouvrant ainsi de nouvelles voies de recherche.

Deuxièmement, la critique philosophique a contribué, avec d'autres approches philosophiques, à la notion selon laquelle tout organisme, loin d'être un soi génétiquement homogène, est une communauté symbiotique abritant et tolérant de multiples éléments étrangers (notamment des bactéries et des virus), qui sont reconnus mais non éliminés par son système immunitaire. La recherche sur l'intégration symbiotique et la tolérance immunitaire a des conséquences considérables sur notre conception de ce qui constitue un organisme individuel, qui est de plus en plus conceptualisé comme un écosystème complexe dont les fonctions clés, du développement à la défense, la réparation et la cognition, sont affectées par les interactions avec les microbes.

Influence sur les sciences cognitives.

L'étude de la cognition et des neurosciences cognitives offre une illustration frappante de l'influence profonde et durable de la philosophie sur la science. Comme pour l'immunologie, les philosophes ont formulé des théories et des expériences influentes, aidé à lancer des programmes de recherche spécifiques et contribué à des changements de paradigme. Mais l'ampleur de cette influence est bien plus importante que dans le cas de l'immunologie. La philosophie a joué un rôle dans le passage du behaviorisme au cognitivisme et au computationnalisme dans les années 1960. La théorie de la modularité de l'esprit, proposée par le philosophe Jerry Fodor, a peut-être été la plus visible. Son influence sur les théories de l'architecture cognitive peut difficilement être dépassée. Dans un hommage rendu après le décès de Fodor en 2017, l'éminent psychologue cognitif James Russell a parlé dans le magazine de la British Psychological Society de "psychologie cognitive du développement BF (avant Fodor) et AF (après Fodor) ".

La modularité renvoie à l'idée que les phénomènes mentaux résultent du fonctionnement de multiples processus distincts, et non d'un seul processus indifférencié. Inspiré par les résultats de la psychologie expérimentale, par la linguistique chomskienne et par les nouvelles théories computationnelles de la philosophie de l'esprit, Fodor a théorisé que la cognition humaine est structurée en un ensemble de modules spécialisés de bas niveau, spécifiques à un domaine et encapsulés sur le plan informationnel, et en un système central de plus haut niveau, général à un domaine, pour le raisonnement abductif, l'information ne circulant que verticalement vers le haut, et non vers le bas ou horizontalement (c'est-à-dire entre les modules). Il a également formulé des critères stricts de modularité. Aujourd'hui encore, la proposition de Fodor définit les termes d'une grande partie de la recherche empirique et de la théorie dans de nombreux domaines des sciences cognitives et des neurosciences, y compris le développement cognitif, la psychologie de l'évolution, l'intelligence artificielle et l'anthropologie cognitive. Bien que sa théorie ait été révisée et remise en question, les chercheurs continuent d'utiliser, de peaufiner et de débattre de son approche et de sa boîte à outils conceptuelle de base.

La philosophie et la science partagent les outils de la logique, de l'analyse conceptuelle et de l'argumentation rigoureuse. Cependant, les philosophes peuvent utiliser ces outils avec des degrés de rigueur, de liberté et d'abstraction théorique que les chercheurs praticiens ne peuvent souvent pas se permettre dans leurs activités quotidiennes.

La tâche des fausses croyances constitue un autre exemple clé de l'impact de la philosophie sur les sciences cognitives. Le philosophe Daniel Dennett a été le premier à concevoir la logique de base de cette expérience comme une révision d'un test utilisé pour évaluer la théorie de l'esprit, la capacité d'attribuer des états mentaux à soi-même et aux autres. Cette tâche teste la capacité d'attribuer à autrui des croyances que l'on considère comme fausses, l'idée clé étant que le raisonnement sur les croyances fausses d'autrui, par opposition aux croyances vraies, exige de concevoir les autres personnes comme ayant des représentations mentales qui divergent des siennes et de la façon dont le monde est réellement. Sa première application empirique remonte à 1983 , dans un article dont le titre, "Beliefs About Beliefs : Representation and Constraining Function of Wrong Beliefs in Young Children's Understanding of Deception", est en soi un hommage direct à la contribution de Dennett.

La tâche des fausses croyances représente une expérience marquante dans divers domaines des sciences cognitives et des neurosciences, avec de vastes applications et implications. Il s'agit notamment de tester les stades du développement cognitif chez les enfants, de débattre de l'architecture de la cognition humaine et de ses capacités distinctes, d'évaluer les capacités de la théorie de l'esprit chez les grands singes, de développer des théories de l'autisme en tant que cécité de l'esprit (selon lesquelles les difficultés à réussir la tâche des fausses croyances sont associées à cette maladie), et de déterminer quelles régions particulières du cerveau sont associées à la capacité de raisonner sur le contenu de l'esprit d'une autre personne .

La philosophie a également aidé le domaine des sciences cognitives à éliminer les hypothèses problématiques ou dépassées, contribuant ainsi à l'évolution de la science. Les concepts de l'esprit, de l'intelligence, de la conscience et de l'émotion sont utilisés de manière omniprésente dans différents domaines, avec souvent peu d'accord sur leur signification. L'ingénierie de l'intelligence artificielle, la construction de théories psychologiques des variables de l'état mental et l'utilisation d'outils neuroscientifiques pour étudier la conscience et l'émotion nécessitent des outils conceptuels pour l'autocritique et le dialogue interdisciplinaire - précisément les outils que la philosophie peut fournir.

La philosophie - parfois représentée par la lettre grecque phi - peut contribuer à faire progresser tous les niveaux de l'entreprise scientifique, de la théorie à l'expérience. Parmi les exemples récents, citons les contributions à la biologie des cellules souches, à l'immunologie, à la symbiose et aux sciences cognitives.  

La philosophie et la connaissance scientifique.

Les exemples ci-dessus sont loin d'être les seuls : dans les sciences de la vie, la réflexion philosophique a joué un rôle important dans des questions aussi diverses que l'altruisme évolutif , le débat sur les unités de sélection, la construction d'un "arbre de vie", la prédominance des microbes dans la biosphère, la définition du gène et l'examen critique du concept d'innéité. De même, en physique, des questions fondamentales comme la définition du temps ont été enrichies par les travaux des philosophes. Par exemple, l'analyse de l'irréversibilité temporelle par Huw Price et les courbes temporelles fermées par David Lewis ont contribué à dissiper la confusion conceptuelle en physique.

Inspirés par ces exemples et bien d'autres, nous considérons que la philosophie et la science se situent sur un continuum. La philosophie et la science partagent les outils de la logique, de l'analyse conceptuelle et de l'argumentation rigoureuse. Cependant, les philosophes peuvent utiliser ces outils avec des degrés de minutie, de liberté et d'abstraction théorique que les chercheurs praticiens ne peuvent souvent pas se permettre dans leurs activités quotidiennes. Les philosophes possédant les connaissances scientifiques pertinentes peuvent alors contribuer de manière significative à l'avancement de la science à tous les niveaux de l'entreprise scientifique, de la théorie à l'expérimentation, comme le montrent les exemples ci-dessus.

Mais comment, en pratique, faciliter la coopération entre chercheurs et philosophes ? À première vue, la solution pourrait sembler évidente : chaque communauté devrait faire un pas vers l'autre. Pourtant, ce serait une erreur de considérer cette tâche comme facile. Les obstacles sont nombreux. Actuellement, un nombre important de philosophes dédaignent la science ou ne voient pas la pertinence de la science pour leur travail. Même parmi les philosophes qui privilégient le dialogue avec les chercheurs, rares sont ceux qui ont une bonne connaissance de la science la plus récente. À l'inverse, peu de chercheurs perçoivent les avantages que peuvent leur apporter les idées philosophiques. Dans le contexte scientifique actuel, dominé par une spécialisation croissante et des demandes de financement et de résultats de plus en plus importantes, seul un nombre très limité de chercheurs a le temps et l'opportunité d'être au courant des travaux produits par les philosophes sur la science, et encore moins de les lire.

 Pour surmonter ces difficultés, nous pensons qu'une série de recommandations simples, assez facile à mettre en œuvre, peuvent aider à combler le fossé entre la science et la philosophie. La reconnexion entre la philosophie et la science est à la fois hautement souhaitable et plus réalisable en pratique que ne le suggèrent les décennies d'éloignement qui les séparent.

1) Laisser plus de place à la philosophie dans les conférences scientifiques. Il s'agit d'un mécanisme très simple permettant aux chercheurs d'évaluer l'utilité potentielle des idées des philosophes pour leurs propres recherches. Réciproquement, davantage de chercheurs pourraient participer à des conférences de philosophie, en développant les efforts d'organisations telles que l'International Society for the History, Philosophy, and Social Studies of Biology, la Philosophy of Science Association et la Society for Philosophy of Science in Practice.

2) Accueillir des philosophes dans des laboratoires et des départements scientifiques. Il s'agit d'un moyen efficace (déjà exploré par certains des auteurs et d'autres) pour les philosophes d'apprendre la science et de fournir des analyses plus appropriées et bien fondées, et pour les chercheurs de bénéficier d'apports philosophiques et de s'acclimater à la philosophie en général. C'est peut-être le moyen le plus efficace d'aider la philosophie à avoir un impact rapide et concret sur la science.

3) Co-superviser des doctorants. La co-supervision de doctorants par un chercheur et un philosophe est une excellente occasion de rendre possible l'enrichissement mutuel des deux domaines. Elle facilite la production de thèses qui sont à la fois riches sur le plan expérimental et rigoureuses sur le plan conceptuel et, ce faisant, elle forme la prochaine génération de philosophes-scientifiques.

4) Créer des programmes d'études équilibrés en science et en philosophie qui favorisent un véritable dialogue entre elles. De tels programmes existent déjà dans certains pays, mais leur développement devrait être une priorité absolue. Ils peuvent offrir aux étudiants en sciences une perspective qui les rend plus aptes à relever les défis conceptuels de la science moderne et fournir aux philosophes une base solide de connaissances scientifiques qui maximisera leur impact sur la science. Les programmes d'enseignement des sciences peuvent inclure un cours d'histoire des sciences et de philosophie des sciences. Les programmes de philosophie pourraient inclure un module de sciences.

5) Lire science et philosophie. La lecture des sciences est indispensable à la pratique de la philosophie des sciences, mais la lecture de la philosophie peut également constituer une grande source d'inspiration pour les chercheurs, comme l'illustrent certains des exemples ci-dessus. Par exemple, les clubs de lecture où les contributions scientifiques et philosophiques sont discutées constituent un moyen efficace d'intégrer la philosophie et la science.

6) Ouvrir de nouvelles sections consacrées aux questions philosophiques et conceptuelles dans les revues scientifiques. Cette stratégie serait un moyen approprié et convaincant de suggérer que le travail philosophique et conceptuel est continu avec le travail expérimental, dans la mesure où il est inspiré par celui-ci, et peut l'inspirer en retour. Cela rendrait également les réflexions philosophiques sur un domaine scientifique particulier beaucoup plus visibles pour la communauté scientifique concernée que lorsqu'elles sont publiées dans des revues de philosophie, qui sont rarement lues par les scientifiques.

Nous espérons que les mesures pratiques exposées ci-dessus encourageront une renaissance de l'intégration de la science et de la philosophie. En outre, nous soutenons que le maintien d'une allégeance étroite à la philosophie renforcera la vitalité de la science. La science moderne sans la philosophie se heurtera à un mur : le déluge de données dans chaque domaine rendra l'interprétation de plus en plus difficile, négligence et ampleur ampleur de l'histoire risquent de séparer davantage les sous-disciplines scientifiques, et l'accent mis sur les méthodes et les résultats empiriques entraînera une formation de moins en moins approfondie des étudiants. Comme l'a écrit Carl Woese : "une société qui permet à la biologie de devenir une discipline d'ingénierie, qui permet à la science de se glisser dans le rôle de modifier le monde vivant sans essayer de le comprendre, est un danger pour elle-même." Nous avons besoin d'une revigoration de la science à tous les niveaux, une revigoration qui nous rende les bénéfices de liens étroits avec la philosophie.

Auteur: Internet

Info: https://hal.archives-ouvertes.fr/hal-02269657/document. " janvier 2020. Publication collective de Lucie Laplane, Paolo Mantovani, Ralph Adolphs, Hasok Chang, Alberto Mantovani, Margaret McFall-Ngai, Carlo Rovelli, Elliott Sober, et Thomas Pradeua. Trad Mg

[ mécanisme ] [ état des lieux ] [ corps-esprit ] [ tétravalences ] [ tour d'horizon ]