neuroscience

La potentialisation à long terme (PLT - ou LTP, Long-Term Potentiation) est un processus qui se produit dans le cerveau et qui est associé au renforcement des connexions entre les neurones, qui sont les cellules responsables de la transmission des informations dans le cerveau. La PLT est considérée comme l'un des mécanismes fondamentaux de l'apprentissage et de la formation de la mémoire. 

Elle se produit selon ce processus.

1 Les neurones du cerveau communiquent entre eux par l'intermédiaire de connexions spécialisées appelées synapses. Ces synapses sont constituées d'un neurone présynaptique (neurone émetteur) et d'un neurone postsynaptique (neurone récepteur).

2 Lorsque ces neurones s'activent ensemble de manière répétée et cohérente, ils déclenchent un processus de plasticité synaptique, en particulier le PLT. Cela se produit généralement lors d'une stimulation à haute fréquence du neurone présynaptique.

3 Au cours de la PLT, certains changements se produisent au niveau de la synapse. L'un des principaux changements est l'augmentation de la force de la connexion synaptique. Cela signifie que le neurone postsynaptique devient plus sensible aux signaux du neurone présynaptique.

4 On pense que l'augmentation de la force de la synapse est due à différents mécanismes, notamment une augmentation de la libération de neurotransmetteurs (messagers chimiques) par le neurone présynaptique et des changements dans la réactivité des récepteurs sur le neurone postsynaptique.

5 Ces changements entraînent une transmission plus efficace des signaux entre les neurones, ce qui facilite la communication entre eux. Cette communication améliorée entre les neurones serait à la base de l'apprentissage et de la formation de nouveaux souvenirs.

Il doit être noté que le processus de PLT est complexe et qu'il implique divers événements moléculaires et cellulaires qui contribuent au renforcement des connexions entre les neurones, crucial pour apprendre et se souvenir.

Auteur: chatGPT4

Info: 27 juin 2023

[ capture synaptique ] [ mémorisation ] [ apprentissage ]

folie prométhéenne

Lacan : Il semble que vienne pour les savants le moment de l'angoisse. Dans leurs laboratoires aseptiques, roulés dans leurs blouses empesées, ces vieux bambins qui jouent avec des choses inconnues, en fabriquant des appareils toujours plus compliqués et en inventant des formules toujours plus obscures, commencent à se demander ce qui pourra advenir demain, ce que ces recherches toujours nouvelles finiront par amener. Enfin ! dis-je. Et s'il était trop tard? Les biologistes se le demandent maintenant, ou les physiciens, les chimistes. Pour moi, ils sont fous. Alors qu'ils sont déjà en train de changer la face de l'univers, il leur vient à l'esprit seulement à présent de se demander si par hasard ça ne peut pas être dangereux. Et si tout sautait? Si les bactéries élevées si amoureusement dans les blancs laboratoires se transformaient en ennemis mortels? Si le monde était balayé par une horde de ces bactéries avec toute la merde qui l'habite à commencer par ces savants des laboratoires? Aux trois positions impossibles de Freud, gouvernement, éducation, psychanalyse, j'en ajouterai une quatrième, la science. A ceci près, que les savants ne savent pas que leur position est insoutenable.

Question : C’est une vision assez pessimiste de ce qui communément se définit comme le progrès.

 Lacan : Pas du tout, je ne suis pas pessimiste. Il n’arrivera rien. Pour la simple raison que l’homme est un bon à rien, même pas capable de se détruire. Une calamité totale promue par l’homme, personnellement je trouverais ça merveilleux. La preuve qu’il aurait finalement réussi à fabriquer quelque chose avec ses mains, avec sa tête, sans intervention divine ou naturelle ou autre.

Toutes ces belles bactéries bien nourries se baladant dans le monde, comme les sauterelles bibliques, signifieraient le triomphe de l’homme. Mais ça n’arrivera pas. La science a sa bonne crise de responsabilité. Tout rentrera dans l’ordre des choses, comme on dit. Je l’ai dit, le réel aura le dessus comme toujours, et nous serons foutus comme toujours.

Auteur: Lacan Jacques

Info: Entretien accordé en 1974 au magazine italien Panorama, traduit de l'italien par Paul Lemoine

[ ignorance ] [ conséquences ] [ apprentis sorciers ] [ impuissance ]

homme-machine

L'argument de la chambre chinoise de John Searle remet en question l'idée que les ordinateurs puissent véritablement comprendre le langage. Il présente un scénario dans lequel une personne dans une pièce suit des instructions en anglais pour répondre à des symboles chinois, sans réellement comprendre la signification de ces symboles. Selon Searle, cette situation est similaire à la manière dont les ordinateurs traitent l'information : ils manipulent les symboles sur la base de règles prédéfinies, mais ne les comprennent pas vraiment. Il estime que la compréhension nécessite une conscience et une intentionnalité que les machines ne possèdent pas. En substance, l'argument de Searle suggère que les ordinateurs peuvent simuler le traitement du langage, mais qu'ils ne comprennent pas vraiment le sens des symboles qu'ils manipulent. En résumé :

- Un ordinateur programmé pour parler chinois ne comprend pas le chinois. Il ne fait que suivre des règles.

- L'intelligence humaine comprend le chinois.

- L'intelligence artificielle ne peut donc pas être confondue avec l'intelligence humaine.

Ainsi, selon cette triple perspective : celle de chatGPT4, le point de vue "FLP post Peirce", ainsi que les règles de notre application... ce concept de chambre chinoise implique qu'une race organique comme les humains, nécessite une priméité commune, un monde partagé, afin de pouvoir réellement communiquer-traduire avec ses semblables lorsqu'ils parlent un autre idiome. Dit autrement lors d'un échange-transposition, via l'utilisation de mots symboles (qui sont des univers en eux-mêmes), les entités organiques d'une même espèce doivent partager le même univers source - même si cette idée peut apparaitre come un truisme.

Il sera certes possible d'affiner très avant tous les concepts possibles pour une machine, mais il manquera toujours à pareil logiciel hors-sol un certain nombres de compétences-capacités-attributs que possèdent les êtres organiques-grégaires. Dans le désordre : La capacité poétique, le sens du jeu avec les mots (univers eux-mêmes), du contrepied sémantique et de l'humour... Une souplesse d'adaptation tous azimuts en fonction des contextes, humeurs, vitesse du vent, etc...  Et probablement, par dessus tout, la capacité de mentir, de jouer avec les apparences.

Il est certain que lA dominera l'humain dans beaucoup de domaines hyper-complexes - où elle devra être utilisée comme outil spécialisé. Mais, pour ce qui est d'une " prise avec le réel ", d'une capacité à saisir tel ou tel langage corporel dans l'instant, de communiquer-interagir sensuellement avec un chat ou même un végétal... On demande à voir.

Ces problématiques seront probablement analysables avec un surcroit d'acuité le jour d'une rencontre avec des organiques évolués non-humains et non-issus de Gaïa.  Apprenons d'abord à mieux nous intégrer dans cette dernière, probablement par l'usage d'une nouvelle logique, tétravalente... moins dépendante de son langage... preuve en étant apportée par les capacités d'expansion-adaptation des constructions permises par le carbone tétravalent.

Auteur: Mg

Info:

[ machine-homme ] [ chatbot tiercité hors-sol ] [ apprentissage automatique ] [ transposition ] [ xénolinguistique ]

covid-19

Les médias du monde entier – et donc Le Monde - ont diffusé la conclusion de la mission d’enquête de l’OMS en Chine sur l’origine du Sars-Cov2 : la fuite accidentelle d’un laboratoire est "hautement improbable" et l’OMS n’approfondira pas cette piste. Elle préfère s’intéresser à l’importation de surgelés frelatés. Fin de partie.

De retour à Genève, le chef de cette mission, Peter Ben Embarek, donne un entretien à la revue scientifique américaine Science (lire ci-après). Où l’on découvre que "hautement improbable" est une façon diplomatique de dire "pas impossible", donc "possible", et que les enquêteurs, submergés par une nuée de contrôleurs politiques, n’ont eu ni les moyens ni la curiosité d’aller plus loin.

Qui étaient ces enquêteurs ? Une dizaine de scientifiques de tous les continents, dont deux retiennent notre attention.

Peter Daszak, connu de nos lecteurs (voir en commentaire 1), est un zoologue britannique familier de Wuhan : il a travaillé avec Shi Zhengli, la spécialiste de l’"augmentation" des coronavirus par les gains de fonction, au sein du labo P4 de Wuhan. Daszak et elle ont co-signé des articles scientifiques. Daszak préside un organisme américain, EcoHealth Alliance, par lequel ont transité des fonds provenant des National Institutes of Health (instituts de recherche publics américains), à destination du labo de Shi Zhengli. On comprend la promptitude du chercheur à dénoncer les "théories conspirationnistes" sur une éventuelle fuite de laboratoire, au point d’assurer en avril 2020 qu’aucun coronavirus n’était cultivé à Wuhan… avant d’être démenti par le directeur du laboratoire lui-même. Daszak est la dernière personne à pouvoir enquêter sur l’origine du Sars-Cov2, compte tenu de ce conflit d’intérêt. Ça ne gêne nullement la "communauté scientifique", puisque la "prestigieuse revue The Lancet" l’a également chargé de piloter sa "task force" d’enquête sur l’origine de l’épidémie.

Une autre enquêtrice de l’OMS, virologue, travaille dans un laboratoire de l’université Erasmus de Rotterdam, lui aussi connu de nos lecteurs (voir en commentaire 2). Marion Koopmans est la collègue de Ron Fouchier, le virologue qui avait fait muter le virus de la grippe aviaire H5N1 en 2011 pour le rendre contagieux entre humains. Une des premières créations de "Frankenvirus", ces virus augmentés par la méthode des gains de fonction, qui avait déclenché une controverse scientifique. Le même Fouchier avait remis ça en 2013 avec une autre souche de grippe aviaire mortelle, H7N9, provoquant cette fois une alerte de scientifiques auprès de la Commission européenne. Marion Koopmans avait co-signé un article avec Fouchier et des chercheurs chinois sur l’émergence de H7N9. Si elle évite aujourd’hui d’examiner les gains de fonctions de Shi Zenghli sur les coronavirus, qui peut lui en vouloir ? Nul ne souhaite une nouvelle controverse sur les laboratoires qui rendent les virus plus contagieux.

Le directeur de la mission, Peter Ben Embarek, est quant à lui un spécialiste danois de la sécurité alimentaire (d’où les surgelés) et expert des zoonoses à l’OMS depuis 2001. Rions jaune en découvrant son entretien avec Science.

Auteur: PMO Pièces et main-d'oeuvre

Info: 19 février 2021, http://www.piecesetmaindoeuvre.com/IMG/pdf/l_oms_n_a_rien_vu_a_wuhan.pdf?fbclid=IwAR0d9vOAXNVukSpU1jet7H6Lizw18xLttZrjNNLbP5Fhy73LgqfT50zL0-Y

[ apprentis sorciers ] [ manipulations génétiques ] [ étouffer l'affaire ] [ scientifreak ]

homme-machine

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Auteur: Internet

Info: Sur guithub : https://huggingface.co/blog/rlhf, Nathan Lambert, Louis Castricato guest , Leandro von Werra, Alex Havrilla guest. Le 9 décembre 2022 *Reinforcement Learning from Human Feedback ... **Courbe de perte ? (loss function) À la base, une fonction de perte est très simple : c'est une méthode permettant d'évaluer dans quelle mesure votre algorithme modélise votre ensemble de données. Si vos prédictions sont totalement erronées, votre fonction de perte affichera un chiffre élevé. Si elles sont assez bonnes, elle affichera un chiffre plus bas.  C'est une pénalité pour  mauvaise prédiction. En d'autres termes, la perte (loss) est un nombre qui indique à quel point la prédiction du modèle est mauvaise sur un seul exemple. Si la prédiction du modèle est parfaite, la perte est nulle ; elle affichera le chiffre zéro.

[ apprentissage automatique ] [ idiome consensuel ] [ anti-poésie ] [ objectivation linguistique ] [ polysémie contextualisée ] [ mathématisation ]

artificialisation

L’élevage paysan est menacé parce que les lobbies financiers, ceux de l’agriculture productiviste et même une partie du lobby de la viande industrielle ont décidé de remplacer la vraie viande, plus assez rentable à leurs yeux, par de la fausse viande, du faux lait, du faux fromage, des faux œufs, beaucoup plus rentables.

Le système industriel de production de protéines animales est un échec financier comme le dénonce depuis trois décennies Via Campesina: les épizooties coûtent de 18 à 50 % du chiffre d’affaires, la Banque mondiale chiffre le coût de la grippe aviaire à 1250 milliards de dollars… mais pas question pour ces lobbies de laisser se développer l’élevage paysan. Leur réponse est simple : toujours plus d’industrialisation grâce aux biotech.

Ces lobbies veulent gagner la bataille de l’opinion publique car ils se souviennent de l’échec de la viande clonée qu’ils avaient précédemment voulu imposer, c’est pourquoi ils financent mondialement des groupes animalistes. L214 a reçu ainsi plus de 1,3 million de dollars d’une organisation états-unienne qui finance, par ailleurs le secteur de la fausse viande et notamment celui des faux œufs. Chacun appréciera à sa valeur qu’une organisation fondée par deux militants anarchistes soient subventionnée par le grand capital international et qu’elle se retrouve aux côtés des lobby financiers, de la malbouffe et de ce qu’il y a de pire dans l’industrie de la viande contre l’Internationale Via Campesina… Ce généreux donateur de L214, prénommé Open Philanthropy Project (OP2), a été créé par le fonds d’investissement de Dustin Moskovitz, co-fondateur de Facebook et son épouse Cari Tuna, journaliste au Wall Street Journal. Ce généraux donateur travaille aussi avec le Fonds d’investissement de Google, et avec des milliardaires comme Bill Gates, William Hewlett (Packard), etc…

Le secteur de la fausse viande n’est pas séparable des autres biotechnologies alimentaires, comme les OGM 2eet 3egénérations, comme les imprimantes 3D alimentaires, qui fonctionnent comme une imprimante classique sauf qu’elles utilisent différents ingrédients sous forme de pâte dont des hydro-colloïdes, une substance gélatineuse chimique que l’on peut structurer, aromatiser, coloriser à volonté.. La première imprimante 3D végane a été lancée, en avril 2019, en Israël, par la société Jet Eat, dont le PDG Eshchar Ben Shitrit est un personnage central de l’industrie alimentaire sous forme d’impression 3D ….

Les grandes firmes disposent déjà de tout un vocabulaire marketing pour imposer leurs productions, elles parlent de "viande propre", de "viande éthique", de "viande cultivée", une façon de sous-entendre que la vraie viande, le vrai fromage, le vrai lait, les vrais œufs ne seraient ni propres, ni éthiques, ni même, peut être, ne relèveraient d’une quelconque culture…

La fabrication industrielle de faux produits carnés comprend une production dite a-cellulaire et une autre dite cellulaire. La production acellulaire est une technique de biologie synthétique qui utilise des micro-organismes comme des bactéries, des levures, pour synthétiser des protéines et molécules. Le gène codant d’une protéine donnée est alors clonée dans un micro-organisme qui est ensuite en mesure de le produire. Pour obtenir des protéines de lait ou de blanc d’œuf, on cultive des micro-organismes génétiquement modifiés (des bactéries, des levures et autres champignons) et on mélange ensuite ces protéines à d’autres substances végétales.

La production cellulaire consiste à reconstituer des tissus animaux en mettant en culture des cellules prélevées sur l’animal. Elle utilise pour cela des bioréacteurs sur le modèle de ceux utilisés en médecine pour fabriquer de la fausse peau. La culture des cellules se fait avec du sérum de fœtus de veau. Certaines start-up, financées par la NASA, ont pour objectif de remplacer ce sérum par des extraits de champignon… Cette fausse viande cellulaire suppose toujours un animal donneur de cellules sous forme de biopsie (sous anesthésie locale) mais un seul échantillon pourrait permettre de produire jusqu’à 20 000 tonnes de viande. Mosa Meat explique que 150 vaches suffiraient pour satisfaire la demande actuelle mondiale de viande. Cette firme néerlandaise avait précédemment inventé le premier hamburger à base de cellules (un simple collage de 20 000 fibres). Son coût de 325 000 euros avait été financé par Sergey Brin, co-fondateur de Google, Patron de la firme Alphabet inc, une émanation de Google dénoncée pour être un faux nez permettant d’échapper à l’impôt via les paradis fiscaux, il dirige aussi Google X chargé de développer la voiture automatique Google et un service mondial de livraison par drone. Il fallait donc absolument dans l’intérêt de Google que la viande soit accusée de tous les maux plutôt que les transports. Sergey Brin est non seulement la treizième fortune mondiale, mais l'une des vedettes du Forum économique de Davos dont les membres, à peine descendus de leur jet privé, ordonnait en février 2019, au petit peuple de consommer moins de viande pour… sauver la planète (prétendent-ils).

Auteur: Ariès Paul

Info: https://blogs.mediapart.fr/paul-aries/blog/230419/futurs-deputes-europeens-resisterez-vous-au-lobby-de-la-viande-de-laboratoire?

[ apprentis sorciers ] [ culpabilité ] [ schizophrénie ] [ rendement économique ] [ malbouffe ]

proto-biologie

Suzan Mazur : Donc, avec cette donation, vous allez tenter de déterminer les principes généraux de la vie. Comment définissez-vous la vie ?

C W : C'est le problème, nous ne pouvons pas. Nous n'avons pas encore répondu aux questions centrales sur l'origine de la vie. Nous devons encore obtenir des preuves plus directes de ce que j'appelle une condition pré-Darwinienne, une condition progénote de la vie. C'est l'une des choses sur lesquelles nous travaillons, en essayant d'obtenir autant de preuves directes que possible. Évidemment, comme il s'agit d'un stade de l'évolution qui s'est déroulé il y a trois milliards d'années ou plus, nous n'allons pas obtenir beaucoup de preuves directes. Nous pouvons obtenir des archives fossiles, mais elles ne sont pas fiables. Il faut déduire tout ce qu'on peut de l'analyse intelligente et perspicace des données de la séquence du génome.

SM : Que considérez-vous comme l'évolution ?

CW : L'évolution est en fait ce que la biologie devrait être. Qu'est-ce que la biologie ? Est-ce une description de formes sous le microscope ? Cela ne peut pas être cela. L'évolution est un processus. C'est le processus que nous appelons maintenant biologie, et  qui est très statique. L'évolution, en revanche, est dynamique. Et nous devons comprendre quelles sont les règles que suit cette dynamique.

Alfred North Whitehead disait qu'en biologie et dans d'autres domaines, nous n'avons pas affaire à une procession de formes (ce qui résume le point de vue de Lazcano), nous avons affaire à la forme ou aux formes du processus. C'est dans cette distinction que réside l'essence même de l'institut d'astrobiologie de l'Illinois. Nous allons réellement étudier l'origine évolutive de la vie. Toute personne ayant une intuition biologique peut sentir - que la vie est un processus évolutif. Comme je l'ai dit, ce n'est pas seulement une procession de formes.

SM : Avez-vous des inquiétudes concernant la création d'une protocellule ?

CW : Oh oui. Il y en a, comme vous le savez, Craig Venter bat le tambour sur ce sujet tout le temps, juste pour être à l'avant-garde. Le pouvoir.

SM : Il y a aussi les chercheurs de Harry Lonsdale, qui l'abordent de manière ascendante. David Deamer, scientifique à l'origine de la vie à l'Université de Santa Cruz, par exemple, dit qu'il prévoit de fabriquer une protocellule d'ici une dizaine d'années.

CW : Bonne chance.

SM : ça vous préoccupe, la protocellule ?

CW : Je suis préoccupé par les scientifiques qui pensent qu'ils sont Dieu quand il s'agit de biologie. Les scientifiques devraient essayer d'étudier les expériences que la nature a déjà faites sous la forme du processus d'évolution.

SM : Vous avez décrit la "déconnexion entre les darwinistes, qui avaient pris le contrôle de l'évolution, et les microbiologistes, qui ne trouvaient aucune utilité à la sélection naturelle darwinienne." Avez-vous quelque chose à dire sur la récente décision du Huffington Post de bloquer la publication de la réponse du microbiologiste James Shapiro au darwiniste Jerry Coyne suite à la récente attaque de Coyne sur la pensée de Shapiro concernant un rôle réduit de la sélection naturelle dans l'évolution ?

CW : Je pense que c'est immoral. La science doit être libre d'examiner ce qu'elle voit. Si vous dites que tout le monde doit suivre la ligne darwinienne, ce n'est pas de la science libre. Le Huffington Post est passé de droite/gauche à gauche/droite. Je ne sais pas où il est maintenant. Cela n'appartient pas à la science.

Je pense que Shapiro a le doigt sur l'avenir. Il voit que nous devrions étudier la régulation. L'épigénétique est très importante.

SM : Vous avez également remarqué que la pensée de Darwin sur la descendance commune est "principalement fondée sur l'analogie" et que l'évolution qui émerge maintenant ne découle pas de Darwin. Je vous cite "Il me semble qu'une biologie future ne peut être construite dans les superstructures conceptuelles du passé. L'ancienne superstructure doit être remplacée par une nouvelle pour que les problèmes holistiques puissent émerger comme le nouveau courant dominant de la biologie". Vous attendriez-vous à ce que Darwin suive la voie de Freud si la biologie entre dans le monde non linéaire et que l'évolution est redéfinie ?

CW : Cela pourrait bien être le cas. J'ai longtemps soutenu, jusqu'à la fin du XXe siècle, que le problème du processus d'évolution est un problème antérieur à son époque. Darwin a essayé d'obtenir un crédit personnel en faisant irruption avec ça à un certain moment. La pensée conceptuelle sur l'évolution a d'abord été établie par des gens comme Buffon et le propre grand-père de Darwin, Erasmus Darwin - que Darwin ne mentionne jamais dans l'Origine des espèces, sauf dans une note de bas de page lorsqu'il y fut contraint, dans la troisième édition, de l'ajouter au bas de la préface.

Il l'a nommé d'une manière dédaigneuse. Disant en gros, oh oui, beaucoup de gens ont pensé à cela et a nommé des gens comme Buffon et Lamarck. Mais il n'a pas nommé son propre grand-père, Erasmus Darwin, sauf pour dire que son grand-père avait les mêmes idées fausses que Lamarck et Goethe. Et il n'a pas dit quelles étaient ces idées ou ce qu'il leur reprochait. Il voulait se distancer de son grand-père autant qu'il le pouvait.

SM : J'ai été intrigué par l'interview que vous avez donné au magazine Wired il y a quelques années où vous avez parlé de "l'interaction distribuée" agissant au sein de diverses communautés en réseau de la vie précoce avant la cellule moderne. Et puis vous avez dit que cette dynamique pré-darwinienne se retrouve dans la société. Je me demandais si vous vouliez dire que nous continuons en quelque sorte à reconstituer notre ancien passé organisationnel ?

CW : Non, je ne pense pas que nous tournons dans les mêmes cercles. Il s'agit d'une spirale toujours plus grande, parce que c'est ainsi que l'on peut définir un système complexe dynamique.

SM : Nigel Goldenfeld a fait des conférences sur les "trois régimes dynamiques". Fait-il référence à ce que vous avez décrit dans votre article de 2006 - une faible évolution communautaire, une puissante évolution communautaire et une évolution individuelle ?

CW : Oui, je crois qu'il le fait. Je suis presque sûr que c'est le cas. Et dans un article que j'ai écrit sur les archées, je parle de l'évolution de l'individualité. Il y avait un stade communautaire au départ. C'est ce que j'appelle habituellement le progénote. J'utilise le terme "trois domaines". J'ai écrit quelque chose en 2004 pour Microbiology and Molecular Biology Review. Freeman Dyson a été séduit par ce texte et a demandé la permission de l'utiliser dans un article qu'il a écrit pour la New York Review of Books. Nigel essaie de définir pour les physiciens ce que sont ces trois domaines. C'est l'un des rares points sur lesquels je diffère de Nigel Goldenfeld. C'est un amicale différent dans nos dialogues.

SM : C'est merveilleux que vous fassiez ces percées sans rencontrer trop d'hostilité de la part de la communauté de la biologie classique.

CW : Mais je n'ai pas détrôné l'hégémonie de la culture de Darwin.

Auteur: Woese Carl

Info: interviewé par Suzan Mazur, 4 October 2012, https://www.scoop.co.nz/. Trad Mg

[ triade ] [ pré-mémétique ] [ apprentis sorciers ] [ changement de paradigme ] [ éthique ] [ prébiotique ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]