annales

Les régimes institutionnels de la mémoire

On pourrait distinguer la reproduction biologique (un individu se reproduit en individus de la même espèce), l’élevage (on sélectionne par la reproduction un profil génétique donné), la domestication (les êtres humains éduquent des animaux, transmettant par le dressage pratiques et comportements) et enfin l’éducation où des individus d’une espèce enseignent à leurs progénitures leurs propres acquis. La domestication n’est pas l’éducation car ce ne sont pas les animaux qui dressent leurs petits, mais leurs maîtres.

La culture commence quand, au delà du patrimoine génétique, des contenus, pratiques et savoir faire sont transmis d’une génération à une autre. Autrement dit, quand il s’agit de passer de l’élevage à l’éducation, de la répétition des capacités propres à l’espèce à la transmission des contenus acquis.

Cela implique d’une part la prise de conscience d’un déjà-là constitué et d’autre part la mise en place d’outils et procédures pour l’entretenir et donc le transmettre. Il s’agit d’avoir des institutions du sens qui régissent, au niveau d’une société ou d’un collectif, les pratiques culturelles et les modalités de leur transmission.

À travers la notion d’institution, nous visons trois caractéristiques principales : la tradition qui sanctionne l’existence d’un déjà-là ("c’est ainsi que l’on a toujours fait"), une normalisation, qui ajuste et régule ses modalités d’expression selon certains critères ("c’est ainsi qu’il convient de faire"), une transmission qui assure une pérennisation de la tradition, de cet héritage reçu et donc à léguer ("c’est ce qu’il faut continuer de faire"). Les institutions du sens sont donc toujours traditionnelles et normatives, garantes de la culture comme acquis constitué et à transmettre. On retrouve ainsi les institutions scolaires, patrimoniales, culturelles, etc. De la langue qu’on apprend à maîtriser même quand elle est sa langue maternelle pour qu’elle devienne sa langue de culture et de réflexion [Judet & Wisman 2004], aux pratiques traditionnelles (cuisines, artisanat) en passant par les pratiques savantes, la culture est un déjà-là qui s’autonomise en tradition normée pour pouvoir être transmise. C’est le rôle et la mission des institutions du sens que d’accompagner la constitution de la tradition normée et d’en assurer la transmission.

La tension propre à ces institutions sera le conflit permanent entre d’une part la normalisation des contenus et d’autre part une transmission autorisant leur appropriation et transformation. Comment transformer sans trahir, comment transmettre sans figer, est la question que doit traiter toute institution du sens. Si la norme donne les conditions de la répétition et de la conservation du déjà-là, l’invention et l’appropriation seront les conditions pour que ce déjà-là reste accessible, signifiant, exploitable voire utile dans l’environnement contemporain. Une norme formelle et dogmatique rend le déjà-là sans intérêt, une appropriation dérégulée revient à une perte de mémoire et de sens.

Si les institutions du sens reposent en leur possibilité sur la constitution d’un déjà-là et sa reconnaissance comme tel, il en ressort qu’on en passe nécessairement par une institutionnalisation de la mémoire qui a pour fonction de fixer le périmètre du déjà-là, de définir les règles de son accroissement et de son enrichissement, et de proposer des modalités de sa consultation, partage et transmission. Les institutions de la mémoire seront donc des instances nécessaires à la reconnaissance d’un déjà-là constitué et à sa pérennisation.

Il y a plusieurs manières de mettre en place de telles institutions et d’en fixer les missions et les contours. Notre civilisation, au cours de son histoire longue, en distingue selon nous quatre modalités principales [Bachimont 2017] : la mémoire de la preuve (les archives), celle de l’œuvre (les bibliothèques et les musées), celle de l’information (les centres de documentation et de ressources) et enfin l’identité culturelle (le patrimoine).

Aussi anciennes que l’écriture elle-même, les archives [Delsalle 1998] sont avant tout une mémoire de l’événement, une trace de ce qui s’est passé, la permanence de cette dernière permettant de pallier l’évanescence de l’événement. L’archive possède une relation organique à ce dont elle est archive : causée par l’événement dont elle consigne la mémoire, l’archive est le signe, par son existence même, de l’événement et du fait qu’il a bien eu lieu. À travers une telle relation organique, on veut insister sur le fait que, même si l’archive est un document produit par des collectifs culturels, elle est néanmoins provoquée, produite quasi naturellement par l’événement qu’elle relate. Autrement dit, elle n’est pas altérée par un processus interprétatif qui viendrait se mettre en l’événement et sa trace. Pour reprendre la belle image de Marie-Anne Chabin [2000], "Les archives procèdent de l’activité de leur auteur comme les alluvions découlent du fleuve", comme si elles consistaient en un processus naturel.

Ainsi, plus tekmerion que semeion, indice que symbole ou icône *, même si en pratique, il faut bien en passer par l’interprétation et les conventions qui lui sont inhérentes, l’archive peut être la preuve que recherchent l’historien, le juge ou l’enquêteur. Mais, puisque l’événement produit le document, ce dernier ne peut être une preuve pleine et entière que si le seul moyen de produire le document qui deviendra l’archive est que l’événement se soit produit. Par exemple, l’acte notarié est ainsi conçu que la seule manière d’avoir un acte est que l’événement associé (une transaction par exemple) ait eu lieu. Sinon, c’est un faux, c’est-à-dire un document établi pour faire croire que l’événement a eu lieu. L’archive officielle est donc une preuve déductive (si on dispose de l’archive, alors l’événement a eu lieu), les autres ont plutôt une valeur abductive plutôt que déductive (si on dispose de l’archive, la cause la plus probable ou la plus simple est que l’événement ait eu lieu mais on en reste à une présomption). C’est la raison pour laquelle l’authenticité, au sens où le document est bien ce qu’il prétend être, est si fondamentale pour les archives. C’est en effet cette dernière qui permet de retracer le schéma causal qui a produit le document à rebours, en remontant à l’événement.

La seconde modalité ou institution de mémoire mobilise les traces du génie humain, autrement dit ce qui reflète les productions de l’esprit et de la culture. Il ne s’agit pas tant d’avoir des preuves de l’événement que de disposer des traces de ce qui a été pensé ou de ce qui fut créé. L’enjeu n’est pas de savoir ce qui s’est passé, mais de connaître comment cela a été pensé. Du monde comme événement (le fait relaté par un témoignage), on remonte à la culture comme monument (le témoignage comme fait). L’authenticité n’est plus ici gagée par le lien organique entre l’événement et le document, mais entre ce dernier et son auteur. L’authenticité reposera sur l’attribution de son auteur et la détermination du contexte de création pour pouvoir en déduire le sens qu’on peut lui conférer. Les institutions en charge des œuvres sont les bibliothèques, les musées, les conservatoires. L’enjeu n’est pas tant de connaître le passé pour lui-même, mais de se reposer sur les œuvres du passé pour appréhender une part des possibilités du génie humain, une province du sens et de l’être. Les œuvres du passé n’appartiennent pas à un passé révolu, mais au présent, un présent permanent et continuel car les œuvres, sitôt produites, restent un témoignage vivant qu’il est toujours temps et opportun de recevoir. Cela ne veut pas dire qu’il n’est pas important de prendre en compte leur historicité ni leur contexte originel, mais qu’en tant que créations humaines, il est toujours actuel et pertinent pour les êtres humains de les recevoir, accueillir et interpréter.

La troisième institution de la mémoire est celle du savoir, de la connaissance et de l’information. Ni preuve ni œuvre, l’information est le savoir anonyme, sans auteur, apportant la connaissance d’un fait, d’un procédé ou d’un raisonnement possibles. Information de personne, mais information pour tous, l’information prend sa valeur à partir de l’institution qui la produit, ou le processus qui la constitue. De l’information savante gagée par la publication scientifique et son système de relecture par les pairs, à l’information journalistique fondée sur une régulation spécifique, en passant par l’institution scolaire et ses programmes, l’information doit être produite par une institution qui lui sert de caution pour être reçue comme telle et valoir comme connaissance. On comprend qu’une telle notion d’information est le cœur même des activités relevant de ce qu’on a appelé par la suite "l’information scientifique et technique", et qu’elle se formalisa lors de la révolution industrielle [Briet 1951]. Une dimension spécifique de l’information, et faisant rupture avec les figures plus anciennes de l’archive et de la bibliothèque (les preuves et les œuvres), est l’indépendance ou plutôt l’indifférence au support. Peu importe que le document soit un article ou un livre, un journal ou une encyclopédie, numérique ou matériel, il n’importe que par l’information qu’il détient. Derrière cette indifférence se cache un présupposé selon lequel le contenant n’influe pas sur le contenu, que le support matériel ne conditionne pas l’intelligibilité de l’inscription consignée sur le support. Présupposé qu’il est facile de réfuter, aucun changement de support ne pouvant être neutre quant à l’intelligibilité du contenu [Bachimont 2010]. Mais on peut voir derrière ce présupposé, non une erreur quant à la réalité de la dépendance du contenu au contenant, mais l’intérêt exclusif pour un invariant sémantique commun aux différentes expressions rencontrées sur différents supports, où l’on s’intéresse au fait, par exemple, que l’eau bout à 100°, indépendamment de l’expression qui nous a permis d’en prendre connaissance.

Cette conception abstraite du support de l’information entraîne un intérêt exclusif à l’inscription comme expression, à sa grammaire et à son lexique. Privilégiant la forme sur la matière, l’information a un tropisme naturel vers la formalisation et la circulation : formalisation car il s’agit de contrôler l’information uniquement à partir de sa forme, indépendamment de son support ; circulation parce que cette indifférence au support permet en principe la migration d’un support à un autre sans altération de l’information. Cela aboutit fort logiquement aux initiatives comme le Web des données (ou Web sémantique) où le formalisme de l’expression assure les conditions de son interprétation et de sa circulation.

Enfin, le dernier régime est celui de l’identité culturelle ou celui du patrimoine. Ce régime est le plus indéterminé des quatre considérés ici dans la mesure où il mobilise le rapport fondamental à la mémoire et à la culture : il concerne tout objet permettant à un collectif d’accéder à une mémoire, à la mémoire de son identité collective. Le patrimoine est donc, pour utiliser le vocabulaire de Gilbert Simondon [2005], ce qui permet l’individuation d’une identité collective et la constitution d’objets comme vecteurs de cette dernière. Le patrimoine est donc un jeu triple entre des objets, des individus, et un collectif tissant ces derniers ensemble. Aussi tout objet peut-il, en principe, devenir patrimonial, les règles de l’individuation n’étant pas fixées a priori. On ne peut que constater a posteriori que tels ou tels objets "font patrimoine".

L’identité collective est un déjà-là revendiqué et assumé par le collectif. Il s’agit d’une mémoire reconnue comme étant la sienne et associée à un objet qui l’incarne et la porte. Mais la seule caractéristique de cet objet est qu’il est distingué dans sa capacité de porter un souvenir, d’incarner une mémoire, de véhiculer un sens partagé. En ce sens, l’objet patrimonial est un mnémophore, un porteur de mémoire, en plagiant le néologisme naguère proposé par Krzystof Pomian, le sémiophore [1996].

L’objet patrimonial, le mnémophore, ne s’oppose pas aux autres régimes de mémoire que nous avons distingués, mais les intègre comme des modalités possibles de sa déclinaison. En effet, les preuves, œuvres et informations sont porteuses de mémoire et permettent par leur entremise un rapport au passé.

Auteur: Bachimont Bruno

Info: https://journals.openedition.org/signata/2980. *CS Peirce (1978) Écrits sur le signe. Paris, Seuil.

[ conservatisme ] [ pré-mémétique ] [ damnatio memoriae ] [ diachronie ] [ sciences ] [ humaines tiercités ] [ citation s'appliquant à ce logiciel ]

covid 1984

Dans un récent entretien avec Vice, le dénonciateur de la NSA, Edward Snowden, a exprimé ses inquiétudes concernant le programme de surveillance à venir, l’appelant "l’architecture de l’oppression". Nous avons demandé à Lucien Cerise son analyse du nouveau contrôle social à venir.

R/ L’état d’urgence sanitaire est-il pour vous un bon moyen pour les gouvernements mondiaux de poursuivre la réduction de nos libertés collectives et individuelles ? Pour vous, le confinement est-il un instrument d’ingénierie sociale ?

- Cet état d’urgence sanitaire est le prétexte idéal pour tenter de fabriquer le consentement des populations à une transformation du lien social sur une base transhumaniste, c’est-à-dire fondée sur un encadrement scientifique général, présentant un fort caractère carcéral et concentrationnaire, et allant dans le sens de l’artificialisation et de la réification du vivant, sa chosification, sa réduction à un objet. On peut reprendre à Michel Foucault et Giorgio Agamben la notion de biopouvoir pour décrire un pouvoir politique qui étudie la biologie, la médecine et les sciences de la vie autant que le droit ou l’économie. Le biopouvoir, qui n’est qu’une mise à jour de la notion d’eugénisme, se caractérise donc par une intrusion toujours croissante dans l’intimité physique des gens pour la modifier et surtout la contrôler.

En effet, ce qui dérange le biopouvoir, c’est la prolifération de la vie et de l’organique, impossible à contrôler totalement. Le transhumanisme est une tentative d’enfermement de l’organique dans une forme prétendument augmentée, mais surtout aseptisée, standardisée et sous contrôle, tentative de meurtre du vivant et de son aspect toujours imprévisible et débordant. Les gens normaux se refusent donc naturellement au transhumanisme. Pour parvenir à les emprisonner là-dedans malgré tout, il faut les séduire ou leur faire peur, afin de les soumettre volontairement par des manœuvres d’ingénierie sociale du type "pompier pyromane" et triangle de Karpman, consistant à exploiter les projections psycho-émotionnelles de la trilogie bourreau/victime/sauveur.

Cela commence par le déclenchement d’une crise, suivi d’une opération d’hameçonnage (phishing), c’est-à-dire un piratage de l’esprit par usurpation d’identité et abus de confiance, où le responsable de la crise, en position de "bourreau", se présente comme le "sauveur" qui va protéger les "victimes" de la crise. Quand le piratage est accompli, que le bourreau a gagné la confiance de la population victime et qu’elle s’ouvre à lui en abaissant ses défenses parce qu’elle le perçoit comme un sauveur, alors le pirate-bourreau peut passer à la deuxième phase sans rencontrer de résistance, c’est-à-dire la réécriture de l’architecture sociale selon un nouveau plan présenté comme une solution de sortie de crise. Cette restructuration du lien social consiste à prendre le contrôle des relations que les gens entretiennent librement pour les recomposer à leur place. Comment ? Cela se fait toujours en jouant sur les relations de confiance et de méfiance, afin de prendre le contrôle des relations de proximité et de distance. Avec cette crise du coronavirus, la relation à autrui et au monde est réécrite pour être fondée sur la méfiance et la paranoïa, selon une sorte de conflit triangulé généralisé, où chacun est potentiellement bourreau de chacun. Je dois apprendre à me méfier d’autrui et de la nature, avec le maintien d’une distance entre moi, autrui et le monde, et cette distance m’est dictée par le biopouvoir auquel, en revanche, je suis tenu d’accorder une confiance aveugle, au risque d’être accusé de "conspirationnisme" et d’encourir des représailles judiciaires. En résumé : pour le biopouvoir, cette crise du Covid-19 doit couper l’Histoire en deux et faire entrer l’humanité dans une nouvelle ère où l’auto-organisation du vivant sera progressivement abolie pour être entièrement subordonnée et rationalisée par un pouvoir scientifique eugéniste.

R/ La surveillance numérique de masse passe par les fameuses applications d’Apple ou de Google de contrôle sanitaire. Comment les États et les grandes multinationales de la Silicon Valley se partagent les informations et les rôles dans cette opération ?

Les États et les grandes multinationales sont toujours en fait dirigés directement ou indirectement par ce que l’on appelle le complexe militaro-industriel, qui n’est pas exclusivement américain, chaque pays possède le sien, mais celui des USA est le plus agressif. L’avant-garde de la recherche scientifique est toujours sponsorisée, surveillée et récupérée en premier lieu par les unités de "recherche et développement" militaires. Au niveau géopolitique international, tout est militarisé (weaponized, comme disent les anglophones), tout est rapport de forces, tout est volonté de puissance et relations dominant/dominé. Les applications de géolocalisation et de surveillance numérique de masse sont des outils de contrôle social, c’est-à-dire en fait de militarisation des comportements.

Nous sommes dans une guerre hybride mondiale. Par exemple, la Chine, qui est sous attaque permanente des USA et des réseaux de George Soros, a besoin de militariser et discipliner sa population par un encadrement informatique global. Afin de conserver sa souveraineté numérique et le contrôle de sa population, la Chine doit aussi prévenir et limiter les risques de piratages informatiques de l’étranger, d’où la campagne lancée par Pékin pour débarrasser totalement son parc informatique des systèmes d’exploitation étrangers, dont le plus connu est Windows de Microsoft, et développer de nouveaux systèmes d’exploitation et outils informatiques de conception chinoise et fabriqués en Chine, et qui seront dépourvus des backdoors et autres logiciels espions de la NSA.

À terme, la Chine va donc devenir un trou noir pour les services de renseignement anglophones, les Five Eyes de l’accord UKUSA et du système Echelon, et leurs associés israéliens et autres. Dans quelques années, il sera pratiquement impossible de pirater, espionner et attaquer le parc informatique chinois, qui sera beaucoup mieux sécurisé qu’aujourd’hui. Cet exemple chinois aura une forte capacité d’entraînement à l’internationale et fera des émules par effet domino en Asie et partout dans le monde. On comprend que cette émancipation chinoise de l’hégémonie numérique occidentale provoque un vent de panique de la Silicon Valley à Washington en passant par Tel-Aviv : c’est la fin du projet néoconservateur de domination mondiale. Ce qui ne veut pas dire que le gouvernement chinois va instaurer le paradis sur Terre, mais qu’il pourra certainement relâcher la surveillance de sa population quand les risques de déstabilisation de la Chine par des attaques extérieures et intérieures de cinquièmes colonnes pro-occidentales auront été jugulés.

R/ Les Français auront-ils le choix de refuser le traçage numérique ?

Pour le biopouvoir, il n’est pas prévu que nous ayons le choix. Comme beaucoup de gens, je vois les pièces du puzzle s’assembler depuis un certain temps, mais c’est l’affaire de Tarnac en 2008 qui a joué pour moi un rôle de catalyseur et m’a poussé à rédiger un texte que j’ai publié sous anonymat, Gouverner par le chaos – Ingénierie sociale et mondialisation.

J’exposais dans cet opuscule comment certaines forces politiques et économiques cherchaient à implémenter une dictature numérique au moyen d’une stratégie du choc qui pouvait être une épidémie, et je citais à l’appui de cette prospective un texte manifeste de 2004, le Livre Bleu, rédigé par le lobby du numérique en France, le GIXEL (devenu ACSIEL en 2013), dans lequel étaient exposés certains stratagèmes pour faire accepter dans l’opinion publique le développement de l’identité numérique. Dans le cadre de sa fondation ID-2020, Bill Gates élabore aussi un système d’identification numérique pour le monde entier et cherche à le vendre ainsi : à cause du coronavirus, il faut vacciner toute la planète, et nous devons tous recevoir un certificat numérique de vaccination. Plusieurs technologies de certificat numérique plus ou moins invasives sont à l’étude : dans votre Smartphone ; dans un bracelet électronique ; sur la peau sous forme de tatouage à points quantiques ; sous la peau sous forme de puces électroniques. Si finalement nous pouvons avoir le choix et échapper à ce sort, c’est parce que nous aurons remporté le rapport de forces pour dire "Non !" Tout est axé autour de la formule confinement/distanciation sociale/vaccination/surveillance électronique, dont il faut attaquer chaque point.

R/ Que nous réserve la suite des événements, selon vous ?

En fait, il faut se poser la question : comment vais-je peser sur la suite des événements ? Il faut sortir du rôle de spectateur ou d’analyste des événements, il faut créer les événements. Le biopouvoir mondialiste a de gros moyens financiers pour créer des événements au niveau international, impacter le réel et écrire l’Histoire. Il possède des millions, donc, en face, nous devons être des millions.

Nous n’avons pas le capital économique, mais nous avons le capital humain. Pour créer l’événement, impacter le réel et écrire l’Histoire contre le biopouvoir, pour faire dérailler son programme, il faut se poser deux questions concrètes : comment gagner la bataille de l’opinion publique et comment organiser les masses politiquement ?

La bataille de l’opinion publique se gagne en se formant aux méthodes de communication stratégique et d’ingénierie sociale, rhétorique et retournement de l’opinion (spin), dans le réel ou sur les réseaux sociaux, du moins tant que c’est possible, car la prochaine crise devrait être cyber et toucher Internet, comme l’a annoncé Alain Bauer. Cette grande crise cybernétique et numérique, d’ampleur géopolitique et déclenchée par un virus informatique qui provoquerait le "bug du siècle", permettra au pouvoir de couper Internet au moins partiellement, et surtout de mettre fin à la réinformation indépendante avec un bon prétexte. C’est le programme du Grand Confinement, par l’addition du confinement physique et du confinement mental – cognitif et informationnel.

Le but ultime est d’abolir toute auto-organisation du peuple, donc toute autonomie dans l’organisation horizontale de la société. Pour cela, il faut d’abord couper les gens physiquement les uns des autres dans le réel, par le confinement physique, la distanciation sociale, le télétravail, et tenter de pérenniser ce nouvel ordre social en annonçant que "plus rien ne sera comme avant", comme on nous le martèle depuis des semaines. Puis, dans un deuxième temps, au prétexte d’une crise numérique globale, le pouvoir coupera les gens les uns des autres dans le virtuel aussi, avec un Internet en mode dégradé, limité au télétravail et à quelques messageries et portails inoffensifs, usages qui seront malgré tout conservés, ce qui sera présenté comme une victoire. Il faut essayer d’imaginer l’enfer que serait un confinement physique sans Internet, c’est-à-dire sans aucun accès à la réinformation, sans aucune possibilité de comprendre ce qui se passe car nous serions enfermés physiquement à domicile, ou dans un périmètre limité, et enfermés mentalement dans la narration exclusive du pouvoir, dans une seule version des événements. Dans d’autres publications, j’ai baptisé cette fabrique de l’aliénation mentale "reality-building", car elle repose sur le principe de l’hypnose : la parole de l’hypnotiseur devient la réalité de l’hypnotisé. 

Comment cela est-il possible ? Parce que l’hypnotisé, qui n’est pas forcément endormi, n’a pas d’autre source d’information que la parole de l’hypnotiseur. Avant d’en arriver là, avant qu’il ne soit trop tard, il y a urgence à gagner le combat politique, ce qui signifie prendre le pouvoir, et ne pas se contenter des contre-pouvoirs, dans la rue ou sur Internet, qui risquent fort de devenir impraticables de toute façon. Prendre le pouvoir signifie être en capacité de se faire obéir par les forces de l’ordre. L’activité métapolitique n’est donc pas suffisante, il faut investir aussi le champ politique du pouvoir légal. Les forces de l’ordre, qui ont une capacité de contrainte sur votre corps et votre esprit, n’obéissent pas à la métapolitique mais au gouvernement et à ses représentants locaux, c’est-à-dire à l’État. Il faut donc reprendre le contrôle de l’État si nous voulons sortir de l’impuissance à laquelle la métapolitique nous limite. Ceci suppose d’organiser les masses de manière structurée dans une perspective de conquête du pouvoir, ce qui suppose à son tour, et inévitablement, de jouer le jeu quelque peu ingrat de la politique politicienne et des organisations politiques de masse.

Auteur: Cerise Lucien

Info: Sur rebellion-sre.fr, 6 mai 2020

[ géopolitique ] [ anti-mondialisme ] [ manipulation des masses ]

legos protéiques

De nouveaux outils d’IA prédisent comment les blocs de construction de la vie s’assemblent

AlphaFold3 de Google DeepMind et d'autres algorithmes d'apprentissage profond peuvent désormais prédire la forme des complexes en interaction de protéines, d'ADN, d'ARN et d'autres molécules, capturant ainsi mieux les paysages biologiques des cellules.

Les protéines sont les machines moléculaires qui soutiennent chaque cellule et chaque organisme, et savoir à quoi elles ressemblent sera essentiel pour comprendre comment elles fonctionnent normalement et fonctionnent mal en cas de maladie. Aujourd’hui, les chercheurs ont fait un grand pas en avant vers cet objectif grâce au développement de nouveaux algorithmes d’apprentissage automatique capables de prédire les formes rdéployées et repliées non seulement des protéines mais aussi d’autres biomolécules avec une précision sans précédent.

Dans un article publié aujourd'hui dans Nature , Google DeepMind et sa société dérivée Isomorphic Labs ont annoncé la dernière itération de leur programme AlphaFold, AlphaFold3, capable de prédire les structures des protéines, de l'ADN, de l'ARN, des ligands et d'autres biomolécules, seuls ou liés ensemble dans différentes configurations. Les résultats font suite à une mise à jour similaire d'un autre algorithme de prédiction de structure d'apprentissage profond, appelé RoseTTAFold All-Atom, publié en mars dans Science .

Même si les versions précédentes de ces algorithmes pouvaient prédire la structure des protéines – une réussite remarquable en soi – elles ne sont pas allées assez loin pour dissiper les mystères des processus biologiques, car les protéines agissent rarement seules. "Chaque fois que je donnais une conférence AlphaFold2, je pouvais presque deviner quelles seraient les questions", a déclaré John Jumper, qui dirige l'équipe AlphaFold chez Google DeepMind. "Quelqu'un allait lever la main et dire : 'Oui, mais ma protéine interagit avec l'ADN.' Pouvez-vous me dire comment ?' " Jumper devrait bien admettre qu'AlphaFold2 ne connaissait pas la réponse.

Mais AlphaFold3 pourrait le faire. Avec d’autres algorithmes d’apprentissage profond émergents, il va au-delà des protéines et s’étend sur un paysage biologique plus complexe et plus pertinent qui comprend une bien plus grande diversité de molécules interagissant dans les cellules.

" On découvre désormais toutes les interactions complexes qui comptent en biologie ", a déclaré Brenda Rubenstein , professeure agrégée de chimie et de physique à l'Université Brown, qui n'a participé à aucune des deux études. " On commence à avoir une vision plus large."

Comprendre ces interactions est " fondamental pour la fonction biologique ", a déclaré Paul Adams , biophysicien moléculaire au Lawrence Berkeley National Laboratory qui n’a également participé à aucune des deux études. " Les deux groupes ont fait des progrès significatifs pour résoudre ce problème. "

Les deux algorithmes ont leurs limites, mais ils ont le potentiel d’évoluer vers des outils de prédiction encore plus puissants. Dans les mois à venir, les scientifiques commenceront à les tester et, ce faisant, ils révéleront à quel point ces algorithmes pourraient être utiles.

Progrès de l’IA en biologie

L’apprentissage profond est une variante de l’apprentissage automatique vaguement inspirée du cerveau humain. Ces algorithmes informatiques sont construits à l’aide de réseaux complexes de nœuds d’information (appelés neurones) qui forment des connexions en couches les unes avec les autres. Les chercheurs fournissent au réseau d’apprentissage profond des données d’entraînement, que l’algorithme utilise pour ajuster les forces relatives des connexions entre les neurones afin de produire des résultats toujours plus proches des exemples d’entraînement. Dans le cas des systèmes d'intelligence artificielle protéique, ce processus amène le réseau à produire de meilleures prédictions des formes des protéines sur la base de leurs données de séquence d'acides aminés.

AlphaFold2, sorti en 2021, a constitué une avancée majeure dans l’apprentissage profond en biologie. Il a ouvert la voie à un monde immense de structures protéiques jusque-là inconnues et est déjà devenu un outil utile pour les chercheurs qui cherchent à tout comprendre, depuis les structures cellulaires jusqu'à la tuberculose. Cela a également inspiré le développement d’outils supplémentaires d’apprentissage biologique profond. Plus particulièrement, le biochimiste David Baker et son équipe de l’Université de Washington ont développé en 2021 un algorithme concurrent appelé RoseTTAFold , qui, comme AlphaFold2, prédit les structures protéiques à partir de séquences de données.

Depuis, les deux algorithmes ont été mis à jour avec de nouvelles fonctionnalités. RoseTTAFold Diffusion pourrait être utilisé pour concevoir de nouvelles protéines qui n’existent pas dans la nature. AlphaFold Multimer pourrait étudier l’interaction de plusieurs protéines. " Mais ce que nous avons laissé sans réponse ", a déclaré Jumper, " était : comment les protéines communiquent-elles avec le reste de la cellule ? "

Le succès des premières itérations d'algorithmes d'apprentissage profond de prédiction des protéines reposait sur la disponibilité de bonnes données d'entraînement : environ 140 000 structures protéiques validées qui avaient été déposées pendant 50 ans dans la banque de données sur les protéines. De plus en plus, les biologistes ont également déposé les structures de petites molécules, d'ADN, d'ARN et leurs combinaisons. Dans cette expansion de l'algorithme d'AlphaFold pour inclure davantage de biomolécules, " la plus grande inconnue ", a déclaré Jumper, "est de savoir s'il y aurait suffisamment de données pour permettre à l'algorithme de prédire avec précision les complexes de protéines avec ces autres molécules."

Apparemment oui. Fin 2023, Baker puis Jumper ont publié les versions préliminaires de leurs nouveaux outils d’IA, et depuis, ils soumettent leurs algorithmes à un examen par les pairs.

Les deux systèmes d'IA répondent à la même question, mais les architectures sous-jacentes de leurs méthodes d'apprentissage profond diffèrent, a déclaré Mohammed AlQuraishi , biologiste des systèmes à l'Université de Columbia qui n'est impliqué dans aucun des deux systèmes. L'équipe de Jumper a utilisé un processus appelé diffusion – technologie qui alimente la plupart des systèmes d'IA génératifs non basés sur du texte, tels que Midjourney et DALL·E, qui génèrent des œuvres d'art basées sur des invites textuelles, a expliqué AlQuraishi. Au lieu de prédire directement la structure moléculaire puis de l’améliorer, ce type de modèle produit d’abord une image floue et l’affine de manière itérative.

D'un point de vue technique, il n'y a pas de grand saut entre RoseTTAFold et RoseTTAFold All-Atom, a déclaré AlQuraishi. Baker n'a pas modifié massivement l'architecture sous-jacente de RoseTTAFold, mais l'a mise à jour pour inclure les règles connues des interactions biochimiques. L'algorithme n'utilise pas la diffusion pour prédire les structures biomoléculaires. Cependant, l'IA de Baker pour la conception de protéines le fait. La dernière itération de ce programme, connue sous le nom de RoseTTAFold Diffusion All-Atom, permet de concevoir de nouvelles biomolécules en plus des protéines.

" Le type de dividendes qui pourraient découler de la possibilité d'appliquer les technologies d'IA générative aux biomolécules n'est que partiellement réalisé grâce à la conception de protéines", a déclaré AlQuraishi. "Si nous pouvions faire aussi bien avec de petites molécules, ce serait incroyable." 

Évaluer la concurrence

Côte à côte, AlphaFold3 semble être plus précis que RoseTTAFold All-Atom. Par exemple, dans leur analyse dans Nature , l'équipe de Google a constaté que leur outil est précis à environ 76 % pour prédire les structures des protéines interagissant avec de petites molécules appelées ligands, contre une précision d'environ 42 % pour RoseTTAFold All-Atom et 52 % pour le meilleur. outils alternatifs disponibles.

Les performances de prédiction de structure d'AlphaFold3 sont " très impressionnantes ", a déclaré Baker, " et meilleures que celles de RoseTTAFold All-Atom ".

Toutefois, ces chiffres sont basés sur un ensemble de données limité qui n'est pas très performant, a expliqué AlQuraishi. Il ne s’attend pas à ce que toutes les prédictions concernant les complexes protéiques obtiennent un score aussi élevé. Et il est certain que les nouveaux outils d’IA ne sont pas encore assez puissants pour soutenir à eux seuls un programme robuste de découverte de médicaments, car cela nécessite que les chercheurs comprennent des interactions biomoléculaires complexes. Pourtant, " c'est vraiment prometteur ", a-t-il déclaré, et nettement meilleur que ce qui existait auparavant.

Adams est d'accord. "Si quelqu'un prétend pouvoir utiliser cela demain pour développer des médicaments avec précision, je n'y crois pas", a-t-il déclaré. " Les deux méthodes sont encore limitées dans leur précision, [mais] les deux constituent des améliorations spectaculaires par rapport à ce qui était possible. "

(Image gif, tournante, en 3D : AlphaFold3 peut prédire la forme de complexes biomoléculaires, comme cette protéine de pointe provenant d'un virus du rhume. Les structures prédites de deux protéines sont visualisées en bleu et vert, tandis que les petites molécules (ligands) liées aux protéines sont représentées en jaune. La structure expérimentale connue de la protéine est encadrée en gris.)

Ils seront particulièrement utiles pour créer des prédictions approximatives qui pourront ensuite être testées informatiquement ou expérimentalement. Le biochimiste Frank Uhlmann a eu l'occasion de pré-tester AlphaFold3 après avoir croisé un employé de Google dans un couloir du Francis Crick Institute de Londres, où il travaille. Il a décidé de rechercher une interaction protéine-ADN qui était " vraiment déroutante pour nous ", a-t-il déclaré. AlphaFold3 a craché une prédiction qu'ils testent actuellement expérimentalement en laboratoire. "Nous avons déjà de nouvelles idées qui pourraient vraiment fonctionner", a déclaré Uhlmann. " C'est un formidable outil de découverte. "

Il reste néanmoins beaucoup à améliorer. Lorsque RoseTTAFold All-Atom prédit les structures de complexes de protéines et de petites molécules, il place parfois les molécules dans la bonne poche d'une protéine mais pas dans la bonne orientation. AlphaFold3 prédit parfois de manière incorrecte la chiralité d'une molécule – l'orientation géométrique distincte " gauche " ou " droite " de sa structure. Parfois, il hallucine ou crée des structures inexactes.

Et les deux algorithmes produisent toujours des images statiques des protéines et de leurs complexes. Dans une cellule, les protéines sont dynamiques et peuvent changer en fonction de leur environnement : elles se déplacent, tournent et passent par différentes conformations. Il sera difficile de résoudre ce problème, a déclaré Adams, principalement en raison du manque de données de formation. " Ce serait formidable de déployer des efforts concertés pour collecter des données expérimentales conçues pour éclairer ces défis ", a-t-il déclaré.

Un changement majeur dans le nouveau produit de Google est qu'il ne sera pas open source. Lorsque l’équipe a publié AlphaFold2, elle a publié le code sous-jacent, qui a permis aux biologistes de reproduire et de jouer avec l’algorithme dans leurs propres laboratoires. Mais le code d'AlphaFold3 ne sera pas accessible au public.

 " Ils semblent décrire la méthode en détail. Mais pour le moment, au moins, personne ne peut l’exécuter et l’utiliser comme il l’a fait avec [AlphaFold2] ", a déclaré AlQuraishi. C’est " un grand pas en arrière. Nous essaierons bien sûr de le reproduire."

Google a cependant annoncé qu'il prenait des mesures pour rendre le produit accessible en proposant un nouveau serveur AlphaFold aux biologistes exécutant AlphaFold3. Prédire les structures biomoléculaires nécessite une tonne de puissance de calcul : même dans un laboratoire comme Francis Crick, qui héberge des clusters informatiques hautes performances, il faut environ une semaine pour produire un résultat, a déclaré Uhlmann. En comparaison, les serveurs plus puissants de Google peuvent faire une prédiction en 10 minutes, a-t-il déclaré, et les scientifiques du monde entier pourront les utiliser. "Cela va démocratiser complètement la recherche sur la prédiction des protéines", a déclaré Uhlmann.

Le véritable impact de ces outils ne sera pas connu avant des mois ou des années, alors que les biologistes commenceront à les tester et à les utiliser dans la recherche. Et ils continueront à évoluer. La prochaine étape de l'apprentissage profond en biologie moléculaire consiste à " gravir l'échelle de la complexité biologique ", a déclaré Baker, au-delà même des complexes biomoléculaires prédits par AlphaFold3 et RoseTTAFold All-Atom. Mais si l’histoire de l’IA en matière de structure protéique peut prédire l’avenir, alors ces modèles d’apprentissage profond de nouvelle génération continueront d’aider les scientifiques à révéler les interactions complexes qui font que la vie se réalise.

" Il y a tellement plus à comprendre ", a déclaré Jumper. "C'est juste le début."

Auteur: Internet

Info: https://www.quantamagazine.org/new-ai-tools-predict-how-lifes-building-blocks-assemble-20240508/ - Yasemin Saplakoglu, 8 mai 2024

[ briques du vivant ] [ texte-image ] [ modélisation mobiles ] [ nano mécanismes du vivant ]

homme-machine

Un pas de géant pour une machine à jouer aux échecs

Le succès stupéfiant d’AlphaZero, un algorithme d’apprentissage profond, annonce une nouvelle ère de la compréhension – une ère qui, en ce qui concerne les humains, qui pourrait ne pas durer longtemps. Début décembre, des chercheurs de DeepMind, la société d’intelligence artificielle appartenant à la société mère de Google, Alphabet Inc. ont diffusé une dépêche depuis les zones avancées du monde des échecs.

Un an plus tôt, le 5 décembre 2017, l’équipe avait stupéfié ce monde des échecs en annonçant AlphaZero, un algorithme d’apprentissage machine qui maîtrisait non seulement les échecs mais aussi le shogi, ou échecs japonais, et le Go. L’algorithme a commencé sans aucune connaissance des jeux hormis leurs règles de base. Il a ensuite joué contre lui-même des millions de fois et a appris par essais et erreurs. Il a suffi de quelques heures pour que l’algorithme devienne le meilleur joueur, humain ou ordinateur, que le monde ait jamais vu.

Les détails des capacités d’AlphaZero et de son fonctionnement interne ont maintenant été officiellement examinés par des pairs et publiés dans la revue Science ce mois-ci. Le nouvel article aborde plusieurs critiques graves à l’égard de l’allégation initiale (entre autres choses, il était difficile de dire si AlphaZero jouait l’adversaire qu’il s’était choisi, une entité computationnelle nommée Stockfish, en toute équité). Considérez que ces soucis sont maintenant dissipés. AlphaZero ne s’est pas amélioré davantage au cours des douze derniers mois, mais la preuve de sa supériorité s’est bien renforcée. Il fait clairement montre d’un type d’intellect que les humains n’ont jamais vue auparavant, et que nous allons avoir à méditer encore longtemps.

Les échecs par ordinateur ont fait beaucoup de chemin au cours des vingt dernières années. En 1997, le programme de jeu d’échecs d’I.B.M., Deep Blue, a réussi à battre le champion du monde humain en titre, Garry Kasparov, dans un match en six parties. Rétrospectivement, il y avait peu de mystère dans cette réalisation. Deep Blue pouvait évaluer 200 millions de positions par seconde. Il ne s’est jamais senti fatigué, n’a jamais fait d’erreur de calcul et n’a jamais oublié ce qu’il pensait un instant auparavant.

Pour le meilleur et pour le pire, il a joué comme une machine, brutalement et matériellement. Il pouvait dépasser M. Kasparov par le calcul, mais il ne pouvait pas le dépasser sur le plan de la pensée elle-même. Dans la première partie de leur match, Deep Blue a accepté avec avidité le sacrifice d’une tour par M. Kasparov pour un fou, mais a perdu la partie 16 coups plus tard. La génération actuelle des programmes d’échecs les plus forts du monde, tels que Stockfish et Komodo, joue toujours dans ce style inhumain. Ils aiment à capturer les pièces de l’adversaire. Ils ont une défense d’acier. Mais bien qu’ils soient beaucoup plus forts que n’importe quel joueur humain, ces "moteurs" d’échecs n’ont aucune réelle compréhension du jeu. Ils doivent être instruits explicitement pour ce qui touche aux principes de base des échecs. Ces principes, qui ont été raffinés au fil de décennies d’expérience de grands maîtres humains, sont programmés dans les moteurs comme des fonctions d’év

aluation complexes qui indiquent ce qu’il faut rechercher dans une position et ce qu’il faut éviter : comment évaluer le degré de sécurité du roi, l’activité des pièces, la structure dessinée par les pions, le contrôle du centre de l’échiquier, et plus encore, comment trouver le meilleur compromis entre tous ces facteurs. Les moteurs d’échecs d’aujourd’hui, inconscients de façon innée de ces principes, apparaissent comme des brutes : extrêmement rapides et forts, mais sans aucune perspicacité.

Tout cela a changé avec l’essor du machine-learning. En jouant contre lui-même et en mettant à jour son réseau neuronal au fil de son apprentissage, AlphaZero a découvert les principes des échecs par lui-même et est rapidement devenu le meilleur joueur connu. Non seulement il aurait pu facilement vaincre tous les maîtres humains les plus forts – il n’a même pas pris la peine d’essayer – mais il a écrasé Stockfish, le champion du monde d’échecs en titre par ordinateur. Dans un match de cent parties contre un moteur véritablement impressionnant, AlphaZero a remporté vingt-huit victoires et fait soixante-douze matchs nuls. Il n’a pas perdu une seule partie.

Le plus troublant, c’est qu’AlphaZero semblait être perspicace. Il a joué comme aucun ordinateur ne l’a jamais fait, intuitivement et magnifiquement, avec un style romantique et offensif. Il acceptait de sacrifier des pions et prenait des risques. Dans certaines parties, cela paralysait Stockfish et il s’est joué de lui. Lors de son attaque dans la partie n°10, AlphaZero a replacé sa reine dans le coin du plateau de jeu de son propre côté, loin du roi de Stockfish, pas là où une reine à l’offensive devrait normalement être placée.

Et cependant, cette retraite inattendue s’avéra venimeuse : peu importe comment Stockfish y répondait, ses tentatives étaient vouées à l’échec. C’était presque comme si AlphaZero attendait que Stockfish se rende compte, après des milliards de calculs intensifs bruts, à quel point sa position était vraiment désespérée, pour que la bête abandonne toute résistance et expire paisiblement, comme un taureau vaincu devant un matador. Les grands maîtres n’avaient jamais rien vu de tel. AlphaZero avait la finesse d’un virtuose et la puissance d’une machine. Il s’agissait du premier regard posé par l’humanité sur un nouveau type prodigieux d’intelligence.

Lorsque AlphaZero fut dévoilé pour la première fois, certains observateurs se sont plaints que Stockfish avait été lobotomisé en ne lui donnant pas accès à son livre des ouvertures mémorisées. Cette fois-ci, même avec son livre, il a encore été écrasé. Et quand AlphaZero s’est handicapé en donnant dix fois plus de temps à Stockfish qu’à lui pour réfléchir, il a quand même démoli la bête.

Ce qui est révélateur, c’est qu’AlphaZero a gagné en pensant plus intelligemment, pas plus vite ; il n’a examiné que 60 000 positions par seconde, contre 60 millions pour Stockfish. Il était plus avisé, sachant ce à quoi on devait penser et ce qu’on pouvait ignorer. En découvrant les principes des échecs par lui-même, AlphaZero a développé un style de jeu qui "reflète la vérité profonde" du jeu plutôt que "les priorités et les préjugés des programmeurs", a expliqué M. Kasparov dans un commentaire qui accompagne et introduit l’article dans Science.

La question est maintenant de savoir si l’apprentissage automatique peut aider les humains à découvrir des vérités similaires sur les choses qui nous tiennent vraiment à coeur : les grands problèmes non résolus de la science et de la médecine, comme le cancer et la conscience ; les énigmes du système immunitaire, les mystères du génome.

Les premiers signes sont encourageants. En août dernier, deux articles parus dans Nature Medicine ont exploré comment l’apprentissage automatique pouvait être appliqué au diagnostic médical. Dans l’un d’entre eux, des chercheurs de DeepMind se sont associés à des cliniciens du Moorfields Eye Hospital de Londres pour mettre au point un algorithme d’apprentissage profond qui pourrait classer un large éventail de pathologies de la rétine aussi précisément que le font les experts humains (l’ophtalmologie souffre en effet d’une grave pénurie d’experts à même d’interpréter les millions de scans ophtalmologiques effectués chaque année en vue d’un diagnostic ; des assistants numériques intelligents pourraient apporter une aide énorme).

L’autre article concernait un algorithme d’apprentissage machine qui décide si un tomodensitogramme (CT scan) d’un patient admis en urgence montre des signes d’un accident vasculaire cérébral (AVC), ou d’une hémorragie intracrânienne ou encore d’un autre événement neurologique critique. Pour les victimes d’AVC, chaque minute compte ; plus le traitement tarde, plus le résultat clinique se dégrade. (Les neurologistes ont ce sombre dicton: "time is brain"). Le nouvel algorithme a étiqueté ces diagnostics et d’autres diagnostics critiques avec une précision comparable à celle des experts humains – mais il l’a fait 150 fois plus rapidement. Un diagnostic plus rapide pourrait permettre aux cas les plus urgents d’être aiguillés plus tôt, avec une vérification par un radiologiste humain.

Ce qui est frustrant à propos de l’apprentissage machine, cependant, c’est que les algorithmes ne peuvent pas exprimer ce qu’ils pensent. Nous ne savons pas pourquoi ils marchent, donc nous ne savons pas si on peut leur faire confiance. AlphaZero donne l’impression d’avoir découvert quelques principes importants sur les échecs, mais il ne peut pas partager cette compréhension avec nous. Pas encore, en tout cas. En tant qu’êtres humains, nous voulons plus que des réponses. Nous voulons de la perspicacité. Voilà qui va créer à partir de maintenant une source de tension dans nos interactions avec ces ordinateurs.

De fait, en mathématiques, c’est une chose qui s’est déjà produite depuis des années. Considérez le problème mathématique du "théorème des quatre couleurs", qui défie de longue date les cerveaux des mathématiciens. Il énonce que, sous certaines contraintes raisonnables, toute carte de pays contigus puisse toujours être coloriée avec seulement quatre couleurs, en n’ayant jamais deux fois la même couleur pour des pays adjacents.

Bien que le théorème des quatre couleurs ait été prouvé en 1977 avec l’aide d’un ordinateur, aucun humain ne pouvait vérifier toutes les étapes de la démonstration. Depuis lors, la preuve a été validée et simplifiée, mais il y a encore des parties qui impliquent un calcul de force brute, du genre de celui employé par les ancêtres informatiques d’AlphaZero qui jouent aux échecs. Ce développement a gêné de nombreux mathématiciens. Ils n’avaient pas besoin d’être rassurés que le théorème des quatre couleurs était vrai ; ils le croyaient déjà. Ils voulaient comprendre pourquoi c’était vrai, et cette démonstration ne les y a pas aidés.

Mais imaginez un jour, peut-être dans un avenir pas si lointain, où AlphaZero aura évolué vers un algorithme de résolution de problèmes plus général ; appelez-le AlphaInfinity. Comme son ancêtre, il aurait une perspicacité suprême : il pourrait trouver de belles démonstrations, aussi élégantes que les parties d’échecs qu’AlphaZero jouait contre Stockfish. Et chaque démonstration révélerait pourquoi un théorème était vrai ; l’AlphaInfinity ne vous l’enfoncerait pas juste dans la tête avec une démonstration moche et ardue.

Pour les mathématiciens et les scientifiques humains, ce jour marquerait l’aube d’une nouvelle ère de perspicacité. Mais ça ne durera peut-être pas. Alors que les machines deviennent de plus en plus rapides et que les humains restent en place avec leurs neurones fonctionnant à des échelles de temps de quelques millisecondes, un autre jour viendra où nous ne pourrons plus suivre. L’aube de la perspicacité humaine peut rapidement se transformer en crépuscule.

Supposons qu’il existe des régularités ou des modèles plus profonds à découvrir – dans la façon dont les gènes sont régulés ou dont le cancer progresse ; dans l’orchestration du système immunitaire ; dans la danse des particules subatomiques. Et supposons que ces schémas puissent être prédits, mais seulement par une intelligence bien supérieure à la nôtre. Si AlphaInfinity pouvait les identifier et les comprendre, cela nous semblerait être un oracle.

Nous nous assiérions à ses pieds et écouterions attentivement. Nous ne comprendrions pas pourquoi l’oracle a toujours raison, mais nous pourrions vérifier ses calculs et ses prédictions par rapport aux expériences et aux observations, et confirmer ses révélations. La science, cette entreprise de l’homme qui le caractérise par-dessus tout, aurait réduit notre rôle à celui de spectateurs, bouches bées dans l’émerveillement et la confusion.

Peut-être qu’un jour, notre manque de perspicacité ne nous dérangerait plus. Après tout, AlphaInfinity pourrait guérir toutes nos maladies, résoudre tous nos problèmes scientifiques et faire arriver tous nos autres trains intellectuels à l’heure avec succès. Nous nous sommes assez bien débrouillés sans trop de perspicacité pendant les quelque 300.000 premières années de notre existence en tant qu’Homo sapiens. Et nous ne manquerons pas de mémoire : nous nous souviendrons avec fierté de l’âge d’or de la perspicacité humaine, cet intermède glorieux, long de quelques milliers d’années, entre un passé où nous ne pouvions rien appréhender et un avenir où nous ne pourrons rien comprendre.

Auteur: Strogatz Steven

Info: Infinite Powers : How Calculus Reveals the Secrets of the Universe, dont cet essai est adapté sur le blog de Jorion

[ singularité ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

oligarchie terrestre

Pourquoi les globalistes sont si obsédés par l'intelligence artificielle.
Il est presque impossible aujourd'hui de parcourir les nouvelles du Web ou les médias populaires sans être assailli par de vastes quantités de propagande sur l'intelligence artificielle (IA). C'est peut-être pour mettre fin à toutes les modes, car elle est censée englober presque tous les aspects de l'existence humaine, de l'économie et la sécurité à la philosophie et à l'art. Selon les affirmations courantes, l'IA peut faire presque tout et le faire mieux que n'importe quel être humain. Et, les choses que l'IA ne peut pas faire, elle sera capable de les faire un jour ou l'autre.

Chaque fois que l'establishment tente de saturer les médias avec un récit particulier, c'est habituellement pour manipuler la perception du public afin de produire une prophétie qui s'accomplit. En d'autres termes, ils espèrent façonner la réalité en racontant un mensonge particulier si souvent qu'au fil du temps il est accepté par les masses comme un fait. Ils le font avec l'idée que la mondialisation est inévitable, que la science du changement climatique est "indéniable" et que l'IA est une nécessité technologique.

Les mondialistes ont longtemps considéré l'IA comme une sorte de Saint-Graal dans la technologie de centralisation. Les Nations Unies ont adopté de nombreuses positions et même des sommets sur la question, dont le sommet "AI For Good" à Genève. L'ONU insinue que son intérêt premier dans l'IA est la réglementation ou l'observation de la façon dont elle est exploitée, mais l'ONU a aussi des objectifs clairs pour utiliser l'IA à son avantage. L'utilisation de l'IA comme moyen de surveiller les données de masse pour mieux instituer le " développement durable " est clairement inscrite à l'ordre du jour de l'ONU.

Le FMI est également au courant de la tendance de l'IA, en tenant des discussions mondiales sur l'utilisation de l'IA en économie ainsi que sur les effets des algorithmes sur l'analyse économique.

La principale source de développement de l'IA est depuis longtemps le DARPA. Le groupe de réflexion militaire et mondialiste injecte des milliards de dollars dans la technologie, ce qui fait de l'IA l'objectif sous-jacent de la plupart des travaux du DARPA. Elle n'est pas seulement à l'ordre du jour des mondialistes ; elle est essentiellement le fer de lance de la création et de la promotion de l'intelligence artificielle.

Cependant ce désir mondialiste pour la technologie n'est pas aussi simple que certains pourraient le supposer. Ils i a des raisons stratégiques, mais aussi religieuses pour placer l'IA sur un piédestal idéologique. Mais d'abord il faut s'attaquer à l'évidence.

Dans la plupart des livres blancs rédigés par des institutions mondialistes sur l'IA, l'accent est mis sur la collecte de données de masse et la surveillance. Les élites prennent soin de toujours affirmer que leurs intérêts sont axés sur le bien public. C'est pourquoi l'ONU et d'autres organismes soutiennent qu'ils devraient être les chefs de file en matière de surveillance de la collecte massive de données. C'est-à-dire qu'ils veulent nous faire croire qu'ils sont suffisamment objectifs et dignes de confiance pour gérer les règles de surveillance des données ou pour gérer les données elles-mêmes.

Pour la sécurité du public, les mondialistes veulent une gestion centralisée de toutes les collectes de données, ostensiblement pour nous sauver de ces mauvaises entreprises et de leur invasion de la confidentialité des données. Bien sûr, la plupart de ces entreprises sont également dirigées par des mondialistes qui remplissent les livres d'or d'événements comme le Forum économique mondial pour discuter des progrès et des avantages de l'IA. Le WEF s'est donné pour mandat de promouvoir largement l'IA et de convaincre le monde des affaires et le grand public des avantages de l'IA. Il faut prévenir les préjugés contre les IA....

Il s'agit donc d'un autre faux paradigme par lequel les institutions mondialistes s'opposent aux corporations pour ce qui est de l'utilisation de l'intelligence artificielle. Pourtant, les entreprises et les institutions mondialistes développent tous l''AI et un sentiment pro AI. Le public, avec sa méfiance innée à l'égard de la boussole morale des multinationales, est censé être convaincu pour soutenir les réformes réglementaires de l'ONU comme contrepoids. Mais en réalité, les entreprises n'ont pas l'intention de lutter contre le contrôle de l'ONU, elles finissent par s'en réjouir.

C'était le but depuis le début.

L'efficacité réelle de l'IA en tant que moyen d'aider l'humanité est discutable. L'intelligence artificielle concerne principalement les "algorithmes d'apprentissage", c'est-à-dire les machines programmées pour apprendre par l'expérience. Le problème est qu'un algorithme d'apprentissage n'est aussi efficace que les êtres humains qui le programment. Autrement dit, l'apprentissage n'est pas toujours un processus de cause à effet. Parfois, l'apprentissage est une révélation spontanée. L'apprentissage est créatif. Et, dans certains cas, l'apprentissage est inné.

Lorsqu'une machine est dressée contre un humain dans un système construit sur des règles très simples et concrètes, les machines ont tendance à prévaloir. Une partie d'échecs, par exemple, est conçue autour de règles strictes qui ne changent jamais. Un pion est toujours un pion et se déplace toujours comme un pion ; un chevalier se déplace toujours comme un chevalier. Tandis qu'il peut y avoir des moments de créativité dans les échecs (c'est pourquoi les humains sont encore capables à l'occasion de battre les ordinateurs au jeu), l'existence de règles rend l'IA plus intelligente qu'elle ne l'est.

Les systèmes humains et les systèmes naturels sont infiniment plus compliqués que les échecs, et les règles ont tendance à changer, parfois sans avertissement. Comme la physique quantique le découvre souvent, la seule chose prévisible quand on observe l'univers et la nature est que tout est imprévisible. Comment un algorithme ferait-il dans une partie d'échecs où un pion pourrait soudainement évoluer pour se déplacer comme un chevalier, sans aucun schéma prévisible spécifique ? Pas très bien, on dirait.
Et c'est là que nous entrons dans le cœur de la façon dont l'image de l'IA est gonflée en une sorte de dieu électronique à demi-crétin ; une fausse prophétie.

L'IA est insérée non seulement dans les échecs, mais dans tout. La surveillance de masse est impossible à gérer par les humains seuls ; la quantité de données est écrasante. Ainsi, l'un des objectifs fondamentaux de l'IA pour les mondialistes devient clair - l'IA est destinée à rationaliser la surveillance de masse et à l'automatiser. L'IA a pour but de parcourir les médias sociaux ou le courrier électronique à la recherche de "mots clés" pour identifier les mécréants et les opposants potentiels. Elle vise également à surveiller l'opinion du public à l'égard de questions ou de gouvernements particuliers. L'objectif est de mesurer et éventuellement "prédire" le comportement du public.

Cela devient plus difficile lorsqu'on commence à parler d'individus. Bien que les groupes soient plus faciles à observer et à cartographier dans leur comportement, les individus peuvent être abrupts, volatils et imprévisibles. La cartographie des habitudes personnelles par l'IA est également importante aujourd'hui. Elle est plus visible dans le monde de l'entreprise où le marketing est adapté aux habitudes et aux intérêts des consommateurs individuels. Cela dit, les gouvernements sont aussi très intéressés à suivre les habitudes individuelles au point de créer des profils psychologiques pour chaque personne sur la planète si possible.

Tout cela se résume à l'idée qu'un jour, l'IA sera capable d'identifier les criminels avant même qu'ils ne commettent un crime réel. En d'autres termes, l'intelligence artificielle est censée devenir un machin "qui voit tout" qui non seulement surveille notre comportement, mais aussi qui lit dans nos esprits comme une force d'identification pré-crime.

La question n'est pas de savoir si AI peut réellement nous dire qui est un futur criminel. L'IA est manifestement incapable de prédire avec précision le comportement d'une personne à un tel degré. La question est de savoir si l'OMS est en train d'établir les normes que l'IA recherche lorsqu'il s'agit d'identifier des "criminels" potentiels ? Qui fixe les règles du jeu d'échecs ? Si un algorithme est programmé par un globaliste, alors l'IA qualifiera les antimondialistes de criminels futurs ou actuels. L'AI ne pense pas vraiment. Elle n'exerce pas le pouvoir de choisir dans ses décisions. L'IA fait ce qu'elle est programmée pour faire.

L'obsession mondialiste pour l'IA, cependant, va bien au-delà de la centralisation et du contrôle des populations. Comme nous l'avons déjà mentionné, il y a un facteur religieux.

Dans mon récent article 'Luciferianism : A Secular Look At A Destructive Belief System', j'ai esquissé la philosophie fondamentale derrière le culte mondialiste. Le premier principe du luciférianisme est l'idée (ou l'illusion) que certaines personnes spéciales ont la capacité de devenir des "dieux". Mais, il y a certaines conséquences de cette croyance que je n'ai pas explorées dans cet article.

Premièrement, pour devenir un dieu, il faudrait avoir un pouvoir d'observation total. Ce qui veut dire qu'il faudrait être capable de tout voir et de tout savoir. Un tel but est insensé, car tout observer ne signifie pas nécessairement qu'une personne sait tout. L'observation totale exigerait une objectivité totale. La partialité aveugle les gens à la vérité devant leurs yeux tout le temps, et les mondialistes sont parmi les gens les plus partiaux et les plus élitistes de la planète.

L'observation totalement objective est impossible, du moins pour les humains et les algorithmes qu'ils programment. De la physique à la psychologie, l'observateur affecte toujours l'observé et vice versa. Ceci dit, je pense que les mondialistes ne se soucient pas vraiment de cette réalité. Il leur suffit de se faire passer pour des dieux par la surveillance de masse. Ils ne sont pas réellement intéressés à atteindre l'illumination ou l'objectivité divine.

Deuxièmement, pour devenir un dieu, dans un sens mythologique ou biblique, il faudrait créer une vie intelligente à partir de rien. Je crois que dans l'esprit des lucifériens, la création de l'IA est la création d'une forme de vie intelligente, plutôt qu'un logiciel. Bien sûr, les lucifériens ont une notion trouble de ce qui constitue une "vie intelligente".

Comme je l'ai examiné dans mon article qui décompose et démystifie l'idéologie luciférienne, l'existence d'archétypes psychologiques inhérents constitue la base de la capacité humaine pour choisir ou être créatif dans ses choix. L'existence d'une compréhension inhérente du bien et du mal établit le fondement de la conscience humaine et de la boussole morale - l'"âme" si vous voulez. Les lucifériens argumentent en dépit de nombreuses preuves que rien de tout cela n'existe réellement. Ils soutiennent que les humains sont des ardoises vierges - des machines qui sont programmées par leur environnement.

Pour comprendre cette idéologie ou ce culte fondé sur la théorie de l'ardoise blanche, il faut tenir compte du fait que les mondialistes présentent souvent les traits des sociopathes narcissiques. Les sociopathes narcissiques à part entière représentent moins de 1% de la population humaine totale ; ce sont des personnes qui n'ont aucune empathie inhérente ou qui n'ont pas les outils de personnalité normaux que nous associerions à l'humanité. Il ne sera pas exagéré de dire que ces personnes ressemblent plus à des robots qu'à des personnes.

J'ai également théorisé que le luciférianisme est une religion conçue par des sociopathes narcissiques pour des sociopathes narcissiques. C'est une sorte d'outil de liaison ou d'organisation pour rassembler les sociopathes en un groupe efficace pour un bénéfice mutuel - un club de parasites. Si cette théorie est vraie, alors elle représente quelque chose qui est rarement ou jamais traité dans l'observation psychologique ou anthropologique dominante ; l'existence d'une cabale de sociopathes narcissiques conspirant ensemble pour cacher leur identité et pour devenir des prédateurs plus efficaces.

En résumé, le luciférianisme est le système de croyances parfait pour les sociopathes narcissiques. Ils sont, d'une certaine façon, inhumains. Ce sont des ardoises vierges dépourvues d'humanité, et ils adoptent donc une religion qui traite cette notion comme "normale".

Il est donc logique qu'ils considèrent une chose aussi simple et vide que l'IA comme une vie intelligente. Tant qu'elle peut être programmée pour agir "de manière autonome" (ce qu'ils semblent considérer comme de la sensibilité), leur définition de la vie intelligente est exaucée. Il n'y a rien d'intelligent dans l'intelligence artificielle lorsqu'il s'agit d'actions morales ou créatives, mais les sociopathes narcissiques n'en ont de toute façon aucune idée.

Je laisse aux lecteurs le soin de réfléchir à cette question ; l'année dernière, un programme d'IA s'est vu confier la tâche de créer ses propres œuvres d'art. Les résultats ont fait l'objet d'une grande publicité et une partie de cette œuvre a été vendue pour plus de 400 000 $. Je vous invite à regarder cette oeuvre d'art si vous ne l'avez pas déjà vue.

D'après ce que j'ai vu, devant cet "art" les gens reculent d'horreur. Cela ressemble à une étrange parodie d'éléments humains sans âme. Intuitivement, nous comprenons que l'IA n'est pas la vie ; mais pour les mondialistes, c'est la définition même de la vie, probablement parce que l'absence d'âme dans la création reflète l'absence d'âme des créateurs. Tout comme les chrétiens croient que l'humanité a été faite à l'image de Dieu, les lucifériens, dans leur quête de la divinité, ont créé une "forme de vie" qui est peut-être, ironiquement, comme eux.

Auteur: Smith Brandon

Info: http://www.alt-market.com, 1 mars 2019

[ big brother ]

microbiote

Un chef d'orchestre de la subtile symphonie d'Evolution

Le biologiste Richard Lenski pensait que son expérience à long terme sur l'évolution pourrait durer 2 000 générations. Près de trois décennies et plus de 65 000 générations plus tard, il est toujours étonné par " l’incroyable inventivité " de l’évolution.

Au début de sa carrière, le biologiste décoré Richard Lenski pensait qu'il pourrait être contraint d'évoluer. Après l’annulation de sa subvention de recherche postdoctorale, Lenski a commencé à envisager provisoirement d’autres options. Avec un enfant et un deuxième en route, Lenski a assisté à un séminaire sur l'utilisation de types spécifiques de données dans un contexte actuariel* – le même type de données avec lequel il avait travaillé lorsqu'il était étudiant diplômé. Lenski a récupéré la carte de visite du conférencier, pensant qu'il pourrait peut-être mettre à profit son expérience dans une nouvelle carrière.

"Mais ensuite, comme c'est parfois le cas - et j'ai eu beaucoup de chance - le vent a tourné", a déclaré Lenski à Quanta Magazine dans son bureau de la Michigan State University. " Nous avons obtenu le renouvellement de la subvention et peu de temps après, j'ai commencé à recevoir des offres pour être professeur. 

Lenski, professeur d'écologie microbienne à l'État du Michigan, est surtout connu pour ses travaux sur ce que l'on appelle l' expérience d'évolution à long terme . Le projet, lancé en 1988, examine l'évolution en action. Lui et les membres de son laboratoire ont cultivé 12 populations d' E. coli en continu depuis plus de 65 000 générations, suivant le développement et les mutations des 12 souches distinctes.

Les résultats ont attiré l’attention et les éloges – y compris une bourse " genius " MacArthur, que Lenski a reçue en 1996 – à la fois pour l’énormité de l’entreprise et pour les découvertes intrigantes que l’étude a produites. Plus particulièrement, en 2003, Lenski et ses collaborateurs ont réalisé qu'une souche d' E. coli avait développé la capacité d'utiliser le citrate comme source d'énergie, ce qu'aucune population précédente d' E. coli n'était capable de faire.

Lenski s'intéresse également aux organismes numériques, c'est-à-dire aux programmes informatiques conçus pour imiter le processus d'évolution. Il a joué un rôle déterminant dans l’ouverture du Beacon Center dans l’État du Michigan, qui donne aux informaticiens et aux biologistes évolutionnistes l’opportunité de forger des collaborations uniques.

Quanta Magazine a rencontré Lenski dans son bureau pour parler de ses propres intérêts évolutifs dans le domaine de la biologie évolutive – et du moment où il a presque mis fin à l'expérience à long terme. 

QUANTA MAGAZINE : Quels types de questions ont été les moteurs de votre carrière ?

RICHARD LENSKI : Une question qui m'a toujours intrigué concerne la reproductibilité ou la répétabilité de l'évolution . Stephen Jay Gould, paléontologue et historien des sciences, a posé cette question : si nous pouvions rembobiner la bande de la vie sur Terre, à quel point serait-elle similaire ou différente si nous regardions l'ensemble du processus se reproduire ? L’expérimentation à long terme que nous menons nous a permis de rassembler de nombreuses données sur cette question.

Alors, l’évolution est-elle reproductible ?

Oui et non! Je dis parfois aux gens que c'est une question fascinante et motivante, mais à un certain niveau, c'est une question terrible, et on ne dirait jamais à un étudiant diplômé de s'y poser. C’est parce qu’elle est très ouverte et qu’il n’y a pas de réponse très claire.

Grâce à cette expérience à long terme, nous avons vu de très beaux exemples de choses remarquablement reproductibles, et d'autre part des choses folles où une population s'en va et fait des choses qui sont complètement différentes des 11 autres populations de la planète dans l' expérience.

Comment vous est venue l’idée de cette expérience à long terme ?

Je travaillais déjà depuis plusieurs années sur l'évolution expérimentale des bactéries, ainsi que des virus qui infectent les bactéries. C'était fascinant, mais tout est devenu si compliqué si vite que j'ai dit : " Réduisons l'évolution à sa plus simple expression. " En particulier, j'ai voulu approfondir cette question de reproductibilité ou répétabilité de l'évolution. Et pour pouvoir l'examiner, je voulais un système très simple. Lorsque j'ai commencé l'expérience à long terme, mon objectif initial était de l'appeler expérience à long terme lorsque j'arriverais à 2 000 générations.

Combien de temps cela vous a-t-il pris ?

La durée réelle de l'expérience a duré environ 10 ou 11 mois, mais au moment où nous avons collecté les données, les avons rédigées et publié l'article, il nous a fallu environ deux ans et demi. À ce moment-là, l’expérience avait déjà dépassé 5 000 générations et j’ai réalisé qu'il fallait la poursuivre.

Pensiez-vous que l’expérience se poursuivrait aussi longtemps ?

Non, non... il y a eu une période de cinq ans, peut-être de la fin des années 90 au début des années 2000, pendant laquelle j'ai réfléchi à la possibilité d'arrêter l'expérience. C'était pour plusieurs raisons différentes. La première était que je devenais accro à cette autre façon d’étudier l’évolution, qui impliquait d’observer l’évolution dans des programmes informatiques auto-réplicatifs, ce qui était absolument fascinant. Soudain, j'ai découvert cette manière encore plus brillante d'étudier l'évolution, où elle pouvait s'étendre sur encore plus de générations et faire encore plus d'expériences, apparemment plus soignées.

Comment votre vision de l’étude de l’évolution via ces organismes numériques a-t-elle évolué au fil du temps ?

J’ai eu ce genre d’" amour de chiot " lorsque j’en ai entendu parler pour la première fois. Au début, c'était tellement extraordinairement intéressant et excitant de pouvoir regarder des programmes auto-répliquants, de pouvoir changer leur environnement et d'observer l'évolution se produire.

L’un des aspects les plus passionnants de l’évolution numérique est qu’elle montre que nous considérons l’évolution comme une affaire de sang, d’intestins, d’ADN, d’ARN et de protéines. Mais l’idée d’évolution se résume en réalité à des idées très fondamentales d’hérédité, de réplication et de compétition. Le philosophe des sciences Daniel Dennett a souligné que nous considérons l’évolution comme cette instanciation, cette forme de vie biologique, mais que ses principes sont bien plus généraux que cela.

Je dirais que mes dernières orientations de recherche ont consisté principalement à discuter avec des collègues très intelligents et à siéger à des comités d'étudiants diplômés qui utilisent ces systèmes. Je suis moins impliqué dans la conception d'expériences ou dans la formulation d'hypothèses spécifiques, car ce domaine évolue extrêmement rapidement. Je pense que j'ai eu beaucoup de chance de pouvoir cueillir certains des fruits les plus faciles à trouver, mais maintenant j'ai l'impression d'être là en tant que biologiste, critiquant peut-être des hypothèses, suggérant des contrôles qui pourraient être effectués dans certaines expériences.

Votre intérêt pour les organismes numériques est donc l’une des raisons pour lesquelles vous avez envisagé de mettre fin à l’expérience à long terme. Quel était l'autre ?

À ce stade, l’autre chose qui était un peu frustrante dans les lignes à long terme était que la vitesse à laquelle les bactéries évoluaient ralentissait. À la façon dont j’y pensais, c’était presque comme si l’évolution s’était arrêtée. Je pensais que c'était tout simplement un environnement trop simple et qu'ils n'avaient pas grand-chose à faire de plus.

Donc ces deux choses différentes m’ont fait réfléchir à arrêter l’expérience. Et j'ai parlé à quelques collègues et ils m'ont dit en gros : tu ne devrais pas faire ça. D’ailleurs, j’en ai parlé avec ma femme, Madeleine, lorsque je commençais à m’intéresser beaucoup à ces organismes numériques – nous étions d’ailleurs en congé sabbatique en France à cette époque – et je lui ai dit : " Peut-être que je devrais appeler chez moi et fermer le labo. " Et elle a dit : " Je ne pense pas que tu devrais faire ça. "

Pourquoi votre femme et vos collègues ont-ils eu cette réaction ?

L’expérience s’était déjà avérée très rentable au sens scientifique, fournissant des données très riches sur la dynamique du changement évolutif. C’était plus ou moins unique dans les échelles de temps étudiées. Je pense donc que c’était de très bons conseils qu’ils m’ont donné. Je ne sais pas si j’aurais déjà pu débrancher moi-même. J'étais certainement un peu frustré et j'y pensais – mais de toute façon, les gens ont dit non !

Avez-vous dépassé le palier où vous disiez avoir l’impression que les organismes n’évoluaient pas tellement ?

C’est en fait l’une des découvertes vraiment intéressantes de l’expérience. Lorsque j’ai commencé l’expérience à long terme, je pensais que les bactéries atteindraient rapidement une sorte de limite à leur croissance. Il y a seulement quelques années, nous avons commencé à réaliser que les bactéries seraient toujours capables de dépasser tout ce que nous avions déduit dans le passé quant à leur limite stricte. J’ai réalisé que nous n’y réfléchissions tout simplement pas de la bonne manière. Même dans l’environnement le plus simple, il est toujours possible pour les organismes de réaliser n’importe quelle étape de leur métabolisme, ou n’importe quelle étape de leur biochimie, un peu mieux. Et la sélection naturelle, même si elle ne réussit pas à chaque étape, favorisera toujours, à long terme, ces améliorations subtiles.

Une lignée de bactéries a développé la capacité d’utiliser le citrate comme source de nourriture. Est-ce que cela s'est produit avant ou après que vous envisagiez d'arrêter l'expérience ?

C’est l’une des choses qui m’a fait réaliser que nous n’arrêterions pas l’expérience. En 2003, une lignée a développé la capacité d’utiliser le citrate. Cela a changé la donne : se rendre compte que même dans cet environnement extrêmement simple, les bactéries devaient évoluer et comprendre certaines choses importantes.

J’aime dire que les bactéries dînaient tous les soirs sans se rendre compte qu’il y avait ce bon dessert citronné juste au coin de la rue. Et jusqu’à présent, même après 65 000 générations, seule une population sur 12 a compris comment consommer ce citrate.

Vous avez également mentionné que certaines populations au sein de votre expérience ont développé des mutations à un rythme plus élevé. A quoi cela ressemble-t-il?

Après plus de 60 000 générations, six des 12 populations ont évolué pour devenir hypermutables. Elles ont développé des changements dans la réparation de leur ADN et dans les processus métaboliques de l'ADN, ce qui les amène à avoir de nouvelles mutations quelque part de l'ordre de 100 fois la vitesse à laquelle l'ancêtre [au début de l'expérience] le faisait.

C'est un processus très intéressant, car il est à la fois bon et mauvais du point de vue des bactéries. C'est mauvais car la plupart des mutations sont nocives ou, au mieux, neutres. Seule une rare pépite dans cette mine est une mutation bénéfique. Les bactéries qui ont le taux de mutation le plus élevé sont un peu plus susceptibles de découvrir l’une de ces pépites. Mais d’un autre côté, ils sont également plus susceptibles de produire des enfants et petits-enfants porteurs de mutations délétères.

La lignée capable de consommer du citrate faisait-elle partie du groupe qui avait évolué pour devenir hypermutable ?

C'est une excellente question. La lignée qui a développé la capacité d’utiliser le citrate n’avait pas un taux de mutation élevé. Il est intéressant de noter qu’il est devenu l’un de ceux présentant un taux de mutation plus élevé, mais seulement après avoir développé la capacité d’utiliser le citrate. Cela est cohérent avec l’avantage du taux de mutation plus élevé – la capacité supplémentaire d’exploration. Les bactéries étaient en fait assez mauvaises pour utiliser le citrate au départ, donc il y avait beaucoup d'opportunités après qu'elles aient développé la capacité d'utiliser le citrate pour affiner cette capacité.

Comment l’expérience à long terme vous aide-t-elle à comprendre l’évolution de la vie à plus grande échelle ?

Pour moi, l’une des leçons de cette expérience à long terme a été de constater à quel point la vie peut être riche et intéressante, même dans l’environnement le plus ennuyeux et le plus simple. Le fait que l’évolution puisse générer cette diversité et découvrir des portes légèrement entrouvertes qu’elle peut franchir témoigne de l’incroyable inventivité de l’évolution. Et s’il peut être si inventif et créatif à cette minuscule échelle spatiale et temporelle, et dans un environnement aussi ennuyeux, cela me suscite encore plus de respect, quand je pense à quel point il est remarquable dans la nature.

Qu’est-ce qui vous a le plus surpris dans ce projet ?

Que ça continue après toutes ces années. L’un de mes objectifs dans la vie est de faire en sorte que l’expérience continue. J'aimerais lever une dotation pour poursuivre l'expérience à perpétuité.

Qu’espérez-vous pour l’expérience à long terme dans le futur ?

J’espère que ce projet apportera bien d’autres surprises. Par exemple, deux lignées coexistent depuis 60 000 générations dans l’une des populations, où l’une se nourrit du produit que l’autre génère. Je pense qu'il est fascinant de se demander si, à un moment donné, cela pourrait se transformer en quelque chose qui ressemble davantage à une interaction prédateur-proie. Ce n’est certainement pas hors du domaine des possibles. Si cela arriverait un jour, je ne sais pas.

Cela a également été une immense joie de travailler avec des étudiants, des postdoctorants et des collaborateurs, et de les voir grandir et se développer. C'est vraiment la plus grande joie pour moi d'être un scientifique. J'aime dire aux gens que je suis bigame. J'ai deux familles : ma famille de laboratoire et ma famille biologique, et elles sont toutes les deux incroyablement merveilleuses.

Auteur: Internet

Info: Logan Zillmer pour Quanta Magazine - * Relatif aux méthodes mathématiques des actuaires

[ microbiome ] [ bio-informatique ] [ plasticité ] [ dépassement ] [ tâtonnement ] [ élargissement ] [ gaspillage ] [ adaptation ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

psychosomatique

Nous avons 2 cerveaux.

On se demande souvent pourquoi les gens ont des "boules" dans l'estomac avant d'aller sur scène ? Ou pourquoi un entretien d'emploi imminent peut causer des crampes intestinales ? Ainsi que : pourquoi les antidépresseur qui visent le cerveau causent la nausée ou un bouleversement abdominal chez des millions de personnes qui prennent de telles drogues ?

Les scientifiques disent que la raison de ces réactions est que notre corps a deux cerveaux : le familier, dans le crâne et, moins connus, mais extrêmement importants un autre dans l'intestin humain- Tout comme des jumeaux siamois, les deux cerveaux sont reliés ensemble ; quand l'un est affecté, l'autre aussi. Le cerveau de l'intestin, connu sous le nom de système nerveux entérique, est situé dans les gaines du tissu qui tapissent l'oesophage, l'estomac, le petit intestin et le colon. Si on le considère comme une simple entité, c'est un réseau de neurones, de neurotransmetteurs et de protéines qui zappent des messages entre eux, soutiennent des cellules comme celles du cerveau proprement dit et offrent des circuits complexes qui lui permettent d'agir indépendamment, d'apprendre, de se rappeler et, selon le dicton, de produire des sensations dans les intestins.

Le cerveau de l'intestin joue un rôle important dans le bonheur et la misère humains. Mais peu de gens savent qu'il existe indique le Dr. Michael Gershon, professeur d'anatomie et de biologie des cellules au centre médical presbytérien de Colombia à New York. Pendant des années, on a dit aux gens qui ont des ulcères, des problèmes pour avaler ou des douleurs abdominales chroniques que leurs problèmes étaient imaginaires ou, émotifs, c'est à dire simplement dans leurs têtes. Ces gens ont donc faits la navette entre divers psychiatres pour le traitement. Les médecins avaient raison en attribuant ces problèmes au cerveau dit le DR. Gershon, mais ils blâment le faux. Beaucoup de désordres gastro-intestinaux, comme le syndrome d'entrailles irritable proviennent des problèmes dans le propre cerveau de l'intestin, affirme-t'il. Les symptômes provenant des deux cerveaux - tendent à être confus : " Comme le cerveau peut déranger l'intestin, l'intestin peut également déranger le cerveau... si tu es enchaîné aux toilette avec un serre joint, tu seras aussi affecté."

Les détails de la façon dont le système nerveux entérique reflète le système nerveux central ont émergé ces dernières années, dit le Dr. Gershon, et c'est considéré comme un nouveau champ d'investigation appelé neuro-gastro-enterologie par la médecine. Ainsi, presque chaque substance qui aide à faire fonctionner et à commander le cerveau a donné des résultat dans l'intestin, dit Gershon. Les neurotransmetteurs principaux comme la sérotonine, dopamine, glutamate, nopépinéphrine et l'oxyde nitrique sont là. Deux douzaine de petites protéines cervicales, appelées les neuropeptides, sont dans l'intestin, comme les cellules principales du système immunitaire. Les Enkephalins, une classe d'opiacés normaux du corps, sont dans l'intestin et, constatation qui laisse les chercheurs perplexe, l'intestin est une riche source de benzodiazépines - la famille des produits chimiques psycho-actifs qui inclut des drogues toujours populaires telles que le Valium et le Xanax.

En termes évolutionnistes, il est assez clair que le corps a deux cerveaux, dit le Dr. David Wingate, professeur de science gastro-intestinale à l'université de Londres et conseiller à l'hôpital royal de Londres. Les premiers systèmes nerveux étaient des animaux non tubulaires qui collaient aux roches et attendaient le passage de nourriture. Le système limbique est souvent désignée sous le nom de "cerveau reptilien". Alors que la vie évoluait, les animaux ont eu besoin d'un cerveau plus complexe pour trouver la nourriture et un partenaire sexuel et ainsi ont développé un système nerveux central. Mais le système nerveux de l'intestin était trop important pour l'intégrer à cette nouvelle tête, même avec de longs raccordements sur tout le corps. Un rejeton à toujours besoin de manger et digérer de la nourriture à la naissance. Par conséquent, la nature semble avoir préservé le système nerveux entérique en tant que circuit indépendant.

Chez de plus grands animaux, il est simplement relié de manière vague au système nerveux central et peut la plupart du temps fonctionner seul, sans instructions de l'extérieur. C'est en effet l'image vue par les biologistes développementalistes. Une motte de tissus appelée la "crête neurale" se forme tôt dans l'embryogenese dit le DR.Gershon. Une section se transforme en système nerveux central. Un autre morceau émigre pour devenir le système nerveux entérique. Et postérieurieurement seulement les deux systèmes nerveux seront relié par l'intermédiaire d'une sorte de câble appelé le nerf "vagus". Jusque à relativement récemment, les gens ont pensé que les muscles et les nerfs sensoriels de l'intestin étaient câblés directement au cerveau et que le cerveau commandait l'intestin par deux voies qui augmentaient ou diminuaient les taux de l'activité. L'intestin étant un simple tube avec des réflexes. L'ennui est que personne ne pris la peine de compter les fibres de nerf dans l'intestin. Quand on l'a fait on fut étonné de constater que l'intestin contient 100 millions de neurones - plus que la moelle épinière.

Pourtant le conduit vagus n'envoie qu'environ deux mille fibres de nerf vers l'intestin. Le cerveau envoie des signaux à l'intestin en parlant à un nombre restreint de'"neurones de commande", qui envoient à leur tour des signaux aux neurones internes de l'intestin qui diffusent les messages. Les neurones et les inter neurones de commande sont dispersées dans deux couches de tissu intestinal appelées le plexus myenteric et le plexus subrmuscosal. ("le plexus solaire" est en fait un terme de boxe qui se réfère simplement aux nerfs de l'abdomen.) Ces neurones commandent et contrôlent le modèle de l'activité de l'intestin. Le nerf vagus modifie seulement le volume en changeant le taux de mise à feu. Les plexus contiennent également les cellules gliales qui nourrissent les neurones, les cellules pylônes impliquées dans des immuno-réactions, et "une barrière de sang cervical " qui maintient ces substances nocives loin des neurones importants. Ils ont des sondes pour les protéines de sucre, d'acidité et d'autres facteurs chimiques qui pourraient aider à surveiller le progrès de la digestion, déterminant comment l'intestin mélange et propulse son contenu. "Ce n'est pas une voie simple", Y sont employés des circuits intégrés complexes, pas différents du cerveau." Le cerveau de l'intestin et le cerveau de la tête agissent de la même manière quand ils sont privés d'informations venant du monde extérieur.

Pendant le sommeil, le cerveau de la tête produit des cycles de 90-minutes de sommeil lent, ponctué par des périodes de sommeil avec des mouvement d'oeil rapide (REM) où les rêves se produisent. Pendant la nuit, quand il n'a aucune nourriture, le cerveau de l'intestin produit des cycles 90-minute de lentes vagues de contractions des muscles, ponctuées par de courts gerbes de mouvements rapides des muscles, dit le Dr. Wingate. Les deux cerveaux peuvent donc s'influencer dans cet état. On a trouvé des patients présentant des problèmes d'entrailles ayant un sommeil REM anormal. Ce qui n'est pas contradictoire avec la sagesse folklorique qui voudrait que l'indigestion pousse au cauchemar. Alors que la lumière se fait sur les connexions entre les deux cerveaux, les chercheurs commencent à comprendre pourquoi les gens agissent et se sentent de telle manière.

Quand le cerveau central rencontre une situation effrayante, il libère les hormones d'effort qui préparent le corps combattre ou à se sauver dit le DR.Gershon. L'estomac contient beaucoup de nerfs sensoriels qui sont stimulés par cette montée chimique subite - ainsi surviennent les ballonnements. Sur le champ de bataille, le cerveau de la tête indique au cerveau d'intestin arrêter dit le DR.Gershon " Effrayé un animal en train de courir ne cesse pas de déféquer ". La crainte fait aussi que le nerf vagus au "monte le volume" des circuits de sérotonine dans l'intestin. Ainsi, trop stimulé, l'intestin impulse des vitesse élevés et, souvent, de la diarrhée. De même, des gens s'étouffent avec l'émotion. Quand des nerfs dans l'oesophage sont fortement stimulés, les gens peuvent éprouver des problèmes d'ingestion. Même le prétendu " Moment de Maalox " d'efficacité publicitaire peut être expliqué par les deux cerveaux agissant en interaction, dit le Dr. Jackie D. Wood, président du département de physiologie à l'université de l'Etat de l'Ohio à Columbus. Les signaux d'effort du cerveau de la tête peuvent changer la fonction de nerf entre l'estomac et l'oesophage, ayant pour résultat la brûlure d'estomac.

Dans les cas d'efforts extrême. le cerveau dominant semble protéger l'intestin en envoyant des signaux aux cellules pylônes immunologiques dans le plexus. Les cellules pylônes sécrètent l'histamine, la prostaglandine et d'autres agents qui aident à produire l'inflammation. "C'est protecteur. Si un animal est en danger et sujet au trauma, la substance sale dans les intestins est seulement à quelques cellules du reste du corps. En enflammant l'intestin, le cerveau amorce l'intestin pour la surveillance. Si la barrière se casse, l'intestin est prêt à faire les réparations ". Dit le DR. Wood. Malheureusement, ces produits chimiques libérés causent également la diarrhée et les crampes. Ceci explique également beaucoup d'interactions.."quand tu prends une drogue pour avoir des effets psychiques sur le cerveau, il est très probable que tu auras aussi des effets sur l'intestin. Réciproquement, les drogues développées pour le cerveau ont des utilisations pour l'intestin.

Par exemple, l'intestin est chargé avec la sérotonine des neurotransmetteur. Quand des récepteurs de pression de la doublure de l'intestin sont stimulés, la sérotonine est libérée et commence le mouvement réflexe du péristaltisme. Maintenant un quart des personnes prenant du Prozac ou des antidépresseur semblables ont des problèmes gastro- intestinaux comme la nausée, diarrhée et constipation. Ces drogues agissent sur la sérotonine, empêchant sa prise par les cellules cible de sorte qu'elle demeure plus abondante dans le système nerveux central. Dans une étude le DR.Gershon et ses collègues expliquent les effets secondaires du Prozac sur l'intestin. Ils ont monté une section de colon du cobaye sur un stand et ont mis un petit granule à l'extrémité de la "bouche". Le colon isolé fouette le granule vers le bas vers l'extrémité "anale" de la colonne, juste comme il le ferai à l'intérieur de l'animal. Quand les chercheurs ont mis un peu de Prozac dans le colon, le granule " y est entré dans la haute vitesse". La drogue a doublé la vitesse à laquelle le granule a traversé le colon, ce qui expliqueraient pourquoi certains ont la diarrhée. Le Prozac a été parfois utilisé à petites doses pour traiter la constipation chronique, a il ajouté. Mais quand les chercheurs ont augmenté la quantité de Prozac dans le colon du cobaye, le granule a cessé de se déplacer. Le DR Gershon dit que c'est pourquoi certains deviennent constipé avec cette drogue. Et parce que les nerfs sensoriels stimulés par Prozac peuvent également causer la nausée. Certains antibiotiques comme la crythromycine agissent sur des récepteurs d'intestin et produisent des oscillations. Certaines ont alors des crampes et des nausées. Des drogues comme la morphine et l'héroïne s'attachent aux récepteurs des opiacé de l'intestin, produisant la constipation. En effet, les deux cerveaux peuvent être intoxiqués aux opiacés. Les victimes des maladies d'Alzheimer et de Parkinson souffrent de constipation. Les nerfs dans leur intestin sont aussi malades que les cellules de nerf dans leurs cerveaux. Juste comme le cerveau central affecte l'intestin, le cerveau de l'intestin peut parler à la tête. La plupart des sensations d'intestin qui entrent dans la part consciente sont des choses négatives comme la douleur et le ballonnement.

Les gens ne s'attendent pas à sentir "du bon" venant de l'intestin... mais cela ne signifie pas que de tels signaux sont absents. Par conséquent, il y a la question intrigante : pourquoi l'intestin produit-il de la benzodiazépine ? Le cerveau humain contient des récepteurs pour la benzodiazépine, une drogue qui soulage l'inquiétude, suggérant que le corps produise sa propre source interne de la drogue, dit le Dr. Anthony Basile, neurochimiste au laboratoire de neurologie aux instituts nationaux de la santé a Bethesda. Il y a plusieurs années, dit-il, un scientifique italien a fait une découverte plus effrayante. Les patients présentant un disfonctionnement du foie tombèrent dans un coma profond. Le coma put être renversé, en quelques minutes, en donnant aux patients une drogue qui bloque la benzodiazépine. Quand le foie s'arrête, les substances habituellement neutralisées par le foie vont au cerveau. Certaines sont mauvaises, comme l'ammoniaque et les mercaptans, qui sont "les composés puants que les putois pulvérisent pour se défendre ". Mais une série de composés est également identique à la benzodiazépine. " Nous ne savons pas s'ils viennent de l'intestin lui-même, de bactéries dans l'intestin ou de la nourriture". dit. Le Dr Basile. Mais quand le foie s'arrête la benzodiazépine de l'intestin va directement au cerveau, mettant le patient dans le coma.

L'intérêt pour de telles interactions entre le cerveau d'intestin et celui de tête est énorme... Par exemple, beaucoup de personnes sont allergiques à certaines nourritures, comme les mollusques et les crustacés. C'est parce que les cellules pylônes dans l'intestin deviennent mystérieusement sensibilisées aux antigènes de la nourriture. La prochaine fois que l'antigène apparaît dans l'intestin ; les cellules pylônes appellent un programme, libérant des modulateurs chimiques, qui essaye d'éliminer la menace. La personne allergique se retrouve donc avec de la diarrhée et des crampes. Beaucoup de maladies auto-immunes comme la maladie de Krohn et les colites ulcérative peuvent impliquer le cerveau de l'intestin. Les conséquences peuvent être horribles, comme dans la maladie de Chagas, qui est provoquée par un parasite trouvé en Amérique du sud. Les infectés développent une réponse auto-immune des neurones de leur intestin. Leurs systèmes immunitaires détruit alors lentement leurs propres neurones intestinales. Quand assez de neurones sont mortes, les intestins éclatent littéralement.

Restent ces questions : Est ce que le cerveau de l'intestin apprend ? Pense - il pour lui-même ? L'intestin humain a été longtemps vu comme le réceptacle des bons et des mauvais sentiments. Des états peut-être émotifs du cerveau de la tête sont reflétés dans le cerveau de l'intestin, ou sont-ils ressentis que par ceux qui prêtent l'attention à elles. Le cerveau de l'intestin prend la forme de deux réseaux de raccordements neuraux dans la doublure de l'appareil gastro-intestinal, appelée le plexus myenteric et le plexus subrnucosal. Les nerfs sont fortement reliés ensemble et ont une influence directe sur des choses comme la vitesse de la digestion, le mouvement et des sécrétions de la muqueuses "comme-des-doigts" qui ligne les intestins et les contractions des différents genres de muscle dans les parois de l'intestin. Autoroute cerveau intestin à 2 voies : RUE Bidirectionnelle : L'intestin a son propre esprit, le système nerveux entérique. Juste comme le cerveau dans la tête, disent les chercheurs. Ce système envoie et reçoit des impulsions, enregistre, fait des expériences et répond aux émotions. Ses cellules nerveuse sont baignées et influencées par les mêmes neurotransmetteurs. L'intestin peut déranger le cerveau juste comme le cerveau peut déranger l'intestin. Diagramme des parois du petit intestin : un plan de coupe montre deux réseaux de nerfs qui composent le système nerveux entérique, ou "cerveau dans l'intestin". Le premier réseau, appelé le plexus submucosal, est juste sous la doublure muqueuse. le second, le plexus myenteric, se trouve entre les deux manteaux de muscle.

Auteur: Blakeslee Sandra

Info: New York Times 23 Janvier 1996

[ dyspepsie ] [ tourista ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]