échographie

Le jour où Pierre reçut la grande photo sur carton, il sauta en l'air, ne se contint plus.

- Je distingue très mal l'image.

On apercevait, en un brouillard de grisaille, le bas de la cage thoracique, l'ombre mate du bassin maternel et le squelette de l'enfant bien formé, la tête en bas, genoux au menton, faisant une immobile culbute où s'arrondissait son épine dorsale annelée dans un recroquevillement de momie péruvienne, comme dans les plus anciens ensevelissements humains, comme dans les jarres néolithiques.

- Que c'est laid ! dit Pierre, déçu.

- C'est ravissant, dit Hedwige, enthousiaste.

Quelques jours plus tard, ce fut une autre affaire. Cette fois, Pierre voulut écouter au stéthoscope battre le cœur de l'embryon. Il se penchait sur cette grande caverne habitée qu'était le corps d'Hedwige, appuyait son front contre elle, enfonçant aux oreilles les deux écouteurs, prêtant une attention auditive à ce ronron, à ce léger cliquetis qu'était le cœur de son enfant.

- Si tu me continues à me tourmenter ainsi, il aura des convulsions, cria Hedwige, crispée.

Auteur: Morand Paul

Info: l'homme pressé (1941, 350 p., Gallimard, p. 230, 231)

[ poésie du détail ] [ couple ] [ famille ] [ cocasserie émouvante ]

désir

En se souriant, ils se réjouissaient mutuellement de leur présence, une pure présence, à laquelle on ne pouvait réfléchir, qu’on ne pouvait même connaître. Mais les yeux de Birkin avaient une grimace légèrement ironique.

Elle était étrangement attirée vers lui, comme par un charme. S’agenouillant sur le tapis devant lui, elle noua ses mains derrière ses reins et appuya la tête contre ses cuisses. Richesse ! Richesse ! Elle se sentait submergée par tout un ciel plein de richesses.

- Nous nous aimons, dit-elle, ravie.

- Mieux que cela, répondit-il, en la regardant, le visage rayonnant de plaisir.

Inconsciemment, du bout de ses doigts sensibles, elle suivait la ligne de ses cuisses, y poursuivant un mystérieux courant de vie. Elle avait découvert quelque chose de plus merveilleux que la vie elle-même. C’était l’étrange mystère du mouvement vital, là, sur le derrière de ses cuisses, le long de ses flancs. C’était une étrange réalité de Birkin, l’étoffe même de son être, là sur la chute bien droite de ses cuisses. C’est là qu’elle découvrit qu’il était l’un des fils de Dieu tels qu’ils vivaient au commencement du monde, pas un homme, mais quelque chose d’autre, quelque chose de plus.

C’était un soulagement, enfin. Elle avait eu des amoureux. Elle avait connu la passion ; mais ceci n’était ni l’amour ni la passion. C’était le retour des filles des hommes vers les fils de Dieu, les fils de Dieu étranges et inhumains qui furent au commencement du monde.

Maintenant, son visage était un éblouissement de libre lumière dorée, tandis qu’elle levait les yeux vers lui, et appuyait ses mains en plein sur ses cuisses, par-derrière, comme il se tenait debout devant elle. Il la regardait et ses sourcils épais brillaient comme un diadème au-dessus de ses yeux. Elle était belle comme une fleur merveilleuse nouvellement ouverte à ses genoux, fleur paradisiaque, et non plus une femme, mais une fleur de clarté. Pourtant, il y avait encore en lui un certain embarras. Il n’aimait pas ce rayonnement, cet agenouillement, du moins pas entièrement.

Pour elle, tout était terminé. Elle avait trouvé un fils de Dieu du Commencement du Monde, et lui, il avait trouvé une des plus lumineuses filles des hommes.

Elle suivait avec les mains la ligne de ses reins et de ses cuisses et un feu vivant se transmettait ténébreusement de lui à elle. C’était un flux obscur de passion électrique que, mis en liberté en lui, elle attirait en elle. Elle avait créé un circuit riche et nouveau, un nouveau courant d’énergie passionnelle qui allait de l’un à l’autre depuis les pôles les plus obscurs du corps, en formant un circuit parfait. C’était un sombre feu d’électricité qui jaillissait de lui à elle et les inondait tous deux de satisfaction et de paix somptueuse.

Auteur: Lawrence David Herbert

Info: Femmes amoureuses, traduit de l’anglais par Maurice Rancès et Georges Limbour, éditions Gallimard, 1949, pages 451 à 453

[ homme-femme ] [ imaginaire ] [ sensations ] [ volupté ]

médecine

L'intelligence artificielle peut prédire l'activité sur et hors cible des outils CRISPR qui ciblent l'ARN au lieu de l'ADN, selon une nouvelle recherche publiée dans Nature Biotechnology.

L'étude menée par des chercheurs de l'université de New York, de l'université Columbia et du New York Genome Center associe un modèle d'apprentissage profond à des écrans CRISPR pour contrôler l'expression des gènes humains de différentes manières, comme si l'on appuyait sur un interrupteur pour les éteindre complètement ou si l'on utilisait un bouton d'atténuation pour réduire partiellement leur activité. Ces contrôles précis des gènes pourraient être utilisés pour développer de nouvelles thérapies basées sur CRISPR.

CRISPR est une technologie d'édition de gènes qui a de nombreuses applications en biomédecine et au-delà, du traitement de la drépanocytose à la fabrication de feuilles de moutarde plus savoureuses. Elle fonctionne souvent en ciblant l'ADN à l'aide d'une enzyme appelée Cas9. Ces dernières années, les scientifiques ont découvert un autre type de CRISPR qui cible l'ARN à l'aide d'une enzyme appelée Cas13.

Les CRISPR ciblant l'ARN peuvent être utilisés dans un large éventail d'applications, notamment l'édition de l'ARN, l'élimination de l'ARN pour bloquer l'expression d'un gène particulier et le criblage à haut débit pour déterminer les candidats médicaments prometteurs. Des chercheurs de l'Université de New York et du New York Genome Center ont créé une plateforme de criblage CRISPR ciblant l'ARN et utilisant Cas13 pour mieux comprendre la régulation de l'ARN et identifier la fonction des ARN non codants. L'ARN étant le principal matériel génétique des virus, notamment du SRAS-CoV-2 et de la grippe, les CRISPR ciblant l'ARN sont également prometteurs pour le développement de nouvelles méthodes de prévention ou de traitement des infections virales. Par ailleurs, dans les cellules humaines, lorsqu'un gène est exprimé, l'une des premières étapes est la création d'ARN à partir de l'ADN du génome.

L'un des principaux objectifs de l'étude est de maximiser l'activité des CRISPR ciblant l'ARN sur l'ARN cible prévu et de minimiser l'activité sur d'autres ARN qui pourraient avoir des effets secondaires préjudiciables pour la cellule. L'activité hors cible comprend à la fois les mésappariements entre l'ARN guide et l'ARN cible, ainsi que les mutations d'insertion et de délétion. 

Les études antérieures sur les CRISPR ciblant l'ARN se sont concentrées uniquement sur l'activité sur la cible et les mésappariements ; la prédiction de l'activité hors cible, en particulier les mutations d'insertion et de délétion, n'a pas fait l'objet d'études approfondies. Dans les populations humaines, environ une mutation sur cinq est une insertion ou une délétion ; il s'agit donc d'un type important de cibles potentielles à prendre en compte dans la conception des CRISPR.

"À l'instar des CRISPR ciblant l'ADN tels que Cas9, nous prévoyons que les CRISPR ciblant l'ARN tels que Cas13 auront un impact considérable sur la biologie moléculaire et les applications biomédicales dans les années à venir", a déclaré Neville Sanjana, professeur agrégé de biologie à l'université de New York, professeur agrégé de neurosciences et de physiologie à l'école de médecine Grossman de l'université de New York, membre de la faculté principale du New York Genome Center et coauteur principal de l'étude. "La prédiction précise des guides et l'identification hors cible seront d'une grande valeur pour ce nouveau domaine de développement et pour les thérapies.

Dans leur étude publiée dans Nature Biotechnology, Sanjana et ses collègues ont effectué une série de criblages CRISPR de ciblage de l'ARN dans des cellules humaines. Ils ont mesuré l'activité de 200 000 ARN guides ciblant des gènes essentiels dans les cellules humaines, y compris les ARN guides "parfaitement adaptés" et les désadaptations, insertions et suppressions hors cible.

Le laboratoire de Sanjana s'est associé à celui de David Knowles, expert en apprentissage automatique, pour concevoir un modèle d'apprentissage profond baptisé TIGER (Targeted Inhibition of Gene Expression via guide RNA design) qui a été entraîné sur les données des cribles CRISPR. En comparant les prédictions générées par le modèle d'apprentissage profond et les tests en laboratoire sur des cellules humaines, TIGER a été capable de prédire l'activité sur cible et hors cible, surpassant les modèles précédents développés pour la conception de guides sur cible Cas13 et fournissant le premier outil de prédiction de l'activité hors cible des CRISPR ciblant l'ARN.

"L'apprentissage automatique et l'apprentissage profond montrent leur force en génomique parce qu'ils peuvent tirer parti des énormes ensembles de données qui peuvent maintenant être générés par les expériences modernes à haut débit. Il est important de noter que nous avons également pu utiliser l'"apprentissage automatique interprétable" pour comprendre pourquoi le modèle prédit qu'un guide spécifique fonctionnera bien", a déclaré M. Knowles, professeur adjoint d'informatique et de biologie des systèmes à la School of Engineering and Applied Science de l'université Columbia, membre de la faculté principale du New York Genome Center et coauteur principal de l'étude.

"Nos recherches antérieures ont montré comment concevoir des guides Cas13 capables d'éliminer un ARN particulier. Avec TIGER, nous pouvons maintenant concevoir des guides Cas13 qui trouvent un équilibre entre l'élimination sur la cible et l'évitement de l'activité hors cible", a déclaré Hans-Hermann (Harm) Wessels, coauteur de l'étude et scientifique principal au New York Genome Center, qui était auparavant chercheur postdoctoral dans le laboratoire de Sanjana.

 Les chercheurs ont également démontré que les prédictions hors cible de TIGER peuvent être utilisées pour moduler précisément le dosage des gènes - la quantité d'un gène particulier qui est exprimée - en permettant l'inhibition partielle de l'expression des gènes dans les cellules avec des guides de mésappariement. Cela peut être utile pour les maladies dans lesquelles il y a trop de copies d'un gène, comme le syndrome de Down, certaines formes de schizophrénie, la maladie de Charcot-Marie-Tooth (une maladie nerveuse héréditaire), ou dans les cancers où l'expression aberrante d'un gène peut conduire à une croissance incontrôlée de la tumeur.

Notre modèle d'apprentissage profond peut nous indiquer non seulement comment concevoir un ARN guide qui supprime complètement un transcrit, mais aussi comment le "régler", par exemple en lui faisant produire seulement 70 % du transcrit d'un gène spécifique", a déclaré Andrew Stirn, doctorant à Columbia Engineering et au New York Genome Center, et coauteur de l'étude.

En associant l'intelligence artificielle à un crible CRISPR ciblant l'ARN, les chercheurs pensent que les prédictions de TIGER permettront d'éviter une activité CRISPR hors cible indésirable et de stimuler le développement d'une nouvelle génération de thérapies ciblant l'ARN.

"À mesure que nous recueillons des ensembles de données plus importants à partir des cribles CRISPR, les possibilités d'appliquer des modèles d'apprentissage automatique sophistiqués sont de plus en plus rapides. Nous avons la chance d'avoir le laboratoire de David à côté du nôtre pour faciliter cette merveilleuse collaboration interdisciplinaire. Grâce à TIGER, nous pouvons prédire les cibles non ciblées et moduler avec précision le dosage des gènes, ce qui ouvre la voie à de nouvelles applications passionnantes pour les CRISPR ciblant l'ARN dans le domaine de la biomédecine", a déclaré Sanjana.

Cette dernière étude fait progresser la large applicabilité des CRISPR ciblant l'ARN pour la génétique humaine et la découverte de médicaments, en s'appuyant sur les travaux antérieurs de l'équipe de l'Université de New York pour développer des règles de conception de l'ARN guide, cibler les ARN dans divers organismes, y compris des virus comme le SRAS-CoV-2, concevoir des protéines et des ARN thérapeutiques, et exploiter la biologie de la cellule unique pour révéler des combinaisons synergiques de médicaments contre la leucémie.

Auteur: Internet

Info: L'IA combinée à CRISPR contrôle précisément l'expression des gènes par l'Université de New York. https://phys.org/, 3 juillet 2023 - Nature Biotechnology. Prediction of on-target and off-target activity of CRISPR-Cas13d guide RNAs using deep learning, Nature Biotechnology (2023). DOI: 10.1038/s41587-023-01830-8

[ génie génétique ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]