legos protéique

De nouveaux outils d’IA prédisent comment les blocs de construction de la vie s’assemblent

AlphaFold3 de Google DeepMind et d'autres algorithmes d'apprentissage profond peuvent désormais prédire la forme des complexes en interaction de protéines, d'ADN, d'ARN et d'autres molécules, capturant ainsi mieux les paysages biologiques des cellules.

Les protéines sont les machines moléculaires qui soutiennent chaque cellule et chaque organisme, et savoir à quoi elles ressemblent sera essentiel pour comprendre comment elles fonctionnent normalement et fonctionnent mal en cas de maladie. Aujourd’hui, les chercheurs ont fait un grand pas en avant vers cet objectif grâce au développement de nouveaux algorithmes d’apprentissage automatique capables de prédire les formes rdéployées et repliées non seulement des protéines mais aussi d’autres biomolécules avec une précision sans précédent.

Dans un article publié aujourd'hui dans Nature , Google DeepMind et sa société dérivée Isomorphic Labs ont annoncé la dernière itération de leur programme AlphaFold, AlphaFold3, capable de prédire les structures des protéines, de l'ADN, de l'ARN, des ligands et d'autres biomolécules, seuls ou liés ensemble dans différentes configurations. Les résultats font suite à une mise à jour similaire d'un autre algorithme de prédiction de structure d'apprentissage profond, appelé RoseTTAFold All-Atom, publié en mars dans Science .

Même si les versions précédentes de ces algorithmes pouvaient prédire la structure des protéines – une réussite remarquable en soi – elles ne sont pas allées assez loin pour dissiper les mystères des processus biologiques, car les protéines agissent rarement seules. "Chaque fois que je donnais une conférence AlphaFold2, je pouvais presque deviner quelles seraient les questions", a déclaré John Jumper, qui dirige l'équipe AlphaFold chez Google DeepMind. "Quelqu'un allait lever la main et dire : 'Oui, mais ma protéine interagit avec l'ADN.' Pouvez-vous me dire comment ?' " Jumper devrait bien admettre qu'AlphaFold2 ne connaissait pas la réponse.

Mais AlphaFold3 pourrait le faire. Avec d’autres algorithmes d’apprentissage profond émergents, il va au-delà des protéines et s’étend sur un paysage biologique plus complexe et plus pertinent qui comprend une bien plus grande diversité de molécules interagissant dans les cellules.

" On découvre désormais toutes les interactions complexes qui comptent en biologie ", a déclaré Brenda Rubenstein , professeure agrégée de chimie et de physique à l'Université Brown, qui n'a participé à aucune des deux études. " On commence à avoir une vision plus large."

Comprendre ces interactions est " fondamental pour la fonction biologique ", a déclaré Paul Adams , biophysicien moléculaire au Lawrence Berkeley National Laboratory qui n’a également participé à aucune des deux études. " Les deux groupes ont fait des progrès significatifs pour résoudre ce problème. "

Les deux algorithmes ont leurs limites, mais ils ont le potentiel d’évoluer vers des outils de prédiction encore plus puissants. Dans les mois à venir, les scientifiques commenceront à les tester et, ce faisant, ils révéleront à quel point ces algorithmes pourraient être utiles.

Progrès de l’IA en biologie

L’apprentissage profond est une variante de l’apprentissage automatique vaguement inspirée du cerveau humain. Ces algorithmes informatiques sont construits à l’aide de réseaux complexes de nœuds d’information (appelés neurones) qui forment des connexions en couches les unes avec les autres. Les chercheurs fournissent au réseau d’apprentissage profond des données d’entraînement, que l’algorithme utilise pour ajuster les forces relatives des connexions entre les neurones afin de produire des résultats toujours plus proches des exemples d’entraînement. Dans le cas des systèmes d'intelligence artificielle protéique, ce processus amène le réseau à produire de meilleures prédictions des formes des protéines sur la base de leurs données de séquence d'acides aminés.

AlphaFold2, sorti en 2021, a constitué une avancée majeure dans l’apprentissage profond en biologie. Il a ouvert la voie à un monde immense de structures protéiques jusque-là inconnues et est déjà devenu un outil utile pour les chercheurs qui cherchent à tout comprendre, depuis les structures cellulaires jusqu'à la tuberculose. Cela a également inspiré le développement d’outils supplémentaires d’apprentissage biologique profond. Plus particulièrement, le biochimiste David Baker et son équipe de l’Université de Washington ont développé en 2021 un algorithme concurrent appelé RoseTTAFold , qui, comme AlphaFold2, prédit les structures protéiques à partir de séquences de données.

Depuis, les deux algorithmes ont été mis à jour avec de nouvelles fonctionnalités. RoseTTAFold Diffusion pourrait être utilisé pour concevoir de nouvelles protéines qui n’existent pas dans la nature. AlphaFold Multimer pourrait étudier l’interaction de plusieurs protéines. " Mais ce que nous avons laissé sans réponse ", a déclaré Jumper, " était : comment les protéines communiquent-elles avec le reste de la cellule ? "

Le succès des premières itérations d'algorithmes d'apprentissage profond de prédiction des protéines reposait sur la disponibilité de bonnes données d'entraînement : environ 140 000 structures protéiques validées qui avaient été déposées pendant 50 ans dans la banque de données sur les protéines. De plus en plus, les biologistes ont également déposé les structures de petites molécules, d'ADN, d'ARN et leurs combinaisons. Dans cette expansion de l'algorithme d'AlphaFold pour inclure davantage de biomolécules, " la plus grande inconnue ", a déclaré Jumper, "est de savoir s'il y aurait suffisamment de données pour permettre à l'algorithme de prédire avec précision les complexes de protéines avec ces autres molécules."

Apparemment oui. Fin 2023, Baker puis Jumper ont publié les versions préliminaires de leurs nouveaux outils d’IA, et depuis, ils soumettent leurs algorithmes à un examen par les pairs.

Les deux systèmes d'IA répondent à la même question, mais les architectures sous-jacentes de leurs méthodes d'apprentissage profond diffèrent, a déclaré Mohammed AlQuraishi , biologiste des systèmes à l'Université de Columbia qui n'est impliqué dans aucun des deux systèmes. L'équipe de Jumper a utilisé un processus appelé diffusion – technologie qui alimente la plupart des systèmes d'IA génératifs non basés sur du texte, tels que Midjourney et DALL·E, qui génèrent des œuvres d'art basées sur des invites textuelles, a expliqué AlQuraishi. Au lieu de prédire directement la structure moléculaire puis de l’améliorer, ce type de modèle produit d’abord une image floue et l’affine de manière itérative.

D'un point de vue technique, il n'y a pas de grand saut entre RoseTTAFold et RoseTTAFold All-Atom, a déclaré AlQuraishi. Baker n'a pas modifié massivement l'architecture sous-jacente de RoseTTAFold, mais l'a mise à jour pour inclure les règles connues des interactions biochimiques. L'algorithme n'utilise pas la diffusion pour prédire les structures biomoléculaires. Cependant, l'IA de Baker pour la conception de protéines le fait. La dernière itération de ce programme, connue sous le nom de RoseTTAFold Diffusion All-Atom, permet de concevoir de nouvelles biomolécules en plus des protéines.

" Le type de dividendes qui pourraient découler de la possibilité d'appliquer les technologies d'IA générative aux biomolécules n'est que partiellement réalisé grâce à la conception de protéines", a déclaré AlQuraishi. "Si nous pouvions faire aussi bien avec de petites molécules, ce serait incroyable." 

Évaluer la concurrence

Côte à côte, AlphaFold3 semble être plus précis que RoseTTAFold All-Atom. Par exemple, dans leur analyse dans Nature , l'équipe de Google a constaté que leur outil est précis à environ 76 % pour prédire les structures des protéines interagissant avec de petites molécules appelées ligands, contre une précision d'environ 42 % pour RoseTTAFold All-Atom et 52 % pour le meilleur. outils alternatifs disponibles.

Les performances de prédiction de structure d'AlphaFold3 sont " très impressionnantes ", a déclaré Baker, " et meilleures que celles de RoseTTAFold All-Atom ".

Toutefois, ces chiffres sont basés sur un ensemble de données limité qui n'est pas très performant, a expliqué AlQuraishi. Il ne s’attend pas à ce que toutes les prédictions concernant les complexes protéiques obtiennent un score aussi élevé. Et il est certain que les nouveaux outils d’IA ne sont pas encore assez puissants pour soutenir à eux seuls un programme robuste de découverte de médicaments, car cela nécessite que les chercheurs comprennent des interactions biomoléculaires complexes. Pourtant, " c'est vraiment prometteur ", a-t-il déclaré, et nettement meilleur que ce qui existait auparavant.

Adams est d'accord. "Si quelqu'un prétend pouvoir utiliser cela demain pour développer des médicaments avec précision, je n'y crois pas", a-t-il déclaré. " Les deux méthodes sont encore limitées dans leur précision, [mais] les deux constituent des améliorations spectaculaires par rapport à ce qui était possible. "

(Image gif, tournante, en 3D : AlphaFold3 peut prédire la forme de complexes biomoléculaires, comme cette protéine de pointe provenant d'un virus du rhume. Les structures prédites de deux protéines sont visualisées en bleu et vert, tandis que les petites molécules (ligands) liées aux protéines sont représentées en jaune. La structure expérimentale connue de la protéine est encadrée en gris.)

Ils seront particulièrement utiles pour créer des prédictions approximatives qui pourront ensuite être testées informatiquement ou expérimentalement. Le biochimiste Frank Uhlmann a eu l'occasion de pré-tester AlphaFold3 après avoir croisé un employé de Google dans un couloir du Francis Crick Institute de Londres, où il travaille. Il a décidé de rechercher une interaction protéine-ADN qui était " vraiment déroutante pour nous ", a-t-il déclaré. AlphaFold3 a craché une prédiction qu'ils testent actuellement expérimentalement en laboratoire. "Nous avons déjà de nouvelles idées qui pourraient vraiment fonctionner", a déclaré Uhlmann. " C'est un formidable outil de découverte. "

Il reste néanmoins beaucoup à améliorer. Lorsque RoseTTAFold All-Atom prédit les structures de complexes de protéines et de petites molécules, il place parfois les molécules dans la bonne poche d'une protéine mais pas dans la bonne orientation. AlphaFold3 prédit parfois de manière incorrecte la chiralité d'une molécule – l'orientation géométrique distincte " gauche " ou " droite " de sa structure. Parfois, il hallucine ou crée des structures inexactes.

Et les deux algorithmes produisent toujours des images statiques des protéines et de leurs complexes. Dans une cellule, les protéines sont dynamiques et peuvent changer en fonction de leur environnement : elles se déplacent, tournent et passent par différentes conformations. Il sera difficile de résoudre ce problème, a déclaré Adams, principalement en raison du manque de données de formation. " Ce serait formidable de déployer des efforts concertés pour collecter des données expérimentales conçues pour éclairer ces défis ", a-t-il déclaré.

Un changement majeur dans le nouveau produit de Google est qu'il ne sera pas open source. Lorsque l’équipe a publié AlphaFold2, elle a publié le code sous-jacent, qui a permis aux biologistes de reproduire et de jouer avec l’algorithme dans leurs propres laboratoires. Mais le code d'AlphaFold3 ne sera pas accessible au public.

 " Ils semblent décrire la méthode en détail. Mais pour le moment, au moins, personne ne peut l’exécuter et l’utiliser comme il l’a fait avec [AlphaFold2] ", a déclaré AlQuraishi. C’est " un grand pas en arrière. Nous essaierons bien sûr de le reproduire."

Google a cependant annoncé qu'il prenait des mesures pour rendre le produit accessible en proposant un nouveau serveur AlphaFold aux biologistes exécutant AlphaFold3. Prédire les structures biomoléculaires nécessite une tonne de puissance de calcul : même dans un laboratoire comme Francis Crick, qui héberge des clusters informatiques hautes performances, il faut environ une semaine pour produire un résultat, a déclaré Uhlmann. En comparaison, les serveurs plus puissants de Google peuvent faire une prédiction en 10 minutes, a-t-il déclaré, et les scientifiques du monde entier pourront les utiliser. "Cela va démocratiser complètement la recherche sur la prédiction des protéines", a déclaré Uhlmann.

Le véritable impact de ces outils ne sera pas connu avant des mois ou des années, alors que les biologistes commenceront à les tester et à les utiliser dans la recherche. Et ils continueront à évoluer. La prochaine étape de l'apprentissage profond en biologie moléculaire consiste à " gravir l'échelle de la complexité biologique ", a déclaré Baker, au-delà même des complexes biomoléculaires prédits par AlphaFold3 et RoseTTAFold All-Atom. Mais si l’histoire de l’IA en matière de structure protéique peut prédire l’avenir, alors ces modèles d’apprentissage profond de nouvelle génération continueront d’aider les scientifiques à révéler les interactions complexes qui font que la vie se réalise.

" Il y a tellement plus à comprendre ", a déclaré Jumper. "C'est juste le début."

Auteur: Internet

Info: https://www.quantamagazine.org/new-ai-tools-predict-how-lifes-building-blocks-assemble-20240508/ - Yasemin Saplakoglu, 8 mai 2024

[ briques du vivant ] [ texte-image ] [ modélisation mobiles ] [ nano mécanismes du vivant ]

homme-animal

La conscience du Dauphin
Bien entendu, les modèles du monde ne manqueront pas de différer selon le degré où les systèmes sensoriels périphériques diffèrent.
Le travail du cerveau est en effet, au moins en partie, de construire une réalité cohérente à partir de données sensorielles spécifiques, réalité qui constitue d’ailleurs la seule connue par celui qui l’expérimente au détriment de toutes les autres.
Dans le cas du dauphin, le système nerveux est celui d’un herbivore retourné à la mer, il y a quelques millions d’années, et ne diffère donc pas fondamentalement de celui de n’importe quel autre grand mammifère.
Le monde physique en revanche, au sein duquel il évolue, nous poserait à nous, humains, d’impossibles défis. C’est pourquoi les cétacés ont développé tout à la fois des formes physiques mieux adaptées au milieu marin mais surtout tout un outillage sensoriel susceptible des les aider à survivre dans un monde humide, froid et obscur, où règnent de fortes pressions.
Faire l’expérience d’une telle subjectivité est par définition une tâche impossible. Même entre époux, entre amis, entre enfants et parents, cette connaissance ne peut s’acquérir que par le biais maladroit du discours mais jamais nous ne pourrons accéder au "goût du monde" d’une autre espèce que la nôtre.
Il se fait heureusement que nos organes sensoriels et nos structures cérébrales sont des outils communs à tous les êtres humains, ce qui nous permet de fonder l’illusion d’un univers de formes stables et tangibles, dont l’existence fait l’unanimité mais que nous sommes les seuls à percevoir comme telles.
En revanche, nous sommes génétiquement incapables de nous figurer un monde filtré par d’autres sens que les nôtres, de la même manière qu’il nous est impossible de visualiser un cube en quatre dimensions ou simplement le monde des abeilles….
"Pouvez-vous imaginer l’expérience que représente le fait d’être sans cesse corrélé à une boussole solaire ?" nous demande le neurologue H.Jerison à ce propos "L’information consiste en la triangulation des objets externes relativement à un observateur (le je) et au soleil comme point de référence. Si cette réaction devait être représentée en terme de perception, on pourrait dire que l’abeille ou la fourmi ressent de manière constante l’existence des points cardinaux au sein d’un monde tridimensionnel de type euclidien. Si notre système sensoriel était celui des hyménoptères, c’est cela la seule réalité que nous pourrions percevoir.
L’intégration de deux points de référence, le soi et le soleil, plutôt qu’un seul soi unitaire en tant qu’origine et centre d’un monde périphérique, doit certainement mener à d’autres perspectives sur les dimensions fondamentales de la réalité. Il est intéressant d’imaginer les catégories additionnelles que Kant aurait pu reconnaître en tant qu’à priori si nous avions été équipés d’un tel système de navigation!"
Les expériences de Louis Herman nous apprennent que les dauphins partagent tout de même les mêmes dimensions que nous : le haut, le bas, la gauche la droite, devant, derrière, tout cela existe chez eux mais il semble qu’ils ignorent la nuance entre les adjectifs "grand" et "petit" et qu’ils construisent leurs phrases selon un mode syntaxique particulier. Ces expériences, profondément anthropocentristes, n’offrent qu’un pâle reflet d’un monde mental autrement plus riche et foisonnant en liberté, comme le montre avec bien plus d’éclat le très étrange langage delphinien mis à jour par le chercheur russe Vladimir Markov, mais elles sont à tout le moins significatives de la nature d’une conscience "autre" qui ne s’appuie pas sur nos paramètres.
Les sens et l’Umwelt
Imaginons un instant ce que pourrait être "l’Umwelt" d’un dauphin.
Au centre d’un réseau d’informations sensorielles qu’il ré-organise sans cesse en tant qu’images du monde, pulse un noyau de conscience conscient de lui-même.
La vision
Le monde visuel du dauphin peut être comparé à celui des espèces-proies, non prédatrices, comme le lapin ou le chevreuil, en ce sens que les champs visuels de ses yeux latéraux couvrent ensemble 360° mais qu’ils ne se chevauchent pas ou très peu.
L’absence de fibres non-croisées dans le chiasma optique suggère une plus large indépendance dans le contrôle des yeux et dans l’usage de l’information qu’ils fournissent, par rapport à ce que l’on observe chez les autres mammifères. Chacun des yeux est capable de mouvements propres, indépendants de ceux de l’autre œil et une certaine focalisation frontale peut donc être obtenue.
On peine cependant à imaginer un monde dans lequel le Soi se trouve ainsi de manière constante au centre d’un champ visuel circulaire de 360°.
Le nôtre, comme on le sait, se réduit à un cône de 120°.
Notre Soi se place juste derrière le front et les yeux, en vis-à-vis de l’objet focalisé par notre regard binoculaire et dans la ligne de fuite du cône, c’est-à-dire à peu près sur la glande pinéale. On comprend mieux dès lors la fausse intuition de René Descartes.
Incapables de distinguer le vert du rouge, les yeux des dauphins n’en sont pas moins d’une sensibilité extrême à l’instar des yeux de chat, percent l’obscurité et peuvent, d’une simple torsion de la rétine, adapter leur vision aux fonds marins ou à l’air libre. Par contre, le sens du relief leur est impossible, puisqu’ils ne sont pas binoculaires.
La "quasi-olfaction"
Le goût et l’odorat sont absents en tant que tels, remplacés par la "quasi-olfaction" qui consiste à filtrer une certaine quantité d’eau au travers de l’évent et à en goûter le parfum. Un tel sens est fondamental : le dauphin s’en sert pour repérer les femelles en rut autant que pour sentir les fèces de son groupe, nuage diffus de couleur foncée expulsé de manière régulière et qui donne à l’ensemble social une "odeur" propre.
Le toucher et le sens proprioceptif
Quiconque a jamais caressé la peau satinée d’un tursiops sait à quel point ce tissu est sensible, doux et fragile. Le sens du toucher joue lui aussi un rôle essentiel dans la vie de ces mammifères nus, qui n’aiment rien tant que de rester collés les uns contre les autres et d’échanger les caresses les plus voluptueuses.
Au niveau plus profond du sens proprioceptif, la différence avec nos perceptions s’accroît cependant encore davantage : "L’Umwelt des dauphins se fonde comme tout autre sur les caractéristiques de leur environnement" déclare Jerison, "et cet univers mental représente très certainement une adaptation cognitive optimale aux exigences environnementales du monde aquatique. A cet égard, l’un des traits principaux de cet univers marin – considéré depuis notre point de vue – est notamment l’absence d’une plate-forme stable tel que les mammifères l’éprouvent en se tenant sur la terre ferme".
Ce point est important, car le sol sur lequel nous nous tenons, le rôle essentiel de la gravité dans les adaptations anatomiques de la plupart des mammifères occupe une place centrale au plan biologique mais ne sont que rarement notées au niveau de la conscience vigile. Notre intuition s’épuise en revanche lorsque nous tentons d’imaginer les adaptations perceptuelles chez certaines espèces dont les données sensorielles sont profondément différentes des nôtres, et cela d’autant plus que nous ne sommes même pas conscients de notre propre spécificité sensorielle. Les informations relatives aux forces gravitationnelles qui s’exercent sur nos corps jouent également un rôle-clé chez le dauphin, mais d’une autre manière.
Celui-ci s’oriente en effet en "s’informant" régulièrement de la position de son corps par rapport aux fonds marins, à la surface de l’eau ou à la place du soleil au moment de l’observation.
Bien que les dauphins ne disposent d’aucun sol référentiel en guise de plate-forme fixe, mais qu’ils possèdent en revanche un degré de liberté dans les trois dimensions plus important que le nôtre, le sens de l’orientation spatiale est certainement fondamental pour eux. On peut imaginer ce que les cétacés ressentent en pensant à ces appareils d’entraînement destinés aux astronautes afin de les préparer à l’apesanteur.
Ces instruments sont de gigantesques balançoires, disposant de six degrés de liberté et permettant aux candidats pour l’espace de contrôler au mieux les diverses rotations possibles de leur axe corporel aussi bien que les mouvements de propulsion linéaire.
Si nous étions dauphins, nous nous trouverions dans un monde un peu semblable à celui d’un vol spatial à gravité zéro. Il est intéressant de noter à ce propos que l’expérience de l’apesanteur a crée chez les astronautes divers problèmes liés à cet environnement, telles que nausées, vertiges, migraines, etc. mais qu’elles n’ont cependant jamais altéré leur perception "juste" des choses.
Rappelons aussi, sans nous y étendre, à quel point la gestuelle constitue un mode de communication privilégié chez les dauphins : les degrés de liberté dont leur corps dispose leur a permis d’élaborer un véritable vocabulaire d’attitudes : ventre en l’air, en oblique, corps groupés par faisceaux, rostre au sol, caudale haute, inclinée, etc., le tout agrémenté ou non d’émissions de bulles et de vocalisations.
L’audition
Mais de tous les sens dont dispose le dauphin, c’est certainement l’audition qui est le plus développé et qui atteint des capacités discriminatoires sans aucun équivalent connu. Ce système sensoriel s’est transformé au cours des millénaires en écholocation, tout à la fois outil de connaissance (le monde externe "vu" par le son) et moyen de communication (le monde interne transmis par le langage). Cette convergence fonctionnelle ne manque pas d’entraîner des conséquences étonnantes !
D’après Harry J. Jerison : "Si le spectre auditif des dauphins est plus large que le nôtre de plusieurs octaves dans les fréquences les plus élevées, la caractéristique principale de ce système auditif est bien évidemment l’écholocation. Celle-ci pourrait contribuer à conférer au monde des dauphins une dimension inhabituelle, dépassant largement les perceptions élémentaires relatives aux événements survenant à distance. En tant qu’adaptation sensori-motrice, l’écholocation partage en effet certaines caractéristiques similaires à celles du langage humain".
Rappelons brièvement en quoi consiste cette vision acoustique d’un type inusité. Le dauphin émet en permanence – dès lors qu’il se déplace et cherche sa route activement – une série de "sons explosés" extrêmement brefs (moins d’une seconde d’émission continue). Ces "clicks" ne sont pas des sons purs mais des "bruits", d’inextricables petits paquets d’ondes situés sur des fréquences de 120 à 130 Khz et d’une puissance frisant parfois les 220 décibels. Ils retentissent sous l’eau comme une grêle de minuscules coups secs et nets enchaînés l’un à l’autre en de courtes séquences.
Les clicks sont émis sous forme d’un large faisceau, qui balaie par intermittence le sol sablonneux à la façon d’un projecteur. On peut donc dire que la nuit ou sous une certaine profondeur, le dauphin ne voit que lorsqu’il éclaire le paysage de ses éclairs sonores. Les informations reçues, assez grossières, concernent l’aspect du fond marin ou une masse importante, bateau ou autre cétacé.
Supposons à présent qu’un poisson soit repéré dans ce champ de vision "stroboscopique". Puisqu’il fait nuit, l’œil ne peut confirmer l’image en mode visuel.
Lorsque la chasse commence, le dauphin resserre alors le rayon de son biosonar et le dédouble en deux faisceaux.
Plus précis, mieux ciblés les trains de click bombardent le poisson sous tous ses angles et peuvent même pénétrer dans son corps en renvoyant l’image de ses organes internes.
Les deux trains de clicks sont produits presque simultanément, l’un à 20° à gauche de la ligne du rostre et l’autre à 20° sur la droite. Les deux rayons se chevauchent au point focal (0°) et fournissent une "visiaudition" de type, cette fois, binoculaire.
Un intervalle de 80 millièmes de seconde sépare l’émission de chacun des faisceaux, de sorte qu’en calculant le léger retard d’un écho par rapport à l’autre, le dauphin peut estimer la profondeur de champ et la distance qui le sépare de chaque élément de l’objet observé.
Se rapprochant de sa proie à toute vitesse, le dauphin n’a de cesse que de conserver le contact avec elle et multiplie la fréquence et l’intensité de ses trains de clicks, comme pour maintenir le "projecteur" allumé presque en continu.
Les ondes à haute fréquence ont une portée plus courte mais fournissent en revanche une bien meilleure définition des détails. En nageant, le dauphin opère un mouvement de balayage avec la tête avant d’obtenir une image complète de sa cible, que ses organes visuels conforteront par ailleurs.
S’il veut obtenir davantage de détails encore sur son contenu, le dauphin la bombardera alors sa cible à bout portant, d’un faisceau de clicks aussi fin et précis qu’un rayon laser.
Celui-ci pénètre la matière et en estime la densité avec une incroyable précision : la nature d’un métal (zinc plutôt que cuivre) ou des variations de l’épaisseur d’un tube de l’ordre d’un millième de millimètres sont alors parfaitement perçus par cette échographie biologique.
Une telle "vision acoustique" nous sera à tout jamais inimaginable, comme la couleur rouge l’est pour l’aveugle. Néanmoins, au prix d’une comparaison grossière, on peut mettre en parallèle la pluie d’échos que perçoivent les cétacés avec les pixels que l’œil humain perçoit sur un écran de télévision. Les pixels dessinent très rapidement une image en se succédant l’un à l’autre et laissent sur la rétine du téléspectateur une série de rémanences qui figurent le mouvement et les formes. Une scène visuelle est ainsi décodée à partir d’une séquence de taches ultra rapides surgissant sur l’écran. De la même manière, une expérience éidétique similaire est sans doute générée par les données discrètes de l’écholocation (clicks).
L’information pourrait être alors parfaitement comparable à celle que l’on obtient grâce au bombardement de photons dans le système visuel, à ceci près qu’elle parviendrait par un autre canal, en l’occurrence le canal auditif.

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

homme-animal

CAPACITÉS COGNITIVES DU DAUPHIN

Au-delà de leur physiologie cérébrale, les dauphins font preuve de capacités extrêmement rares dans le domaine animal. Comme les humains, les dauphins peuvent imiter, aussi bien sur le mode gestuel que sur le mode vocal, ce qui est soi est déjà exceptionnel. Si certains oiseaux peuvent imiter la voix, ils n’imitent pas les attitudes. Les singes, de leur côté, imitent les gestes et non les mots. Le dauphin est capable des deux. Les dauphins chassent les poissons et se nourrissent d’invertébrés, mais ils usent pour ce faire de techniques complexes et variables, acquises durant l’enfance grâce à l’éducation. L’usage des outils ne leur est pas inconnu : un exemple frappant de cette capacité est la façon dont deux dauphins captifs s’y sont pris pour extraire une murène cachée dans le creux d’un rocher à l’intérieur de leur bassin. L’un d’eux a d’abord attrapé un petit poisson scorpion très épineux, qui passait dans le secteur, et l’ayant saisi dans son rostre, s’en est servi comme d’un outil pour extraire la murène de sa cachette. S’exprimant à propos de leur intelligence, le Dr Louis M.Herman, Directeur du Kewalo Basin Marine Mammal Laboratory de l’Université d’Hawaii, note que les dauphins gardent en mémoire des événements totalement arbitraires, sans le moindre rapport avec leur environnement naturel et sans aucune incidence biologique quant à leur existence.

Recherches sur le langage des dauphins

Beaucoup d’humains trouvent intrigante l’idée de communiquer avec d’autres espèces. A cet égard, le dauphin constitue un sujet attractif, particulièrement dans le domaine du langage animal, du fait de ses capacités cognitives et de son haut degré de socialisation. Dès le début des années soixante, c’est le neurologue John Lilly qui, le premier, s’est intéressé aux vocalisations des cétacés. Les recherches de Lilly se poursuivirent durant toute une décennie, tout en devenant de moins en moins conventionnelles. Le savant alla même jusqu’à tester les effets du L.S.D. sur les émissions sonores des dauphins et dut finalement interrompre ses recherches en 1969, lorsque cinq de ses dauphins se suicidèrent en moins de deux semaines. Malheureusement, nombre de découvertes ou de déclarations de John Lilly sont franchement peu crédibles et ont jeté le discrédit sur l’ensemble des recherches dans le domaine du langage animal. De ce fait, ces recherches sont aujourd’hui rigoureusement contrôlées et très méticuleuses, de sorte que les assertions des scientifiques impliquées dans ce secteur restent désormais extrêmement réservées.

Louis Herman est sans doute l’un des plus importants chercheurs à mener des études sur la communication et les capacités cognitives des dauphins. Son instrument de travail privilégié est la création de langues artificielles, c’est-à-dire de langages simples crées pour l’expérience, permettant d’entamer des échanges avec les dauphins. Louis Herman a surtout concentré ses travaux sur le phénomène de la "compréhension" du langage bien plus que sur la "production" de langage, arguant que la compréhension est le premier signe d’une compétence linguistique chez les jeunes enfants et qu’elle peut être testée de façon rigoureuse. En outre, la structure grammaticale qui fonde les langages enseignés s’inspire le plus souvent de celle de l’anglais. Certains chercheurs ont noté qu’il aurait été mieux venu de s’inspirer davantage de langues à tons ou à flexions, comme le chinois, dont la logique aurait parue plus familière aux cétacés. Dans les travaux d’Herman, on a appris à deux dauphins, respectivement nommés Akeakamai (Ake) et Phoenix, deux langues artificielles. Phoenix a reçu l’enseignement d’un langage acoustique produit par un générateur de sons électroniques. Akeakamai, en revanche, a du apprendre un langage gestuel (version simplifiée du langage des sourds-muets), c’est-à-dire visuel. Les signaux de ces langues artificiels représentent des objets, des modificateurs d’objet (proche, loin, gros, petit, etc.) ou encore des actions. Ni les gestes ni les sons ne sont sensés représenter de façon analogique les objets ou les termes relationnels auxquels ils se réfèrent. Ces langages utilisent également une syntaxe, c’est-à-dire des règles de grammaire simples, ce qui signifie que l’ordre des mots influe sur le sens de la phrase. Phoenix a appris une grammaire classique, enchaînant les termes de gauche à droite (sujet-verbe-complément) alors que la grammaire enseignée à Ake allait dans l’autre sens et exigeait de sa part qu’elle voit l’ensemble du message avant d’en comprendre le sens correctement. Par exemple, dans le langage gestuel de Ake, la séquence des signaux PIPE-SURFBOARD-FETCH ("tuyau – planche à surf – apporter") indiquait l’ordre d’amener la planche de surf jusqu’au tuyau, alors que SURFBOARD-PIPE-FETCH ("planche-tuyau- rapporter") signifiait qu’il fallait, au contraire, amener le tuyau jusqu’ à la planche de surf. Phoenix et Ake ont ainsi appris environ 50 mots, lesquels, permutés l’un avec l’autre au sein de séquences courtes, leur permirent bientôt de se servir couramment de plus de mille phrases, chacune produisant une réponse neuve et non apprise.

Compte tenu de l’influence possible de la position dans l’espace des expérimentateurs sur l’expérimentation, les lieux d’apprentissage et les entraîneurs se voyaient changés de session en session. Dans le même temps, des observateurs "aveugles", qui ne connaissaient pas les ordres et ne voyaient pas les entraîneurs, notaient simplement le comportement des dauphins, afin de vérifier ensuite qu’il correspondait bien aux commandes annoncées. Les entraîneurs allaient jusqu’à porter des cagoules noires, afin de ne révéler aucune expression ou intention faciale et se tenaient immobiles, à l’exception des mains. Les dauphins se montrèrent capables de reconnaître les signaux du langage gestuels aussi bien lorsqu’il étaient filmés puis rediffusés sur un écran vidéo que lorsque ces mêmes signes étaient exécutés à l’air libre par l’entraîneur. Même le fait de ne montrer que des mains pâles sur un fond noir ou des taches de lumière blanche reproduisant la dynamique des mains, a largement suffi aux dauphins pour comprendre le message ! Il semble donc que les dauphins répondent davantage aux symboles abstraits du langage qu’à tout autre élément de la communication.

Par ailleurs, si les dauphins exécutent aisément les ordres qu’on leur donne par cette voie gestuelle, ils peuvent également répondre de façon correcte à la question de savoir si un objet précis est présent ou absent, en pressant le levier approprié (le clair pour PRESENT, le sombre pour ABSENT). Ceci démontre évidement leur faculté de "déplacement mental", qui consiste à manipuler l’image d’objets qui ne se trouvent pas dans les environs. Des expériences additionnelles ont conduit à préciser comment le dauphin conçoit l’étiquetage des objets, comment il les qualifie de son point de vue mental. "Nous avons constaté" nous apprend Louis Herman, "qu’au regard du dauphin, le signe CERCEAU n’est pas seulement le cerceau précis utilisé dans le cadre de cette expérience précise, c’est plutôt TOUT OBJET DE GRANDE TAILLE PERCE D’UN GRAND TROU AU MILIEU. Un seul concept général associe donc pour le dauphin les cerceaux ronds, carrés, grands et petits, flottants ou immergés, que l’on utilise généralement lors de la plupart des expériences". Parmi les choses que le Dr Herman estime n’avoir pu enseigner aux dauphins, il y a le concept du "non" en tant que modificateur logique. L’ordre de "sauter au-dessus d’une non-balle" indique en principe que le dauphin doit sauter au-dessus de n’importe quoi, sauf d’une balle ! Mais cela n’est pas compris, pas plus, affirme toujours Herman, que le concept de "grand" ou de "petit".

Communication naturelle chez les dauphins

On sait que les dauphins émettent de nombreux sifflements, de nature très diverse. La fonction de la plupart d’entre eux demeure toujours inconnue mais on peut affirmer aujourd’hui que la moitié d’entre eux au moins constitue des "signatures sifflées". Un tel signal se module dans une fourchette de 5 à 20 kilohertz et dure moins d’une seconde. Il se distingue des autres sifflements - et de la signature de tous les autres dauphins – par ses contours particuliers et ses variations de fréquences émises sur un temps donné, ainsi que le montrent les sonogrammes. Les jeunes développent leur propre signature sifflée entre l’âge de deux mois et d’un an. Ces sifflements resteront inchangés douze ans au moins et le plus souvent pour la durée entière de la vie de l’animal. Par ailleurs, au-delà de leur seule fonction nominative, certains des sifflements du dauphin apparaissent comme de fidèles reproductions de ceux de leurs compagnons et servent manifestement à interpeller les autres par leur nom. Lorsqu’ils sont encore très jeunes, les enfants mâles élaborent leur propre signature sifflée, qui ressemble fort à celle de leur mère. En revanche, les jeunes femelles doivent modifier les leurs, précisément pour se distinguer de leur mère.

Ces différences reflètent sans doute celles qui existent dans les modes de vie des femelles et des mâles. Puisque les filles élèvent leur propre enfant au sein du groupe maternel, un sifflement distinct est donc indispensable pour pouvoir distinguer la maman de la grand mère. La signature sifflée masculine, presque identique à celle de la mère, permet tout au contraire d’éviter l’inceste et la consanguinité. Le psychologue James Ralston et l’informaticien Humphrey Williams ont découvert que la signature sifflée pouvait véhiculer bien plus que la simple identité du dauphin qui l’émet. En comparant les sonogrammes des signatures sifflées durant les activités normales et lors de situations stressantes, ils découvrirent que la signature sifflée, tout en conservant sa configuration générale, pouvait changer en termes de tonalité et de durée et transmettre ainsi des informations sur l’état émotionnel de l’animal. Les modifications causé par cet état émotionnel sur les intonations de la signature varient en outre selon les individus. Les dauphins semblent donc utiliser les sifflement pour maintenir le contact lorsqu’ils se retrouvent entre eux ou lorsqu’ils rencontrent d’autres groupes, mais aussi, sans doute, pour coordonner leur activités collectives. Par exemple, des sifflements sont fréquemment entendus lorsque le groupe entier change de direction ou d’activité.

De son côté, Peter Tyack (Woods Hole Oceanographic Institute) a travaillé aux côtés de David Staelin, professeur d’ingénierie électronique au M.I.T., afin de développer un logiciel d’ordinateur capable de détecter les "matrices sonores" et les signaux répétitifs parmi le concert de couinements, piaulements et autres miaulements émis par les dauphins. Une recherche similaire est menée par l’Université de Singapore (Dolphin Study Group). Avec de tels outils, les chercheurs espèrent en apprendre davantage sur la fonction précise des sifflements.

Dauphins sociaux

Les observations menées sur des individus sauvages aussi bien qu’en captivité révèlent un très haut degré d’ordre social dans la société dauphin. Les femelles consacrent un an à leur grossesse et puis les trois années suivantes à élever leur enfant. Les jeunes s’éloignent en effet progressivement de leur mère dès leur troisième année, restant près d’elle jusqu’à six ou dix ans ! – et rejoignent alors un groupe mixte d’adolescents, au sein duquel ils demeurent plusieurs saisons. Parvenus à l’âge pleinement adulte, vers 15 ans en moyenne, les mâles ne reviennent plus que rarement au sein du "pod" natal. Cependant, à l’intérieur de ces groupes d’adolescents, des liens étroits se nouent entre garçons du même âge, qui peuvent persister la vie entière. Lorsque ces mâles vieillissent, ils ont tendance à s’associer à une bande de femelles afin d’y vivre une paisible retraite. Bien que les dauphins pratiquent bien volontiers la promiscuité sexuelle, les familles matriarcales constituent de fortes unités de base de la société dauphin. Lorsqu’une femelle donne naissance à son premier enfant, elle rejoint généralement le clan de sa propre mère et élève son delphineau en compagnie d’autres bébés, nés à la même saison. La naissance d’un nouveau-né donne d’ailleurs souvent lieu à des visites d’autres membres du groupe, mâles ou femelles, qui s’étaient séparés de leur mère depuis plusieurs années. Les chercheurs ont également observé des comportements de "baby-sitting", de vieilles femelles, des soeurs ou bien encore d’autres membres du groupe, voire même un ancien mâle prenant alors en charge la surveillance des petits. On a ainsi pu observer plusieurs dauphins en train de mettre en place une véritable "cour de récréation", les femelles se plaçant en U et les enfants jouant au milieu ! (D’après un texte du Dr Poorna Pal)

Moi, dauphin.

Mais qu’en est-il finalement de ce moi central au coeur de ce monde circulaire sans relief, sans couleurs constitué de pixels sonores ? C’est là que les difficultés deviennent insurmontables tant qu’un "contact" n’aura pas été vraiment établi par le dialogue car le "soi" lui-même, le "centre de la personne" est sans doute construit de façon profondément différente chez l’homme et chez le dauphin. H.Jerison parle carrément d’une "conscience collective". Les mouvements de groupe parfaitement coordonnés et quasi-simultanés, à l’image des bancs de poissons ou des troupeaux de gnous, que l’on observe régulièrement chez eux, suppose à l’évidence une pensée "homogène" au groupe, brusquement transformé en une "personne plurielle". On peut imaginer ce sentiment lors d’un concert de rock ou d’une manifestation, lorsqu’une foule entière se tend vers un même but mais ces attitudes-là sont grossières, globales, peu nuancées. Toute autre est la mise à l’unisson de deux, trois, cinq (les "gangs" de juvéniles mâles associés pour la vie) ou même de plusieurs centaines de dauphins ensemble (de formidables "lignes de front" pour la pêche, qui s’étendent sur des kilomètres) et là, bien sûr, nous avons un comportement qui traduit un contenu mental totalement inconnu de nous. On sait que lorsqu’un dauphin voit, tout le monde l’entend. En d’autres termes chaque fois qu’un membre du groupe focalise son faisceau de clicks sur une cible quelconque, l’écho lui revient mais également à tous ceux qui l’entourent. Imaginons que de la même manière, vous regardiez un beau paysage. La personne qui vous tournerait le dos et se tiendrait à l’arrière derrière vous pourrait le percevoir alors aussi bien que vous le faites. Cette vision commune, qui peut faire croire à de la télépathie, n’est pas sans conséquence sur le contenu mental de chaque dauphin du groupe, capable de fusionner son esprit à ceux des autres quand la nécessité s’en fait sentir. Ceci explique sans doute la formidable capacité d’empathie des dauphins mais aussi leur fidélité "jusqu’à la mort" quand il s’agit de suivre un compagnon qui s’échoue. Chez eux, on ne se sépare pas plus d’un ami en détresse qu’on ne se coupe le bras quand il est coincé dans une portière de métro ! En d’autres circonstances, bien sûr, le dauphin voyage seul et il "rassemble" alors sa conscience en un soi individualisé, qui porte un nom, fait des choix et s’intègre dans une lignée. Il en serait de même pour l’homme si les mots pouvaient faire surgir directement les images qu’ils désignent dans notre cerveau, sans passer par le filtre d’une symbolisation intermédiaire. Si quelqu’un me raconte sa journée, je dois d’abord déchiffrer ses mots, les traduire en image et ensuite me les "représenter". Notre système visuel étant indépendant de notre système auditif, un processus de transformation préalable est nécessaire à la prise de conscience du message. Au contraire, chez le dauphin, le système auditif est à la fois un moyen de communication et un moyen de cognition "constructiviste" (analyse sensorielle de l’environnement). La symbolisation n’est donc pas nécessaire aux transferts d’images, ce qui n’empêche nullement qu’elle puisse exister au niveau des concepts abstraits. Quant à cette conscience fusion-fission, cet "ego fluctuant à géométrie variable", ils préparent tout naturellement le dauphin à s’ouvrir à d’autres consciences que la sienne. D’où sans doute, son besoin de nous sonder, de nous comprendre et de nous "faire" comprendre. Un dauphin aime partager son cerveau avec d’autres, tandis que l’homme vit le plus souvent enfermé dans son crâne. Ces êtres-là ont décidément beaucoup à nous apprendre...

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ] [ mimétisme ] [ sémiotique ] [ intelligence grégaire ]