bipolarité

L'ensemble du monde moderne s'est divisé en Conservateurs et en Progressistes. Le métier des Progressistes est de continuer à faire des erreurs. Le métier des Conservateurs est d'empêcher les erreurs d'être corrigées.

Auteur: Chesterton Gilbert Keith

Info:

[ chiasme ] [ attelage gauche-droite ]

musique

Vous savez pour Johnny Cash ? Lui demande l'autre.
- Comment ça ?
- Il s'habillait en noir à cause des Indiens, des anciens combattants, des taulards, de tous les pauvres connards entubés par la vie, dit-il.

Auteur: Lange Richard

Info: Angel baby, Page 306, Albin Michel, Epreuves non corrigées

[ usa ]

pragmatisme

La religion ne doit pas s’embarrasser des faits, tandis que la science ne peut en ignorer aucun. Mais dans la culture populaire, les abus de langage et les imprécisions jamais corrigées sèment le trouble. Les verbes, "savoir" et "croire" sont devenus des synonymes dans les langues courantes, alors qu’ils sont antonymes dans leur définition la plus pure.

Auteur: Diracca Anselme

Info: Matt

[ croyances ] [ rationnel-irrationnel ]

soumission consentie

Le swibble veille à ce que, comme le dit le surveillant de la prison dans Cool Hand Luke, vous ayez "l'esprit tranquille". La paix de l'esprit, voilà ce que vous obtenez.

"En tant que nouveau propriétaire de swibble, on en découvre vite les avantages. Vous éprouvez un sentiment de sécurité et la satisfaction de savoir que votre idéologie est exactement conforme à celle de toutes les autres dans le monde..."

MacDowell parvint à se ressaisir le premier. "Oui", dit-il avec ironie. "Ça ressemble à ce que nous voudrions, ma femme et moi."

"Oh, il est préférable d'en avoir un à soi", insista le réparateur. "Pensez... si vous avez votre propre baratin, il s'ajustera automatiquement. Il vous gardera sur la bonne voie sans effort ni problème. Vous saurez toujours que vous ne vous trompez pas - rappelez-vous le slogan du swibble : Pourquoi être à moitié loyal ? Avec votre propre swibble, vos perspectives seront corrigées graduellement, et indolores... "

Auteur: Dick Philip K.

Info: Service Call, in Science Fiction Stories, 1955

[ pensée unique ] [ politiquement correct ]

discours du maître

Je suis hostile à la fabrication de visions du monde. Qu’on les laisse aux philosophes, qui professent ouvertement que le voyage de la vie est impossible sans un tel Baedecker pour leur donner des informations sur toutes choses. Acceptons avec humilité le mépris avec lequel les philosophes nous toisent du haut de leurs exigences sublimes. Mais, faute de pouvoir, nous aussi, abjurer notre orgueil narcissique, nous chercherons notre consolation dans l’idée que tous ces "maîtres de vie" vieillissent rapidement, que c’est justement notre petit travail à courte vue, borné, qui les oblige à faire paraître des éditions revues et corrigées, et que même les plus modernes de ces Badecker sont des tentatives de remplacer le vieux catéchisme, si commode et si complet. Nous savons bien le peu de lumière que la science a pu jusqu’à présent jeter sur les énigmes de ce monde ; tout le bavardage des philosophes n’y peut rien changer et un travail poursuivi avec patience, subordonnant tout à la seule exigence de certitude, peut progressivement modifier cet état de choses. Lorsque celui qui chemine dans l’obscurité chante, il nie son anxiété, mais il n’en voit pas pour autant plus clair.

Auteur: Freud Sigmund

Info: "Inhibition, symptôme et angoisse", traduit de l’allemand par Michel Tort, Presses Universitaires de France, 1973, page 12

[ idéaux ] [ illusions ] [ critique ]

nanomonde verrouillé

Comment un tour de passe-passe mathématique a sauvé la physique des particules

La renormalisation est peut-être l'avancée la plus importante de la physique théorique depuis 50 ans. 

Dans les années 1940, certains physiciens avant-gardistes tombèrent sur une nouvelle couche de la réalité. Les particules n'existaient plus et les champs - entités expansives et ondulantes qui remplissent l'espace comme un océan - étaient dedans. Une ondulation dans un champ était un électron, une autre un photon, et leurs interactions semblaient expliquer tous les événements électromagnétiques.

Il n'y avait qu'un seul problème : la théorie était constituée d'espoirs et de prières. Ce n'est qu'en utilisant une technique appelée "renormalisation", qui consiste à occulter soigneusement des quantités infinies, que les chercheurs purent éviter les prédictions erronées. Le processus fonctionnait, mais même ceux qui développaient la théorie soupçonnaient qu'il s'agissait d'un château de cartes reposant sur un tour de passe-passe mathématique tortueux.

"C'est ce que j'appellerais un processus divertissant", écrira plus tard Richard Feynman. "Le fait de devoir recourir à de tels tours de passe-passe nous a empêchés de prouver que la théorie de l'électrodynamique quantique est mathématiquement cohérente.

La justification vint des décennies plus tard, d'une branche de la physique apparemment sans rapport. Les chercheurs qui étudiaient la magnétisation découvrirent que la renormalisation ne concernait aucunement les infinis. Elle évoquait plutôt la séparation de l'univers en domaines de tailles distinctes, point de vue qui guide aujourd'hui de nombreux domaines de la physique.

La renormalisation, écrit David Tong, théoricien à l'université de Cambridge, est "sans doute l'avancée la plus importante de ces 50 dernières années dans le domaine de la physique théorique".

L'histoire de deux charges

Selon certains critères, les théories des champs sont les théories les plus fructueuses de toute la science. La théorie de l'électrodynamique quantique (QED), qui constitue l'un des piliers du modèle standard de la physique des particules, a permis de faire des prédictions théoriques qui correspondent aux résultats expérimentaux avec une précision d'un sur un milliard.

Mais dans les années 1930 et 1940, l'avenir de la théorie était loin d'être assuré. L'approximation du comportement complexe des champs donnait souvent des réponses absurdes et infinies, ce qui amena certains théoriciens à penser que les théories des champs étaient peut-être une impasse.

Feynman et d'autres cherchèrent de toutes nouvelles perspectives - éventuellement même susceptibles de ramener les particules sur le devant de la scène - mais ils finirent par trouver un moyen de contourner l'obstacle. Ils constatèrent que les équations QED  permettaient d'obtenir des prédictions respectables, à condition qu'elles soient corrigées par la procédure impénétrable de renormalisation.

L'exercice est le suivant. Lorsqu'un calcul QED conduit à une somme infinie, il faut l'abréger. Mettez la partie qui tend vers l'infini dans un coefficient - un nombre fixe - placé devant la somme. Remplacez ce coefficient par une mesure finie provenant du laboratoire. Enfin, laissez la somme nouvellement apprivoisée retourner à l'infini.

Pour certains, cette méthode s'apparente à un jeu de dupes. "Ce ne sont tout simplement pas des mathématiques raisonnables", écrivit Paul Dirac, théoricien quantique novateur.

Le cœur du problème - germe de sa solution éventuelle - se trouve dans la manière dont les physiciens ont traité la charge de l'électron.

Dans ce schéma la charge électrique provient du coefficient - la valeur qui engloutit l'infini au cours du brassage mathématique. Pour les théoriciens qui s'interrogeaient sur la signification physique de la renormalisation, la théorie QED laissait entendre que l'électron avait deux charges : une charge théorique, qui était infinie, et la charge mesurée, qui ne l'était pas. Peut-être que le noyau de l'électron contenait une charge infinie. Mais dans la pratique, les effets de champ quantique (qu'on peut visualiser comme un nuage virtuel de particules positives) masquaient l'électron, de sorte que les expérimentateurs ne mesuraient qu'une charge nette modeste.

Deux physiciens, Murray Gell-Mann et Francis Low, concrétisèrent cette idée en 1954. Ils ont relié les deux charges des électrons à une charge "effective" qui varie en fonction de la distance. Plus on se rapproche (et plus on pénètre le manteau positif de l'électron), plus la charge est importante.

Leurs travaux furent les premiers à lier la renormalisation à l'idée d'échelle. Ils laissaient entendre que les physiciens quantiques avaient trouvé la bonne réponse à la mauvaise question. Plutôt que de se préoccuper des infinis, ils auraient dû s'attacher à relier le minuscule à l'énorme.

La renormalisation est "la version mathématique d'un microscope", a déclaré Astrid Eichhorn, physicienne à l'université du Danemark du Sud, qui utilise la renormalisation pour ses recherches en théorie de la gravité quantique. "Et inversement, vous pouvez commencer par le système microscopique et faire un zoom arrière. C'est une combinaison de microscope et de télescope".

La renormalisation capture la tendance de la nature à se subdiviser en mondes essentiellement indépendants.

Les aimants sauvent la mise

Un deuxième indice apparut dans le monde de la matière condensée, ici les physiciens s'interrogeaient sur la manière dont un modèle magnétique grossier parvenait à saisir les détails de certaines transformations. Le modèle d'Ising n'était guère plus qu'une grille de flèches atomiques qui ne pouvaient pointer que vers le haut ou vers le bas, mais il prédisait les comportements d'aimants réels avec une perfection improbable.

À basse température, la plupart des atomes s'alignent, ce qui magnétise le matériau. À haute température, ils deviennent désordonnés et le réseau se démagnétise. Mais à un point de transition critique, des îlots d'atomes alignés de toutes tailles coexistent. Il est essentiel de noter que la manière dont certaines quantités varient autour de ce "point critique" semble identique dans le modèle d'Ising, dans les aimants réels de différents matériaux et même dans des systèmes sans rapport, tels que la transition à haute pression où l'eau devient indiscernable de la vapeur d'eau. La découverte de ce phénomène, que les théoriciens ont appelé universalité, était aussi bizarre que de découvrir que les éléphants et les aigrettes se déplacent exactement à la même vitesse de pointe.

Les physiciens n'ont pas pour habitude de s'occuper d'objets de tailles différentes en même temps. Mais ce comportement universel autour des points critiques les obligea à tenir compte de toutes les échelles de longueur à la fois.

Leo Kadanoff, chercheur dans le domaine de la matière condensée, a compris comment procéder en 1966. Il a mis au point une technique de "spin par blocs", en décomposant une grille d'Ising trop complexe pour être abordée de front, en blocs modestes comportant quelques flèches par côté. Il calcula l'orientation moyenne d'un groupe de flèches et  remplaça tout le bloc par cette valeur. En répétant le processus, il lissa les détails fins du réseau, faisant un zoom arrière pour comprendre le comportement global du système.

Enfin, Ken Wilson -  ancien étudiant de Gell-Mann qui avait les pieds tant dans le monde de la physique des particules et de la matière condensée -  réunit les idées de Gell-Mann et de Low avec celles de Kadanoff. Son "groupe de renormalisation", qu'il décrivit pour la première fois en 1971, justifiait les calculs tortueux de la QED et a fourni une échelle permettant de gravir les échelons des systèmes universels. Ce travail a valu à Wilson un prix Nobel et a changé la physique pour toujours.

Selon Paul Fendley, théoricien de la matière condensée à l'université d'Oxford, la meilleure façon de conceptualiser le groupe de renormalisation de Wilson est de le considérer comme une "théorie des théories" reliant le microscopique au macroscopique.

Considérons la grille magnétique. Au niveau microscopique, il est facile d'écrire une équation reliant deux flèches voisines. Mais extrapoler cette simple formule à des trillions de particules est en fait impossible. Vous raisonnez à la mauvaise échelle.

Le groupe de renormalisation de Wilson décrit la transformation d'une théorie des éléments constitutifs en une théorie des structures. On commence avec une théorie de petits éléments, par exemple les atomes d'une boule de billard. On tourne la manivelle mathématique de Wilson et on obtient une théorie connexe décrivant des groupes de éléments, par exemple les molécules d'une boule de billard. En continuant de tourner la manivelle, on obtient des groupes de plus en plus grands - grappes de molécules de boules de billard, secteurs de boules de billard, et ainsi de suite. Finalement, vous voilà en mesure de calculer quelque chose d'intéressant, comme la trajectoire d'une boule de billard entière.

Telle est la magie du groupe de renormalisation : Il permet d'identifier les quantités à grande échelle qu'il est utile de mesurer et les détails microscopiques alambiqués qui peuvent être ignorés. Un surfeur s'intéresse à la hauteur des vagues, et non à la bousculade des molécules d'eau. De même, en physique subatomique, la renormalisation indique aux physiciens quand ils peuvent s'occuper d'un proton relativement simple plutôt que de son enchevêtrement de quarks intérieurs.

Le groupe de renormalisation de Wilson suggère également que les malheurs de Feynman et de ses contemporains venaient du fait qu'ils essayaient de comprendre l'électron d'infiniment près. "Nous ne nous attendons pas à ce que  ces théories soient valables jusqu'à des échelles [de distance] arbitrairement petites", a déclaré James Fraser, philosophe de la physique à l'université de Durham, au Royaume-Uni. Ajoutant : "La coupure absorbe notre ignorance de ce qui se passe aux niveaux inférieurs".

En d'autres termes, la QED et le modèle standard ne peuvent tout simplement pas dire quelle est la charge nue de l'électron à une distance de zéro nanomètre. Il s'agit de ce que les physiciens appellent des théories "effectives". Elles fonctionnent mieux sur des distances bien définies. L'un des principaux objectifs de la physique des hautes énergies étant de découvrir ce qui se passe exactement lorsque les particules deviennent encore plus proches.

Du grand au petit

Aujourd'hui, le "dippy process" de Feynman est devenu aussi omniprésent en physique que le calcul, et ses mécanismes révèlent les raisons de certains des plus grands succès de la discipline et de ses défis actuels. Avec la renormalisation, les câpres submicroscopiques compliqués ont tendance à disparaître. Ils sont peut-être réels, mais ils n'ont pas d'incidence sur le tableau d'ensemble. "La simplicité est une vertu", a déclaré M. Fendley. "Il y a un dieu là-dedans.

Ce fait mathématique illustre la tendance de la nature à se diviser en mondes essentiellement indépendants. Lorsque les ingénieurs conçoivent un gratte-ciel, ils ignorent les molécules individuelles de l'acier. Les chimistes analysent les liaisons moléculaires mais ignorent superbement les quarks et les gluons. La séparation des phénomènes par longueur, quantifiée par le groupe de renormalisation, a permis aux scientifiques de passer progressivement du grand au petit au cours des siècles, plutôt que briser toutes les échelles en même temps.

En même temps, l'hostilité de la renormalisation à l'égard des détails microscopiques va à l'encontre des efforts des physiciens modernes, avides de signes du domaine immédiatement inférieur. La séparation des échelles suggère qu'ils devront creuser en profondeur pour surmonter le penchant de la nature à dissimuler ses points les plus fins à des géants curieux comme nous.

"La renormalisation nous aide à simplifier le problème", explique Nathan Seiberg, physicien théoricien à l'Institute for Advanced Study de Princeton, dans le New Jersey. Mais "elle cache aussi ce qui se passe à très courte distance. On ne peut pas avoir le beurre et l'argent du beurre".

Auteur: Internet

Info: https://www.quantamagazine.org/. Charlie Wood, september 17, 2020

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]