exactitude

Essayez d'imaginer (...) ce que peut-être l'apparition d'un pur signifiant. Bien entendu, nous ne pouvons pas même l’imaginer, par définition.

Auteur: Lacan Jacques

Info: Le séminaire, livre III : Les psychoses

[ impossible ] [ mot ] [ unité sémantique ] [ limitation ]

précision terminologique

Le métalangage naturel s'articule sur deux bases lexicales fondamentales dont les unités types respectives sont le mot codé (toute partie du discours, dont la terminologie linguistique) et le nom autonyme*, hors code, de n'importe quelle séquence langagière, qui est l'icone de son signifié, et n'a ni synonyme ni traduction. C'est cette seconde base qui caractérise d'abord le métalangage, car toute langue peut rapporter des paroles, même sans employer de terminologie linguistique, mais non l'inverse.

Auteur: Rey-Debove Josette

Info: Les Logiciens et le métalangage naturel, Histoire Épistémologique du Langage, t. 1 fasc. 1 1979, p. 17. *Qui se désigne lui-même comme signe dans le discours. Dans "être est un verbe", "être" est autonyme

[ logique formelle ] [ définition ] [ sémantique ]

étude du langage

[...] à la base de la sémantique, il y a des unités irréductibles : les "sèmes" : unité minimale différentielle de signification. Ce qui me paraît étonnant, c’est d’une part que l’on puisse réduire les jeux de sens et les non-sens, les contresens à des unités différentielles, et d’autre part que l’on ait inclus la parole (et c’est très volontairement que je fais ce contresens, car toute sémiologie explique qu’elle exclut la parole, mais ce n’est pas vrai !) dans une science des signes en définitive visuels, le signe parlé-entendu étant assimilé, mais le modèle étant le "montré-vu".

Auteur: Ellul Jacques

Info: Dans "La parole humiliée", éditions de la Table Ronde, Paris, 2014, page 259

[ contradiction ] [ critique méthodologique ] [ non-objectivable ] [ priméité-tiercité ]

linguistique

Il y a deux seuils interdits dans le fonctionnement du langage : le langage infinitisé que nous avons dans les noms propres et le langage monolithique que nous retrouvons l’usage des unités lexicales comme "chose", "truc", "machin". Le langage monolithique dans lequel la même expression pouvant tout dire à tout moment compromettra la communication hors contexte ; utiliser des noms propres pour chaque événement surchargera vite la mémoire et rendra le langage infinitisé hors apprentissage. Pour sortir de ces impasses, le langage a recours à la synecdoque à la fois comme possibilité cognitive et comme possibilité de mémorisation.

Auteur: Rakotomalala Jean Robert

Info: La synecdoque : l'essence du langage. Résumé

[ sémantique métonymique ] [ tout et parties ] [ singularités ] [ généralités ]

secondéité contextualisée

("L’énonciation sera pour nous l’activité langagière exercée par celui qui parle... ") : c’est l’émetteur du message ; privilège que connote et conforte à la fois le terme un peu malencontreux d’"énonciation", car même si l’usage linguistique prétend en faire un archilexème* neutralisant l’opposition encodage/décodage, l’usage commun ("énoncer", c’est produire, plutôt qu’interpréter, un message) tend obstinément à le contaminer. C’est pourquoi le terme d’"énonciation", outre le transfert métonymique précédemment signalé, est fréquemment affecté d’un autre type de glissement sémantique, qui lui relève de la "spécialisation" (réduction d’extension) : au lieu d’englober la totalité du parcours communicationnel, l’énonciation est alors définie comme le mécanisme d’engendrement d’un texte, le surgissement dans l’énoncé du sujet d’énonciation, l’insertion du locuteur au sein de sa parole.

Auteur: Kerbrat-Orecchioni Catherine

Info: L'énonciation : De la subjectivité dans le langage. *Lexème représentant, sur le plan du signifiant, des sèmes communs à deux ou plusieurs unités lexicales. (Par exemple siège est l'archilexème de la série pouf, tabouret, chaise, fauteuil, canapé, etc.) C'est aussi un hyperonyme

[ entité formulante ] [ destinateur ] [ linguistique ]

verbe consensus

Ma méthode trichotomique fait référence à une conception de la grammaire comme une structure symbolique composée de trois éléments :

- La forme phonologique (le signifiant)

- Le sens sémantique (le signifié)

- La correspondance conventionnelle entre les deux

Je considère que la grammaire est symbolique, c'est-à-dire qu'elle consiste en des paires de forme et de sens. Chaque unité grammaticale, du morphème au syntagme, est une structure symbolique qui associe une forme et un sens de manière conventionnelle.

Cette approche trichotomique s'inscrit dans le cadre plus large de la linguistique cognitive dont les principaux aspects de sa grammaire sont :

- La grammaire fait partie intégrante de la cognition et n'est pas un module autonome

- Elle émerge de l'expérience linguistique par des processus cognitifs généraux

- La sémantique informe la syntaxe, il n'y a pas de distinction nette entre lexique et grammaire.

Ainsi, cette méthode trichotomique considère la grammaire comme des paires symboliques de forme et de sens. Elle est au cœur de mon approche cognitive du langage et s'oppose à la conception générative d'une syntaxe autonome et formelle au profit d'une grammaire encyclopédique et symbolique.

Auteur: Langacker Ronald W.

Info:

[ triade ] [ grammaire cognitive ] [ sémantique dynamique ] [ écrits codages humains ]

classiques et poncifs

Dans le second chapitre de sa Rhétorique (II, 21, 1394a 24), Aristote emploie le terme gnômé pour les énoncés brefs destinés à la citation. La gnômé y est définie comme une formule exprimant "non pas les particuliers […] mais le général ; et non toute espèce de généralité mais seulement celles qui ont pour objet des actions […]." Les formes gnomiques désignent aujourd’hui les seules formules sentencieuses signées : maximes ou sentences (de maxima sententia, traduction latine de gnômé), et apophtegmes (paroles mémorables de personnages illustres) ; les énoncés parémiques (du gr. paroimia : "proverbe") et les formes apparentées (dictons et adages), créations anonymes, collectives, populaires, fruits de l’expérience accumulée de génération en génération par les usagers de la langue, véhiculant ce que l’on a l’habitude d’appeler "la sagesse des nations", présentent les mêmes caractéristiques sémantiques et grammaticales. Du point de vue linguistique,

-  l’énoncé gnomique, la maxime ou sentence :

Plaisir d’amour ne dure qu’un moment, chagrin d’amour dure toute la vie.

et sa variante parémique, le proverbe : 

Les bons comptes font les bons amis

sont des unités de discours achevées, constituées par des phrases autonomes du point de vue grammatical et référentiel. Du point de vue sémantique, ce sont des assertions se donnant pour universellement vraies. Ce type d’énoncé prétend donc à la généricité (par défaut) et emprunte, du point de vue linguistique, la structure des énoncés génériques exprimant des lois scientifiques.

Auteur: Schapira Charlotte

Info: Langages 2008/1 (n° 169), p 57

[ citation s'appliquant à ce logiciel ] [ généralisations idiomatiques ] [ onomasiologie ]

cognition

On se souvient davantage des événements négatifs

INTERVIEW - Le Pr Francis Eustache est directeur de l'unité de neuropsychologie et neuroanatomie fonctionnelle de la mémoire humaine à l'université de Caen et président du conseil scientifique de l'Observatoire B2V des mémoires.

LE FIGARO. - Il semble que la dimension affective de la mémoire ait été beaucoup moins étudiée que la capacité à augmenter celle-ci, par exemple. Pourquoi ?

Pr Francis EUSTACHE. - Il est vrai que le premier intérêt pour ce que nous appelons la "mémoire des souvenirs" est né à la fin du XIXe siècle, avec les travaux d'un philosophe comme Théodule Ribot notamment. C'est l'époque où la dimension subjective de la mémoire triomphe, et elle intéresse aussi les écrivains (cf. Marcel Proust). Mais par la suite, le courant béhavioriste l'a faite passer à l'arrière-plan, et l'approche cognitiviste des années 1960-1970 n'a pas tout de suite intégré cet aspect émotionnel de la mémoire. En 1972 cependant, le grand chercheur Endel Tulving, de l'université de Toronto, a défini la "mémoire épisodique" comme le processus par lequel on se souvient des événements vécus avec leur contexte (date, lieu, état émotionnel…), la mémoire sémantique étant destinée aux faits et aux concepts. C'est alors ce voyage mental dans le temps, y compris dans ses aspects les plus subjectifs, qui suscite à nouveau de l'intérêt.

- La clinique des traumatismes n'a-t-elle pas aussi favorisé cet intérêt?

- Effectivement, mais ces mémoires sont pourtant bien différentes: dans la mémoire épisodique, la personne, grâce à quelques indices - le contexte, la date, etc

 peut retrouver l'impression du moment vécu en voyageant mentalement, mais en ayant conscience qu'il s'agit d'un événement du passé ; dans la mémoire traumatique, le sujet est au contraire envahi par le passé qui est vécu au présent, sans aucune distanciation possible opérée par les souvenirs. Et d'ailleurs, les personnes atteintes d'ESPT (état de stress post-traumatique) font tout pour éviter de "revivre" l'événement passé en question. De manière générale, force est de constater que les événements négatifs, très émotionnels, sont davantage mémorisés que les agréables. C'est la même chose avec les pensées noires: celles-ci nous marquent plus que les pensées positives… Cet aspect est exacerbé dans la dépression.

- Est-ce de cette mémoire épisodique dont il est question dans le fameux épisode de la madeleine dans l'oeuvre de Marcel Proust?

- C'est un bel exemple. Si l'on veut faire remonter nos souvenirs, il nous faut récupérer toute une série d'indices, par exemple "c'était samedi soir, lors de ce dîner, ma voisine de table portait une robe rouge…" et peu à peu ces indices vont en faire remonter d'autres. C'est exactement ce que relate Marcel Proust. Il éprouve d'abord une impression particulière, d'ordre olfactif et gustatif, puis une émotion émerge et enfin ce n'est que quatre à cinq pages plus loin que le souvenir précis de Combray se présente à sa conscience. Du point de vue phénoménologique, c'est une description parfaite de la puissance émotionnelle à l'oeuvre dans la remémoration.

- Ainsi pour retrouver un souvenir, il faut d'abord en retrouver l'émotion?

- La congruence à l'humeur est essentielle: la similarité du contexte émotionnel entre l'encodage et le rappel favorisera la récupération des souvenirs… Et cela marche aussi en sens inverse: au moment où l'on encode une information, on a intérêt à savoir comment on devra la récupérer. Par exemple, des étudiants à qui l'on précise de quel type sera l'examen final (oral? QCM? etc.) n'apprendront pas leurs cours de la même façon et ils seront plus efficaces. Ainsi, l'objectif de la mémoire, ce n'est pas seulement engranger du passé. Elle nous permet aussi de construire le futur.

Auteur: Senk Pascale

Info: le Figaro 04/09/2015

[ mémorisation ] [ sélective ]

captage de l'attention

Sur le plan linguistique, précisons aussi, à la suite de C. Schnedecker (2011 : 23-45) faisant un état de la question, que la saillance peut se manifester de façon formelle ou "ontologique" (par le biais de la disposition typographique ou de la prosodie, par exemple), mais aussi de façon cognitive, faisant alors appel à la sémantique lexicale ou à des facteurs discursifs (ces derniers étant hétérogènes).

Cette linguiste distingue en outre une saillance perspectivale, reposant sur un principe d’iconicité puisque l’ordre des unités grammaticales (et donc l’agencement syntaxique) est supposé refléter ce qui est au premier plan, ou encore à l’arrière-plan, dans la perspective du locuteur. Notons que la notion de saillance ontologique est associée à des acceptions différentes selon les auteurs : parfois relative au statut conféré aux mots eux-mêmes (comme le rappelle C. Schnedecker), elle est par ailleurs considérée comme liée aux éléments extralinguistiques ou, du moins, aux concepts qui leur sont associés, et tel est notamment le cas chez H.-J. Schmid (2007 : 120).

Concernant la saillance liée aux paramètres syntaxiques, on rappellera l’importance des travaux de R. W. Langacker (1991 : 301). L’auteur mentionne l’importance des rôles syntaxiques, soulignant que le sujet, tout d’abord, puis l’objet, sont perçus comme les éléments les plus saillants (focal participants) d’une proposition. Ils sont en outre à relier à l’opposition trajector/ landmark (1987 : 217) traduisant le fait qu’un élément est mis davantage en avant (rôle de trajector) que les autres. Ces notion de trajector et landmark peuvent en outre être perçues comme des manifestations spécifiques de ce que L. Talmy (2000 : 311-44) appelle figure et ground, sachant que le premier terme réfère à l’élément le plus saillant, qui se détache sur un fond (désigné par ground). Selon cet auteur également, ce sont les structures grammaticales qui contrôlent la distribution de l’attention portée aux différentes entités présentes.

En lien avec son rôle syntaxique, le rôle sémantique d’une entité est également déterminant, comme l’avait déjà montré C. Fillmore (1968 ; 1977 : 78). Dans la lignée de la grammaire générative et transformationnelle, Fillmore applique la notion de cas aux structures profondes qui se voient réalisées syntaxiquement en structure de surface. Il propose ainsi une base sémantique et universelle des rôles thématiques. Selon l’auteur, il existe une hiérarchie de pertinence en ce qui concerne la sélection des rôles, concernant celui de sujet notamment. Cette hiérarchie peut être représentée ainsi : agent > instrument > patient.

Si l’événement met en scène un agent, celui-ci sera réalisé en position de sujet. S’il n’y a pas d’agent, ce sera l’instrument, ou encore le patient si l’instrument n’est pas réalisé. La grammaire des cas prévoit donc une correspondance relative entre les rôles sémantiques (profonds) et les réalisations syntaxiques (de surface). Notons par ailleurs que la relation entre cette hiérarchie liée aux cas et la notion de saillance est établie par l’auteur, qui évoque une hiérarchie en termes de saillance (salience hierachy, Fillmore 1977 : 78).

Ainsi, les agents jouent clairement les rôles les plus saillants, du moins lorsque les processus sont dynamiques. Sur le plan lexical, par ailleurs, D. Geeraerts (2000 : 90) fournit plus récemment une étude très détaillée de la saillance liée à la sélection du lexique, au cours de laquelle il distingue plusieurs sous-catégories : les formes de saillance perspectivale, sémasiologique, onomasiologique et structurelle.

La première, à savoir la saillance perspectivale, est relative à des paires terminologiques (ex : hand / arm) qui traduisent une hiérarchie pouvant se dessiner dans l’extralinguistique entre le premier plan et le fond. La saillance sémasiologique concerne les relations entre les différentes possibilités sémantiques d’un item lexical donné, certaines valeurs étant plus centrales et prototypiques que d’autres. Si l’on considère maintenant la saillance onomasiologique liée à une certaine catégorie lexicale, elle correspond à la fréquence de l’élément lexical nommant cette catégorie, par contraste avec les autres valeurs sémantiques éventuellement associées à cet item lexical. Enfin, la saillance structurelle est relative à des traits sémantiques récurrents dans la structure du lexique (et pouvant donner lieu à la formation de termes par affixation). L’objectif de l’étude de Geeraerts est, en somme, de déterminer les paramètres responsables des choix lexicaux préférentiels des locuteurs.

Auteur: Pennec Blandine

Info: https://journals.openedition.org/anglophonia/258

[ marketing ] [ linguistique informatisée ] [ secondéité ] [ tiercité ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]