classification

Dans la conception de ce logiciel il y a un désir de clarification et de simplification. Comment, avec le moins de mots possibles (penser : sens général, chapitrage, catégories et étiquettes synonymes), exprimer une pensée. En n'oubliant pas de suivre les quelques règles spécifiées pour l'étiquetage.
Comment formuler le plus efficacement, même une idée complexe.

Auteur: Mg

Info: 14 juin 2019

[ performance sémantique ] [ vulgarisation ] [ citation s'appliquant à ce logiciel ]

manipulation

En France, quand on veut masquer les réductions d'effectifs et de budget, on multiplie les concepts fumeux : des escroqueries sémantiques, [...]: "démarche qualité", "projets annuels de performance", "diagnostic infirmier"... Savez-vous ce que c'est que le diagnostic infirmier ? Cela consiste à faire croire aux infirmiers qu'ils sont capables de poser un diagnostic à la place du médecin, ce qui permet évidemment de réduire le nombre des médecins hospitaliers.

Auteur: Minier Bernard

Info: Glacé, Page 281

[ politiquement correct ] [ novlangue ] [ vocabulaire ]

data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]

songes

Comment utiliser les rêves comme source d'inspiration créative

En s'inspirant de Thomas Edison et de Salvador Dalí, des chercheurs montrent que le modelage de l'imagerie des rêves peut susciter des idées créatives pour résoudre un problème spécifique.

(Photo de Salvador Dalí, avec ce texte) Dali avait des moyens originaux pour tirer une inspiration artistique de ses rêves, par exemple en mettant du parfum sur ses paupières ou en lâchant un objet pour se réveiller afin de se souvenir du contenu de ses rêves.)

Structure du benzène, Google et Frankenstein : Qu'ont en commun ces icônes de la science, de la technologie et de la littérature ? Elles  font partie des nombreuses découvertes et inventions qui auraient été inspirées par un rêve.

Pendant des décennies, les spécialistes du sommeil ont réfléchi au lien entre le rêve et l'inspiration créatrice. Ils ont longtemps pensé que ces idées provenaient de la phase de sommeil à mouvements oculaires rapides (REM), riche en rêves, et qui commence une heure ou plus après le début du cycle de sommeil. Mais de nouvelles données mettent en lumière une phase du sommeil beaucoup plus précoce - la zone crépusculaire qui sépare le sommeil de l'éveil - comme terrain fertile pour un élan créatif.

Dans une étude publiée le 15 mai dans Scientific Reports, une équipe de chercheurs montre que les personnes qui font de brèves siestes précédant l'endormissement obtiennent des résultats plus élevés quant aux critères de créativité que celles qui se lancent dans les mêmes tâches créatives après être restées éveillées. "L'importance de cet état de sommeil précoce pour la créativité a fait l'objet de spéculations, mais à ma connaissance, il s'agit de la meilleure étude démontrant sa valeur", déclare Jonathan Schooler, psychologue cognitif à l'université de Californie à Santa Barbara, qui n'a pas participé à l'étude.

De plus, les scientifiques ont découvert qu'ils pouvaient même exercer un certain contrôle sur le processus de rêve. Pour ce faire, ils ont orienté les rêves des participants vers un sujet spécifique. Plus les participants rêvaient de ce thème, plus ils étaient créatifs dans les tâches qui s'y rapportaient. "C'est à peu près ce qui nous permet de dire que rêver d'un sujet améliore la créativité ultérieure sur ce sujet", déclare Robert Stickgold, neuroscientifique cognitif et chercheur sur les rêves à la Harvard Medical School, qui faisait partie de l'équipe de l'étude.

L'expérience s'est appuyée sur un détecteur de sommeil en forme de gant appelé Dormio, mis au point par une équipe comprenant le co-chercheur principal Adam Haar Horowitz, chercheur postdoctoral au Massachusetts Institute of Technology. Dormio suit le début du sommeil en surveillant le tonus musculaire, la conductance de la peau et la fréquence cardiaque par l'intermédiaire de contacts sur le poignet et la main. Il communique avec une application qui émet des messages vocaux pour les rêves et enregistre les rapports de rêves.

Plus d'un penseur célèbre a tiré parti de la première phase de transition dans le sommeil, appelée stade 1 du sommeil non REM (sans mouvements oculaires rapides - N1), pour générer des idées créatives. Le peintre Salvador Dalí s'assoupissait délibérément en tenant un jeu de clés au-dessus d'une plaque de métal lorsqu'il réfléchissait à une idée de peinture. Au fur et à mesure qu'il s'assoupissait, les muscles de sa main se détendaient et il laissait tomber les clés qui heurtaient la plaque et le réveillaient, et il gardait l'image de son rêve. Thomas Edison aurait utilisé une technique similaire avec des billes de métal au lieu de clés pour obtenir des idées à intégrer dans ses inventions.

En 2021, une équipe de chercheurs de l'Institut du cerveau de Paris a rapporté certaines des premières preuves solides comme quoi Dalí et Edison étaient sur la bonne voie. Ils ont demandé à des personnes de faire de courtes siestes après les avoir exposées à des problèmes de mathématiques pour lesquels existait un raccourci caché. Parmi la grande majorité des personnes n'ayant pas vu le raccourci tout de suite, celles qui ont fait une sieste au stade N1 furent presque trois fois plus efficaces que celles n'ayant pas fait de sieste pour trouver la meilleure solution lorsqu'elles s'attaquaient à de nouveaux problèmes nécessitant de mettre en œuvre les mêmes connaissances mathématiques.

Stickgold, Haar Horowitz et leurs collègues ont voulu vérifier l'idée que le rêve était l'intermédiaire clé pour générer des éclats de perspicacité pendant le stade N1. Avant la publication de l'étude de 2021 sur les mathématiques, les chercheurs ont entrepris une étude contrôlée sur le rêve, dans laquelle ils ont incité des personnes à rêver de quelque chose de spécifique, comme un arbre.

Ils ont recruté 50 personnes pour une "étude sur la sieste" de l'après-midi - intitulé qui a vraisemblablement attiré les personnes qui aiment faire la sieste, bien que les chercheurs n'aient en fait demandé qu'à la moitié des participants de dormir dans le cadre de l'étude. Alors qu'ils portaient Dormio, les participants se sont endormis et l'application liée à Dormio leur a demandé de "penser à un arbre" ou de "penser à observer leurs pensées". Une à cinq minutes plus tard, l'application les réveillait en leur demandant de raconter leur rêve. Ce cycle s'est répété pendant 45 minutes, produisant en moyenne cinq récits de rêve par personne. Les personnes à qui l'on a demandé de rester éveillées ont laissé leur esprit vagabonder tout en recevant des instructions similaires. (Les chercheurs ont créé une version simplifiée de ce protocole d'incubation de rêves, accessible sur le web, que vous pouvez essayer chez vous).

Parmi les siesteurs qui ont reçu l'instruction sur les arbres, tous sauf un ont déclaré avoir rêvé d'arbres ou de parties d'arbres, alors qu'une seule personne parmi les siesteurs ayant reçu l'instruction plus générale l'a fait. L'un d'entre eux a décrit des "arbres se divisant en une infinité de morceaux" et s'est retrouvé dans le désert avec "un chaman assis sous l'arbre avec moi".

Les participants ont ensuite passé trois tests de créativité : Ils ont écrit une histoire créative dans laquelle figurait le mot "arbre". Ils ont énuméré "toutes les utilisations alternatives créatives" qu'ils pouvaient imaginer pour un arbre. Enfin, ils ont écrit le premier verbe qui leur venait à l'esprit pour chacun des 31 noms qui se rapportaient, plus ou moins, aux arbres. La créativité des réponses a été évaluée par des personnes qui ne savaient pas qui faisait la sieste ou qui avait reçu l'invitation à parler d'un arbre. Ces évaluations ont été combinées en un indice de créativité globale.

Les personnes ayant fait la sieste et qui avaient reçu l'indice de l'arbre ont obtenu les scores de créativité les plus élevés. "Il existe un lien objectif et expérimental entre l'incubation d'un rêve spécifique et la créativité post-sommeil autour de ce sujet", explique Haar Horowitz. "Cela valide des siècles de rapports anecdotiques de personnes qui se trouvent dans l'espace créatif.

En outre, plus une personne fait référence à des arbres, plus son score de créativité est élevé. "Plus vous rêvez d'un arbre, meilleures sont vos performances ultérieures", explique Kathleen Esfahany, étudiante de premier cycle au M.I.T., qui a codirigé l'étude avec Haar Horowitz. Les personnes semblent utiliser leurs rêves pour trouver des idées pour ces tâches, ajoute Kathleen Esfahany. Par exemple, une personne ayant rêvé que son corps était en bois a écrit une histoire sur un "roi chêne" qui portait une "couronne de feuilles" et dont le corps était tantôt "en bois", tantôt "en lumière".

L'ensemble de ces données indique que le rêve pendant N1 est un ingrédient actif de la créativité, comme l'ont supposé les chercheurs. "Il s'agit d'une étude pionnière", déclare Tore Nielsen, chercheur sur le rêve à l'Université de Montréal, qui n'a pas participé à l'étude. "Personne n'a démontré expérimentalement que le fait de rêver de quelque chose au début du sommeil est en fait lié à la créativité qui s'ensuit.

Nielsen et d'autres chercheurs estiment que l'étude est de petite envergure et qu'elle doit être reproduite. En outre, les résultats des tâches de créativité individuelles (par opposition au résultat composite) n'étaient pas significativement plus élevés chez les personnes qui ont fait une sieste guidée que chez celles qui n'ont pas été guidées, explique Penny Lewis, neuroscientifique à l'université de Cardiff au Pays de Galles, qui n'a pas participé à l'étude. "Je pense que leurs données montrent de manière convaincante que le fait de passer un certain temps dans le stade 1 du sommeil - c'est-à-dire le sommeil très léger qui se produit lorsque vous vous endormez - conduit à de meilleures performances dans ces trois tâches", explique Penny Lewis. Mais l'idée "que l'incitation conduit à ces effets devrait être traitée avec prudence parce que les statistiques ne sont pas très solides".

Une mesure objective et automatisée de la créativité, nommée "distance sémantique", indiquait qu'une brève sieste favorise l'inventivité, mais qu'il n'y a pas d'avantage supplémentaire lorsqu'on ajoutait une incitation à l'idée d'un arbre. Dans cette mesure, un ordinateur évalue la similarité des paires de mots produites dans chaque tâche de créativité, une similarité moindre étant liée à une plus grande créativité. Néanmoins, cette mesure laisse entrevoir un mécanisme de stimulation de la créativité au cours de la période N1. "Elle suggère que les gens sont capables de faire des associations plus éloignées et donc de trouver des ponts [conceptuels] qu'ils n'auraient pas pu découvrir autrement", explique M. Schooler.

L'étude ne portait que sur un seul motif, impliquant un arbre, de sorte que le système doit être testé sur d'autres sujets et éventuellement utilisé pour résoudre des problèmes réels. "C'est passionnant car, en principe, il s'agit d'une technologie que les gens pourraient utiliser eux-mêmes pour stimuler leur propre créativité", explique M. Schooler.

Il semble que les personnes désireuses de l'essayer ne manquent pas. "Des gens très différents sont venus frapper à la porte du laboratoire et ont demandé à faire des rêves", déclare Haar Horowitz.

Auteur: Internet

Info: https://www.scientificamerican.com/. Par Ingrid Wickelgren, 15 mai 2023

[ subconscient ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]