machine-homme

Les algorithmes traditionnels alimentent des outils de calcul compliqués comme l'apprentissage automatique (machine learning). Une nouvelle approche, appelée algorithmes avec prédictions, utilise la puissance de l'apprentissage automatique pour améliorer les algorithmes.

Les algorithmes - morceaux de code qui permettent aux programmes de trier, filtrer et combiner des données, entre autres choses - sont les outils standard de l'informatique moderne. Tels de minuscules engrenages dans une montre, les algorithmes exécutent des tâches bien définies au sein de programmes plus complexes.

Ils sont omniprésents, et c'est en partie pour cette raison qu'ils ont été minutieusement optimisés au fil du temps. Lorsqu'un programmeur doit trier une liste, par exemple, il se sert d'un algorithme de "tri" standard utilisé depuis des décennies.

Aujourd'hui, des chercheurs jettent un regard neuf sur les algorithmes traditionnels, en utilisant la branche de l'IA , donc du machine learning. Leur approche, appelée "algorithmes avec prédictions", tire parti des informations que les outils d'apprentissage automatique peuvent fournir sur les données traitées par les algorithmes traditionnels. Ces outils doivent, en quelque sorte, rajeunir la recherche sur les algorithmes de base.

L'apprentissage automatique et les algorithmes traditionnels sont "deux façons très différentes de calculer, et les algorithmes avec prédictions sont un moyen de les rapprocher", a déclaré Piotr Indyk, informaticien au Massachusetts Institute of Technology. "C'est un moyen de combiner ces deux fils conducteurs assez différents".

La récente explosion d'intérêt pour cette approche a commencé en 2018 avec un article de Tim Kraska, informaticien au MIT, et d'une équipe de chercheurs de Google. Dans cet article, les auteurs ont suggéré que l'apprentissage automatique pourrait améliorer un algorithme traditionnel bien étudié appelé filtre de Bloom, qui résout un problème simple mais aussi complexe et ardu.

Imaginez que vous dirigez le service informatique de votre entreprise et que vous devez vérifier si vos employés se rendent sur des sites web présentant un risque pour la sécurité. Naïvement, vous pourriez penser que vous devez vérifier chaque site qu'ils visitent en le comparant à une liste noire de sites connus. Si la liste est énorme (comme c'est probablement le cas pour les sites indésirables sur Internet), le problème devient lourd - on ne peut vérifier chaque site par rapport à une liste énorme dans le minuscule lapts de temps qui précède le chargement d'une page Internet.

Le filtre Bloom offre une solution, en permettant de vérifier rapidement et précisément si l'adresse d'un site particulier, ou URL, figure sur la liste noire. Pour ce faire, il comprime essentiellement l'énorme liste en une liste plus petite qui offre certaines garanties spécifiques.

Les filtres Bloom ne produisent jamais de faux négatifs : s'ils disent qu'un site est mauvais, il est mauvais. Cependant, ils peuvent produire des faux positifs, de sorte que vos employés ne pourront peut-être pas visiter des sites auxquels ils devraient avoir accès. Cela s'explique par le fait qu'ils s'agit d'une forme d'échange qui implique une certaine imprécision due à cette énorme quantité de données compressées -  astuce intitulée "compression avec perte". Plus les filtres Bloom compriment les données d'origine, moins ils sont précis, mais plus ils économisent de l'espace.

Pour un simple filtre Bloom, chaque site Web est également suspect jusqu'à confirmaton qu'il ne figure pas sur la liste. Mais tous les sites Web ne sont pas égaux : Certains ont plus de chances que d'autres de se retrouver sur une liste noire, simplement en raison de détails comme leur domaine ou les mots de leur URL. Les gens comprennent cela intuitivement, et c'est pourquoi vous lisez probablement les URL pour vous assurer qu'elles sont sûres avant de cliquer dessus.

L'équipe de Kraska a mis au point un algorithme qui peut également appliquer ce type de logique. Ils l'ont appelé "filtre de Bloom instruit" et il combine un petit filtre de Bloom avec un réseau neuronal récurrent (RNN), modèle de machine learning qui apprend à quoi ressemblent les URL malveillantes après avoir été exposées à des centaines de milliers de sites web sûrs et non sûrs.

Lorsque le filtre Bloom vérifie un site web, le RNN agit en premier et utilise son apprentissage pour déterminer si le site figure sur la liste noire. Si le RNN indique que le site figure sur la liste, le filtre Bloom appris le rejette. Mais si le RNN dit que le site n'est pas sur la liste, alors le petit filtre Bloom peut à son tour, faire une recherche précise, mais irréfléchie, dans ses sites compressés.

En plaçant le filtre Bloom à la fin du processus et en lui donnant le dernier mot, les chercheurs ont fait en sorte que les filtres Bloom instruits puissent toujours garantir l'absence de faux négatifs. Mais comme le RNN préfiltre les vrais positifs à l'aide de ce qu'il a appris, le petit filtre de Bloom agit davantage comme une sauvegarde, en limitant également ses faux positifs au minimum. Un site Web bénin qui aurait pu être bloqué par un filtre Bloom de plus grande taille peut désormais passer outre le "filtre Bloom iinstruit" plus précis. En fait, Kraska et son équipe ont trouvé un moyen de tirer parti de deux méthodes éprouvées, mais traditionnellement distinctes, d'aborder le même problème pour obtenir des résultats plus rapides et plus précis.

L'équipe de Kraska a démontré que la nouvelle approche fonctionnait, mais elle n'a pas formellement expliqué pourquoi. Cette tâche a été confiée à Michael Mitzenmacher, spécialiste des filtres de Bloom à l'université de Harvard, qui a trouvé l'article de Kraska "novateur et passionnant", mais aussi fondamentalement insatisfaisant. "Ils font des expériences en disant que leurs algorithmes fonctionnent mieux. Mais qu'est-ce que cela signifie exactement ?" a-t-il demandé. "Comment le savons-nous ?"

En 2019, Mitzenmacher a proposé une définition formelle d'un filtre de Bloom INSTRUIT et a analysé ses propriétés mathématiques, fournissant une théorie qui explique exactement comment il fonctionne. Et alors que Kraska et son équipe ont montré que cela pouvait fonctionner dans un cas, Mitzenmacher a prouvé que cela pouvait toujours fonctionner.

Mitzenmacher a également amélioré les filtres de Bloom appris. Il a montré que l'ajout d'un autre filtre de Bloom standard au processus, cette fois avant le RNN, peut pré-filtrer les cas négatifs et faciliter le travail du classificateur. Il a ensuite prouvé qu'il s'agissait d'une amélioration en utilisant la théorie qu'il a développée.

Les débuts des algorithmes avec prédiction ont suivi ce chemin cyclique : des idées novatrices, comme les filtres de Bloom appris, inspirent des résultats mathématiques rigoureux et une compréhension, qui à leur tour conduisent à d'autres idées nouvelles. Au cours des dernières années, les chercheurs ont montré comment intégrer les algorithmes avec prédictions dans les algorithmes d'ordonnancement, la conception de puces et la recherche de séquences d'ADN.

Outre les gains de performance, ce domaine fait également progresser une approche de l'informatique de plus en plus populaire : rendre les algorithmes plus efficaces en les concevant pour des utilisations typiques.

À l'heure actuelle, les informaticiens conçoivent souvent leurs algorithmes pour qu'ils réussissent dans le scénario le plus difficile, celui conçu par un adversaire qui tente de les faire échouer. Par exemple, imaginez que vous essayez de vérifier la sécurité d'un site web sur les virus informatiques. Le site est peut-être inoffensif, mais il contient le terme "virus informatique" dans l'URL et le titre de la page. La confusion est telle que même les algorithmes les plus sophistiqués ne savent plus où donner de la tête.

Indyk appelle cela une approche paranoïaque. "Dans la vie réelle, dit-il, les entrées ne sont généralement pas générées par des adversaires." La plupart des sites Web que les employés visitent, par exemple, ne sont pas aussi compliqués que notre hypothétique page de virus, et il est donc plus facile pour un algorithme de les classer. En ignorant les pires scénarios, les chercheurs peuvent concevoir des algorithmes adaptés aux situations qu'ils sont susceptibles de rencontrer. Par exemple, alors qu'à l'heure actuelle, les bases de données traitent toutes les données de la même manière, les algorithmes avec prédiction pourraient conduire à des bases de données qui structurent le stockage de leurs données en fonction de leur contenu et de leur utilisation.

Et ce n'est encore qu'un début, car les programmes qui utilisent l'apprentissage automatique pour améliorer leurs algorithmes ne le font généralement que de manière limitée. Comme le filtre de Bloom, la plupart de ces nouvelles structures n'intègrent qu'un seul élément d'apprentissage automatique. M. Kraska imagine un système entier construit à partir de plusieurs pièces distinctes, dont chacune repose sur des algorithmes avec des prédictions et dont les interactions sont régulées par des composants améliorés par les prédictions.

"Tirer parti de cela aura un impact sur de nombreux domaines".

Gageons qu'avec de tels systèmes, un site comme FLP se retrouve à peu près certain de ne jamais être accepté par un filtre de Bloom - ou un filtre de Bloom instruit. Qui sont - objectivement - des instruments de contrôle, et donc de fermeture.  (Note du traducteur).

Auteur: Internet

Info: Nick Thieme, https://www.quantamagazine.org, A I, Machine Learning Reimagines the Building Blocks of Computing, March 15, 2022. Trad Mg

[ censure numérique ] [ triage web ] [ citation s'appliquant à ce logiciel ]

songes

Comment utiliser les rêves comme source d'inspiration créative

En s'inspirant de Thomas Edison et de Salvador Dalí, des chercheurs montrent que le modelage de l'imagerie des rêves peut susciter des idées créatives pour résoudre un problème spécifique.

(Photo de Salvador Dalí, avec ce texte) Dali avait des moyens originaux pour tirer une inspiration artistique de ses rêves, par exemple en mettant du parfum sur ses paupières ou en lâchant un objet pour se réveiller afin de se souvenir du contenu de ses rêves.)

Structure du benzène, Google et Frankenstein : Qu'ont en commun ces icônes de la science, de la technologie et de la littérature ? Elles  font partie des nombreuses découvertes et inventions qui auraient été inspirées par un rêve.

Pendant des décennies, les spécialistes du sommeil ont réfléchi au lien entre le rêve et l'inspiration créatrice. Ils ont longtemps pensé que ces idées provenaient de la phase de sommeil à mouvements oculaires rapides (REM), riche en rêves, et qui commence une heure ou plus après le début du cycle de sommeil. Mais de nouvelles données mettent en lumière une phase du sommeil beaucoup plus précoce - la zone crépusculaire qui sépare le sommeil de l'éveil - comme terrain fertile pour un élan créatif.

Dans une étude publiée le 15 mai dans Scientific Reports, une équipe de chercheurs montre que les personnes qui font de brèves siestes précédant l'endormissement obtiennent des résultats plus élevés quant aux critères de créativité que celles qui se lancent dans les mêmes tâches créatives après être restées éveillées. "L'importance de cet état de sommeil précoce pour la créativité a fait l'objet de spéculations, mais à ma connaissance, il s'agit de la meilleure étude démontrant sa valeur", déclare Jonathan Schooler, psychologue cognitif à l'université de Californie à Santa Barbara, qui n'a pas participé à l'étude.

De plus, les scientifiques ont découvert qu'ils pouvaient même exercer un certain contrôle sur le processus de rêve. Pour ce faire, ils ont orienté les rêves des participants vers un sujet spécifique. Plus les participants rêvaient de ce thème, plus ils étaient créatifs dans les tâches qui s'y rapportaient. "C'est à peu près ce qui nous permet de dire que rêver d'un sujet améliore la créativité ultérieure sur ce sujet", déclare Robert Stickgold, neuroscientifique cognitif et chercheur sur les rêves à la Harvard Medical School, qui faisait partie de l'équipe de l'étude.

L'expérience s'est appuyée sur un détecteur de sommeil en forme de gant appelé Dormio, mis au point par une équipe comprenant le co-chercheur principal Adam Haar Horowitz, chercheur postdoctoral au Massachusetts Institute of Technology. Dormio suit le début du sommeil en surveillant le tonus musculaire, la conductance de la peau et la fréquence cardiaque par l'intermédiaire de contacts sur le poignet et la main. Il communique avec une application qui émet des messages vocaux pour les rêves et enregistre les rapports de rêves.

Plus d'un penseur célèbre a tiré parti de la première phase de transition dans le sommeil, appelée stade 1 du sommeil non REM (sans mouvements oculaires rapides - N1), pour générer des idées créatives. Le peintre Salvador Dalí s'assoupissait délibérément en tenant un jeu de clés au-dessus d'une plaque de métal lorsqu'il réfléchissait à une idée de peinture. Au fur et à mesure qu'il s'assoupissait, les muscles de sa main se détendaient et il laissait tomber les clés qui heurtaient la plaque et le réveillaient, et il gardait l'image de son rêve. Thomas Edison aurait utilisé une technique similaire avec des billes de métal au lieu de clés pour obtenir des idées à intégrer dans ses inventions.

En 2021, une équipe de chercheurs de l'Institut du cerveau de Paris a rapporté certaines des premières preuves solides comme quoi Dalí et Edison étaient sur la bonne voie. Ils ont demandé à des personnes de faire de courtes siestes après les avoir exposées à des problèmes de mathématiques pour lesquels existait un raccourci caché. Parmi la grande majorité des personnes n'ayant pas vu le raccourci tout de suite, celles qui ont fait une sieste au stade N1 furent presque trois fois plus efficaces que celles n'ayant pas fait de sieste pour trouver la meilleure solution lorsqu'elles s'attaquaient à de nouveaux problèmes nécessitant de mettre en œuvre les mêmes connaissances mathématiques.

Stickgold, Haar Horowitz et leurs collègues ont voulu vérifier l'idée que le rêve était l'intermédiaire clé pour générer des éclats de perspicacité pendant le stade N1. Avant la publication de l'étude de 2021 sur les mathématiques, les chercheurs ont entrepris une étude contrôlée sur le rêve, dans laquelle ils ont incité des personnes à rêver de quelque chose de spécifique, comme un arbre.

Ils ont recruté 50 personnes pour une "étude sur la sieste" de l'après-midi - intitulé qui a vraisemblablement attiré les personnes qui aiment faire la sieste, bien que les chercheurs n'aient en fait demandé qu'à la moitié des participants de dormir dans le cadre de l'étude. Alors qu'ils portaient Dormio, les participants se sont endormis et l'application liée à Dormio leur a demandé de "penser à un arbre" ou de "penser à observer leurs pensées". Une à cinq minutes plus tard, l'application les réveillait en leur demandant de raconter leur rêve. Ce cycle s'est répété pendant 45 minutes, produisant en moyenne cinq récits de rêve par personne. Les personnes à qui l'on a demandé de rester éveillées ont laissé leur esprit vagabonder tout en recevant des instructions similaires. (Les chercheurs ont créé une version simplifiée de ce protocole d'incubation de rêves, accessible sur le web, que vous pouvez essayer chez vous).

Parmi les siesteurs qui ont reçu l'instruction sur les arbres, tous sauf un ont déclaré avoir rêvé d'arbres ou de parties d'arbres, alors qu'une seule personne parmi les siesteurs ayant reçu l'instruction plus générale l'a fait. L'un d'entre eux a décrit des "arbres se divisant en une infinité de morceaux" et s'est retrouvé dans le désert avec "un chaman assis sous l'arbre avec moi".

Les participants ont ensuite passé trois tests de créativité : Ils ont écrit une histoire créative dans laquelle figurait le mot "arbre". Ils ont énuméré "toutes les utilisations alternatives créatives" qu'ils pouvaient imaginer pour un arbre. Enfin, ils ont écrit le premier verbe qui leur venait à l'esprit pour chacun des 31 noms qui se rapportaient, plus ou moins, aux arbres. La créativité des réponses a été évaluée par des personnes qui ne savaient pas qui faisait la sieste ou qui avait reçu l'invitation à parler d'un arbre. Ces évaluations ont été combinées en un indice de créativité globale.

Les personnes ayant fait la sieste et qui avaient reçu l'indice de l'arbre ont obtenu les scores de créativité les plus élevés. "Il existe un lien objectif et expérimental entre l'incubation d'un rêve spécifique et la créativité post-sommeil autour de ce sujet", explique Haar Horowitz. "Cela valide des siècles de rapports anecdotiques de personnes qui se trouvent dans l'espace créatif.

En outre, plus une personne fait référence à des arbres, plus son score de créativité est élevé. "Plus vous rêvez d'un arbre, meilleures sont vos performances ultérieures", explique Kathleen Esfahany, étudiante de premier cycle au M.I.T., qui a codirigé l'étude avec Haar Horowitz. Les personnes semblent utiliser leurs rêves pour trouver des idées pour ces tâches, ajoute Kathleen Esfahany. Par exemple, une personne ayant rêvé que son corps était en bois a écrit une histoire sur un "roi chêne" qui portait une "couronne de feuilles" et dont le corps était tantôt "en bois", tantôt "en lumière".

L'ensemble de ces données indique que le rêve pendant N1 est un ingrédient actif de la créativité, comme l'ont supposé les chercheurs. "Il s'agit d'une étude pionnière", déclare Tore Nielsen, chercheur sur le rêve à l'Université de Montréal, qui n'a pas participé à l'étude. "Personne n'a démontré expérimentalement que le fait de rêver de quelque chose au début du sommeil est en fait lié à la créativité qui s'ensuit.

Nielsen et d'autres chercheurs estiment que l'étude est de petite envergure et qu'elle doit être reproduite. En outre, les résultats des tâches de créativité individuelles (par opposition au résultat composite) n'étaient pas significativement plus élevés chez les personnes qui ont fait une sieste guidée que chez celles qui n'ont pas été guidées, explique Penny Lewis, neuroscientifique à l'université de Cardiff au Pays de Galles, qui n'a pas participé à l'étude. "Je pense que leurs données montrent de manière convaincante que le fait de passer un certain temps dans le stade 1 du sommeil - c'est-à-dire le sommeil très léger qui se produit lorsque vous vous endormez - conduit à de meilleures performances dans ces trois tâches", explique Penny Lewis. Mais l'idée "que l'incitation conduit à ces effets devrait être traitée avec prudence parce que les statistiques ne sont pas très solides".

Une mesure objective et automatisée de la créativité, nommée "distance sémantique", indiquait qu'une brève sieste favorise l'inventivité, mais qu'il n'y a pas d'avantage supplémentaire lorsqu'on ajoutait une incitation à l'idée d'un arbre. Dans cette mesure, un ordinateur évalue la similarité des paires de mots produites dans chaque tâche de créativité, une similarité moindre étant liée à une plus grande créativité. Néanmoins, cette mesure laisse entrevoir un mécanisme de stimulation de la créativité au cours de la période N1. "Elle suggère que les gens sont capables de faire des associations plus éloignées et donc de trouver des ponts [conceptuels] qu'ils n'auraient pas pu découvrir autrement", explique M. Schooler.

L'étude ne portait que sur un seul motif, impliquant un arbre, de sorte que le système doit être testé sur d'autres sujets et éventuellement utilisé pour résoudre des problèmes réels. "C'est passionnant car, en principe, il s'agit d'une technologie que les gens pourraient utiliser eux-mêmes pour stimuler leur propre créativité", explique M. Schooler.

Il semble que les personnes désireuses de l'essayer ne manquent pas. "Des gens très différents sont venus frapper à la porte du laboratoire et ont demandé à faire des rêves", déclare Haar Horowitz.

Auteur: Internet

Info: https://www.scientificamerican.com/. Par Ingrid Wickelgren, 15 mai 2023

[ subconscient ]

métadonnées à valeur ajoutée MVA

"Ils profitent de notre pauvreté" : derrière le boom des intelligences artificielles génératives, le travail caché des petites mains de l'IA 

(Photo : Une masse d'hommes et de femmes invisibles, partout dans le monde, analysent des quantités colossales de données pour améliorer, caratériser et contextualiser les intelligences artificielles. )

La création d'algorithmes tels que ChatGPT ou Midjourney nécessite des quantités colossales de données, analysées par des humains. Des "annotateurs" indispensables mais souvent précaires, faiblement rémunérés et maintenus dans l'ombre.

"Des descriptions graphiques de viol, d'inceste, de nécrophilie... C'était ça tous les jours."  En 2021, Mophat Okinyi doit relire chaque jour plusieurs centaines de textes fournis à l'entreprise de traitement de données Sama par un client inconnu, pour entraîner un modèle d'intelligence artificielle (IA). L'objectif : préciser au logiciel ce qui pose problème dans ces textes, pour qu'il ne le reproduise pas.

Un travail rémunéré 21 000 shillings kenyans par mois (environ 150 euros) pour les employés du bas de l'échelle dont Mophat contrôlait l'activité. Cela a laissé chez lui des traces à vie. "Encore aujourd'hui, ça affecte mes relations avec ma famille, mes proches", explique l'analyste qualité kenyan. La mission qu'il décrit rappelle l'horreur à laquelle sont souvent confrontés les modérateurs des réseaux sociaux et répondait en fait, comme il le découvrira plus tard, à une commande de la start-up à la pointe de l'IA à l'origine de ChatGPT : OpenAI.

Le cas de Mophat Okinyi, extrême sous certains aspects, n'est pas non plus un exemple isolé, car derrière les grands discours de révolution technique se cache une masse de travailleurs invisibles dont les rangs se comptent en centaines de millions, selon des estimations. "On n'est pas du tout en train de créer des programmes qui se passent de l'humain, résume Antonio Casilli, professeur à l'Institut polytechnique de Paris. L'IA demande une quantité de travail humain énorme et absolument indispensable, dans toute la chaîne de production".

La majorité de cette masse humaine est très loin des grands patrons ou des ingénieurs renommés. Elle est constituée d'une armada de travailleurs anonymes éclatée à travers le monde, du Venezuela à Madagascar en passant par des camps de réfugiés au Liban et des prisons finlandaises. Des petites mains qui construisent le futur clic après clic, souvent dans un secret et une précarité bien gardés.

Cliquer encore et encore

Le prix de cette modernité ? Aux Philippines, entre 1,50 et 3 dollars par "tâche". C'est ce que la plateforme de travailleurs indépendants Remotasks verse en moyenne à Eduardo* pour placer, clic par clic, pixel par pixel, les contours qui délimitent sur une image un panneau de signalisation. Puis un véhicule. Puis un buisson. Une "tâche" qui lui prend en général une heure ou moins et qu'il répète inlassablement, huit heures par jour, six jours par semaine. Ces images serviront ensuite à entraîner des algorithmes d'analyse vidéo, par exemple pour les voitures autonomes ou la surveillance algorithmique. "C'est un travail intéressant", assure à franceinfo le jeune Philippin, qui travaille sur la plateforme depuis un peu plus de trois ans. Tout le monde ne sera pas du même avis, mais sans lui, l'appareil photo de votre smartphone aurait beaucoup de mal à identifier un visage, et la conduite semi-autonome de Tesla serait encore un rêve de science-fiction. Et vous-même y avez déjà contribué.

Que ce soit en laissant un "j'aime" sur Facebook ou en identifiant les images contenant une voiture dans un test captcha, vos retours participent à entraîner des algorithmes gratuitement depuis des années. Mais pour créer les IA qui ont bluffé le monde ces derniers mois, comme ChatGPT ou Midjourney, il faut des milliards d'exemples. Des données qui doivent souvent être "annotées", autrement dit accompagnées de commentaires, pour que la machine reproduise les catégories d'analyse de l'humain : faire comprendre que "ce tas de pixels est un enfant", que "cette phrase est fausse" ou que "cet élément évoque des comportements illégaux et ne doit pas être reproduit".

Et l'entraînement ne s'arrête jamais. "C'est un peu comme des athlètes, compare Antonio Casilli. Il faut constamment les entraîner, les adapter, les vérifier". Il s'agit d'évaluer les réponses, en soumettant aux IA des exemples toujours plus précis ou adaptés au nouveau contexte culturel. Autant de tâches qu'il est actuellement impossible d'automatiser.

"Ce n'est pas suffisant, mais c'est déjà quelque chose"

Astro* est l'un de ces nouveaux "entraîneurs d'IA". L'entrepreneur originaire de Tanzanie, qui a récemment terminé ses études de linguistique en France, réalise des tâches en indépendant à temps partiel via la plateforme Appen. "Il faut parfois isoler un visage dans une photo, dire si une image devrait apparaître dans la rubrique Souvenirs de Google Photos, si un texte est factuel ou non, créer des questions/réponses de culture générale...", explique-t-il à franceinfo. Il doit pour cela suivre des règles souvent très détaillées ("Cinquante pages à apprendre par cœur !"), au point d'en devenir parfois obscures. A la clé : 16 dollars de l'heure sur ses projets actuels. "Plus tu travailles, plus tu gagnes", explique l'indépendant. Mais encore faut-il être sélectionné pour participer au projet.

A l'autre bout du spectre, des entreprises embauchent des annotateurs en interne, notamment pour des tâches qui nécessitent une expertise précise. Mais pour nombre d'entre elles, la solution la plus rentable est souvent la sous-traitance : à des entreprises dans d'autres pays qui embauchent des annotateurs localement, comme Sama, ou encore à des plateformes comme Remotasks, Appen ou Toloka, qui transfèrent les missions à des travailleurs indépendants payés à la "micro-tâche".

"Ces travailleurs sont souvent recrutés dans des pays à faibles revenus, et géopolitiquement instables." Antonio Casilli, professeur à l'Institut polytechnique de Paris

A ces critères, Antonio Casilli ajoute des taux d'éducation et d'équipement informatique importants, l'existence d'une industrie de centres d'appels ou des relations fortes avec une ancienne puissance coloniale. Plusieurs noms de pays reviennent souvent : les Philippines, Madagascar, le Kenya, le Venezuela, le Pakistan…

Dans ces pays, un tel travail représente souvent un filet de sécurité précieux. "Ce n'est pas une source de travail fixe ou suffisante, mais c'est au moins quelque chose, résume Maria*. La crise économique au Venezuela a forcé beaucoup d'entre nous à quitter le marché du travail", raconte à franceinfo l'ingénieure industrielle, qui s'est lancée sur Remotasks à la faveur du confinement, en 2020. Après avoir suivi une formation, elle travaille aujourd'hui trois jours par semaine sur la plateforme, à raison de 10 heures par jour.

Pour quel salaire ? "Les tâches de catégorisation données par Remotasks au Venezuela peuvent prendre seulement quelques minutes et être payées 11 centimes de dollar, détaille Maria. D'autres beaucoup plus complexes peuvent durer huit heures ou plus, comme l'annotation de vidéos ou de données lidar, et être payées 10 dollars." Mais tout dépend du pays et de la difficulté de la tâche. Un "eldorado" relatif qui attire, y compris parfois des mineurs qui mentent sur leur âge pour rejoindre ces plateformes de micro-tâches, raconte le site spécialisé Wired. 

Précarité et dépendance

Mais ces espoirs ne suffisent pas à en faire un emploi de rêve. Même si une tâche peut être payée correctement par rapport au marché local, les travailleurs du clic déplorent souvent la différence de traitements entre les pays. "Les entreprises profitent de notre pauvreté", estime Andry*, annotateur à Madagascar, pour qui "un agent en Inde ou au Maroc sera mieux payé que nous". Le mode de calcul des rémunérations n'est jamais précisément expliqué.

"Il y a clairement une forme de néo-colonialisme."

Antonio Casilli, professeur à l'Institut polytechnique de Paris

Pour gagner des sommes correctes, les indépendants doivent être disponibles à toute heure du jour et de la nuit et s'adapter à des projets aux durées variables. "Sur Appen, les tâches arrivent à l'heure américaine, donc vers 21 heures en France", explique par exemple Astro*. "Sur une autre plateforme, j'ai reçu une tâche vendredi vers 19 heures, j'ai travaillé 45 heures sur le week-end, j'ai gagné 1 200 euros", résume Astro, qui dit apprécier le travail de nuit. 

Ce que certains voient comme une "opportunité professionnelle" peut aussi se transformer en piège. En Chine, des établissements promettent à leurs étudiants une formation en "IA" ou en "Big data", mais les forcent à annoter des images toute la journée pour un salaire inférieur au minimum légal, raconte le média Rest of World. Cette pratique n'est pas spécifique à la Chine, assure Antonio Casilli, qui cite également l'exemple de Madagascar.

"L'IA ne peut pas être éthique si elle est entraînée de façon immorale"

A qui profite ce travail souvent ingrat, parfois à la frontière de l'éthique ? Difficile de le savoir : l'industrie baigne dans un épais voile de secret, et comme dans le cas de Mophat Okinyi, les annotateurs indépendants savent rarement à qui sont destinées les données qu'ils traitent. "Je sais que le client est au Japon, mais c'est tout. On ne nous a rien dit sur eux", note Eduardo* à propos d'une de ses missions d'annotation, fournie par Remotasks aux Philippines.

"Les entreprises d'IA expliquent que si elles étaient pleinement transparentes sur leurs besoins en données, cela pourrait donner des indices sur leurs projets en cours et influencer les réponses des contributeurs", résume Antonio Casilli d'un ton sceptique. "Elles veulent échapper à leurs responsabilités", assène Mophat Okinyi, qui ne savait pas que son travail servirait à OpenAI avant la fin anticipée du contrat, à la demande de Sama, en mars 2022. 

"Si les annotateurs savaient qu'ils travaillent pour une entreprise qui génère des centaines de millions de dollars comme OpenAI, ils n'accepteraient pas des salaires si bas." Mophat Okinyi, ex-analyste qualité chez Sama

Ce travail peut-il être organisé de manière à satisfaire tout le monde, géants de la tech comme travailleurs du clic ? "Il faut plus de transparence, les entreprises basées à San Francisco doivent prendre leurs responsabilités", réclame Mophat Okinyi. Il s'est associé à 150 travailleurs du secteur de l'annotation et de la modération des plateformes pour créer l'Union des modérateurs de contenus du Kenya, qui devrait être autorisée "dans les deux mois", et a cofondé l'ONG Techworker Community Africa pour militer en faveur de meilleurs pratiques. "L'IA ne peut pas être éthique si elle est entraînée de façon immorale, en exploitant des gens en difficulté économique et sur des données volées", assène-t-il.

"Beaucoup de gens ne savent pas qu'il y a de l'humain derrière l'IA. Il faudrait que ce soit plus connu, et mieux payé." Astro, annotateur de données

Pour Antonio Casilli, il faut commencer par oublier l'idée que l'IA est seulement une prouesse d'ingénieurs ou d'entrepreneurs. " Nous sommes tous en quelque sorte les producteurs de ces IA, parce que ce sont nos données qui servent à les entraîner, mais nous ne sommes pas reconnus comme tels. Tant qu'on continuera à penser que l'IA est seulement l'affaire de Sam Altman, on aura un problème."

* Les prénoms suivis d'un astérisque ont été modifiés.

Auteur: Internet

Info: Francetvinfo.fr - Luc Chagnon, 9 avril 2024

[ texte-image ] [ homme-machine ] [ données intelligentes ] [ enrichies ] [ nord-sud ] [ domination économique ] [ data augmenté ] [ bases sémantiques ] [ post-colonialisme ]

tour d'horizon de l'IA

Intelligence artificielle symbolique et machine learning, l’essor des technologies disruptives

Définie par le parlement Européen comme la " reproduction des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ", l’intelligence artificielle s’initie de façon spectaculaire dans nos vies. Théorisée au milieu des années 50, plusieurs approches technologiques coexistent telles que l’approche machine learning dite statistique basée sur l’apprentissage automatique, ou l’approche symbolique basée sur l’interprétation et la manipulation des symboles. Mais comment se différencient ces approches ? Et pour quels usages ?

L’intelligence artificielle, une histoire ancienne

Entre les années 1948 et 1966, l’Intelligence Artificielle a connu un essor rapide, stimulé par des financements importants du gouvernement américain pour des projets de recherche sur l’IA, notamment en linguistique. Des progrès significatifs ont été réalisés dans la résolution de problèmes de logique symbolique, mais la capacité de l’IA à traiter des données complexes et imprécises était encore limitée.

A la fin des années 70, plus précisément lors du deuxième “été de l’IA” entre 1978 et 1987,  l’IA connaît un regain d’intérêt. Les chercheurs ont commencé à explorer de nouvelles approches, notamment l’utilisation de réseaux neuronaux et de systèmes experts. Les réseaux neuronaux sont des modèles de traitement de l’information inspirés par le fonctionnement du cerveau humain, tandis que les systèmes experts sont des programmes informatiques qui simulent l’expertise humaine dans un domaine spécifique.

Il faudra attendre la fin des années 90 pour voir un renouveau de ces domaines scientifiques, stimulé par des avancées majeures dans le traitement des données et les progrès de l’apprentissage automatique. C’est d’ailleurs dans cette période qu’une IA, Deepblue, gagne contre le champion mondial Garry Kasparov aux échecs.$

Au cours des dernières années, cette technologie a connu une croissance exponentielle, stimulée par des progrès majeurs dans le deep learning, la robotique ou la compréhension du langage naturel (NLU). L’IA est maintenant utilisée dans un large éventail de domaines, notamment la médecine, l’agriculture, l’industrie et les services. C’est aujourd’hui un moteur clé de l’innovation et de la transformation de notre monde, accentué par l’essor des generative AIs. 

Parmi ces innovations, deux grandes approches en intelligence artificielle sont aujourd’hui utilisées : 

1 - Le Machine Learning : qui est un système d’apprentissage automatique basé sur l’exploitation de données, imitant un réseau neuronal

2 - L’IA Symbolique : qui se base sur un système d’exploitation de " symboles ”, ce qui inspire des technologies comme le “système expert” basé sur une suite de règles par exemple.

Mais comment fonctionnent ces deux approches et quels sont leurs avantages et leurs inconvénients ? Quels sont leurs champs d’application ? Peuvent-ils être complémentaires ?

Le machine learning

Le Machine Learning est le courant le plus populaire ces dernières années, il est notamment à l’origine de ChatGPT ou bien MidJourney, qui font beaucoup parler d’eux ces derniers temps. Le Machine Learning (ML) est une famille de méthodes d’apprentissage automatique qui permet aux ordinateurs d’apprendre à partir de données, sans être explicitement programmés. En utilisant des algorithmes, le ML permet aux ordinateurs de comprendre les structures et les relations dans les données et de les utiliser pour prendre des décisions.

Le ML consiste à entraîner des modèles informatiques sur de vastes ensembles de données. Ces modèles sont des algorithmes auto apprenant se basant sur des échantillons de données, tout en déterminant des schémas et des relations/corrélations entre elles. Le processus d’entraînement consiste à fournir à l’algorithme des données étiquetées, c’est-à-dire des données qui ont déjà été classifiées ou étiquetées pour leur attribuer une signification. L’algorithme apprend ensuite à associer les caractéristiques des données étiquetées aux catégories définies en amont. Il existe cependant une approche non-supervisée qui consiste à découvrir ce que sont les étiquettes elles-mêmes (ex: tâche de clustering).

Traditionnellement, le machine learning se divise en 4 sous-catégories : 

Apprentissage supervisé : 

Les ensembles de données sont étiquetés, ce qui permet à l’algorithme de trouver des corrélations et des relations entre les caractéristiques des données et les étiquettes correspondantes. 

Apprentissage non supervisé : 

Les ensembles de données ne sont pas étiquetés et l’algorithme doit découvrir les étiquettes par lui-même. 

Apprentissage semi-supervisé : 

L’algorithme utilise un mélange de données étiquetées et non étiquetées pour l’entraînement.

Apprentissage par renforcement : 

L’algorithme apprend à prendre des décisions en interagissant avec son environnement. Il reçoit des récompenses ou des pénalités pour chaque action, ce qui lui permet d’ajuster sa stratégie pour maximiser sa récompense globale.

Un exemple d’application du Machine Learning est la reconnaissance d’images. Des modèles d’apprentissages profonds sont entraînés sur des millions d’images pour apprendre à reconnaître des objets, des personnes, des animaux, etc. Un autre exemple est la prédiction de la demande dans le commerce de détail, où des modèles sont entraînés sur des données de ventes passées pour prédire les ventes futures.

Quels sont les avantages ? 

Étant entraîné sur un vaste corpus de données, le ML permet de prédire des tendances en fonction de données.  

- Le machine learning offre la capacité de détecter des tendances and des modèles dans les données qui peuvent échapper à l’observation humaine.

- Une fois configuré, le machine learning peut fonctionner de manière autonome, sans l’intervention humaine. Par exemple, dans le domaine de la cybersécurité, il peut surveiller en permanence le trafic réseau pour identifier les anomalies.

- Les résultats obtenus par le machine learning peuvent s’affiner et s’améliorer avec le temps, car l’algorithme peut apprendre de nouvelles informations et ajuster ses prédictions en conséquence.

- Le machine learning est capable de traiter des volumes massifs et variés de données, même dans des environnements dynamiques et complexes.

L’intelligence artificielle symbolique

L’IA symbolique est une autre approche de l’intelligence artificielle. Elle utilise des symboles and des règles de traitement de l’information pour effectuer des tâches. Les symboles peuvent être des concepts, des objets, des relations, etc. Les règles peuvent être des règles de déduction, des règles de production, des règles d’inférence…etc.

Un exemple d’application de l’IA symbolique est le système expert. Un système expert est un programme informatique qui utilise des règles de déduction pour résoudre des problèmes dans un domaine spécifique, comme le diagnostic médical ou l’aide à la décision en entreprise. Un autre exemple est la traduction automatique basée sur des règles, les règles de grammaire et de syntaxe sont utilisées pour traduire un texte d’une langue à une autre.

Quelques exemples d’usages de l’IA symbolique :

La traduction

L’IA symbolique a été utilisée pour développer des systèmes de traduction automatique basés sur des règles. Ces systèmes utilisent des règles de grammaire et de syntaxe pour convertir un texte d’une langue à une autre. Par exemple, le système SYSTRAN, développé dans les années 1960, est un des premiers systèmes de traduction automatique basé sur des règles. Ce type de système se distingue des approches basées sur le Machine Learning, comme Google Translate, qui utilisent des modèles statistiques pour apprendre à traduire des textes à partir de corpus bilingues.

Le raisonnement logique

L’IA symbolique est également utilisée pour développer des systèmes capables de raisonnement logique, en exploitant des règles et des connaissances déclaratives pour résoudre des problèmes complexes. Par exemple, les systèmes d’aide à la décision basés sur des règles peuvent être utilisés dans des domaines tels que la finance, l’assurance ou la logistique, pour aider les entreprises à prendre des décisions éclairées. Un exemple concret est le système MYCIN, développé dans les années 1970 pour aider les médecins à diagnostiquer des infections bactériennes et à prescrire des antibiotiques adaptés.

L’analyse de textes

L’IA symbolique peut être utilisée pour l’analyse de textes, en exploitant des règles et des connaissances linguistiques pour extraire des informations pertinentes à partir de documents. Par exemple, les systèmes d’extraction d’information basés sur des règles peuvent être utilisés pour identifier des entités nommées (noms de personnes, d’organisations, de lieux, etc.) et des relations entre ces entités dans des textes. Un exemple d’application est l’analyse et la catégorisation des messages entrants pour les entreprises, cœur de métier de Golem.ai avec la solution InboxCare.

Les avantages de l’IA symbolique 

L’IA symbolique est une approche qui utilise des symboles, et parfois des " règles” basées sur des connaissances, qui comporte plusieurs avantages :

- Explicablilité : Les décisions prises par les systèmes d’IA symbolique sont explicites et peuvent être expliquées en fonction des règles logiques et des connaissances déclaratives utilisées par le système. Cette transparence peut être essentielle dans des applications critiques, comme la médecine ou la défense.

- Frugalité : Contrairement au Machine Learning, l’IA symbolique ne nécessite pas d’entraînement, ce qui la rend moins gourmande en énergie à la fois lors de la conception et de l’utilisation.

- Adaptabilité : Les systèmes d’IA symbolique peuvent être facilement adaptés à de nouveaux domaines en ajoutant de nouvelles règles logiques et connaissances déclaratives à leurs bases de connaissances existantes, leurs permettant de s’adapter rapidement à de nouvelles situations.

L’intelligence artificielle hybride ou le neuro-symbolique 

Les systèmes hybrides combinent les avantages de l’IA symbolique et du Machine Learning en utilisant une approche mixte. Dans ce type de système, l’IA symbolique est utilisée pour représenter les connaissances et les règles logiques dans un domaine spécifique. Les techniques de Machine Learning sont ensuite utilisées pour améliorer les performances de l’IA symbolique en utilisant des ensembles de données pour apprendre des modèles de décision plus précis et plus flexibles. Mais nous pouvons également voir d’autres articulations comme la taxonomie de Kautz par exemple.

L’IA symbolique est souvent utilisée dans des domaines où il est important de comprendre et de contrôler la façon dont les décisions sont prises, comme la médecine, la finance ou la sécurité. En revanche, le Machine Learning est souvent utilisé pour des tâches de classification ou de prédiction à grande échelle, telles que la reconnaissance de voix ou d’image, ou pour détecter des modèles dans des données massives.

En combinant les deux approches, les systèmes hybrides peuvent bénéficier de la compréhensibilité et de la fiabilité de l’IA symbolique, tout en utilisant la flexibilité et la capacité de traitement massif de données du Machine Learning pour améliorer la performance des décisions. Ces systèmes hybrides peuvent également offrir une plus grande précision et un temps de réponse plus rapide que l’une ou l’autre approche utilisée seule.

Que retenir de ces deux approches ?

L’Intelligence Artificielle est en constante évolution et transforme de nombreux secteurs d’activité. Les deux approches principales de l’IA ont leurs avantages et inconvénients et peuvent être complémentaires. Il est donc crucial pour les entreprises de comprendre ces technologies pour rester compétitives. 

Cependant, les implications éthiques et sociales de l’IA doivent également être prises en compte. Les décisions des algorithmes peuvent avoir un impact sur la vie des personnes, leur travail, leurs droits et leurs libertés. Il est donc essentiel de mettre en place des normes éthiques et des réglementations pour garantir que l’IA soit au service de l’humanité. Les entreprises et les gouvernements doivent travailler ensemble pour développer des IA responsables, transparentes et équitables qui servent les intérêts de tous. En travaillant ensemble, nous pouvons assurer que l’IA soit une force positive pour l’humanité dans les années à venir. 



 

Auteur: Merindol Hector

Info: https://golem.ai/en/blog/technologie/ia-symbolique-machinelearning-nlp - 4 avril 2023

[ dualité ]

mort imminente

Pourquoi les mourants sont souvent pris d'un accès de lucidité

De nouvelles recherches révèlent des niveaux d'activité surprenants dans les cerveaux des mourants et peuvent contribuer à expliquer la clarté soudaine que ressentent de nombreuses personnes atteintes de démence à l'approche de la mort.

Longtemps au centre des préoccupations des religions, de la philosophie et de la littérature du monde entier, l'expérience consciente de la mort a récemment fait l'objet d'une attention croissante de la part de la science. Cela se produit alors que les progrès de la médecine étendent la capacité de maintenir le corps en vie, ouvrant progressivement une fenêtre sur l'ultime pièce fermée à clé : les derniers instants de vie d'un esprit humain.

"Vers 1959, l'homme a découvert une méthode pour faire redémarrer le cœur de personnes qui seraient mortes, et nous avons appelé cela la réanimation cardio-pulmonaire", explique Sam Parnia, médecin en soins intensifs à la NYU Langone Health. Sam Parnia a étudié les souvenirs des personnes réanimées à la suite d'un arrêt cardiaque, des phénomènes qu'il qualifie d'"expériences rappelées entourant la mort". Avant la mise au point des techniques de réanimation cardio-pulmonaire, l'arrêt cardiaque était pratiquement synonyme de mort. Aujourd'hui, les médecins peuvent réanimer certaines personnes jusqu'à 20 minutes ou plus après que leur cœur a cessé de battre. En outre, selon M. Parnia, de nombreuses cellules cérébrales restent intactes pendant des heures, voire des jours, après la mort, ce qui remet en question notre idée d'une frontière rigide entre la vie et la mort.

Les progrès de la technologie médicale et des neurosciences, ainsi que les changements de perspective des chercheurs, sont en train de révolutionner notre compréhension du processus de mort. Les recherches menées au cours de la dernière décennie ont mis en évidence une augmentation de l'activité cérébrale chez les humains et les animaux victimes d'un arrêt cardiaque. Dans le même temps, de vastes enquêtes documentent les périodes de lucidité apparemment inexplicables dont le personnel des hospices et les familles endeuillées déclarent souvent avoir été témoins chez les personnes atteintes de démence qui sont en train de mourir. Le poète Dylan Thomas a adressé à ses lecteurs le célèbre avertissement suivant : "Ne t'endors pas doucement dans cette bonne nuit. Rage, rage contre l'extinction de la lumière". Mais à mesure que l'on consacre davantage de ressources à l'étude de la mort, il apparaît de plus en plus clairement que la mort n'est pas un simple affaiblissement de la lumière interne de la conscience, mais plutôt un processus incroyablement actif dans le cerveau.

QU'EST-CE QUE LA LUCIDITÉ TERMINALE ?

Depuis des décennies, les chercheurs, les soignants des hospices et les membres des familles stupéfaits observent avec effroi les personnes atteintes de la maladie d'Alzheimer ou d'autres formes de démence qui retrouvent soudainement leurs souvenirs et leur personnalité juste avant de mourir. Pour les membres de leur famille, cela peut ressembler à une seconde vie, mais pour de nombreux professionnels de la santé expérimentés, cela peut être le signe que la fin est proche. Christopher Kerr, directeur général et médecin en chef du Center for Hospice and Palliative Care à Buffalo, dans l'État de New York, a étudié les visions lucides de plusieurs centaines de malades en phase terminale. Il affirme que ces événements "se produisent généralement dans les derniers jours de la vie". Selon Andrew Peterson, de l'université George Mason, chercheur en bioéthique et en conscience, coauteur d'une étude sur ce phénomène commandée par les National Institutes of Health, cette "lucidité terminale" se définit comme le retour inattendu de facultés cognitives telles que la parole et la "connexion" avec d'autres personnes.

Cette connectivité va au-delà du retour de la capacité de communication et de la conscience de la situation perdues. Une chose qui semble être très profonde pour les membres de la famille qui observent la lucidité est l'émergence de ce que nous appelons l'"ancien moi"", explique Peterson. "Il semble évident qu'ils sont conscients non seulement de leur environnement, mais aussi de leurs relations avec les autres, qu'il s'agisse de l'utilisation d'un surnom ou d'une référence à une plaisanterie de longue date.

Aussi surprenants que ces événements puissent paraître, ils sont assez courants. "Notre étude n'était pas une étude de prévalence", précise Jason Karlawish, gérontologue au Penn Memory Center et chercheur principal de l'étude des NIH. Néanmoins, ajoute-t-il, "nous avons constaté que la lucidité était plus fréquente qu'exceptionnelle chez les patients atteints de démence, ce qui suggère que l'idée qu'elle se passe en phase terminale n'est pas tout à fait correcte". Il suggère plutôt de considérer les épisodes de lucidité comme faisant partie de "l'expérience de la maladie" plutôt que comme des événements aberrants. "Nous avons en fait constaté que plusieurs de ces épisodes se sont produits des mois, voire des années, avant le décès de la personne", note M. Karlawish. Malgré cela, de nombreux experts, dont Kerr et Parnia, s'accordent à dire que la plupart de ces épisodes sont associés à l'approche de la mort. "C'est un peu comme s'ils se préparaient à mourir", dit Parnia.

Les implications potentielles de ces résurgences cognitives temporaires et généralisées sont profondes. "Cela suggère qu'il peut y avoir des réseaux neuronaux restants, et/ou des voies et des fonctions neuronales, qui pourraient aider à restaurer les capacités cognitives de personnes que nous pensons être définitivement déficientes", explique Peterson.

Néanmoins, la recherche sur ce phénomène n'en est qu'à ses débuts. "Nous ne savons pas vraiment ce qui se passe dans le cerveau pendant le processus de mort et qui pourrait, d'une manière ou d'une autre, être lié à ces épisodes", explique M. Peterson. Malgré cette incertitude, d'autres recherches sur l'activité cérébrale à l'approche ou au moment de la mort pourraient permettre aux scientifiques et aux cliniciens de mieux comprendre certains des processus qui se déroulent dans le cerveau malade et mourant.

QUE SE PASSE-T-IL DANS LE CERVEAU AU MOMENT DE LA MORT ?

Dans une étude publiée en mai dans Proceedings of the National Academy of Sciences USA, des chercheurs de l'université du Michigan ont observé un regain d'activité cérébrale organisée chez deux personnes comateuses sur quatre qui subissaient un arrêt cardiaque après avoir été débranchées de leur respirateur artificiel. Ces travaux s'appuient sur plus d'une décennie de recherche sur les animaux, notamment une étude PNAS de 2013 qui a révélé une augmentation similaire de l'activité cérébrale synchronisée chez des rats exposés à une toxine cardiaque et une étude de 2015 dans laquelle des rats ont été tués par asphyxie. Dans toutes ces études, les chercheurs ont constaté que l'activité des ondes gamma augmentait dans les premières minutes de l'arrêt cardiaque, puis cessait. Les ondes gamma sont une fréquence d'ondes cérébrales typiquement associée à l'éveil, à la vigilance et à la mémoire.

Jimo Borjigin, neurologue et professeur agrégé de physiologie moléculaire et intégrative à l'université du Michigan, a participé aux trois études. La poussée d'ondes gamma chez les sujets mourants était particulièrement intense dans une région du cerveau que Borjigin appelle la "zone chaude corticale postérieure", située près de l'arrière du crâne. D'autres chercheurs pensent que cette région pourrait également être essentielle à l'expérience consciente. Les parties du cerveau situées dans cette zone sont liées à la perception visuelle, auditive et du mouvement, un phénomène qui, selon Mme Borjigin, est impliqué dans les expériences extracorporelles rapportées par les personnes qui ont frôlé la mort et s'en sont remises. Elle ajoute que les modèles d'activation des ondes gamma, semblables à ceux observés chez les personnes comateuses, sont associés à des activités qui incluent la reconnaissance d'une image familière, telle qu'un visage humain, chez les personnes en bonne santé.

Dans les études humaines et animales, le cerveau des sujets a montré un pic d'activité après la réduction soudaine de l'apport en oxygène, explique Mme Borjigin. "Il commence à activer ce mécanisme homéostatique pour récupérer de l'oxygène, soit en respirant plus fort, soit en accélérant le rythme cardiaque", ajoute-t-elle. Mme Borjigin émet l'hypothèse qu'une grande partie de l'augmentation de l'activité cérébrale plus complexe observée chez les humains et les animaux en arrêt cardiaque résulte également du fait que le cerveau tente de rétablir l'homéostasie, ou l'équilibre biologique, après avoir détecté un manque d'oxygène. Elle suppose en outre que ces mécanismes de survie peuvent être impliqués dans d'autres changements cognitifs entourant la mort. "Je pense que la lucidité terminale des patients atteints de démence peut être due à ce type d'efforts ultimes du cerveau" pour se préserver lorsque les systèmes physiologiques sont défaillants, explique Mme Borjigin.

M. Parnia, de NYU Langone, pense lui aussi que la réaction du cerveau à la perte d'oxygène est au moins partiellement responsable des expériences lucides entourant la mort. Entre 2017 et 2020, Parnia a dirigé une étude appelée AWARE II, dans laquelle les chercheurs ont surveillé l'activité cérébrale de plus de 500 personnes gravement malades aux États-Unis et au Royaume-Uni qui recevaient une réanimation cardio-pulmonaire. Les patients ont été exposés à des stimuli audiovisuels pendant la RCP afin de tester leur mémoire des événements survenus après l'arrêt cardiaque. Ceux qui ont survécu ont ensuite été interrogés sur leur degré de conscience pendant le processus de réanimation. Selon Parnia, un survivant sur cinq a fait état d'expériences lucides survenues après l'arrêt de son cœur. L'équipe AWARE II a également observé un pic inattendu dans l'activité cérébrale pendant la réanimation cardio-pulmonaire. "Dans les 20 secondes qui suivent l'arrêt cardiaque, le cerveau est à plat", explique M. Parnia. Cependant, "généralement dans les cinq minutes qui suivent - mais cela peut être plus long - nous constatons la réapparition d'une période transitoire d'électricité cérébrale". Il ajoute que les fréquences d'activité cérébrale observées sont similaires à celles associées à l'expérience consciente.

Parnia pense que le cerveau mourant perd les mécanismes de suppression habituels qui nous permettent de nous concentrer sur des tâches individuelles au cours de notre vie quotidienne. "Lorsque vous mourez, votre cerveau est privé d'oxygène et de nutriments, et il s'éteint", explique M. Parnia. "Ce processus d'arrêt supprime les freins... et soudain, ce qui semble se produire, c'est qu'il vous donne accès à des parties de votre cerveau auxquelles vous n'avez normalement pas accès.... Toutes vos pensées, tous vos souvenirs ou toutes vos interactions avec les autres sortent. Mais il insiste sur le fait que les expériences des personnes qui subissent un arrêt cardiaque sont lucides et ne sont pas de simples hallucinations. "Ils ne sont pas dans le délire", affirme Parnia à propos des personnes réanimées qu'il a étudiées, et ce qu'ils vivent "n'est pas un rêve ou une hallucination". Bien que ses études précédentes aient porté sur des personnes réanimées gravement malades, Parnia pense que la lucidité terminale chez les personnes comateuses ou atteintes de démence peut être le produit d'un processus similaire. Il participe actuellement à une étude sur ce dernier phénomène.

Les expériences conscientes des mourants n'ont pas encore trouvé d'explication complète. Mais les recherches montrent de plus en plus que la mort est un processus incroyablement actif et complexe - et, ce qui est peut-être plus important, "un processus humanisé", comme le décrit Kerr. Quant aux personnes atteintes de démence, M. Karlawish estime qu'au lieu de supposer que leur conscience a été irrévocablement modifiée, "nous devrions tout de même prêter une attention particulière à leur esprit, car certains aspects sont encore présents, même s'ils peuvent être très endommagés".





 

Auteur: Internet

Info: https://www.scientificamerican.com/article/why-dying-people-often-experience-a-burst-of-lucidity - Jordan Kinard le 12 juin 2023. Jordan Kinard a été stagiaire au sein du service d'opinion de Scientific American. Il est diplômé de l'université de Columbia.

[ homme-animal ] [ dégénérescence présénile ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

hiérarchie cosmique

Les hypercivilisations et l’hypothèse des extraterrestres primitifs

De plus en plus de spécialistes admettent que la vie est partout dans l’Univers et que trois-quatre milliards d’années de conditions favorables, durables sur une planète, assurent l’émergence et le développement d’êtres intelligents et éventuellement la naissance d’une "civilisation technologique", capable de construire des vaisseaux spatiaux, pour voyager vers d’autres planètes habitables.

Ces conditions, bien que rares, se retrouvent en de nombreux endroits dans l’immensité de l’univers. Sur cette base, l’hypothèse extraterrestre est devenue le moyen le plus facile d’expliquer le phénomène OVNI.

D’un autre côté, des ufologues prestigieux, dont le Dr J. Allen Hynek ou Jacques Vallée, ont remis en question cette explication. Avec les sceptiques purs et durs, ils ont mentionné, entre autres, que les distances entre les civilisations sont trop grandes pour de tels voyages cosmiques.

Mais, comme je l’ai soutenu dans mon récent livre "UFOs over Romania", si nous adoptons une approche appropriée, nous découvrirons que les distances les plus importantes entre les civilisations cosmiques ne sont pas celles de l’espace mais celles du temps.

J’ai estimé que, dans l’histoire de notre Galaxie, un certain nombre de civilisations technologiques ont pu voir le jour, dont quelques centaines ont survécu aux maladies infantiles (auxquelles nous sommes confrontés sur Terre) et existent toujours.

Mais ces civilisations ne sont pas apparues simultanément. Par exemple, en juillet 2015, on a annoncé la découverte, à 1 400 années-lumière de la Terre, de l’exoplanète Kepler 452b.

Elle est similaire à la Terre et orbite dans la zone habitable d’une étoile semblable au Soleil. Ce système solaire est plus vieux d’un milliard d’années que le nôtre. Cela signifie que la vie et une éventuelle civilisation technologique pourraient y être apparues un milliard d’années plus tôt que sur Terre.

Plus généralement, les premières civilisations technologiques dans la Voie lactée pourraient apparaître il y a un milliard d’années, ou même avant.

Par conséquent, nous comprenons que les civilisations possibles dans le Cosmos sont très éloignées les unes des autres non seulement dans l’espace, mais aussi dans le temps. Dans notre Galaxie, ces quelques centaines de civilisations survivantes, estimées ci-dessus, sont apparues, très probablement, une fois tous les quelques millions d’années. Par conséquent, dans la Voie lactée, il n’existe aucune civilisation proche de notre niveau.

Qu’adviendra-t-il de notre civilisation (si elle survit) dans des millions (ou des milliards) d’années ? Il est impossible de l’imaginer. Nous n’oublions pas que nous ne sommes pas en mesure de prévoir notre avenir, même dans une perspective de quelques centaines d’années seulement. À quoi ressembleraient les habitants d’une civilisation qui nous aurait devancés de plusieurs millions d’années ?

Peut-être sont-ils devenus immortels, peut-être le temps et l’espace ne comptent-ils pas pour eux, peut-être se sont-ils déplacés dans une réalité virtuelle omniprésente, dans d’autres dimensions, etc. Mais la véritable réponse est très certainement encore plus complexe et défie notre logique et notre imagination. Nous pouvons toutefois accepter qu’ils se soient transformés en quelque chose d’autre, au-delà de notre compréhension, en quelque chose que nous pouvons nommer une "hypercivilisation".

Si quelqu’un considère que nous avons été trop optimistes et que les êtres intelligents sont beaucoup plus rares, nous devrions ajouter que notre Voie lactée n’est qu’une des 150 milliards de galaxies de l’Univers, plus ou moins semblables, accessibles à nos instruments. Et nous avons de fortes raisons de croire qu’il existe aussi d’autres Univers, peut-être des Univers "parallèles", peut-être d’autres états de la matière, ou des parties d’un "Multivers", etc.

La scolarisation et la science-fiction, mais pas seulement, ont fixé nos esprits sur des schémas ignorant complètement la possibilité d’hypercivilisations. Par conséquent, nous sommes confrontés à deux "hypothèses extraterrestres" : la première est ce que nous pourrions appeler "l’hypothèse des extraterrestres primitifs", l’autre celle des hypercivilisations.

L' "hypothèse des extraterrestres primitifs" suppose que toutes les civilisations cosmiques sont plus ou moins au même niveau d’évolution. Elle nourrit donc de fausses idées préconçues telles que : des voyages cosmiques très longs et difficiles, le désir d’atterrir sur la pelouse de la Maison Blanche, l’égalité des droits, la conversation, l’invasion, l’intervention, l’aide et ainsi de suite.

Cette vision primitive est totalement invraisemblable. Si les hypercivilisations existent (et elles existent, avec une probabilité de 99,999999%) elles ont exploité, dans les moindres détails, notre Galaxie, il y a des millions d’années, donc elles connaissent, depuis longtemps, notre existence. Ce raisonnement a conduit Enrico Fermi, quand il a dit, en 1950 : "ils devraient être ici ; où sont-ils ?"

Mais ni lui, ni beaucoup d’autres, n’ont envisagé que des représentants d’hypercivilisations pourraient être ici, parmi nous, mais pourraient avoir une apparence si différente de nos attentes que nous ne pourrions pas les reconnaître. Ce qui nous empêche de les voir, c’est aussi un ensemble de préjugés répandus et profondément enracinés, comme ceux qui suivent.

L’idée préconçue de l’égalité des droits. Une différence de plusieurs millions d’années, voire de centaines de millions, est aussi énorme qu’entre nous et un lézard ou même une fourmi.

S’ils sont là (comme c’est très probable), ils peuvent nous examiner, suivre notre évolution, voire nous contacter sous une forme ou une autre, mais ils ne se mettront jamais au même niveau que nous.

L’idée préconçue de la conversation. En 1959 déjà, Giuseppe Cocconi et Philip Morrison affirmaient que si la différence entre deux civilisations est de plusieurs millions d’années, la probabilité qu’elles puissent échanger des idées est nulle. Nous interagissons parfois avec un lézard ; mais il ne s’agira jamais d’une conversation, disaient-ils.

Le provincialisme temporel (terme utilisé par le Dr J. Allen Hynek). Il affirme qu’en opposition avec les siècles sombres précédents, les trois-quatre cents dernières années nous ont finalement amenés à la lumière de la vérité réelle et de la science.

Dans cette lumière, nous pouvons maintenant décider quels faits peuvent être acceptés et lesquels ne seront jamais possibles. Si, il y a environ cent ans, nous avons commencé à utiliser la radio, certains pensent qu’elle restera à jamais le meilleur moyen de communication.

Si Einstein a postulé il y a cent ans que la vitesse de la lumière est une limite, aucune autre loi physique ne sera découverte jusqu’à la fin des temps pour éviter cette limite, etc.

Comme exemple particulier, nous avons la préconception SETI. Selon elle, même si les signaux radio mettent des milliers d’années à passer d’un monde habité à l’autre, les civilisations cosmiques considéreront que la signalisation par ondes radio sera, pour toujours, le moyen de contact le plus approprié et que nous devons dépenser de l’argent pour les rechercher.

L’idée préconçue de l’invasion. Pour beaucoup de gens, il devrait être normal que si une civilisation cosmique arrive sur Terre, elle tente de nous conquérir par la force. Mais les hypercivilisations savaient probablement, il y a des millions d’années, que nous étions là ; elles pouvaient donc nous envahir à tout moment et, dans un certain sens, elles nous envahissent probablement déjà, depuis des millions d’années. Certains "artefacts déplacés" pourraient en être un indice.

L’idée préconçue d’une intervention et d’une aide. Certains espèrent que les extraterrestres nous aideront (ou du moins certains "élus") à surmonter les catastrophes futures. Mais même nous, si nous découvrons un terrain de valeur, qui a échappé à l’intrusion humaine, nous essayons de le déclarer réserve, ne permettant qu’une intervention très limitée, pour des raisons scientifiques. Cette attitude semble se renforcer avec le temps.

Une hypercivilisation observant la Terre et la civilisation technologique humaine devrait agir de manière similaire, en évitant d’interférer dans notre évolution, mais en prélevant des échantillons, en faisant quelques expériences, en ayant des contacts très limités (pas du tout officiellement ou entre égaux) avec seulement quelques individus, sélectionnés selon leurs critères et non les nôtres.

Par conséquent, aucune installation, aucune destruction, d’une part, et aucun contact officiel, aucune conversation ou aide substantielle, d’autre part, ne sont à attendre des civilisations cosmiques hautement avancées, même si elles sont ici maintenant.

La différence entre une hypercivilisation et nous pourrait être aussi grande que celle entre nous et les fourmis. Les entomologistes qui se proposeraient d’étudier la vie d’une fourmilière essaieraient de perturber, le moins possible, sa vie. Ils pourront bien sûr faire des expériences, en examinant ou en modifiant certaines fourmis, voire en les emmenant dans des laboratoires éloignés, en essayant de créer de nouvelles "races", etc.

Ils essaieront certainement de découvrir, autant que possible, la vie de la fourmilière, mais ne présenteront pas de "références" à la reine des fourmis.

Si les entomologistes disposent de la technologie nécessaire, ils créeront quelques fourmis robots, les enverront dans la fourmilière et observeront depuis un endroit sûr, par exemple "sur l’écran de l’ordinateur", les données qu’elles transmettent. Et si une fourmi robot se perdait dans cette mission, l’incident alourdirait un peu les coûts de la recherche, sans être une tragédie.

Nous pouvons spéculer qu’une hypercivilisation pourrait tenter de réaliser, en utilisant du matériel génétique provenant de la Terre, de nouvelles races, avec un cerveau plus grand, une intelligence supérieure, adaptées à certaines tâches spéciales, etc. Par conséquent, de nombreuses "races" décrites par les prétendus abductés (les gris, les grands blonds, etc.) peuvent être de telles races humaines artificielles ou même des bio-robots dérivés de l’espèce humaine.

Ils peuvent être "produits" par exemple dans des réserves ou des bases situées quelque part en dehors de la Terre. De la même manière, nous créons de nouvelles variétés de blé à partir des variétés traditionnelles. Parfois, la variété de blé parfaite devient stérile ou exposée à de nouvelles maladies.

À ce moment-là, les agronomes tentent de trouver des gènes appropriés dans le pool représenté par les espèces primitives de blé, afin d’améliorer la variété "parfaite".

Et si les humains sur Terre étaient le "réservoir sauvage" de gènes, aptes à améliorer des races artificielles ailleurs ? Dans ce cas, il n’y aura pas de problème de compatibilité entre les visiteurs et nous, comme dans certaines histoires d’enlèvement et d’hybridation par des ovnis, mais aussi, par exemple, dans la note biblique : "En ces jours-là, les êtres divins et les filles humaines avaient des relations sexuelles et donnaient naissance à des enfants".

"Ce sont les anciens héros" (Genèse, 6, 4). Certains supposent même qu’il existe une intervention extérieure permanente dans l’évolution de la race humaine afin de l’améliorer.

Mais il est évident que la comparaison ci-dessus – de l’humanité avec une fourmilière – est légèrement forcée, car l’humanité est, néanmoins, une future hypercivilisation potentielle. L’apparition d’une civilisation technologique pourrait être un événement très rare dans notre Galaxie, ne se produisant probablement qu’une fois en plusieurs millions d’années. Il est donc normal que nous intéressions les intelligences supérieures. Mais que peuvent-elles attendre de nous ?

Une hypercivilisation se comportera de manière insaisissable et ne nous donnera pas ses connaissances et ses technologies ; plus encore, elle nous l’interdira. Ce n’est pas seulement à cause de l’agressivité et de la xénophobie humaines, qui font de toute nouvelle technologie de nouvelles armes, ni seulement pour éviter un "choc culturel", qui pourrait virtuellement détruire toutes nos structures sociales, économiques, politiques, militaires, scientifiques, religieuses et culturelles.

Je peux spéculer qu’ils ont aussi d’autres raisons pour cela. Les hypercivilisations pourraient attendre (et peut-être même récolter maintenant) nos idées originales, nos points de vue, nos créations (dans l’art, la science, la philosophie, l’éthique, etc.), qui sont le résultat de millions d’années de notre évolution indépendante. Et toute cette récolte attendue pourrait être détruite par un contact prématuré.

Certaines histoires anciennes, apparemment absurdes, peuvent être une indication d’une telle attitude : la punition pour la pomme de l’arbre interdit de la connaissance, l’enchaînement de Prométhée, ou les anges déchus (du livre d’Enoch), jetés dans une fosse pleine de feu, parce qu’ils ont enseigné aux terriens certaines compétences.

De nombreuses personnes enlevées ou contactées ont parlé des boules de lumière éthérées comme de "dépôts de connaissance et d’intelligence", enregistrant "tout dans l’Univers", entre autres, la vie de tous les individus (ou des plus intéressants). Nous avons quelques indices à ce sujet lorsque nous parlons du "livre de la vie", des "archives akashiques", de l' "inconscient collectif", ou même du "champ morphogénétique", etc.

Cette "super-mémoire" pourrait être écrite sur un support "spirituel", ou sur quelque chose autour de nous que nous ne sommes pas encore capables d’imaginer. Parfois, certaines personnes, sous certaines conditions, pourraient avoir accès à cet entrepôt de données.

C’est ainsi que l’on peut expliquer : le channelling, la "xénoglossie", les "walk-ins", la "réincarnation", les fantômes, etc. Dans une telle réalité virtuelle, le temps est différent. Nous pouvons voyager dans le passé, vivre des événements, sans changer le passé réel, ou nous pouvons voir des scénarios du futur (parfois apocalyptiques), sans accepter la fatalité.

Bien sûr, tout ce qui précède n’est pas une preuve que les hypercivilisations sont l’explication de tout ce qui est étrange et notamment des ovnis. Ce n’est qu’une hypothèse, mais – je pense – une hypothèse qui ne peut être facilement écartée.

 

Auteur: Farcaş Daniel D.

Info: Hypercivilisations and the primitive extraterrestrial hypothesis, openminds 19 july 2017

[ spéculations ] [ xénocommunication ]

compte-rendu de lecture

Les pépites de Charles S. Peirce

L’œuvre de Peirce est plutôt disparate, souvent dense et incontestablement précieuse. S’y inventent tout à la fois une notion très déterminée de l’épistémologie, une théorie de la vérité ou encore un rapport particulier à la logique. Entre autres.

Charles Sanders Peirce est un auteur que tout philosophe gagnerait à fréquenter, car il y trouverait, pour parler comme Russell, qui n’avait pourtant pas été tendre pour la théorie pragmatiste de la vérité, "des pépites d’or pur". Il est vrai qu’il faut pour cela s’armer de patience, car les obstacles à surmonter sont nombreux. Un peu comme Leibniz, Peirce est un polymathe, qui n’a jamais exercé de fonction universitaire durable et a laissé une œuvre très éclatée, composée d’une foule de petits textes, d’accès souvent difficile, entre lesquels il faut sans cesse naviguer. Il a adopté une morale terminologique propre à dissuader le lecteur le mieux disposé, pour traiter des sujets de surcroît le plus souvent très ardus. Une vue d’ensemble, comme celle offerte dans le présent ouvrage, est donc particulièrement bienvenue, même si elle se heurte à des difficultés dont l’auteur était bien conscient. Vouloir, en quelque trois cents pages, présenter à la fois la diversité des domaines abordés et la richesse des analyses élaborées tenait un peu de la gageure. Pour réussir, J.-M. Chevalier a choisi une écriture très dense et, faute de pouvoir le suivre dans tous les détails de son argumentation, il faut se contenter d’en prendre une vue on ne peut plus schématique.

Une épistémologie à inventer

Peirce est connu pour être le père du pragmatisme, mais l’auteur nous propose de voir aussi en lui l’inventeur de l’épistémologie. Ce faisant, il joue sur l’équivoque d’un mot qui, sous l’influence de l’anglais, ne signifie plus seulement philosophie des sciences, mais plus généralement théorie de la connaissance, le mot gnoséologie n’ayant jamais réussi à entrer dans l’usage. Si, au premier sens, l’affirmation est manifestement fausse, même dans le dernier cas elle ne va pas de soi, la théorie de la connaissance s’étant constituée, dès avant Peirce, en discipline bien établie (p. 10). Toutefois, entre l’Erkenntnistheorie des néo-kantiens et l’actuelle epistemology, il y a bien une rupture dont Peirce est l’un des principaux artisans, de sorte que l’épistémologie dont il sera question était bien alors "une discipline encore à inventer" (p. 9). La référence à Kant n’en est pas moins omniprésente. Comme pour ce dernier, il s’agit de rendre compte des conditions de possibilité de la connaissance, de sorte que la perspective transcendantale est conservée, mais sensiblement infléchie. Le rapport à Kant est en effet doublé d’un autre rapport, d’une tout autre nature, mais non moins important, à Mill. En cent ans, les sciences expérimentales avaient en effet connu un essor prodigieux et, sous l’influence de l’empirisme, on avait eu tendance à attribuer ce succès à l’induction. À la différence de Kant, il convenait donc d’adopter un point de vue historique et d’expliquer aussi le progrès des connaissances ; de même, contre Mill, il était urgent de constituer une nouvelle théorie de l’induction. Aussi l’auteur a choisi de prendre comme fil conducteur l’élaboration de cette pièce maîtresse de la nouvelle épistémologie (p. 6, 108), car, sans s’identifier, les deux tâches sont étroitement liées et mettent en particulier en valeur la place qu’occupe dans ces deux cas la logique.

L’examen de la question suit les quatre grandes périodes qui scandent la vie intellectuelle de Peirce : la recherche d’une méthode (1857-67) ; l’enquête en théorie et en pratique (1868-1884, la grande époque, où Peirce devient Peirce et pose les fondements du pragmatisme) ; lois de la nature et loi de l’esprit (1884-1902, l’audacieuse synthèse d’une métaphysique scientifique) ; pragmatisme et science normative (1902-1914, la remise en chantier du pragmatisme dans un cadre architectonique).

Peirce et la logique

Peirce est entré en philosophie, à l’âge de douze ans, "en tombant dans la marmite logique" (p. 15), et il tiendra pendant plus de quarante ans un logic notebook. Il a d’ailleurs laissé dans ce domaine des contributions de premier plan. Ainsi, il a découvert, indépendamment de Frege, et en même temps que lui, la théorie des quantificateurs ; mais cela n’intéresse que les logiciens et s’inscrit de plus dans une approche algébrique de la logique qui sera écartée au profit du logicisme ou de la théorie de la démonstration.

L’ouvrage insiste bien davantage sur l’élargissement considérable de l’idée de logique, qui aboutit à quelque chose de fort différent de ce qui s’enseigne sous ce nom aujourd’hui et qu’on a proposé d’appeler un socialisme logique (208). La logique est d’abord un art de penser et Peirce posera en "première règle de la logique" la maxime : "pour apprendre il faut désirer apprendre" (p. 210). De même, un lien étroit est établi entre logique et morale : "la pensée logique est la pensée morale" (p. 247) ; "pour être logiques, les hommes ne doivent pas être égoïstes" (p. 116 ; plus généralement, 114-119, 247-252)

Un autre trait caractéristique de Peirce est de maintenir les liens existants depuis Aristote entre logique et métaphysique ; et cela de deux façons. Il y a d’une part la théorie des catégories, présente dès le départ, sous l’influence de Kant. Très vite, elles prennent la forme d’une triade (priméité, secondéité et tiercéité) qui sert de trame à bien des constructions ultérieures. L’auteur montre bien que cette théorie occupe une place assez déconcertante pour que Peirce se soit vu obligé de "se défendre d’une tendance pathologique à la triadomanie" (p. 226). Plus classique, il y a aussi la question du réalisme et des universaux, qui témoigne d’une connaissance de la logique médiévale très rare à l’époque. Peirce abandonnera vite son nominalisme initial pour adhérer à un réalisme hautement revendiqué. Mais ce réalisme n’exclut pas un idéalisme à la Schelling : l’esprit n’est que de la matière assoupie (p. 199). Enfin, on retrouve la dimension morale de la logique, car la querelle des universaux n’est pas seulement spéculative : le nominalisme, qui ne reconnaît que les individus, est lié à l’individualisme, alors que le réalisme, qui reconnaît la réalité des genres, conduit à l’altruisme.

Fonder l’induction

Si les logiciens contemporains ignorent assez largement l’idée de logique inductive pour ne s’intéresser qu’à l’idée de conséquence valide, Aristote mettait pourtant déjà en parallèle induction et déduction. Quant à Peirce, son goût pour les schémas tripartites le conduit à introduire dès le début, à côté de celles-ci, une autre composante. Comme on l’a déjà signalé, Peirce se fait de la logique une idée très large. Pour lui, comme pour Descartes, logique est un peu synonyme de méthode. Elle doit en particulier rendre compte de la démarche des sciences expérimentales. Celles-ci utilisent la déduction (de l’hypothèse à ses conséquences), l’induction (on dit que ce sont des sciences inductives) ; mais cela ne suffit pas et déjà Comte, dans le Cours de philosophie positive, avait souligné l’intervention d’une troisième opération, qu’il appelait hypothèse, comme Peirce au début ; mais celui-ci pour souligner l’appartenance à la logique, parlera par la suite de rétroduction, ou d’abduction.

Pour comprendre la focalisation sur l’induction, il faut revenir au rapport qu’elle entretient avec l’épistémologie encore à inventer. Si l’induction est au cœur de la connaissance expérimentale, qui est à son tour, beaucoup plus que l’a priori, au cœur de la connaissance, alors l’épistémologie aura pour pièce maîtresse une théorie de l’induction. Le problème en effet ne porte pas seulement sur les conditions de possibilité de la connaissance. Il s’agit d’expliquer l’essor prodigieux des sciences expérimentales, l’efficacité de la connaissance. Dans le cadre transcendantal hérité de Kant, l’induction est pratiquement absente. De ce point de vue, la référence à Mill remplit une double fonction. L’auteur du System of Logic vient réveiller Peirce de son sommeil critique et lui rappeler que les sciences expérimentales seraient des sciences inductives. Mais il sert aussi de repoussoir, sa théorie de l’induction, et en particulier le fondement qu’il lui donnait, étant inacceptables. Peirce n’aura de cesse de trouver une solution qui ne fasse appel ni au sujet transcendantal, ni à l’uniformité de la nature et, preuve de l’importance qu’il accordait à la question, il en proposera d’ailleurs plusieurs.

La première, qui coïncide avec la naissance du pragmatisme, comprend deux composantes. De façon très novatrice, elle recourt massivement à la théorie des probabilités et aux statistiques, présentes dès les tout premiers travaux de Peirce, fidèle en cela à Boole, qui associait déjà logique et probabilité. L’approche était incontestablement féconde et Carnap rapprochera à son tour logique inductive et probabilité. Aussi l’auteur accorde une attention toute particulière aux développements extrêmement originaux consacrés à cet aspect. Mais simultanément, à un autre niveau, pour expliquer le succès de la connaissance, il faut mettre en place les concepts fondamentaux du pragmatisme entendu comme théorie de l’enquête et étude des différents moyens de fixer la croyance. L’accord entre ces deux composantes, approche statistique de l’induction et découverte de la vérité, va si peu de soi que Putnam a parlé à ce propos d’énigme de Peirce (p. 115) : pourquoi des fréquences, à long terme, devraient-elles guider des choix à court terme ?

La réponse mène au principe social de la logique, puisqu’elle opère un transfert psychologique de l’individu à la communauté. La conception fréquentiste ne pouvait attribuer de probabilité aux cas uniques. Pour résoudre la difficulté, Peirce propose d’interpréter chaque évènement possible comme le choix d’un membre de la communauté. Puisqu’il y a autant de choix que de membres, et que plusieurs membres peuvent faire le même choix, il devient possible de déterminer des fréquences. Le sujet transcendantal s’efface ainsi et cède la place à la cité savante : si la communauté agit conformément aux probabilités, elle connaîtra plus de succès que d’échec.

Avec le temps, la solution proposée en 1878 dans les Illustrations de la logique de la science s’avérera toutefois insatisfaisante et, après 1904, la reprise de la question obligera à remettre en chantier la théorie du pragmatisme. Tout commence par un mea culpa : "dans presque tout ce que j’ai publié avant le début de ce siècle j’ai plus ou moins mélangé hypothèse et induction" (p. 271). Alors que la première, en partant de l’expérience, contribue à la conclusion finale de l’enquête, l’induction, qui y retourne, ne fait qu’évaluer ce contenu. On remarquera que la place ainsi réservée à l’induction n’est pas du tout celle qu’on lui accorde d’ordinaire et qui veut que l’observation de différents cas isolés nous "soufflerait" la bonne explication. Ici, elle se borne à tester l’hypothèse, pour la valider ou l’invalider. Comme la déduction, elle augmente non pas nos connaissances, mais la confiance qu’on peut leur accorder. Les nouveaux développements sur la vraisemblance des tests empiriques conduisent à réviser toute la conception des probabilités, mais les effets de la confusion initiale s’étendent à la question des fondements. Sans disparaître, le besoin de fonder l’induction passe au second plan.

Pour l’épistémologue qui veut expliquer l’efficacité de la connaissance, l’abduction, c’est-à-dire la découverte de la bonne hypothèse, est une étape décisive et originale (p. 117). Ainsi, la démarche qui a conduit Kepler à rendre compte des mouvements célestes non plus par des cercles, mais par des ellipses ne relève ni de la déduction ni de l’induction. Dans cette dernière période, on assiste donc à une montée en puissance de l’abduction, qui a pour effet de distendre les liens entre logique et épistémologie. L’appartenance de l’abduction à la logique va en effet si peu de soi qu’il n’y a toujours pas de logique abductive. Alors que l’abduction a parfois été appelée inférence à la meilleure explication, il n’est pas sûr que la découverte de la bonne explication soit bien une inférence, au même titre que l’induction ou la déduction et on aurait plutôt tendance à l’attribuer au génie, à ce que les Allemands appellent Einsicht et les Anglais Insight. Peirce ira d’ailleurs dans ce sens quand il estimera que ce qui explique le succès de la connaissance, ce n’est pas tant la raison que l’instinct. L’esprit humain est le produit d’une sélection naturelle, ce qui fait qu’il est comme "accordé à la vérité des choses" (p. 274).

De cette brève présentation, il importe de souligner à quel point elle donne une image appauvrie et déformée de l’ouvrage. À regret, des pans entiers ont dû être passés sous silence. Ainsi, rien n’a été dit du rapport complexe de Peirce à la psychologie. La distinction établie entre le penser (l’acte, fait biologique contingent) et la Pensée (fait réel, objectif, idéal, la proposition des logiciens) lui permet de condamner le psychologisme, qui méconnaît cette distinction, tout en développant une théorie psychologique à laquelle l’auteur consacre de nombreuses pages. Rien n’a été dit non plus de la métaphysique scientifique décrite dans la troisième partie de l’ouvrage. Il en va de même encore de la sémiotique, à laquelle le nom de Peirce reste étroitement attaché, et qui est un peu à l’épistémologie ce que la philosophie du langage est à la philosophie de l’esprit. Un des grands mérites de l’ouvrage tient à la volonté de respecter les grands équilibres, et les tensions, à l’œuvre chez Peirce, et de faire sentir l’imbrication des différents thèmes. Le lecteur peut ainsi mesurer la distance entre ce qu’on retient d’ordinaire de Peirce et ce qu’on trouve dans ses écrits. À cet égard, l’ouvrage s’avère très précieux et même celui qui connaît déjà Peirce y trouvera à apprendre.

Cette qualité a toutefois un coût. La richesse de l’information s’obtient parfois au détriment de l’intelligibilité. À vouloir trop couvrir, il arrive que le fil directeur soit perdu de vue pour des considérations adventices, portant de surcroît sur des sujets souvent ardus, où il est facile de s’égarer. Sur cette épistémologie qui sert de sous-titre à l’ouvrage, le lecteur reste un peu sur sa faim. Au fur et à mesure, les différents matériaux de cette discipline à inventer sont mis en place, mais il aurait aimé les voir rassemblés, de façon à pouvoir se faire une idée de cette discipline en cours de constitution.

Ces quelques réserves ne doivent pas masquer l’intérêt considérable d’un ouvrage qui est le fruit d’une longue fréquentation de l’œuvre de Peirce. Les livres sur cet auteur ne sont pas si nombreux et celui-ci est incontestablement appelé à rendre de nombreux services. S’il n’est pas destiné à ceux qui ignoreraient tout du pragmatisme, il n’en constitue pas moins une introduction à une œuvre qu’on gagne à fréquenter. Pour quiconque veut travailler Peirce, c’est une véritable mine, à condition bien sûr de se donner la peine de chercher ces pépites dont parlait Russell.

Auteur: Bourdeau Michel

Info: A propos de : Jean-Marie Chevalier, "Peirce ou l’invention de l’épistémologie", Paris, Vrin, 2022, 313 p., 29 €. 20 octobre 2022

[ transdisciplinarité ] [ orthogonalité subjectif-objectif ] [ rationalismes instanciés ] [ abstractions ] [ vie des idées ] [ sociologie politique ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]