individu

Or ce qu’un être humain a retenu et ce qu’il n’a pas retenu de sa vie est ce qui permet le mieux de le connaitre essentiellement, c’est-à-dire dans son caractère.

Auteur: Weininger Otto

Info: sexe et caractère (1903, 294 p.)

[ mémoire ] [ passif ] [ auto-construit ]

cognition

Cependant, des questions se posent. Existe-t-il des gens qui ne soient pas de naïfs réalistes, ou des situations particulières lors desquelles le réalisme naïf disparaît ?
Ma théorie - celle de l'auto-modélisation de la subjectivité - prédit que dès qu'une représentation consciente devient opaque (c'est-à-dire dès qu'on la vit comme une représentation), on perd le réalisme naïf. Cela se produit chaque fois qu'à l'aide d'autres représentations de second ordre nous prenons conscience du processus de construction - de toutes les ambiguïtés et étapes dynamiques précédant l'état stable qui émerge à la fin.
Ou autrement, si cette fenêtre est sale ou fissurée, nous nous rendons immédiatement compte que la perception consciente n'est qu'une interface et prenons conscience du médium lui-même.
En clair, si le livre entre vos mains devient moins transparent, vous le ressentirez comme un état d'esprit plutôt que comme un élément du monde extérieur. Vous douterez même de son existence indépendante. Ce sera plus comme une pensée de livre qu'une perception de livre. C'est précisément ce qui se produit dans diverses situations - par exemple lors d'hallucinations visuelles au cours desquelles le patient est conscient d'halluciner, ou lors d'illusions d'optique ordinaires lorsque nous réalisons que nous ne sommes pas en contact véritable avec la réalité.
Si on pouvait consciemment faire l'expérience des premières étapes du traitement de la représentation du livre qu'on a entre les mains l'image deviendrait probablement instable et ambiguë, elle commencerait à respirer et à bouger légèrement. Sa surface deviendrait irisée, scintillant simultanément de couleurs différentes. Immédiatement on se demandera si ça peut être un rêve, si nos yeux ont un problème, ou si quelqu'un a mélangé un puissant hallucinogène à notre boisson.
Un segment du mur du tunnel de l'Ego a perdu sa transparence et la nature auto-construite du flux global de l'expérience a surgi. De manière non conceptuelle et entièrement non théorique, on comprend soudain, mieux que jamais, le fait que ce monde, en ce moment même, n'apparaît qu'à nous.

Auteur: Metzinger Thomas

Info: Le Tunnel de l'Ego : Science de l'esprit et mythe du moi

[ psyché ]

pouvoir oligarchique

Le véritable Big Brother

Jeff Bezos est le propriétaire du Washington Post, qui dirige les médias américains qui soutiennent et promeuvent le néoconservatisme, l'impérialisme américain et les guerres. Cela comprend des sanctions, des coups d'État et des invasions militaires contre des pays que les milliardaires américains veulent contrôler mais ne contrôlent pas encore - comme le Venezuela, la Syrie, l'Iran, la Russie, la Libye et la Chine.

Ce sont des guerres agressives contre des pays qui n'ont jamais agressé les États-Unis. Ils ne sont pas du tout sur la défensive, mais exactement le contraire. Ce n'est pas nécessairement une guerre sans fin (même Hitler n'avait pas prévu cela), mais une guerre jusqu'à ce que la planète entière soit passée sous le contrôle du gouvernement américain, un gouvernement qui est lui-même contrôlé par les milliardaires américains, les financeurs du néoconservatisme et de l'impérialisme - dans les deux principaux partis politiques américains, les think tanks, les journaux, les réseaux TV, etc.

Bezos a joué un rôle crucial dans le néoconservatisme, lors de la réunion Bilderberg du 6 au 9 juin 2013, il s'est arrangé avec Donald Graham, le propriétaire du Washington Post, pour acheter ce journal, pour 250 millions $. Bezos avait déjà négocié, en mars de la même année, avec le directeur néoconservateur de la CIA, John Brennan, un contrat de dix ans de 600 millions de dollars pour le cloud computing qui a transformé Amazon Corporation, qui était au départ une entreprise fiable et peu rentable, en une entreprise rentable et fiable.

La valeur nette de Bezos a donc augmenté encore plus Il est devenu le vendeur le plus influent non seulement pour les livres, mais aussi pour la CIA et pour des méga-corporations comme Lockheed Martin. L'impérialisme a gonflé sa richesse, mais il n'en est pas le seul responsable. Bezos est peut-être l'homme d'affaires le plus férocement doué de la planète.

Certains milliardaires américains ne se soucient pas autant que lui de la conquête internationale, mais tous acceptent le néoconservatisme ; aucun d'entre eux, par exemple, n'établit et ne donne de grosses sommes à des organisations anti-impérialistes ; aucun milliardaire américain n'est déterminé à mettre fin au règne du néoconservatisme, ni même à aider la lutte pour y mettre fin, ou du moins pour en finir avec sa prise sur le gouvernement américain. Aucune. Pas même un seul d'entre eux ne le fait.

Mais beaucoup d'entre eux créent et donnent des sommes importantes à des organisations néoconservatrices, ou dirigent des organes néoconservateurs comme le Washington Post. C'est comme ça que sont les milliardaires, du moins aux États-Unis. Tous sont impérialistes. Ils commanditent ; ils en font la promotion et embauchent des gens qui le font, et ils rétrogradent ou se débarrassent des gens qui ne le font pas. L'expansion d'un empire est extrêmement rentable pour ses aristocrates, et l'a toujours été, même avant l'Empire romain.

Bezos veut privatiser tout ce qui peut l'être partout dans le monde, comme l'éducation, les autoroutes, les soins de santé et les pensions. Plus les milliardaires contrôlent ces choses, moins tout le monde les contrôle ; et empêcher le public de les contrôler aide à protéger les milliardaires contre une démocratie qui augmenterait leurs impôts et contre une réglementation gouvernementale qui réduirait leurs profits en augmentant les dépenses de leurs sociétés. Ainsi, les milliardaires contrôlent le gouvernement afin d'augmenter leurs recettes publiques.

Avec l'aide de la promotion de guerre du Washington Post, Bezos est l'un des meilleurs vendeurs personnels au monde du complexe militaro-industriel américain. Il contrôle et est le plus grand investisseur d'Amazon corporation, dont la division Web Services fournit tous les services de cloud-computing au Pentagone, à la CIA et à la NSA. (Il mène la charge dans la technologie de reconnaissance faciale la plus avancée aussi.)

En avril, il y avait un gros titre, "CIA Considering Cloud Contract Worth'Tens of Billions'", qui pourrait faire grimper la richesse personnelle de Bezos bien plus haut dans la stratosphère).

Il domine également à l'échelle mondiale et augmente constamment son contrôle sur la promotion et la vente de livres et de films, parce que son Amazon est le plus grand détaillant au monde (et maintenant aussi l'un des plus grands éditeurs, producteurs et distributeurs.) Cela aussi peut avoir un impact énorme sur la politique et le gouvernement, indirectement, en favorisant les travaux les plus néocon contribuant à former le discours intellectuel (et les votes des électeurs) dans les pays.

Bezos écrase des millions de détaillants par sa capacité inégalée à contrôler un marché après l'autre en tant qu'Amazon ou en tant qu'intermédiaire essentiel pour - et souvent même en tant que contrôleur - les concurrents d'Amazon.

Il croit fermement au "libre marché", qu'il maîtrise peut-être mieux que quiconque. Cela signifie que Bezos soutient la capacité non régulée des milliardaires, par le biais de leur argent, de contrôler et éventuellement d'absorber tous ceux qui sont moins puissants qu'eux.

Parce qu'il est si doué pour amasser des richesses, il a réussi jusqu'à présent à se hisser au sommet mondial, comme un des individus les plus puissants du monde. Le plus riche de tous est le roi Salman d'Arabie saoudite, dont Aramco (la plus grande compagnie pétrolière du monde) vaut, à elle seule, plus d'un trillion de dollars. (Forbes et Bloomberg excluent les monarques de leur classement.)

En fait, Bloomberg est même tellement frauduleux à ce sujet qu'il a fait cette manchette le 10 août dernier, " Les 25 dynasties les plus riches de la planète contrôlent 1,4 billion de dollars " et a violé leur tradition en incluant sur leur liste un monarque, le roi Salman, qui est classé au quatrième rang des détenteurs de seulement 100 millions $, une estimation ridicule qui ne se borne pas à Aramco mais qui exclut sans vergogne la totalité de la fortune nette d'Arabie saoudite.

Bloomberg n'a même pas essayé de justifier leur méthodologie farfelue, mais a simplement présumé la crédulité du lecteur pour son acceptation. Ce roi est donc au moins sept fois plus riche que Bezos. Il est peut-être aussi puissant que Bezos. L'héritier suprême est beaucoup plus riche même que le milliardaire suprême, ou "entrepreneur".

Certes, les deux hommes sont parmi les géants qui dominent le monde à notre époque. Et les deux hommes sont des Libertariens - champions de la croyance que les droits de propriété (dont les milliardaires ont tant) sont la base de tous les droits, et ils croient donc que les personnes les plus riches possèdent le plus de droits, et que les plus pauvres en ont le moins, et que toutes celles dont la valeur nette est négative (ayant plus de dettes que de biens) ne possèdent aucun droit sauf les dons ou autres subventions de riches, par bienveillance ou autre (comme les liens familiaux).

C'est cela - la privatisation de tout - c'est ce qu'est le libertarianisme : la valeur d'une personne est sa "valeur nette" - rien d'autre. Cette croyance est du pur libertarianisme. C'est une croyance que beaucoup, sinon la plupart des milliardaires ont. Les milliardaires sont impérialistes parce qu'ils cherchent à maximiser la liberté des super-riches, qu'il s'agisse d'augmenter leurs recettes auprès de tous ceux qui ne sont pas super-riches ou de les appauvrir. Ils ont une idéologie cohérente. C'est basé sur la richesse. Du coup le public croit plutôt aux mythes que les milliardaires propagent.

Comme tout milliardaire, Bezos embauche et retient des employés et d'autres agents qui font ce qu'il/elle veut qu'ils fassent. C'est leur pouvoir direct. Mais les milliardaires possèdent aussi un pouvoir indirect énorme en raison de leurs interdépendances, car chaque grande société est liée par contrat à d'autres sociétés, surtout à de grandes sociétés comme la leur ; et, par conséquent, le pouvoir que possède un milliardaire donné est en fait un pouvoir partagé avec les autres. (Un exemple était l'accord conclu par Bezos avec Graham.)

Collectivement, ils travaillent en réseau, même avec ceux qu'ils n'auraient peut-être jamais rencontrés personnellement, mais seulement par l'intermédiaire de leurs représentants, et même avec leurs propres principaux concurrents économiques. Il s'agit d'un pouvoir collectif que les milliardaires possèdent en plus de leur pouvoir individuel en tant que payeurs d'employés et autres agents.

Alors que Winston Smith, dans le roman allégorique prophétique "1984", demandait à son supérieur et tortionnaire O'Brien : "Est-ce que Big Brother existe ?"

"Bien sûr qu'il existe. Le Parti existe. Big Brother est l'incarnation du Parti."

"Existe-t-il de la même façon que moi ?"

" Tu n'existes pas", dit O'Brien.

Ce pouvoir collectif est incarné par Bezos aussi bien que tout milliardaire. Quelques-uns des autres l'incarnent peut-être aussi, comme Bill Gates, Warren Buffett, Larry Ellison, Mark Zuckerberg, Charles Koch, Sergey Brin, Michael Bloomberg, George Soros et Jack Dorsey. Ils se font concurrence et ont donc des priorités différentes pour le gouvernement américain, mais ils sont tous d'accord bien plus qu'ils ne sont en désaccord sur ce que le gouvernement "devrait" faire (surtout que l'armée américaine devrait être renforcée - aux frais des contribuables, bien sûr, pas aux leurs).

Fondamentalement, ce Big Brother, dans le monde réel, est remarquablement cohérent et unifié - bien plus que le public - et c'est l'une des raisons pour lesquelles ils contrôlent le gouvernement, contournant le public.

Voici comment tout cela se passe, en termes de ce que les agents de Bezos ont accompli :

Son Amazon paie peu ou pas d'impôts fédéraux parce que le gouvernement fédéral a écrit les lois fiscales pour encourager les entreprises à faire le genre de choses que Bezos a toujours voulu qu'Amazon fasse.

Le gouvernement américain encourage donc les méga-sociétés, par le biais de taxes et de règlements, à écraser les petites entreprises en rendant leur croissance plus difficile. Cela verrouille quelque peu l'aristocratie existante pour qu'elle soit moins auto-construite (comme l'était Bezos lui-même, mais ses enfants ne le seront pas).

Les politiciens élus appuient massivement cette idée parce que la plupart des fonds de leur campagne électorale provient de ces personnes très riches, leurs employés et autres agents. C'est un système auto-renforçant. Le super-riche contrôle le gouvernement, qui (avec les super-riches et leurs sociétés) contrôle le public, ce qui réduit les possibilités économiques pour eux. Le résultat final est un renforcement institutionnel de l'extrême inégalité des richesses, qui devient de plus en plus extrême.

Les milliardaires sont les vrais Big Brother. Et Bezos est le plus grand de tous.

Auteur: Zuesse Eric

Info: https://consortiumnews.com, Août 2019

[ mondialisation ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]