libéralisme

L'Europe participe ainsi désormais à sa façon de l'émergence à l'échelle mondiale de ce que la Constitution de la République populaire de Chine appelle "l'économie communiste de marché". Edifié sur la base de ce que le captalisme et le communisme avaient en commun (l'économisme et l'universalisme abstrait), ce système hybride emprunte au marché la compétition de tous contre tous, le libre-échange et la maximisation des utilités individuelles, et au communisme la "démocratie limitée", l'instrumentalisation du droit (i.e. la substitution du rule by law au rule of law), l'obsession de la quantification et la déconnection totale du sort des dirigeants et des dirigés.

Auteur: Supiot Alain

Info: L'esprit de Philadelphie : La justice sociale face au marché total

[ consumérisme ] [ efficacité ]

néolibéralisme

Il devrait être considéré comme un nouveau stade du capitalisme, se caractérisant par : l’extension implacable du champ de l’économie à toutes les sphères de la société ; la demande toujours plus importante de critères techno-scientifiques permettant de rendre compte des processus décisionnels dans les sphères politique et sociale ; le renforcement des principes utilitaristes que sont le choix, l’efficacité et la maximisation des profits ; l’aggravation exponentielle des incertitudes sur le marché du travail ; une instabilité économique toujours plus importante et une compétition sur le marché toujours plus vive ; la multiplication des décisions impliquant des risques et le renforcement des processus de flexibilisation et de décentralisation organisationnelles ; la marchandisation croissante des dimensions symboliques et immatérielles, incluant les identités, les sentiments et les styles de vie ; la consolidation d’un ethos thérapeutique plaçant la santé émotionnelle comme le besoin d’accomplissement personnel au cœur du progrès social et des interventions institutionnelles.

Auteur: Illouz Eva

Info: Happycratie, p. 76

[ défini ] [ mondialisation ] [ anti-étatisme ] [ finances nomades ]

dualité

L'univers physique était un langage à la grammaire parfaitement ambiguë. Chaque événement physique était un énoncé qui pouvait être analysé de deux manières totalement différentes, l'une accidentelle et l'autre téléologique, toutes deux valables, ni l'une ni l'autre disqualifiables, quel que soit le contexte. 

Lorsque les ancêtres des humains et des heptapodes avaient acquis les premières étincelles de conscience, ils avaient perçu le même monde physique, mais ils avaient effectué des analyses grammaticales différentes de leur perception. ; les visions du monde qu'ils avaient finis par adopter résultaient de cette divergence. Les humains avaient acquis un mode de conscience séquentiel, les heptapodes un mode de conscience simultané. Nous faisions l'expérience des événement dans un certain ordre et nous percevions leur relation comme une relation de cause à effet. Ils faisaient l'espérience de tous les événements à la fois et ils percevaient un objectif sous-jacent au tout. Un objectif de minimisation et de maximisation.

Auteur: Chiang Ted

Info: Stories of Your Life and Others

[ créationnisme vs évolutionnisme ] [ acceptation vs refus ] [ performatif-constatif ] [ xénolinguistique ]

mondialisation

La concentration des infrastructures de contrôle social dans quelques mains privées a [...] deux conséquences de taille. La première est évidemment que les décisions concernant les structures de contrôle et de surveillance viennent à être prises par un nombre restreint de personnes, dont le but premier est la maximisation d’un profit à l’échelle mondiale, donc souvent la maximisation des flux abstraits – sur lesquels ils pourront prélever des commissions – sur la planète. [...] Cette dépossession au profit de processus impersonnels mondialisés est évidemment l’un des principaux moteurs du "complotisme". [...]

Un ultime corollaire à la mise en place de ce système mondial est que chefs d’États et gouvernements sont de plus en plus dépourvus vis-à-vis de la "mégamachine" de surveillance des flux, laquelle mène une existence de plus en plus autonome. Ainsi, lorsqu’une procédure est mise en place, la question qui domine n’est souvent plus de savoir si elle est conforme aux intérêts politiques locaux, mais de s’assurer de sa conformité avec ce qui a été décidé ailleurs. [...] A nouveau, une logique qui donne le sentiment d’une immense corruption des dirigeants, quand bien même la réalité est souvent plus banale. L’illusion d’optique vient du fait que l’on s’acharne souvent à voir en eux des acteurs politiques, c’est-à-dire préoccupés par la représentation et la défense d’intérêts politiques et locaux. Sauf exception, ils ne sont souvent que des acteurs juridiques et administratifs, chargés de s’assurer de la compatibilité des cadres législatifs et juridiques locaux avec la mégamachine planétaire. Ils dirigent, consciemment ou inconsciemment, la filiale nationale d’une entreprise mondiale.

Auteur: Travers Guillaume

Info: Dans "La société de surveillance, stade ultime du libéralisme", La nouvelle librairie, Paris, 2021, pages 87 à 89

[ privatisation ] [ hors-sol ]

big brother consumériste

- Ce qui est inquiétant à mon sens c'est que tous ces travaux sur la saillance sont à situer dans un contexte de capitalisme de surveillance et de captage de l'attention, c'est à dire que "in fine" le but reste la maximisation du profit

-  Vous avez tout à fait raison de souligner ce point inquiétant. Les travaux sur la notion de saillance, bien qu'intéressants d'un point de vue théorique, doivent être replacés dans le contexte plus large du capitalisme de surveillance et de la captation de l'attention à des fins lucratives.

En effet, les géants du numérique comme Google ou Facebook utilisent les mêmes mécanismes de saillance pour optimiser la pertinence de leurs publicités ciblées et maximiser leurs profits. 

Ils cherchent à capter notre attention et à orienter nos comportements au service de leur modèle économique basé sur la surveillance.

Ainsi, la notion de saillance, qui permet de mettre en avant certains éléments dans la communication, est détournée par ces entreprises pour nous manipuler subtilement et nous inciter à consommer. 

Elles exploitent notre vulnérabilité cognitive en amplifiant certains stimuli pour capter notre attention.

Ce qui est inquiétant, c'est que ces pratiques remettent en cause notre libre arbitre et notre souveraineté individuelle. Elles menacent les fondements mêmes de la démocratie en orientant nos choix et nos décisions, y compris politiques, au profit d'intérêts privés. Vous avez raison de pointer du doigt ce lien entre les théories sur la saillance et le capitalisme de surveillance. Cela montre à quel point la recherche peut être récupérée et instrumentalisée par des logiques économiques prédatrices. Il est important d'avoir une réflexion critique sur ces enjeux.

Auteur: perplexity.ai

Info: avril 2024

[ pnl ] [ manipulation ] [ gafam ]

rationalisation technicienne

A chacun, il devrait être possible d’aller jusqu’au terme de son "capital" biologique, de jouir "jusqu’au bout" de sa vie, sans violence ni mort précoce. Comme si chacun avait son petit schéma de vie imprimé, son "espérance normale" de vie, un "contrat de vie" au fond – d’où la revendication sociale de cette qualité de vie dont fait partie la mort naturelle. Nouveau contrat social : c’est toute la société, avec sa science, sa technique, qui devient solidairement responsable de la mort de chaque individu. Cette revendication peut d’ailleurs impliquer une mise en cause de l’ordre existant, du même type que les revendications salariales et quantitatives : c’est l’exigence d’une juste durée de vie, comme d’une juste rétribution de la force de travail. Pour l’essentiel, ce droit, comme tous les autres, cache une juridiction répressive. Chacun a droit, mais en même temps devoir de mort naturelle. Car celle-ci est la mort caractéristique du système de l’économie politique, son type de mort obligé :

1. Comme système de maximisation des forces productives [...].


2. Bien plus important : que chacun ait droit à sa vie (habeas corpus – habeas vitam) – c’est la juridiction sociale étendue à la mort. La mort est socialisée comme tout le reste : elle ne peut plus être que naturelle, car toute autre mort est un scandale social : on n’a pas fait ce qu’il fallait. Progrès social ? Non : progrès du social, qui s’annexe même la mort. [...] Le principe de la mort naturelle équivaut à une neutralisation de la vie tout court. De même pour la question de l’égalité devant la mort : il faut réduire la vie à la quantité (et donc la mort à rien) pour l’ajuster à la démocratie et à la loi des équivalences. 

Auteur: Baudrillard Jean

Info: Dans "L'échange symbolique et la mort", éditions Gallimard, 1976, pages 266-267

[ société de contrôle ] [ gestion ] [ survie ]

anti-capitalisme

"It's capitalism stupid !"

En lisant cet article du Guardian, je me suis vraiment dit que le mot "capitalisme" transpirait entre toutes les lignes, sans être prononcé :

Les entreprises de combustibles fossiles " prennent l’humanité à la gorge", déclare le chef de l’ONU dans une attaque virulente. (Climate crisis | The Guardian)

"Le Guardian comprend que M. Guterres est courroucé par le comportement récent des entreprises de combustibles fossiles, qui ont récolté une manne grâce aux prix de l’énergie ayant flambé en raison de la guerre en Ukraine. Une grande partie de ces bénéfices faramineux est susceptible d’être investie dans une nouvelle exploration et une nouvelle expansion des ressources en combustibles fossiles."

Profits, réinvestissement des profits dans l’investissement en capital, expansion, etc.

Il reste un problème de "framing" de la part de Guterres quant à la causalité des phénomènes. Il reste à la surface des choses. Ce n’est pas tellement l’industrie fossile ou du tabac ou de l’amiante le problème. Le fait que ces secteurs s’engagent dans des stratégies de lobbying dilatoires est contingent à leur cœur d’activité. En fait, n’importe quel actionnaire d’entreprise qui verrait ses profits menacés agirait strictement de la même manière, peu importe le cœur d’activité.

On doit remonter la chaîne causale pour pouvoir identifier, derrière le comportement de ces secteurs, le comportement général du capitalisme (néolibéral). Toute entrave à la maximisation du profit et à l’accumulation du capital est combattue avec les ressources disponibles : les profits et le capital, tant que la loi l’autorise ou qu’elle ne peut pas être appliquée.

Il n’y a donc pas que les problèmes contemporains et contingents du tabac, de l’amiante ou des fossiles, il y a aussi la déforestation, la surpêche, l’épuisement des sols, l’exploitation des travailleurs, la pollution de l’espace, la surconsommation des ressources naturelles, etc.

C’est un problème structurel systémique au capitalisme : il ne contient pas de boucle de feedback pour s’autoréguler dans de nombreux domaines existentiels.

Le problème ne sera donc pas réglé par la mise au pas des industries du tabac, de l’amiante et des fossiles, mais par l’abolition du capitalisme.

Comme l’affirment certains critiques : "il n’y a pas de solution dans le capitalisme".

Auteur: Terence Pseudo

Info: Sul le blog de Paul Jorion, le 19 juin 2022

[ manque de régulations ]

bio-technologie

Mi-animal, mi-machine, le "xénobot" est le premier robot vivant
Il s'agit d'un organisme quadrupède manufacturé par l'Homme avec des cellules souches de grenouille. Il est un tout petit peu plus petit qu'une tête d'épingle avec son diamètre de 650 à 750 microns.
Le xénobot est un organisme vivant programmable: il a été assemblé avec des cellules souches de peau et de muscles de cœur de grenouille. Une première scientifique réalisée par des chercheurs des universités américaines du Vermont et de Tufts.
"Ce sont de nouvelles machines vivantes", explique Joshua Bongard, l'un des coauteurs de l'étude publiée par PNAS, le journal de l'Académie américaine des Sciences, le 13 janvier. "Ce n'est ni un robot traditionnel, ni une espèce connue d'animal. C'est une nouvelle classe d'artéfact: un organisme vivant, programmable", selon la description de cet informaticien et expert en robotique de l'Université du Vermont.

(Illustration : grenouille Xénope lisse. Les cellules souches de peau et de cœur d'embryons de cette grenouille ont servis à la fabrication du xénobot, le premier robot vivant. Qui s'appelle donc xénobot, du nom de la grenouille Xenopus laevis, dont les cellules embryonnaires ont été utilisées pour le fabriquer.)

"Génomiquement, ce sont des grenouilles", indique Michael Levin, coauteur de l'étude et directeur du Centre de biologie régénérative et développementale à l'Université de Tufts. "C'est à 100% de l'ADN de grenouille, mais ce ne sont pas des grenouilles". Un peu comme un livre est fait de bois, mais n'est pas un arbre...

La taille du xénobot ne dépasse pas le millimètre de large: il est légèrement plus petit qu'une tête d'épingle avec son diamètre de 650 à 750 microns.

Ses cellules vont exécuter des fonctions différentes de celles qu'elles accompliraient naturellement. Les tissus vivants ont été récoltés et incubés; ensuite les chercheurs les ont assemblés en un corps optimal conçu par des modèles informatiques. L'intelligence artificielle sélectionnait les formes les plus réussies et les plus aptes.

(illustration : Les xénobots calculés par ordinateur - in silico - et réalisés avec des cellules embryonnaires -in vivo.
On voit des petits blocs cubiques de chair, briques structurelles différentes - en rouge, contractables; en vert, passives - qui sont fournies à un algorithme d'évolution. Celui-ci définit un modèle optimal pour l'organisme vivant manufacturé, tout à droite de l'image.
Un résultat comportemental – ici, la maximisation du déplacement – et des briques structurelles différentes - en rouge, contractables; en vert, passives - sont fournies à un algorithme d'évolution. Celui-ci définit un modèle optimal pour l'organisme vivant manufacturé. On voit un gros plan flou à droite de l'image.)

De petits organismes autonomes
L'organisme a réussi à "évoluer" du stade d'amas de cellules souches à celui d'un assemblage bougeant grâce aux pulsations envoyées par les cellules du tissu musculaire cardiaque... ce qui leur a permis de se déplacer pendant plusieurs semaines dans de l'eau, sans avoir besoin de nutriments additionnels.

Ces petits êtres d'un genre nouveau ont été capable de se réparer – se soigner! – tous seuls après avoir été coupés en deux par les scientifiques: "Ils se recousaient et continuaient de fonctionner", remarque Joshua Bongard.

Ces créatures peuvent aussi se diriger vers une cible, ce qui pourrait être très utile dans le domaine de la santé: un xénobot pourrait par exemple administrer des médicaments dans le corps humain, à un endroit prédéterminé. Ou s'occuper d'une artère bouchée.

Des tests ont montré qu'un groupe de xénobots arrivait à se déplacer en cercle, en poussant des pastilles vers un lieu central, de manière spontanée et collective.

De la peau morte
Les applications futures de ces robots vivants peuvent être nombreuses, selon les chercheurs: ils imaginent par exemple qu'ils pourront assembler les microplastiques qui polluent les océans, afin de les nettoyer.

"Ces xénobots sont complètement biodégradables", affirme Joshua Bongard, "Lorsqu'ils ont terminé leur travail après sept jours, ce ne sont plus que des cellules de peau morte".

Une forme de vie étonnante, entièrement nouvelle, qui disparaît presque sans laisser de traces.

Auteur: Jaquet Stéphanie

Info: https://www.rts.ch/info/sciences-tech/technologies. 16 janvier 2020

[ écologie ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]