climats

Dans tout le fonctionnement du globe, les races qui se sont développées sous un soleil tropical sont indolentes et capricieuses. Du point de vue de la survie du plus apte, ces vices sont des vertus, car l'effort sévère et continu dans des conditions tropicales apporte prostration et prédisposition à la maladie. Par conséquent, si de telles races doivent adopter cette vie laborieuse qui est une seconde nature aux races des zones tempérées, ce n'est que par une certaine forme de contrainte. Le nègre n'aurait pas pu trouver une place dans l'industrie américaine s'il était venu en homme libre.

Auteur: Commons John R.

Info: Races and Immigrants in America, New York: Macmillan, 1907, p 136

[ nord-sud ] [ causes-effets ]

charlatans

En matière de travaux historiques, on traita de réactionnaires poussiéreux les savants véritables, qui mettaient au jour une laborieuse documentation ; tous les honneurs allèrent, au contraire, aux écrivains hâtifs qui utilisaient ces documents pour les transformer en synthèses rapides et hasardeuses.

En science naturelle, la même accusation fut portée contre les classifications de la chimie et de la biologie : on n’estima plus que les devins.

Sans s’en rendre compte, l’humanité n’avait fait que tuer les artistes et les savants véritables en les accusant de réaction. En honorant, au contraire, les sorciers et les faiseurs de tours, elle ne fit que retomber sans s’en douter, dans le fétichisme le plus grossier ; elle manqua du même coup l’idée qu’elle voulait combattre et la science qu’elle voulait soutenir, et cette décadence déplorable la livra sans défense au groupement artificiel et sans issue du Léviathan à cet être monstrueux et sans cerveau dont on attendait toute direction.

Auteur: Pawlowski Gaston de

Info: Voyage au pays de la quatrième dimension, Flatland éditeur, 2023, page 116

[ spectacularisme ]

continuité de sens

Nous ne sommes pas nés avec le seul besoin d’être rassasiés, mais avec le "besoin second" de pourvoir à ce rassasiement. Il ne nous est pas seulement insupportable de vivre sans nourriture ; il nous est également insupportable de vivre sans travailler à nous la procurer. [...] notre vie à tous est doublement aliénée : elle n’est pas seulement faite de travail sans fruit mais aussi de fruits obtenus sans travail. [...]

Cette seconde aliénation du travail par rapport à ses "fruits" est la véritable souffrance que nous inflige notre pays de cocagne. Il n’est donc pas étonnant qu’y surgisse la soif de l’effort, le besoin de savourer ne serait-ce qu’une fois un fruit que l’on a soi-même cultivé, celui d’atteindre un but vers lequel on a soi-même marché, celui d’utiliser une table que l’on a soi-même construite, la soif d’une résistance et de l’effort physique nécessaire à la vaincre.

C’est cette soif qui apaise l’homme contemporain. Et il le fait d’une manière artificielle : en effet, afin de surmonter des résistances et de pouvoir jouir de les avoir surmontées, il produit volontairement des résistances, ou plutôt les fait produire pour lui. Les résistances sont aujourd’hui devenues des produits.

Auteur: Anders Günther Stern

Info: Dans "L'obsolescence de l'homme", trad. de l'allemand par Christophe David, éditions Ivrea, Paris, 2002, pages 228-229

[ nature laborieuse ] [ absurdité ] [ dépossession ] [ frustration ]

gangsters néolibéraux

Les démocraties occidentales, loin de combattre la mafia, la laissent au contraire croître, car les flux d’argent que le crime organisé reverse dans les secteurs clefs de l’économie libérale (banques, pétrole, armement, immobilier) permettent à cette économie de survivre à ses crises. L’accumulation du capital mafieux trouve ainsi sa justification dans les systèmes complexes que ces démocraties ont mis en place, de confiscation du pouvoir populaire par l’intermédiaire du droit législatif et procédural. Ce droit législatif n'est que poudre aux yeux, destinée à camoufler le vrai horizon de la logique néo-libérale, qui est la seule accumulation de Capital. Une accumulation qui a changé de nature ces dernières années. De vitesse plutôt, car dès la fin des Trente Glorieuses, le Capital sonnait déjà le glas des sociétés civiles. L’accumulation avait été telle, qu’il ne trouvait plus de lieux où s’investir : la société n’était pas assez riche, investir dans la santé, l’industrie ou les services ne pouvait suffire à résorber l’immense richesse dégagée.

Alors l’argent des riches trouva d’autres lieux où garantir sa croissance démesurée. Avec, en France par exemple, la complicité des socialistes dans les années 80, qui furent les premiers à "libérer" les marchés financiers pour permettre aux banques d’inventer les formes arithmétiques de gains colossaux. Les groupes de pression s’organisèrent, lobbies multiples, intellectuels, politiques, économiques, qui ne visaient qu’à aider le Capital à concentrer ses intérêts sur le court terme, au mépris du développement du Bien Commun.

Des flux de richesses colossales furent ainsi détournés de la société réelle vers le secteur financier, provoquant l’appauvrissement généralisé des économies - et de la citoyenneté, ne l’oublions jamais. Des milliers de milliards de dollars envolés, désertèrent brusquement le commerce et l’industrie, financiarisation de l’économie qui s'engagea vers la pure spéculation financière, par exemple via le vol des richesses naturelles du monde (aujourd’hui, le grand jeu est celui du rachat des terres cultivables à des fins de spéculation). Plutôt que la mondialisation, cet immense élan de destruction massive des économies mondiales conduisit d’abord à la désindustrialisation du monde occidental. Une désindustrialisation qui achevait en outre le grand rêve revanchard des capitalistes : écraser enfin, liquider les classes laborieuses, coupables désormais de s’accrocher aux piètres protections sociales qu’elles avaient gagnées…

Les villes elles-mêmes durent se plier à leurs nouvelles exigences de gentrification. Les quartiers de la classe ouvrière furent transformés en ghettos, tandis qu’une élite sans foi ni loi développait ses produits financiers, dérivés de dérivés de dérivés de la vraie richesse. L’industrie financière était née, où l’argent se reproduisait comme par miracle. Des générations d'économistes et de politiciens nous ont enseigné depuis plus de trente ans que ce modèle, seul, devait nous sauver. Un modèle mathématique élégant, qui n’a cessé depuis de ruiner nos vies. Mais un modèle dont les conséquences politiques ont été considérables et qui s’est traduit par une démocratie entièrement vidée de son sens. 

Auteur: Lecinsky Thelonious K.

Info: Democracy and Conspiracy, Samanthowatan University Press, 2010

[ argent nomade ] [ pouvoir occulte ]

symbole républicain français

Nous sommes ici en France. Tous les jours nous léchons pour les coller sur des enveloppes l’envers de timbres reproduisant la tête d’une femme coiffée d’un bonnet phrygien. On la prénomme Marianne, cette créature sévère avec son bonnet frigide sur la tête. Mais d’abord pourquoi ce bonnet ? Référence en passant au culte de Mithra, le grand totémisme phrygien des baptêmes dans le sang des taureaux. Rappel aussi de l’interprétation rosicrucienne du bonnet écarlate dont on coiffait le massacreur du taureau et qui était censé symboliser le prépuce ensanglanté… La République française, donc, gravée dans son carré de timbre, avec sa verge rebroussée rouge sur la tête. On s’en met, des choses curieuses, sous la langue, chaque jour… Cocarde circoncise. Avertissement répété à la castration. Chapeau du sacrifice. Souvenir sous votre salive de l’assassinat fondateur devenu couvre-chef ou béret rituel.

Mais il y a encore plus original et magique. La belle créature impressionnante si athénienne quant au profil a un prénom traditionnel : Marianne. C’est ici que les surprises commencent. Qui est Marianne ? La Liberté de Delacroix ? Non. Son nom, son simple nom si naturel ? D’où vient-il ? Eh bien c’est là que nous allons nous apercevoir que chaque jour, à des milliers d’exemplaires, le timbre français si banal nous envoie un message chiffré du fond de son origine secrète. Caché justement, occulte. Car le nom de Marianne adopté comme prénom qui-va-de-soi de la République allégorisée vient tout simplement d’une société clandestine qui s’appelait La Marianne. Une association de conjurés de l’ouest conspirant dans le but de renverser le régime mis en place par le coup d’Etat du 2 décembre 1851.

La Marianne dépendait du Comité démocratique européen de Londres dont les membres les plus importants étaient Mazzini et Ledru-Rollin. Voilà pour le versant socialiste.

Et voilà maintenant le versant occulte.

Les cérémonies initiatiques de la secte se déroulaient dans la grande tradition. […] Le nouvel adepte entrait les yeux bandés. Il prêtait serment de courir aux armes dès le premier signal pour rétablir la République. On lui apprenait la série de signes communs à tous les conjurés. Trois coups de pouce sur la première phalange de l’index, un salut de la main gauche, le pouce à nouveau contre le front, la poitrine et à hauteur du cœur. Le rituel se terminait par un dialogue fait de répliques apprises par cœur que l’on a conservées et qui valent la peine d’être relues :

"Connaissez-vous Marianne ?

- De la montagne.

- L’heure ?

- Elle va sonner.

- Le droit ?

- Au travail.

- Le suffrage ?

- Universel.

- Dieu me voit ?

- Du haut de la montagne.

- Le lion ?

- Le lion." 

Cent ans plus tard, évidemment, tout le monde a oublié ces laborieuses origines. Marianne est devenue une revenante, elle aussi, un petit fantôme dans son carré de papier crypté.

Auteur: Muray Philippe

Info: Dans "Le 19e siècle à travers les âges", pages 249-250

[ histoire ]

rationalisme

... L’étouffement de la contemplation représente la fin de la mystique, de la métaphysique, de l’esthétique qui sont le sommet et la floraison de la culture. La civilisation actuelle asservit la science et les arts en processus industriel et technique. Nous en voyons l’exemple dans la conception culturelle du communisme soviétique. C’est une crise culturelle profonde. L’avenir de l’homme dépend de son désir de se libérer, ne serait-ce que pour un instant, pour prendre conscience de soi et de sa vie, pour tourner ses regards vers le ciel. L’idée du travail et d’une société laborieuse est vraiment une grande idée parfaitement chrétienne. La contemplation aristocratique de l’élite privilégiée affranchie de la coopération au travail était trop souvent une fausse contemplation, et c’est pourquoi elle a peu de chance de reprendre sa place dans l’avenir. Mais chaque travailleur, chaque homme, en général, a ses moments de concentration intérieure, d’oraison et d’actions de grâce, de contemplation esthétique ou autre. Contemplation et action peuvent et doivent se rejoindre, seule leur union affirme et fortifie l’intégrité de la personne humaine. En se dépensant entièrement en action temporelle, l’homme se vide et la source d’énergie spirituelle en lui tarit. Dans son acceptation courante, l’activité n’est plus au service du prochain selon l’Évangile, mais plutôt au service des idoles. Le cycle liturgique de la vie religieuse représente l’alliance originale de la contemplation et de l’action, l’homme peut y puiser force et énergie.

Nous assistons à la transformation fatale de la personne, image de l’Être suprême, en un être absorbé par le collectif évoluant dans le temps et réclamant une activité accélérée. L’homme est un être créateur, mais la civilisation moderne lui demande une activité qui signifie une négation de sa nature humaine. L’acte créateur présuppose l’alliance de l’action et de la contemplation. Leur distinction même est relative, l’esprit étant essentiellement un élément actif et dynamique agissant encore dans la contemplation. Nous abordons ici le dernier problème de la situation spirituelle du monde contemporain, celui de l’homme en tant que problème religieux. La crise que nous traversons est celle de l’homme dont l’avenir est devenu problématique. Cette crise, il faut lui donner une interprétation spirituelle du dedans du christianisme. Ce n’est qu’ainsi qu’on saura comprendre la portée de ce qui se passe. La notion chrétienne de l’homme, que l’humanisme a gardée intacte, est ébranlée par la civilisation moderne. Le christianisme est fondé sur le mythe humano-divin théandrique, je n’use pas du mot mythe dans un sens qui l’opposerait à la réalité ; au contraire, le mythe correspond mieux à la réalité spirituelle que le concept, le mythe de Dieu et de l’homme, de la ressemblance divine dans l’homme, et de l’incarnation du Fils de Dieu. De là dérive la dignité de l’homme, mais l’homme déchu assimilait péniblement la révélation chrétienne dans sa plénitude et la doctrine humano-divine trop peu développée n’était pas assez actualisée dans la vie. C’est la raison pour laquelle un humanisme, à base chrétienne, fut inévitable. Une évolution commença fatalement, celle de la destruction du mythe chrétien intégral. On rejeta d’abord Dieu de ce mythe, restait toujours l’homme, son concept chrétien, comme nous le trouvons dans la pensée de L. Feuerbach. Il rejetait Dieu, mais gardait encore la ressemblance divine chez l’homme, en professant sa nature éternelle, comme tant d’autres humanistes. Mais la démolition du mythe théandrique allait son train, on atteignait maintenant le mythe de l’homme, l’apostasie touchait à l’homme et à Dieu. C’est l’homme qu’attaquèrent Marx et Nietzsche. Pour Marx, ce n’est plus l’homme, c’est le collectif social qui représente la valeur suprême. L’homme est évincé par la classe et le mythe nouveau du messianisme prolétarien. Marx et Nietzsche se rattachent à l’humanisme. Pour Nietzsche, l’homme doit être surmonté par le surhomme, une race plus haute. Ainsi l’homme – dernière valeur chrétienne jusque-là épargnée – est désavoué et les courants sociaux contemporains en témoignent. Après l’apostasie de Dieu, la civilisation moderne en est à la phase de l’apostasie de l’homme. Voilà l’essence de la crise contemporaine.

La technisation et la collectivisation de la personne se rattachent à cette crise. Toutes les hérésies et les défections de la vérité intégrale dans le christianisme historique posaient des problèmes importants qui n’ont pas encore trouvé de solution et qu’il faut résoudre du dedans du christianisme. Mais les hérésies contemporaines diffèrent des hérésies des premiers siècles chrétiens, elles ne sont pas théologiques, mais vitales. Elles prouvent l’urgence d’une réponse chrétienne aux problèmes existants de la technique, d’une juste organisation sociale, de la collectivisation par rapport à la valeur éternelle de la personne humaine, tous ces problèmes nécessitant la lumière de la vérité humano-divine. L’activité créatrice de l’homme dans le monde n’est pas sanctifiée. La crise mondiale rappelle aux chrétiens les tâches non accomplies, elle constitue donc un jugement non seulement sur le monde athée, mais aussi sur le christianisme lui-même. Le problème essentiel de nos jours n’est pas celui de Dieu, comme le croient beaucoup de chrétiens, qui invoquent l’urgence d’une renaissance religieuse. C’est avant tout le problème de l’homme qui importe aujourd’hui. Le problème de Dieu est éternel, c’est le premier et le dernier problème de tous les temps, mais celui de notre époque concerne le salut de la personne humaine qui se désagrège, sa vocation et sa mission, ainsi que les questions sociales et culturelles nécessitant une solution chrétienne. Ayant rejeté Dieu, on porte moins atteinte à la dignité de Dieu qu’à celle de l’homme qui, sans Dieu, ne peut se maintenir. Dieu est pour l’homme l’idée suprême et la réalité qui l’a formé. D’autre part, l’homme est l’idée suprême de Dieu. Ce n’est que le christianisme qui résout le problème des rapports de Dieu et de l’homme, ce n’est qu’en Christ que la race humaine peut être sauvée, seul l’esprit chrétien peut construire une société et une culture qui ne détruisent pas l’homme. Or, il faut que la vérité soit réalisée dans la vie...

Auteur: Berdiaev Nicolas

Info: De l’esprit bourgeois

[ consumérisme ] [ capitalisme ] [ antispiritualistes ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]