USA

Est-ce que Washington nous tuera tous?
Saviez-vous que Washington maintient 450 ICBM [missiles balistiques intercontinentaux] nucléaires en alerte instantanée? Washington pense que cela nous met en sécurité. Le raisonnement, si on peut appeler cela de la raison, est qu'en étant capables de tirer en quelques minutes, personne n'essaiera d'attaquer les États-Unis avec des armes nucléaires. Les missiles états-uniens sont en mesure de faire ce qu'ils doivent avant que les missiles de l'ennemi puissent atteindre les États-Unis pour détruire les nôtres.
Si cela vous fait vous sentir en sécurité, vous avez besoin de lire le livre d'Éric Schlosser, Command and Control.
Le problème avec les alertes instantanées est qu'elles peuvent faire des erreurs, des lancements accidentels et plus probablement non autorisés. Schlosser fait l'histoire de quasi lancements d'attaques qui auraient pu apporter un Armaggedon au monde.
Dans Catalyst, une publication de l'Union of Concerned Scientists [Union des scientifiques concernés], Elliott Negin raconte l'histoire du lieutenant-colonel soviétique Stanislav Petrov. Juste après minuit, en 1983, le système satellitaire d'alerte précoce de l'Union soviétique a déclenché l'alarme parce que 4 ICBM états-uniens se dirigeaient vers l'Union soviétique.
Le colonel Petrov était censé informer le dirigeant soviétique, qui aurait eu huit à dix minutes pour décider s'il lançait une attaque en représailles. Qui sait ce qu'il aurait décidé. Au lieu de quoi, le colonel Petrov a fait appel à son jugement. Il n'y avait pas de raison pour que les États-Unis attaquent l'Union soviétique. En plus, Petrov a raisonné qu'une attaque américaine impliquerait des centaines d'ICBM, peut-être des milliers. Il a vérifié si le radar au sol soviétique avait détecté l'entrée des ICBM, et il ne l'avait pas fait. Petrov a donc décidé que c'était une fausse alerte, et s'est assis dessus.
Il s'est avéré que le système d'alerte précoce avait pris par erreur un reflet de lumière solaire sur les nuages pour des missiles. C'était de justesse, ils ont eu chaud, mais Negin rapporte qu'une puce d'ordinateur abîmée et une carte de circuit mal installée sont parmi les coupables qui pourraient déclencher une guerre nucléaire. En d'autres termes, les sources de fausses alertes sont nombreuses.
Maintenant, venons-en à aujourd'hui. Imaginez un officier américain en train de surveiller le système d'alerte précoce des États-Unis. Pendant 15 ans, cet officier a entendu de la propagande de guerre, accompagnée des invasions et des bombardements de huit pays par les États-Unis. Les avertissements terroristes et les alertes à la sécurité abondent, tout comme les appels de politiciens américains et israéliens à larguer des bombes atomiques sur l'Iran. Les médias l'ont convaincu que la Russie avait envahi l'Ukraine et qu'elle est sur le point d'envahir les États baltes et la Pologne. Des troupes américaines et des blindés ont été dépêchés sur la frontière russe. On parle d'armer l'Ukraine. Poutine est dangereux et menace de la guerre atomique, amenant ses bombardiers stratégiques tout près de nos frontières et faisant exécuter des exercices nucléaires. L'officier américain vient d'entendre sur Fox News un général appeler à nouveau à tuer les Russes. Les Républicains l'ont convaincu qu'Obama vend l'Amérique à l'Iran, avec l'avertissement du sénateur Tom Cotton que la conséquence sera la guerre nucléaire. Nous serons tous tués parce qu'il y a un musulman à la Maison Blanche.
Pourquoi n'y a-t-il personne pour soutenir l'Amérique, s'étonne l'officier américain patriote, juste au moment où l'alarme se déclenche: ICBM entrants. Est-ce que c'est des Russes ou des Iraniens? Est-ce qu'Israël n'avait pas raison, après tout? Un programme d'armement nucléaire iranien caché? Ou Poutine a-t-il décidé que les États-Unis font obstacle à sa reconstruction de l'Empire soviétique, dont les médias américains affirment que c'est l'objectif de Poutine? Il n'y a aucun espace pour la réflexion dans l'esprit de l'officier américain. Il a été mis en alerte immédiate par la propagande incessante que les Américains appellent information. Il transmet l'avertissement.
Le conseiller néocon russophobe d'Obama à la Sécurité nationale: "Vous ne pouvez pas laisser Poutine continuer avec ça !" "Ce pourrait être une fausse alerte", réplique le président nerveux et agité. "Vous, espèce de lavette libérale! Ne savez-vous pas que Poutine est dangereux!? Pressez sur le bouton!"
Et c'est là que va le monde.
Considérons la russophobie extrême suscitée chez les Américains par le ministère de la Propagande, la diabolisation de Vladimir Poutine - le nouvel Hitler, Vlad l'Empaleur - la création propagandiste de la menace russe, le désir fou des néocons d'une hégémonie états-unienne mondiale, la haine de la Russie et de la Chine en tant que rivaux émergents capables d'exercer un pouvoir indépendant, la perte du statut de puissance américaine universelle et de liberté d'action unilatérale. Au milieu de ces émotions et de ces esprits influencés non par des faits mais par de la propagande, de l'orgueil et de l'idéologie, il y a une grande chance pour que la réponse de Washington à une fausse alerte provoque la fin de la vie sur la terre.
Quelle confiance avez-vous en Washington? Combien de fois Washington - et en particulier les fous néocons - ont-ils eu tort?
Vous rappelez-vous la guerre de trois semaines en Irak, du gâteau, qui coûterait $70 milliards et serait payée par les revenus du pétrole irakien? Aujourd'hui, le coût se monte à $3 000 milliards et augmente encore, et après douze ans, l'État islamique radical contrôle la moitié du pays. Pour payer les guerres, les Républicains veulent privatiser, c'est-à-dire s'emparer de la sécurité sociale et de Medicare.
Vous vous souvenez de la mission accomplie en Afghanistan? Douze ans plus tard, les talibans contrôlent de nouveau le pays et Washington, après avoir assassiné des femmes, des enfants, des funérailles, des mariages, des anciens dans les villages et des enfants jouant au foot, a été chassé par quelques milliers de talibans légèrement armés.
Les frustrations provoquées par ces défaites se sont accumulées à Washington et dans l'armée. Le mythe est que nous avons perdu parce que nous n'avons pas engagé toute notre force. Nous avons été intimidés par l'opinion mondiale ou par ces maudits manifestants étudiants, ou empêchés de vaincre par quelque président lâche, une lavette libérale qui n'utilise pas toute notre puissance. Pour la droite, la rage est un mode de vie.
Les néocons croient ardemment que l'Histoire a choisi l'Amérique pour diriger le monde, et ici nous avons été vaincus par la guérilla vietnamienne, par les tribus afghanes, par les fondamentalistes islamiques, et maintenant Poutine a envoyé ses missiles pour achever le travail.
Le fou de la Maison Blanche, quel qu'il soit, pressera sur le bouton.
La situation se détériore, elle ne s'améliore pas. Les Russes, espérant quelque signe d'intelligence en Europe, contredisent les mensonges antirusses de Washington. Le contraire exact de sa propre propagande, Washington l'appelle propagande russe. Washington a ordonné au Broadcasting Board of Governors, une agence gouvernementale, dirigée par Andrew Lack, un ancien directeur de NBC News, de contrer une prétendue - mais inexistante - Armée de trolls du Kremlin, qui gueule plus fort que les presstitués occidentaux et perpétue un dialogue prorusse sur Internet. Au cas où vous ne vous en souviendriez pas, Lack est l'idiot qui a déclaré que RT était une organisation terroriste. En d'autres termes, de l'avis de Lack, celui qu'il peut imposer, quelqu'un qui dit la vérité est un terroriste.
Lack incarne bien le point de vue de Washington sur la véracité des récits: si cela ne sert pas la propagande de Washington, ce n'est pas vrai. C'est du terrorisme.
Lack espère contrôler RT par l'intimidation: en effet, il a dit à RT de se taire et de dire ce que nous voulons qu'ils disent, sinon nous vous fermerons comme organisation terroriste. Nous pourrions même arrêter vos employés américains comme instigateurs et complices de terrorisme.
Pour contrer une Russie revancharde et son armée de trolls sur Internet, le régime d'Obama distribue $15 400 000 à ce fou de Lack pour discréditer chaque déclaration véridique publiée sur les versions en anglais des médias russes. Cette somme, évidemment, va augmenter considérablement. Bientôt elle se comptera en milliards de dollars, tandis que des Américains sont expulsés de leurs maisons et envoyés en prison à cause de leurs dettes.
Dans sa demande d'argent, Lack, qui semble manquer de toutes les qualités humaines, dont l'intelligence, l'intégrité et la moralité, a justifié sa requête, qui sera honorée, de recevoir l'argent durement gagné des Américains dont le niveau de vie baisse, par l'affirmation rocambolesque que la Russie "menace ses voisins et, par extension, les États-Unis et leurs alliés occidentaux".
Lack promet de faire encore plus: "Les médias internationaux états-uniens sont maintenant tenus de réfuter la propagande russe et d'influencer les esprits des Russes et des russophones dans l'ancienne Union soviétique, en Europe et dans le monde." Lack va faire de la propagande contre la Russie à l'intérieur de la Russie.
Évidemment, les organisations de la CIA - le National Endowment for Democracy et Radio Free Europe/Radio Liberty - seront enrichies par cette campagne de propagande antirusse et l'appuieront sans réserve.
Donc l'appel de l'Union of Concerned Scientists à la coopération avec la Russie pour mettre les ICBM hors statut d'alerte immédiate a peu de chances de se concrétiser. Comment les tensions nucléaires peuvent-elles se réduire lorsque Washington construit des tensions aussi rapidement qu'il peut? Le ministère de la Propagande à Washington a portraituré Poutine comme Oussama Ben Laden, comme Saddam Hussein, des personnages diaboliques, des épouvantails qui effraient des Américains moutonniers à qui on a bourré le crâne. La Russie est transformée en al-Qaida avide de lancer une nouvelle attaque contre le World Trade Center et de faire déferler l'Armée rouge (de nombreux Américains pensent que la Russie est toujours communiste) sur l'Europe.
Gorbatchev était une ruse. Il a trompé le vieil acteur de cinéma [Reagan]. Les Américains trompés sont des cibles faciles, et voici qu'arrivent les ICBM. Les vues folles des politiciens américains, des militaires et des gens sont incapables de saisir la vérité ou de reconnaître la réalité.
Les médias américains propagandistes et les néoconservateurs fous ont amené l'humanité sur le chemin de la destruction.
L'Union of Concerned Scientists, dont je suis membre, a besoin de reprendre ses esprits. Il est impossible de travailler à une réduction de la menace nucléaire aussi longtemps qu'un camp fait tout pour diaboliser l'autre. La diabolisation de la Russie et de son dirigeant par les New York Times, Washington Post, CNN, Fox News, et le reste du ministère de la Propagande américaine, par la quasi totalité de la Chambre et du Sénat, et par la Maison Blanche, rend impossible la réduction de la menace de guerre nucléaire.
Le peuple américain et le monde entier doivent comprendre que la menace à la vie sur terre réside à Washington et que jusqu'à ce que Washington ait fondamentalement et totalement changé, cette menace restera comme la pire menace à la vie sur la terre. Le réchauffement climatique peut disparaître en un instant dans l'hiver nucléaire.

Auteur: Paul Craig Roberts

Info: 16 avril 2015

[ parano ] [ oppression ] [ guerre atomique ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

consumérisme

La pornographie c’est ce à quoi ressemble la fin du monde
"Cinquante nuances de Grey", le livre comme le film, est une glorification du sadisme qui domine quasiment tous les aspects de la culture américaine et qui repose au coeur de la pornographie et du capitalisme mondial. Il célèbre la déshumanisation des femmes. Il se fait le champion d’un monde dépourvu de compassion, d’empathie et d’amour. Il érotise le pouvoir hypermasculin à l’origine de l’abus, de la dégradation, de l’humiliation et de la torture des femmes dont les personnalités ont été supprimées, dont le seul désir est de s’avilir au service de la luxure mâle. Le film, tout comme "American Sniper", accepte inconditionnellement un monde prédateur où le faible et le vulnérable sont les objets de l’exploitation tandis que les puissants sont des demi-dieu violents et narcissiques. Il bénit l’enfer capitaliste comme naturel et bon.

"La pornographie", écrit Robert Jensen, "c’est ce à quoi ressemble la fin du monde."

Nous sommes aveuglés par un fantasme auto-destructeur. Un éventail de divertissements et de spectacles, avec les émissions de télé "réalité", les grands évènements sportifs, les médias sociaux, le porno (qui engrange au moins le double de ce que génèrent les films hollywoodiens), les produits de luxe attirants, les drogues, l’alcool et ce Jésus magique, nous offre des issues de secours — échappatoires à la réalité — séduisantes. Nous rêvons d’être riches, puissants et célèbres. Et ceux que l’on doit écraser afin de construire nos pathétiques petits empires sont considérés comme méritants leurs sorts. Que la quasi-totalité d’entre nous n’atteindra jamais ces ambitions est emblématique de notre auto-illusionnement collectif et de l’efficacité de cette culture submergée par manipulations et mensonges.

Le porno cherche à érotiser le sadisme. Dans le porno les femmes sont payées pour répéter les mantras "Je suis une chatte. Je suis une salope. Je suis une pute. Je suis une putain. Baise moi violemment avec ta grosse bite." Elles demandent à être physiquement abusées. Le porno répond au besoin de stéréotypes racistes dégradants. Les hommes noirs sont des bêtes sexuelles puissantes harcelant les femmes blanches. Les femmes noires ont une soif de luxure brute, primitive. Les femmes latinos sont sensuelles et ont le sang chaud. Les femmes asiatiques sont des geishas dociles, sexuellement soumises. Dans le porno, les imperfections humaines n’existent pas. Les poitrines siliconées démesurées, les lèvres pulpeuses gonflées de gel, les corps sculptés par des chirurgiens plastiques, les érections médicalement assistées qui ne cessent jamais et les régions pubiennes rasées — qui correspondent à la pédophilie du porno — transforment les exécutants en morceaux de plastique. L’odeur, la transpiration, l’haleine, les battements du cœur et le toucher sont effacés tout comme la tendresse. Les femmes dans le porno sont des marchandises conditionnées. Elles sont des poupées de plaisir et des marionnettes sexuelles. Elles sont dénuées de leurs véritables émotions. Le porno n’a rien à voir avec le sexe, si on définit le sexe comme un acte mutuel entre deux partenaires, mais relève de la masturbation, une auto-excitation solitaire et privée d’intimité et d’amour. Le culte du moi — qui est l’essence du porno — est au cœur de la culture corporatiste. Le porno, comme le capitalisme mondial, c’est là où les êtres humains sont envoyés pour mourir.

Il y a quelques personnes à gauche qui saisissent l’immense danger de permettre à la pornographie de remplacer l’intimité, le sexe et l’amour. La majorité de la gauche pense que la pornographie relève de la liberté d’expression, comme s’il était inacceptable d’exploiter financièrement et d’abuser physiquement une femme dans une usine en Chine mais que le faire sur un lieu de tournage d’un film porno était acceptable, comme si la torture à Abu Ghraib — où des prisonniers furent humiliés sexuellement et abusés comme s’ils étaient dans un tournage porno — était intolérable, mais tolérable sur des sites de pornographies commerciaux.

Une nouvelle vague de féministes, qui ont trahi l’ouvrage emblématique de radicales comme Andrea Dworkin, soutiennent que le porno est une forme de libération sexuelle et d’autonomisation. Ces "féministes", qui se basent sur Michel Foucault et Judith Butler, sont les produits attardés du néolibéralisme et du postmodernisme. Le féminisme, pour eux, ne relève plus de la libération de la femme opprimée; il se définit par une poignée de femmes qui ont du succès, sont riches et puissantes — où, comme c’est le cas dans "cinquante nuances de grey", capables d’accrocher un homme puissant et riche. C’est une femme qui a écrit le livre "Cinquante nuances", ainsi que le scénario du film. Une femme a réalisé le film. Une femme dirigeante d’un studio a acheté le film. Cette collusion des femmes fait partie de l’internalisation de l’oppression et de la violence sexuelle, qui s’ancre dans le porno. Dworkin l’avait compris. Elle avait écrit que "la nouvelle pornographie est un vaste cimetière où la Gauche est allée mourir. La Gauche ne peut avoir ses prostituées et leurs politiques."

J’ai rencontré Gail Dines, l’une des radicales les plus prééminentes du pays, dans un petit café à Boston mardi. Elle est l’auteur de "Pornland: Comment le porno a détourné notre sexualité" (“Pornland: How Porn Has Hijacked Our Sexuality”) et est professeure de sociologie et d’études féminines à l’université de Wheelock. Dines, ainsi qu’une poignée d’autres, dont Jensen, dénoncent courageusement une culture aussi dépravée que la Rome de Caligula.

"L’industrie du porno a détourné la sexualité d’une culture toute entière, et dévaste toute une génération de garçons", nous avertit elle. "Et quand vous ravagez une génération de garçons, vous ravagez une génération de filles."

"Quand vous combattez le porno vous combattez le capitalisme mondial", dit-elle. "Les capitaux-risqueurs, les banques, les compagnies de carte de crédit sont tous partie intégrante de cette chaine alimentaire. C’est pourquoi vous ne voyez jamais d’histoires anti-porno. Les médias sont impliqués. Ils sont financièrement mêlés à ces compagnies. Le porno fait partie de tout ceci. Le porno nous dit que nous n’avons plus rien d’humains — limite, intégrité, désir, créativité et authenticité. Les femmes sont réduites à trois orifices et deux mains. Le porno est niché dans la destruction corporatiste de l’intimité et de l’interdépendance, et cela inclut la dépendance à la Terre. Si nous étions une société d’être humains entiers et connectés en véritables communautés, nous ne supporterions pas de regarder du porno. Nous ne supporterions pas de regarder un autre être humain se faire torturer."

"Si vous comptez accumuler la vaste majorité des biens dans une petite poignée de mains, vous devez être sûr d’avoir un bon système idéologique en place qui légitimise la souffrance économique des autres", dit elle. "Et c’est ce que fait le porno. Le porno vous dit que l’inégalité matérielle entre femmes et hommes n’est pas le résultat d’un système économique. Que cela relève de la biologie. Et les femmes, n’étant que des putes et des salopes bonnes au sexe, ne méritent pas l’égalité complète. Le porno c’est le porte-voix idéologique qui légitimise notre système matériel d’inégalités. Le porno est au patriarcat ce que les médias sont au capitalisme."

Pour garder excités les légions de mâles facilement ennuyés, les réalisateurs de porno produisent des vidéos qui sont de plus en plus violentes et avilissantes. "Extreme Associates", qui se spécialise dans les scènes réalistes de viols, ainsi que JM Productions, mettent en avant les souffrances bien réelles endurées par les femmes sur leurs plateaux. JM Productions est un pionnier des vidéos de "baise orale agressive" ou de "baise faciale" comme les séries "étouffements en série", dans lesquelles les femmes s’étouffent et vomissent souvent. Cela s’accompagne de "tournoiements", dans lesquels le mâle enfonce la tête de la femme dans les toilettes puis tire la chasse, après le sexe. La compagnie promet, "toutes les putes subissent le traitement tournoyant. Baise la, puis tire la chasse". Des pénétrations anales répétées et violentes entrainent des prolapsus anaux, une pathologie qui fait s’effondrer les parois internes du rectum de la femme et dépassent de son anus. Cela s’appelle le "rosebudding". Certaines femmes, pénétrées à de multiples reprises par nombre d’hommes lors de tournages pornos, bien souvent après avoir avalé des poignées d’analgésiques, ont besoin de chirurgie reconstructrices anales et vaginales. Les femmes peuvent être affectées par des maladies sexuellement transmissibles et des troubles de stress post-traumatique (TSPT). Et avec la démocratisation du porno — certains participants à des vidéos pornographiques sont traités comme des célébrités dans des émissions comme celles d’Oprah et d’Howard Stern — le comportement promu par le porno, dont le strip-tease, la promiscuité, le sadomasochisme et l’exhibition, deviennent chic. Le porno définit aussi les standards de beauté et de comportements de la femme. Et cela a des conséquences terribles pour les filles.

"On dit aux femmes qu’elles ont deux choix dans notre société", me dit Gail Dines. "Elles sont soit baisables soit invisibles. Être baisable signifie se conformer à la culture du porno, avoir l’air sexy, être soumise et faire ce que veut l’homme. C’est la seule façon d’être visible. Vous ne pouvez pas demander aux filles adolescentes, qui aspirent plus que tout à se faire remarquer, de choisir l’invisibilité."

Rien de tout ça, souligne Dines, n’est un accident. Le porno a émergé de la culture de la marchandise, du besoin de vendre des produits qu’ont les capitalistes corporatistes.

"Dans l’Amérique d’après la seconde guerre mondiale, vous avez l’émergence d’une classe moyenne avec un revenu disponible", explique-t-elle. "Le seul problème c’est que ce groupe est né de parents qui ont connu la dépression et la guerre. Ils ne savaient pas comment dépenser. Ils ne savaient qu’économiser. Ce dont [les capitalistes] avaient besoin pour faire démarrer l’économie c’était de gens prêts à dépenser leur argent pour des choses dont ils n’avaient pas besoin. Pour les femmes ils ont créé les séries télévisées. Une des raisons pour lesquelles les maisons style-ranch furent développées, c’était parce que [les familles] n’avaient qu’une seule télévision. La télévision était dans le salon et les femmes passaient beaucoup de temps dans la cuisine. Il fallait donc diviser la maison de façon à ce qu’elles puissent regarder la télévision depuis la cuisine. Afin qu’elle puisse être éduquée". [Via la télévision]

"Mais qui apprenait aux hommes à dépenser leur argent?" continue-t-elle. "Ce fut Playboy [Magazine]. Ce fut le génie de Hugh Hefner. Il comprit qu’il ne suffisait pas de marchandiser la sexualité, mais qu’il fallait sexualiser les marchandises. Les promesses de Playboy n’étaient pas les filles où les femmes, c’était que si vous achetez autant, si vous consommez au niveau promu par Playboy, alors vous obtenez la récompense, qui sont les femmes. L’étape cruciale à l’obtention de la récompense était la consommation de marchandises. Il a incorporé le porno, qui sexualisait et marchandisait le corps des femmes, dans le manteau de la classe moyenne. Il lui a donné un vernis de respectabilité."

Le VCR, le DVD, et plus tard, Internet ont permis au porno de s’immiscer au sein des foyers. Les images satinées de Playboy, Penthouse et Hustler devinrent fades, voire pittoresques. L’Amérique, et la majeure partie du reste du monde, se pornifia. Les revenus de l’industrie du mondiale du porno sont estimés à 96 milliards de $, le marché des USA comptant pour environ 13 milliards. Il y a, écrit Dines, "420 millions de pages porno sur internet, 4.2 millions de sites Web porno, et 68 millions de requêtes porno dans les moteurs de recherches chaque jour."

Parallèlement à la croissance de la pornographie, il y a eu explosion des violences liées au sexe, y compris des abus domestiques, des viols et des viols en réunion. Un viol est signalé toutes les 6.2 minutes aux USA, mais le total estimé, qui prend en compte les assauts non-rapportés, est peut-être 5 fois plus élevé, comme le souligne Rebecca Solnit dans son livre "Les hommes m’expliquent des choses".

"Il y a tellement d’hommes qui assassinent leurs partenaires et anciennes partenaires, nous avons bien plus de 1000 homicides de ce type chaque année — ce qui signifie que tous les trois ans le nombre total de morts est la première cause d’homicides relevés par la police, bien que personne ne déclare la guerre contre cette forme particulière de terreur", écrit Solnit.

Pendant ce temps-là, le porno est de plus en plus accessible.

"Avec un téléphone mobile vous pouvez fournir du porno aux hommes qui vivent dans les zones densément peuplées du Brésil et de l’Inde", explique Dines. "Si vous avez un seul ordinateur portable dans la famille, l’homme ne peut pas s’assoir au milieu du salon et se masturber. Avec un téléphone, le porno devient portable. L’enfant moyen regarde son porno sur son téléphone mobile".

L’ancienne industrie du porno, qui engrangeait de l’argent grâce aux films, est morte. Les éléments de la production ne génèrent plus de profits. Les distributeurs de porno engrangent la monnaie. Et un distributeur, MindGeek, une compagnie mondiale d’informatique, domine la distribution du porno. Le porno gratuit est utilisé sur internet comme appât par MindGeek pour attirer les spectateurs vers des sites de pay-per-view (paye pour voir). La plupart des utilisateurs de ces sites sont des adolescents. C’est comme, explique Dines, "distribuer des cigarettes à la sortie du collège. Vous les rendez accrocs."

"Autour des âges de 12 à 15 ans vous développez vos modèles sexuels", explique-t-elle. "Vous attrapez [les garçons] quand ils construisent leurs identités sexuelles. Vous les marquez à vie. Si vous commencez par vous masturber devant du porno cruel et violent, alors vous n’allez pas rechercher intimité et connectivité. Les études montrent que les garçons perdent de l’intérêt pour le sexe avec de véritables femmes. Ils ne peuvent maintenir des érections avec des vraies femmes. Dans le porno il n’y a pas de "faire l’amour". Il s’agit de "faire la haine". Il la méprise. Elle le dégoute et le révolte. Si vous amputez l’amour vous devez utiliser quelque chose pour remplir le trou afin de garder le tout intéressant. Ils remplissent ça par la violence, la dégradation, la cruauté et la haine. Et ça aussi ça finit par être ennuyeux. Il faut sans cesse surenchérir. Les hommes jouissent du porno lorsque les femmes sont soumises. Qui est plus soumis que les enfants? La voie du porno mène inévitablement au porno infantile. Et c’est pourquoi des organisations qui combattent le porno infantile sans combattre le porno adulte font une grave erreur."

L’abus inhérent à la pornographie n’est pas remis en question par la majorité des hommes et des femmes. Regardez les entrées du film "cinquante nuances de grey", qui est sorti la veille de la saint valentin et qui prévoit d’engranger plus de 90 millions de $ sur ce week-end de quatre jours (avec la journée du président de ce lundi).

"La pornographie a socialisé une génération d’hommes au visionnage de tortures sexuelles’, explique Dines. Vous n’êtes pas né avec cette capacité. Vous devez être conditionné pour cela. Tout comme vous conditionnez des soldats afin qu’ils tuent. Si vous voulez être violent envers un groupe, vous devez d’abord le déshumaniser. C’est une vieille méthode. Les juifs deviennent des youpins. Les noirs des nègres. Les femmes des salopes. Et personne ne change les femmes en salope mieux que le porno."

Auteur: Hedges Christopher Lynn

Info: truthdig.com, 15 février 2015

[ vingt-et-unième siècle ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]