homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

ufo

Un bon copain et ancien compagnon d'escadron, Dave "Sex" Fravor, a vécu une des histoires d'aviation les plus bizarres de tous les temps. Un truc qui éclate la crédibilité, alors je vais la raconter en m'appuyant sur la bonne foi de Dave.
Je le connais personnellement - très bien. Nous avons volé sur des A-6 ensemble avant qu'il n'entre dans le monde des Hornet. C'est un mec drôle. Intelligent et malin, avec la typique surestimation de ses compétences du pilote de chasse. En vol cependant, Dave était aussi professionnel que possible.
Au matin du 14 novembre 2004, Dave et son équipier se sont lancés dans le ciel bleu clair de la Californie du Sud, à une centaine de kilomètres au sud-ouest de San Diego. Leur nom d'appel était FASTEAGLE 01. Son ailier a décollé juste après eux dans FASTEAGLE 02. Ils ont grimpé au-dessus du navire et eu rendez-vous de façon normale avant de partir vers la zone de travail assignée dans l'océan ouvert au sud de l'USS Nimitz. Jour normal, opérations normales pour le pré-déploiement du cycle de travail dans tel milieu.
Le Nimitz Carrier Strike Group était déjà en poste depuis quelques semaines et travaillait à intégrer les opérations du transporteur avec ses différents navires de soutien, y compris le croiseur de missiles guidés de classe Ticonderoga, USS Princeton. En ce qui concerne Dave, c'était un jour standard, autre étape dans le long processus de la préparation des navires du Strike group et des avions de l'Air Wing pour travailler harmonieusement leur prochain déploiement de combat.
Ce que Dave ne savait pas, c'était qu'au cours des derniers jours, le Princeton avait attrapé des retours bizarres sur leur radar SPY-1. À plusieurs occasions, à compter du 10 novembre, le fire control officer, un type expérimenté, tout comme les radaristes, avaient détecté de nombreux échos qui se situaient bien au-dessus du volume de balayage du radar, quelque part à plus de 80 000 pieds. Des signaux qui partaient de 80 000 pieds jusqu'à planer à environ 50 pieds au-dessus de l'eau en quelques secondes. Toujours au même endroit, à la latitude d'environ 30NM au large de la côte de Baja, à environ 70NM au sud-ouest de Tijuana. À l'époque, le SPY-1 était le radar tactique le plus sophistiqué et le plus puissant de la planète. Avec cet engin, ils ont pu suivre ces AAV* pendant qu'ils descendaient, tournaient et glissaient à des vitesses, des taux de rotation et des accélérations plus rapides que n'importe quel avion ami ou menace connu. Incroyablement rapide.
Une fois les avions de l'escadre aérienne arrivés près du Nimitz, le fire squad control du Princeton y vit l'opportunité d'utiliser ces atouts et ces yeux pour aider à résoudre le mystère de ces AAVs.
A un moment, le vol FASTEAGLE terminait son entraînement prévu, le cmdt de l'escadron VMFA-232 de Marine, le lieutenant-colonel "Cheeks" Kurth, effectuait un vol de vérification post-maintenance pas très loin. Il fut le premier engin rapide contacté par le Princeton. La communication était étrange et intrigante. On lui demandait d'enquêter sur un contact aérien non identifié. Ce n'est pas une demande terriblement inhabituelle quand un Strike Group est en transit ou déployé loin des eaux domestiques, mais c'est plus qu'un peu étrange, pratiquement en vue du San Diego Homeport. Pour ajouter aux communications inhabituelles, on lui demanda quel armement il avait à bord. "Aucun."
Alors que le Princeton communiquait avec Cheeks, ils tentait également de transmettre ce contact AAV à l'E-2C Hawkeye de l'Air Wing, également en vol à l'époque. L'équipage de VAW-117 participait au contrôle d'interception pour le vol FASTEAGLE pendant leur entraînement et le Princeton souhaitait maintenant que l'E-2 guide les Super Hornets vers le point d'interception avec le contact de l'AAV, qui planait à ce moment sur leur spot préféré, mais maintenant à environ 20 000 pieds au-dessus de l'océan.
Les retours de l'AAV n'étaient pas été assez forts pour apparaître sur le large balayage de l'E-2, mais une fois qu'ils concentrèrent leur radar sur les coordonnées que le Princeton leur indiqua ils obtinrent un contact faible. Echos qui ne suffisaient pas pour générer une piste cible. Alors le Princeton contacta directement FASTEAGLE. Bien qu'il n'ait pas pu verrouiller les AAV, le contrôleur E-2 resta sur la fréquence et put suivre toute l'évolution qui s'ensuivit.
Alors que Cheeks s'approchait de l'endroit où il était dirigé, le Princeton lui conseilla de rester au-dessus de 10K alors que la section des Super Hornets s'approchait de la cible. Son radar reconnut les deux ships FASTEAGLE, mais pas d'autre contact. Un moment plus tard, le Princeton lui ordonna de le laisser tomber et de retourner au navire. Comme il était très proche, il décida de survoler l'action et de jeter un coup d'oeil.
La mer était calme, presque vitreuse et on était en fin de matinée d'une belle journée. Des conditions parfaites. Alors que Cheeks survolait l'endroit, il vit une perturbation à la surface de l'océan. Une section ronde d'eau turbulente d'environ 50-100 mètres de diamètre. C'était la seule zone du type de ce qu'il nomma "eau vive", décrivant ça comme s'il y avait quelque chose sous la surface comme un banc ou ce qu'il avait entendu dire de ce à quoi ressemble un navire qui coule rapidement.
Il survola la perturbation et fit demi-tour en direction de Nimitz sans voir ce qui faisait mousser l'eau. Comme il s'en retournait, au moment où les Super Hornets convergeaient vers l'endroit, les eaux blanches cessèrent et la surface de l'océan redevint lisse. Le point de la perturbation précédente étant complètement indiscernable.
À quelques milliers de pieds au-dessous de lui, Dave avait vu le même spectacle surréaliste, tout comme il s'était fait demander par le Princeton si les jets FASTEAGLE avaient des armes avec munition. Dave, déconcerté, rapporta que tout ce qu'ils avaient c'était deux missiles d'entraînement passifs. On lui donna des vecteurs de portée et un ensemble de coordonnées et on leur a dit d'enquêter sur un contact aérien inconnu à cet endroit.
Sans plus d'informations sur le contact, ils descendirent vers 20 mile pieds pour balayer avec un radar, ne percevant rien. Aucun avion de ce vol ne portait de girouette FLIR, ce qui limitait le type de capteurs avec lesquels il pouvait effectuer des recherches; mais les deux avions étaient neufs, selon les termes de Dave: "Ils avaient toujours cette nouvelle odeur de voiture". Les radars APG-73 étaient à la fois neufs et avaient parfaitement fonctionné durant l'entraînement de l'heure précédente. Pourtant, les écrans des deux avions étaient vides au point que Princeton lança "Merge plot!" (radars stop ?)
De ce moment les quatre membres d'équipage n'étaient plus que des yeux. La première indication inhabituelle que Dave nota fut la zone d'eau vive sur la surface que Cheeks regardait par-dessus son épaule alors qu'il s'éloignait. Il se souvient avoir pensé qu'il s'agissait de la taille d'un 737 et peut-être que le contact sur lequel ils avaient été dirigés était un avion de ligne qui venait de s'écraser. Il manoeuvra son F-18 plus bas pour mieux voir. Comme il descendait à environ 20K il fut surpris à la vue d'un objet blanc qui se déplaçait juste au-dessus de l'eau moussante. Il était immaculé, sans relief, oblong, et effectuait des mouvements latéraux mineurs tout en restant à une altitude constante au-dessus du disque d'eau turbulente.
Dave mis FASTEAGLE 02 en haute couverture passant vers environ 15K et avec son équipier put assister aux événements d'un point de vue parfait. Dave continua sa plongée en bas vers l'objet, essayant maintenant d'asservir le radar par l'intermédiaire de son NCSM pour le régler sur une distance de courte portée. Sans succès. Son intention était de passer près de l'objet à près de 350 nœuds. En se rapprochant il remarqua que l'AAV avait orienté l'une de ses extrémités fine vers lui, comme si, selon ses mots, "Il venait de nous remarquer et maintenant il nous pointait".
L'AAV commença alors à s'élever de son vol stationnaire. L'objet, qu'il décrivit plus tard comme bougeant en tic-tac, s'est élevé et fit deux cercles à droite, à environ un mile de la trajectoire en cercle du Hornet de Dave. Les instincts de BFM prirent le dessus et Dave poussa le nez vers le bas pour couper le bas du cercle. Alors il regarda l'AAV en mettant le nez en l'air, et tenta à nouveau d'asservir son radar via le NCSM. Encore une fois, l'APG-73 ne put verrouiller l'objet volant blanc de la taille d'un chasseur à quelques milliers de pieds de là.
Tout au long de ces manoeuvres, le WSO de Dave diffusait les événements en temps réel de l'interception vers le Princeton. Les opérateurs radar de l'E-2 entendirent sur le réseau sécurisé ce qui ressemblait à l'une des centaines d'interceptions qu'ils avaient entendues au fil des ans. À l'exception notable que les voix des équipages étaient plus stressées et que le verbiage pour identifier la cible était différent de ce qu'ils entendaient en général.
Dans leurs commentaires de débriefing, Dave, son OSM et les deux autres équipages déclarèrent que l'objet avait initialement plané comme un Harrier. Ils le décrivirent comme étant uniformément blanc, mesurant environ 45 pieds de longueur (grosso modo comme un avion de chasse), avec un axe horizontal discernable (comme un fuselage) mais sans fenêtres visibles, ni nacelles, ailes ou de systèmes de propulsion.
Alors que Dave tentait de manoeuvrer et d'essayer d'obtenir un verrou de combat avec son radar, l'AAV resserra son virage, "lift vector, puis vers l'arrière" comme Dave l'a décrit. Dave demanda immédiatement au Princeton un snap instantané, mais le radar SPY-1 avait également perdu le contact.
Les premières réponses du Princeton furent "image propre". Quelques instants plus tard, le Princeton relança "Vous n'allez pas le croire, mais il est à votre CAP." Le Princeton avait récupéré l'AAV planant à 24K au niveau assigné Lat / Long que Dave avait utilisé plus tôt pendant l'entraînement comme point orbital.
Bien que court en carburant, le vol FASTEAGLE bascula vers la position CAP pour essayer de reprendre l'AAV. Ils ne virent rien, ni sur leur chemin de retour vers Nimitz. Même le cercle de 100 mètres d'eau océanique turbulente avait disparu, lieu maintenant indiscernable du reste de la surface de la mer. Interrogé plus tard, Dave rapporta qu'il n'avait rien vu sur ou sous la surface de l'océan qui aurait pu causer ce cercle d'eau turbulente. Il était là quand ils acquirent visuellement le tic-tac, puis c'était parti lorsqu'ils cerclèrent quelques minutes plus tard.
De retour sur Nimitz, les quatre membres d'équipage se sont dirigés vers le paraloft pour retirer leur équipement. Les quatre équipages suivants de VFA-41 s'habillaient pour leur mission d'entraînement dans la même zone, avec utilisation des mêmes points Lat / Long que les points CAP de Dave. Dave et ses membres d'équipage transmirent ce qu'ils avaient vu aux nouveaux gars et leur rappelèrent d'enregistrer s'ils le pouvaient.
Le temps que lancement de la nouvelle équipe se fasse avec rendez-vous et vérification avec l'E-2 pour le contrôle, on était en début d'après-midi; 1500. Les avions se séparèrent, avec un cap vers ce même emplacement du sud de la PAC. Ils naviguaient à 20K et 300kts, max endurance. Là aussi le jet, le radar et aussi cette fois le FLIR, étaient nickel et fonctionnaient parfaitement.
Le WSO acquit d'abord un contact sur le radar à une distance d'environ 30 NM alors qu'il fonctionnait en mode balayage RWS. Il vérifia les coordonnées et ça oscillait en effet au point précis du CAP. Il tenta plusieurs verrouillage STT, sans succès. Plus tard, lors du débriefing, il expliqua qu'il avait plusieurs indices révélateurs d'EA.
L'aspect de la cible sur l'enregistrement de tracking tournait à 360 degrés avec d'autres indications de brouillage distinctes. En mode de balayage moins précis, le retour indiquait que l'objet était, aux dires du WSO, "à quelques milliers de pieds au-dessous de nous. Environ 15-20K- mais stationnaire." Le seul mouvement fut généré par le verrouillage radar du jet vers l'emplacement de la PAC.
Le WSO utilisa le pod FLIR à bord, l'asservissant à la piste faible que le mode RWS avait pu générer. Il enregistra la séquence sur l'enregistreur de bord. En utilisant le mode IR, il avait pu se verrouiller sur l'AAV., qui apparaissait sur l'écran dans l’enregistrement comme un objet blanc sur fond noir planant sans moyens connus.
La caméra Infra rouge ne détectait pas de gaz chauds sous l'AAV, comme avec un Harrier ou un hélicoptère. C'était simplement suspendu dans les airs. Il passa en mode TV et put verrouiller à nouveau le FLIR sur l'objet tout en essayant, sans succès, d'obtenir une piste STT sur le radar. Comme il regardait, l'AAV sortit de l'écran vers la gauche si soudainement qu'il sembla disparaître. Sur la bande au ralenti l'objet accélère hors du champ de vision avec une vitesse choquante. Le WSO ne fut pas en mesure de réacquérir l'AAV soit dans RWS soit avec le FLIR.
D'une manière ou d'une autre, la bande fut diffusée sur YouTube. Quelques années après l'incident, en me racontant l'histoire, Dave me montra le lien. C'était sans grand intérêt sans les informations de base. Mais remis dans le contexte, c'était incroyable, en particulier le ralenti du point d'accélération hors de l'écran. Pendant des années, j'ai raconté l'histoire à des amis et leur ai montré la vidéo.
Le mois dernier, lorsque j'ai appelé Dave pour me rafraîchir la mémoire avant de m'asseoir pour écrire cette rencontre bizarre, il m'a informé que la vidéo avait été retirée de YouTube. Il m'a dit qu'une agence gouvernementale avec un identificateur à trois lettres avait récemment mené une enquête sur les AAVs et avait interviewé exhaustivement toutes les parties impliquées, les sept membres d'équipage, dont les 6 membres du VFA-41 et Cheeks du VMFA-232, le fire control officer et le chef principal du Princeton, ainsi que l'opérateur radar de l'E-2. Ils ont même questionné l'équipage de l'USS Louisville, un sous-marin Fast-Attack de la classe de Los Angeles, qui faisait partie du Nimitz Carrier Strike Group, qui a rapporté qu'il n'y avait pas de contacts sonar non identifiés ou de bruits sous-marins étranges ce jour-là.
Je ne sais pas quoi faire de ces événements. J'ai aimé l'histoire dès sa première écoute parce que c'est tellement fou. Je n'avais jamais beaucoup réfléchi aux extraterrestres ou aux ovnis. C'était pour moi du gaspillage de le faire. S'ils voulaient prendre contact, ils le feraient. S'ils voulaient observer de loin, ils pourraient facilement être impossibles à discerner compte tenu de la haute technologie qu'ils semblent avoir.
Maintenant j'ai été confronté à des témoins crédibles. Pas des cinglés portant des chapeaux de papier mais des gens que je connais, des gens de mon monde. Il y eut plusieurs plates-formes corroborantes qui détectèrent l'AAV à l'aide de capteurs variés. Et, bien sûr, les huit globes oculaires qui ont eu le visuel sur le tic-tac blanc alors que Dave manœuvrait pour l'intercepter.
Dave n'a pas besoin d'être un étranger pour vous non plus. Regardez-le sur la série PBS, Carrier, et faites-vous votre propre opinion sur son professionnalisme et sa santé mentale.

Auteur: Chierici Paco

Info: 14 mars 2015. *Anomalous Aerial Vehicles

[ témoignage ] [ extraterrestres ]

nanomonde

Les particules quantiques ne tournent pas. Alors d'où vient leur spin ?

Le fait que les électrons possèdent la propriété quantique du spin est essentiel pour notre monde tel que nous le connaissons. Pourtant, les physiciens ne pensent pas que ces particules tournent réellement. 

Les électrons sont des petits magiciens compétents. Ils semblent voltiger autour d'un atome sans suivre de chemin particulier, ils semblent souvent être à deux endroits à la fois, et leur comportement dans les micropuces en silicium alimente l'infrastructure informatique du monde moderne. Mais l'un de leurs tours les plus impressionnants est faussement simple, comme toute bonne magie. Les électrons semblent toujours tourner. Tous les électrons jamais observés, qu'ils se déplacent sur un atome de carbone dans votre ongle ou qu'ils se déplacent à toute vitesse dans un accélérateur de particules, ont l'air de faire constamment de petites pirouettes en se déplaçant dans le monde. Sa rotation ne semble jamais ralentir ou accélérer. Peu importe comment un électron est bousculé ou frappé, il semble toujours tourner à la même vitesse. Il possède même un petit champ magnétique, comme devrait le faire un objet en rotation doté d'une charge électrique. Naturellement, les physiciens appellent ce comportement "spin".

Mais malgré les apparences, les électrons ne tournent pas. Ils ne peuvent pas tourner. Prouver qu'il est impossible que les électrons tournent est un problème standard dans tout cours d'introduction à la physique quantique. Si les électrons tournaient suffisamment vite pour expliquer tout le comportement de rotation qu'ils affichent, leurs surfaces se déplaceraient beaucoup plus vite que la vitesse de la lumière (si tant est qu'ils aient des surfaces). Ce qui est encore plus surprenant, c'est que pendant près d'un siècle, cette contradiction apparente a été ignorée par la plupart des physiciens comme étant une autre caractéristique étrange du monde quantique, qui ne mérite pas qu'on s'y attarde.

Pourtant, le spin est profondément important. Si les électrons ne semblaient pas tourner, votre chaise s'effondrerait pour ne plus représenter qu'une fraction minuscule de sa taille. Vous vous effondreriez aussi - et ce serait le moindre de vos problèmes. Sans le spin, c'est tout le tableau périodique des éléments qui s'effondrerait, et toute la chimie avec. En fait, il n'y aurait pas de molécules du tout. Le spin n'est donc pas seulement l'un des meilleurs tours de magie des électrons, c'est aussi l'un des plus importants. Et comme tout bon magicien, les électrons n'ont jamais dit à personne comment ils faisaient ce tour. Mais aujourd'hui, une nouvelle explication du spin est peut-être en train de se profiler à l'horizon, une explication qui tire le rideau et montre comment la magie opère.

UNE DÉCOUVERTE VERTIGINEUSE

La rotation a toujours été une source de confusion. Même les premières personnes qui ont développé l'idée du spin pensaient qu'elle devait être fausse. En 1925, deux jeunes physiciens hollandais, Samuel Goudsmit et George Uhlenbeck, s'interrogeaient sur les derniers travaux du célèbre (et célèbre) physicien Wolfgang Pauli. Pauli, dans une tentative d'expliquer la structure des spectres atomiques et du tableau périodique, avait récemment postulé que les électrons avaient une "double valeur non descriptible classiquement". Mais Pauli n'avait pas dit à quelle propriété physique de l'électron sa nouvelle valeur correspondait, et Goudsmit et Uhlenbeck se demandaient ce que cela pouvait être.

Tout ce qu'ils savaient - tout le monde le savait à l'époque - c'est que la nouvelle valeur de Pauli était associée à des unités discrètes d'une propriété bien connue de la physique newtonienne classique, appelée moment angulaire. Le moment angulaire est simplement la tendance d'un objet en rotation à continuer de tourner. C'est ce qui fait que les toupies tournent et que les bicyclettes restent droites. Plus un objet tourne vite, plus il a de moment cinétique, mais la forme et la masse de l'objet ont aussi leur importance. Un objet plus lourd a plus de moment cinétique qu'un objet plus léger qui tourne aussi vite, et un objet qui tourne avec plus de masse sur les bords a plus de moment cinétique que si sa masse était concentrée en son centre.

Les objets peuvent avoir un moment angulaire sans tourner. Tout objet qui tourne autour d'un autre objet, comme la Terre qui tourne autour du soleil ou un trousseau de clés qui se balance autour de votre doigt sur un cordon, a un certain moment angulaire. Mais Goudsmit et Uhlenbeck savaient que ce type de moment angulaire ne pouvait pas être la source du nouveau nombre de Pauli. Les électrons semblent effectivement se déplacer autour du noyau atomique, retenus par l'attraction entre leur charge électrique négative et l'attraction positive des protons du noyau. Mais le moment angulaire que ce mouvement leur confère était déjà bien pris en compte et ne pouvait pas être le nouveau nombre de Pauli. Les physiciens savaient également qu'il existait déjà trois nombres associés à l'électron, qui correspondaient aux trois dimensions de l'espace dans lesquelles il pouvait se déplacer. Un quatrième nombre signifiait une quatrième façon dont l'électron pouvait se déplacer. Les deux jeunes physiciens pensaient que la seule possibilité était que l'électron lui-même tourne, comme la Terre qui tourne sur son axe autour du soleil. Si les électrons pouvaient tourner dans l'une des deux directions - dans le sens des aiguilles d'une montre ou dans le sens inverse - cela expliquerait la "bivalence" de Pauli.

Excités, Goudsmit et Uhlenbeck rédigent leur nouvelle idée et la montrent à leur mentor, Paul Ehrenfest. Ehrenfest, un ami proche d'Einstein et un formidable physicien à part entière, trouve l'idée intrigante. Tout en la considérant, il dit aux deux jeunes hommes enthousiastes d'aller consulter quelqu'un de plus âgé et de plus sage : Hendrik Antoon Lorentz, le grand manitou de la physique néerlandaise, qui avait anticipé une grande partie du développement de la relativité restreinte deux décennies plus tôt et qu'Einstein lui-même tenait en très haute estime.

Mais Lorentz est moins impressionné par l'idée de spin qu'Ehrenfest. Comme il l'a fait remarquer à Uhlenbeck, on sait que l'électron est très petit, au moins 3 000 fois plus petit qu'un atome - et on sait déjà que les atomes ont un diamètre d'environ un dixième de nanomètre, soit un million de fois plus petit que l'épaisseur d'une feuille de papier. L'électron étant si petit, et sa masse encore plus petite - un milliardième de milliardième de milliardième de gramme - il était impossible qu'il tourne assez vite pour fournir le moment angulaire que Pauli et d'autres recherchaient. En fait, comme Lorentz l'a dit à Uhlenbeck, la surface de l'électron devrait se déplacer dix fois plus vite que la vitesse de la lumière, une impossibilité absolue.

Défait, Uhlenbeck retourne voir Ehrenfest et lui annonce la nouvelle. Il demande à Ehrenfest de supprimer l'article, mais on lui répond qu'il est trop tard, car son mentor a déjà envoyé l'article pour publication. "Vous êtes tous les deux assez jeunes pour pouvoir vous permettre une stupidité", a dit Ehrenfest. Et il avait raison. Malgré le fait que l'électron ne pouvait pas tourner, l'idée du spin était largement acceptée comme correcte, mais pas de la manière habituelle. Plutôt qu'un électron qui tourne réellement, ce qui est impossible, les physiciens ont interprété la découverte comme signifiant que l'électron portait en lui un certain moment angulaire intrinsèque, comme s'il tournait, même s'il ne pouvait pas le faire. Néanmoins, l'idée était toujours appelée "spin", et Goudsmit et Uhlenbeck ont été largement salués comme les géniteurs de cette idée.

Le spin s'est avéré crucial pour expliquer les propriétés fondamentales de la matière. Dans le même article où il avait proposé son nouveau nombre à deux valeurs, Pauli avait également suggéré un "principe d'exclusion", à savoir que deux électrons ne pouvaient pas occuper exactement le même état. S'ils le pouvaient, alors chaque électron d'un atome tomberait simplement dans l'état d'énergie le plus bas, et pratiquement tous les éléments se comporteraient presque exactement de la même manière les uns que les autres, détruisant la chimie telle que nous la connaissons. La vie n'existerait pas. L'eau n'existerait pas. L'univers serait simplement rempli d'étoiles et de gaz, dérivant dans un cosmos ennuyeux et indifférent sans rencontrer la moindre pierre. En fait, comme on l'a compris plus tard, toute matière solide, quelle qu'elle soit, serait instable. Bien que l'idée de Pauli soit clairement correcte, la raison pour laquelle les électrons ne pouvaient pas partager des états n'était pas claire. Comprendre l'origine du principe d'exclusion de Pauli permettrait d'expliquer tous ces faits profonds de la vie quotidienne.

La réponse à cette énigme se trouvait dans le spin. On découvrit bientôt que le spin était une propriété de base de toutes les particules fondamentales, et pas seulement des électrons, et qu'il était étroitement lié au comportement de ces particules en groupes. En 1940, Pauli et le physicien suisse Markus Fierz ont prouvé que lorsque la mécanique quantique et la relativité restreinte d'Einstein étaient combinées, cela conduisait inévitablement à un lien entre le spin et le comportement statistique des groupes. Le principe d'exclusion de Pauli n'était qu'un cas particulier de ce théorème de la statistique du spin, comme on l'a appelé. Ce théorème est un "fait puissant sur le monde", comme le dit le physicien Michael Berry. "Il est à la base de la chimie, de la supraconductivité, c'est un fait très fondamental". Et comme tant d'autres faits fondamentaux en physique, le spin s'est avéré utile sur le plan technologique également. Dans la seconde moitié du XXe siècle, le spin a été exploité pour développer des lasers, expliquer le comportement des supraconducteurs et ouvrir la voie à la construction d'ordinateurs quantiques.

VOIR AU-DELÀ DU SPIN

Mais toutes ces fabuleuses découvertes, applications et explications laissent encore sur la table la question de Goudsmit et Uhlenbeck : qu'est-ce que le spin ? Si les électrons doivent avoir un spin, mais ne peuvent pas tourner, alors d'où vient ce moment angulaire ? La réponse standard est que ce moment est simplement inhérent aux particules subatomiques et ne correspond à aucune notion macroscopique de rotation.

Pourtant, cette réponse n'est pas satisfaisante pour tout le monde. "Je n'ai jamais aimé l'explication du spin donnée dans un cours de mécanique quantique", déclare Charles Sebens, philosophe de la physique à l'Institut de technologie de Californie. On vous le présente et vous vous dites : "C'est étrange. Ils agissent comme s'ils tournaient, mais ils ne tournent pas vraiment ? Je suppose que je peux apprendre à travailler avec ça". Mais c'est étrange."

Récemment, cependant, Sebens a eu une idée. "Dans le cadre de la mécanique quantique, il semble que l'électron ne tourne pas", dit-il. Mais, ajoute-t-il, "la mécanique quantique n'est pas notre meilleure théorie de la nature. La théorie des champs quantiques est une théorie plus profonde et plus précise."

La théorie quantique des champs est l'endroit où le monde quantique des particules subatomiques rencontre l'équation la plus célèbre du monde : E = mc2, qui résume la découverte d'Einstein selon laquelle la matière peut se transformer en énergie et vice versa. (La théorie quantique des champs est également à l'origine du théorème de la statistique du spin). C'est à partir de cette propriété que lorsque des particules subatomiques interagissent, de nouvelles particules sont souvent créées à partir de leur énergie, et les particules existantes peuvent se désintégrer en quelque chose d'autre. La théorie quantique des champs traite ce phénomène en décrivant les particules comme provenant de champs qui imprègnent tout l'espace-temps, même l'espace vide. Ces champs permettent aux particules d'apparaître et de disparaître, conformément aux règles strictes de la relativité restreinte d'Einstein et aux lois probabilistes du monde quantique.

Et ce sont ces champs, selon Sebens, qui pourraient contenir la solution à l'énigme du spin. "L'électron est habituellement considéré comme une particule", explique-t-il. "Mais dans la théorie quantique des champs, pour chaque particule, il existe une façon de la considérer comme un champ." En particulier, l'électron peut être considéré comme une excitation dans un champ quantique connu sous le nom de champ de Dirac, et ce champ pourrait être ce qui porte le spin de l'électron. "Il y a une véritable rotation de l'énergie et de la charge dans le champ de Dirac", dit Sebens. Si c'est là que réside le moment angulaire, le problème d'un électron tournant plus vite que la vitesse de la lumière disparaît ; la région du champ portant le spin de l'électron est bien plus grande que l'électron supposé ponctuel lui-même. Ainsi, selon Sebens, d'une certaine manière, Pauli et Lorentz avaient à moitié raison : il n'y a pas de particule qui tourne. Il y a un champ tournant, et c'est ce champ qui donne naissance aux particules.

UNE QUESTION SANS RÉPONSE ?

Jusqu'à présent, l'idée de Sebens a produit quelques remous, mais pas de vagues. Pour ce qui est de savoir si les électrons tournent, "je ne pense pas qu'il s'agisse d'une question à laquelle on puisse répondre", déclare Mark Srednicki, physicien à l'université de Californie à Santa Barbara. "Nous prenons un concept qui trouve son origine dans le monde ordinaire et nous essayons de l'appliquer à un endroit où il ne s'applique plus vraiment. Je pense donc que ce n'est vraiment qu'une question de choix, de définition ou de goût pour dire que l'électron tourne vraiment." Hans Ohanian, physicien à l'université du Vermont qui a réalisé d'autres travaux sur le spin des électrons, souligne que la version originale de l'idée de Sebens ne fonctionne pas pour l'antimatière.

Mais tous les physiciens ne sont pas aussi dédaigneux. Selon Sean Carroll, physicien à l'université Johns Hopkins et à l'Institut Santa Fe, "la formulation conventionnelle de notre réflexion sur le spin laisse de côté un élément potentiellement important". "Sebens est tout à fait sur la bonne voie, ou du moins fait quelque chose de très, très utile dans le sens où il prend très au sérieux l'aspect champ de la théorie quantique des champs." Mais, souligne Carroll, "les physiciens sont, au fond, des pragmatiques..... Si Sebens a raison à 100 %, les physiciens vous diront : "D'accord, mais qu'est-ce que cela m'apporte ?"

Doreen Fraser, philosophe de la théorie des champs quantiques à l'université de Waterloo, au Canada, se fait l'écho de ce point de vue. "Je suis ouverte à ce projet que Sebens a de vouloir forer plus profondément pour avoir une sorte d'intuition physique pour aller avec le spin", dit-elle. "Vous avez cette belle représentation mathématique ; vous voulez avoir une image physique intuitive pour l'accompagner." En outre, une image physique pourrait également déboucher sur de nouvelles théories ou expériences qui n'ont jamais été réalisées auparavant. "Pour moi, ce serait le test pour savoir si c'est une bonne idée."

Il est trop tôt pour dire si les travaux de M. Sebens porteront ce genre de fruits. Et bien qu'il ait rédigé un article sur la manière de résoudre la préoccupation d'Ohanian concernant l'antimatière, d'autres questions connexes restent en suspens. "Il y a beaucoup de raisons d'aimer" l'idée du champ, dit Sebens. "Je prends cela plus comme un défi que comme un argument massue contre elle."

Auteur: Becker Adam

Info: Scientific American, November 22, 2022

[ approfondissement ]

psychosomatique

Nous avons 2 cerveaux.

On se demande souvent pourquoi les gens ont des "boules" dans l'estomac avant d'aller sur scène ? Ou pourquoi un entretien d'emploi imminent peut causer des crampes intestinales ? Ainsi que : pourquoi les antidépresseur qui visent le cerveau causent la nausée ou un bouleversement abdominal chez des millions de personnes qui prennent de telles drogues ?

Les scientifiques disent que la raison de ces réactions est que notre corps a deux cerveaux : le familier, dans le crâne et, moins connus, mais extrêmement importants un autre dans l'intestin humain- Tout comme des jumeaux siamois, les deux cerveaux sont reliés ensemble ; quand l'un est affecté, l'autre aussi. Le cerveau de l'intestin, connu sous le nom de système nerveux entérique, est situé dans les gaines du tissu qui tapissent l'oesophage, l'estomac, le petit intestin et le colon. Si on le considère comme une simple entité, c'est un réseau de neurones, de neurotransmetteurs et de protéines qui zappent des messages entre eux, soutiennent des cellules comme celles du cerveau proprement dit et offrent des circuits complexes qui lui permettent d'agir indépendamment, d'apprendre, de se rappeler et, selon le dicton, de produire des sensations dans les intestins.

Le cerveau de l'intestin joue un rôle important dans le bonheur et la misère humains. Mais peu de gens savent qu'il existe indique le Dr. Michael Gershon, professeur d'anatomie et de biologie des cellules au centre médical presbytérien de Colombia à New York. Pendant des années, on a dit aux gens qui ont des ulcères, des problèmes pour avaler ou des douleurs abdominales chroniques que leurs problèmes étaient imaginaires ou, émotifs, c'est à dire simplement dans leurs têtes. Ces gens ont donc faits la navette entre divers psychiatres pour le traitement. Les médecins avaient raison en attribuant ces problèmes au cerveau dit le DR. Gershon, mais ils blâment le faux. Beaucoup de désordres gastro-intestinaux, comme le syndrome d'entrailles irritable proviennent des problèmes dans le propre cerveau de l'intestin, affirme-t'il. Les symptômes provenant des deux cerveaux - tendent à être confus : " Comme le cerveau peut déranger l'intestin, l'intestin peut également déranger le cerveau... si tu es enchaîné aux toilette avec un serre joint, tu seras aussi affecté."

Les détails de la façon dont le système nerveux entérique reflète le système nerveux central ont émergé ces dernières années, dit le Dr. Gershon, et c'est considéré comme un nouveau champ d'investigation appelé neuro-gastro-enterologie par la médecine. Ainsi, presque chaque substance qui aide à faire fonctionner et à commander le cerveau a donné des résultat dans l'intestin, dit Gershon. Les neurotransmetteurs principaux comme la sérotonine, dopamine, glutamate, nopépinéphrine et l'oxyde nitrique sont là. Deux douzaine de petites protéines cervicales, appelées les neuropeptides, sont dans l'intestin, comme les cellules principales du système immunitaire. Les Enkephalins, une classe d'opiacés normaux du corps, sont dans l'intestin et, constatation qui laisse les chercheurs perplexe, l'intestin est une riche source de benzodiazépines - la famille des produits chimiques psycho-actifs qui inclut des drogues toujours populaires telles que le Valium et le Xanax.

En termes évolutionnistes, il est assez clair que le corps a deux cerveaux, dit le Dr. David Wingate, professeur de science gastro-intestinale à l'université de Londres et conseiller à l'hôpital royal de Londres. Les premiers systèmes nerveux étaient des animaux non tubulaires qui collaient aux roches et attendaient le passage de nourriture. Le système limbique est souvent désignée sous le nom de "cerveau reptilien". Alors que la vie évoluait, les animaux ont eu besoin d'un cerveau plus complexe pour trouver la nourriture et un partenaire sexuel et ainsi ont développé un système nerveux central. Mais le système nerveux de l'intestin était trop important pour l'intégrer à cette nouvelle tête, même avec de longs raccordements sur tout le corps. Un rejeton à toujours besoin de manger et digérer de la nourriture à la naissance. Par conséquent, la nature semble avoir préservé le système nerveux entérique en tant que circuit indépendant.

Chez de plus grands animaux, il est simplement relié de manière vague au système nerveux central et peut la plupart du temps fonctionner seul, sans instructions de l'extérieur. C'est en effet l'image vue par les biologistes développementalistes. Une motte de tissus appelée la "crête neurale" se forme tôt dans l'embryogenese dit le DR.Gershon. Une section se transforme en système nerveux central. Un autre morceau émigre pour devenir le système nerveux entérique. Et postérieurieurement seulement les deux systèmes nerveux seront relié par l'intermédiaire d'une sorte de câble appelé le nerf "vagus". Jusque à relativement récemment, les gens ont pensé que les muscles et les nerfs sensoriels de l'intestin étaient câblés directement au cerveau et que le cerveau commandait l'intestin par deux voies qui augmentaient ou diminuaient les taux de l'activité. L'intestin étant un simple tube avec des réflexes. L'ennui est que personne ne pris la peine de compter les fibres de nerf dans l'intestin. Quand on l'a fait on fut étonné de constater que l'intestin contient 100 millions de neurones - plus que la moelle épinière.

Pourtant le conduit vagus n'envoie qu'environ deux mille fibres de nerf vers l'intestin. Le cerveau envoie des signaux à l'intestin en parlant à un nombre restreint de'"neurones de commande", qui envoient à leur tour des signaux aux neurones internes de l'intestin qui diffusent les messages. Les neurones et les inter neurones de commande sont dispersées dans deux couches de tissu intestinal appelées le plexus myenteric et le plexus subrmuscosal. ("le plexus solaire" est en fait un terme de boxe qui se réfère simplement aux nerfs de l'abdomen.) Ces neurones commandent et contrôlent le modèle de l'activité de l'intestin. Le nerf vagus modifie seulement le volume en changeant le taux de mise à feu. Les plexus contiennent également les cellules gliales qui nourrissent les neurones, les cellules pylônes impliquées dans des immuno-réactions, et "une barrière de sang cervical " qui maintient ces substances nocives loin des neurones importants. Ils ont des sondes pour les protéines de sucre, d'acidité et d'autres facteurs chimiques qui pourraient aider à surveiller le progrès de la digestion, déterminant comment l'intestin mélange et propulse son contenu. "Ce n'est pas une voie simple", Y sont employés des circuits intégrés complexes, pas différents du cerveau." Le cerveau de l'intestin et le cerveau de la tête agissent de la même manière quand ils sont privés d'informations venant du monde extérieur.

Pendant le sommeil, le cerveau de la tête produit des cycles de 90-minutes de sommeil lent, ponctué par des périodes de sommeil avec des mouvement d'oeil rapide (REM) où les rêves se produisent. Pendant la nuit, quand il n'a aucune nourriture, le cerveau de l'intestin produit des cycles 90-minute de lentes vagues de contractions des muscles, ponctuées par de courts gerbes de mouvements rapides des muscles, dit le Dr. Wingate. Les deux cerveaux peuvent donc s'influencer dans cet état. On a trouvé des patients présentant des problèmes d'entrailles ayant un sommeil REM anormal. Ce qui n'est pas contradictoire avec la sagesse folklorique qui voudrait que l'indigestion pousse au cauchemar. Alors que la lumière se fait sur les connexions entre les deux cerveaux, les chercheurs commencent à comprendre pourquoi les gens agissent et se sentent de telle manière.

Quand le cerveau central rencontre une situation effrayante, il libère les hormones d'effort qui préparent le corps combattre ou à se sauver dit le DR.Gershon. L'estomac contient beaucoup de nerfs sensoriels qui sont stimulés par cette montée chimique subite - ainsi surviennent les ballonnements. Sur le champ de bataille, le cerveau de la tête indique au cerveau d'intestin arrêter dit le DR.Gershon " Effrayé un animal en train de courir ne cesse pas de déféquer ". La crainte fait aussi que le nerf vagus au "monte le volume" des circuits de sérotonine dans l'intestin. Ainsi, trop stimulé, l'intestin impulse des vitesse élevés et, souvent, de la diarrhée. De même, des gens s'étouffent avec l'émotion. Quand des nerfs dans l'oesophage sont fortement stimulés, les gens peuvent éprouver des problèmes d'ingestion. Même le prétendu " Moment de Maalox " d'efficacité publicitaire peut être expliqué par les deux cerveaux agissant en interaction, dit le Dr. Jackie D. Wood, président du département de physiologie à l'université de l'Etat de l'Ohio à Columbus. Les signaux d'effort du cerveau de la tête peuvent changer la fonction de nerf entre l'estomac et l'oesophage, ayant pour résultat la brûlure d'estomac.

Dans les cas d'efforts extrême. le cerveau dominant semble protéger l'intestin en envoyant des signaux aux cellules pylônes immunologiques dans le plexus. Les cellules pylônes sécrètent l'histamine, la prostaglandine et d'autres agents qui aident à produire l'inflammation. "C'est protecteur. Si un animal est en danger et sujet au trauma, la substance sale dans les intestins est seulement à quelques cellules du reste du corps. En enflammant l'intestin, le cerveau amorce l'intestin pour la surveillance. Si la barrière se casse, l'intestin est prêt à faire les réparations ". Dit le DR. Wood. Malheureusement, ces produits chimiques libérés causent également la diarrhée et les crampes. Ceci explique également beaucoup d'interactions.."quand tu prends une drogue pour avoir des effets psychiques sur le cerveau, il est très probable que tu auras aussi des effets sur l'intestin. Réciproquement, les drogues développées pour le cerveau ont des utilisations pour l'intestin.

Par exemple, l'intestin est chargé avec la sérotonine des neurotransmetteur. Quand des récepteurs de pression de la doublure de l'intestin sont stimulés, la sérotonine est libérée et commence le mouvement réflexe du péristaltisme. Maintenant un quart des personnes prenant du Prozac ou des antidépresseur semblables ont des problèmes gastro- intestinaux comme la nausée, diarrhée et constipation. Ces drogues agissent sur la sérotonine, empêchant sa prise par les cellules cible de sorte qu'elle demeure plus abondante dans le système nerveux central. Dans une étude le DR.Gershon et ses collègues expliquent les effets secondaires du Prozac sur l'intestin. Ils ont monté une section de colon du cobaye sur un stand et ont mis un petit granule à l'extrémité de la "bouche". Le colon isolé fouette le granule vers le bas vers l'extrémité "anale" de la colonne, juste comme il le ferai à l'intérieur de l'animal. Quand les chercheurs ont mis un peu de Prozac dans le colon, le granule " y est entré dans la haute vitesse". La drogue a doublé la vitesse à laquelle le granule a traversé le colon, ce qui expliqueraient pourquoi certains ont la diarrhée. Le Prozac a été parfois utilisé à petites doses pour traiter la constipation chronique, a il ajouté. Mais quand les chercheurs ont augmenté la quantité de Prozac dans le colon du cobaye, le granule a cessé de se déplacer. Le DR Gershon dit que c'est pourquoi certains deviennent constipé avec cette drogue. Et parce que les nerfs sensoriels stimulés par Prozac peuvent également causer la nausée. Certains antibiotiques comme la crythromycine agissent sur des récepteurs d'intestin et produisent des oscillations. Certaines ont alors des crampes et des nausées. Des drogues comme la morphine et l'héroïne s'attachent aux récepteurs des opiacé de l'intestin, produisant la constipation. En effet, les deux cerveaux peuvent être intoxiqués aux opiacés. Les victimes des maladies d'Alzheimer et de Parkinson souffrent de constipation. Les nerfs dans leur intestin sont aussi malades que les cellules de nerf dans leurs cerveaux. Juste comme le cerveau central affecte l'intestin, le cerveau de l'intestin peut parler à la tête. La plupart des sensations d'intestin qui entrent dans la part consciente sont des choses négatives comme la douleur et le ballonnement.

Les gens ne s'attendent pas à sentir "du bon" venant de l'intestin... mais cela ne signifie pas que de tels signaux sont absents. Par conséquent, il y a la question intrigante : pourquoi l'intestin produit-il de la benzodiazépine ? Le cerveau humain contient des récepteurs pour la benzodiazépine, une drogue qui soulage l'inquiétude, suggérant que le corps produise sa propre source interne de la drogue, dit le Dr. Anthony Basile, neurochimiste au laboratoire de neurologie aux instituts nationaux de la santé a Bethesda. Il y a plusieurs années, dit-il, un scientifique italien a fait une découverte plus effrayante. Les patients présentant un disfonctionnement du foie tombèrent dans un coma profond. Le coma put être renversé, en quelques minutes, en donnant aux patients une drogue qui bloque la benzodiazépine. Quand le foie s'arrête, les substances habituellement neutralisées par le foie vont au cerveau. Certaines sont mauvaises, comme l'ammoniaque et les mercaptans, qui sont "les composés puants que les putois pulvérisent pour se défendre ". Mais une série de composés est également identique à la benzodiazépine. " Nous ne savons pas s'ils viennent de l'intestin lui-même, de bactéries dans l'intestin ou de la nourriture". dit. Le Dr Basile. Mais quand le foie s'arrête la benzodiazépine de l'intestin va directement au cerveau, mettant le patient dans le coma.

L'intérêt pour de telles interactions entre le cerveau d'intestin et celui de tête est énorme... Par exemple, beaucoup de personnes sont allergiques à certaines nourritures, comme les mollusques et les crustacés. C'est parce que les cellules pylônes dans l'intestin deviennent mystérieusement sensibilisées aux antigènes de la nourriture. La prochaine fois que l'antigène apparaît dans l'intestin ; les cellules pylônes appellent un programme, libérant des modulateurs chimiques, qui essaye d'éliminer la menace. La personne allergique se retrouve donc avec de la diarrhée et des crampes. Beaucoup de maladies auto-immunes comme la maladie de Krohn et les colites ulcérative peuvent impliquer le cerveau de l'intestin. Les conséquences peuvent être horribles, comme dans la maladie de Chagas, qui est provoquée par un parasite trouvé en Amérique du sud. Les infectés développent une réponse auto-immune des neurones de leur intestin. Leurs systèmes immunitaires détruit alors lentement leurs propres neurones intestinales. Quand assez de neurones sont mortes, les intestins éclatent littéralement.

Restent ces questions : Est ce que le cerveau de l'intestin apprend ? Pense - il pour lui-même ? L'intestin humain a été longtemps vu comme le réceptacle des bons et des mauvais sentiments. Des états peut-être émotifs du cerveau de la tête sont reflétés dans le cerveau de l'intestin, ou sont-ils ressentis que par ceux qui prêtent l'attention à elles. Le cerveau de l'intestin prend la forme de deux réseaux de raccordements neuraux dans la doublure de l'appareil gastro-intestinal, appelée le plexus myenteric et le plexus subrnucosal. Les nerfs sont fortement reliés ensemble et ont une influence directe sur des choses comme la vitesse de la digestion, le mouvement et des sécrétions de la muqueuses "comme-des-doigts" qui ligne les intestins et les contractions des différents genres de muscle dans les parois de l'intestin. Autoroute cerveau intestin à 2 voies : RUE Bidirectionnelle : L'intestin a son propre esprit, le système nerveux entérique. Juste comme le cerveau dans la tête, disent les chercheurs. Ce système envoie et reçoit des impulsions, enregistre, fait des expériences et répond aux émotions. Ses cellules nerveuse sont baignées et influencées par les mêmes neurotransmetteurs. L'intestin peut déranger le cerveau juste comme le cerveau peut déranger l'intestin. Diagramme des parois du petit intestin : un plan de coupe montre deux réseaux de nerfs qui composent le système nerveux entérique, ou "cerveau dans l'intestin". Le premier réseau, appelé le plexus submucosal, est juste sous la doublure muqueuse. le second, le plexus myenteric, se trouve entre les deux manteaux de muscle.

Auteur: Blakeslee Sandra

Info: New York Times 23 Janvier 1996

[ dyspepsie ] [ tourista ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]

fascisme religieux

Mon père, l’Iran et les " musulmans modérés " 

Des jardins d’Isphahan aux rives de la Seine… Djahanguir Riahi, mon père, est né en 1914 à Natanz (Iran). Parti en France poursuivre des études d’ingénieur grâce à une bourse d’études, il se met au lendemain de la Seconde guerre mondiale au service des relations économiques Franco-iraniennes. Installé en Europe depuis la révolution islamique, son intuition artistique hors du commun lui a permis de réunir l’une des plus importantes collections d’œuvres d’art du XVIIIème siècle français. Il est mort dans sa centième année, le 28 avril 2014, après avoir été élevé au grade de Commandeur de La Légion d’Honneur ainsi que des Arts et des Lettres. Grand donateur des Musées Nationaux, une salle du Musée du Louvre porte son nom.

Il m’avait demandé d’écrire ce texte au lendemain des attentats du World Trade Center, le 11 septembre 2001, et de l’inclure dans ses mémoires, que je rédigeais alors pour lui.

" Nous n’avons pas le même rapport à la barbarie et à la mort. L’attraction publique la plus appréciée de la population, à Mashhad comme dans toutes les villes où s’est déroulée mon enfance, consistait à s’attrouper sur la grand’place pour y assister aux pendaisons. La cruauté des exécutions était inouïe.

J’avais été horrifié, un jour, d’apprendre la condamnation d’un homme et de ses six fils. Le bourreau avait reçu du tribunal islamique l’ordre monstrueux de ne pendre le père qu’après qu’il eut assisté à la mort de tous ses enfants. Agha Djoun[1] se disait convaincu de l’innocence de ce pauvre homme. Et moi, je me disais, du haut de mes douze ou treize ans, en voyant leurs vêtements souillés par l’urine et la merde : pourquoi font-ils ça, sinon pour anéantir par la terreur toute forme de dignité humaine, toute forme de respect de la mort et donc de la vie ?

La mort, on s’y familiarise comme on prend l’habitude de tout. Lorsqu’en suivant le chemin de l’école au petit jour on longe la place des pendus, quand on assiste à des exécutions sommaires et barbares, on finit par apprivoiser la mort. Mais cette insensibilisation, ou plus exactement cette désacralisation, vous semble inconcevable en occident. Parce que vous êtes élevés dans le respect de la vie sans penser que la mort en est l’inéluctable corollaire.

Comme si la vie pouvait " être " sans la mort. Cette naïveté, à laquelle s’ajoute la pédagogie de l’émotion, est le fondement de la culture occidentale contemporaine. L’émotion priorisée, l’émotion magnifiée. On vit sur ce registre depuis la seconde moité du XXème siècle, sans doute par imprégnation des tendances éducatives à la mode aux Etats-Unis au lendemain de la guerre. L’enfant est devenu le barycentre de la civilisation occidentale. Héritière de la philosophie de Jean-Jacques Rousseau, la pédagogie contemporaine pose le principe que l’Homme naît bon et que c’est la société qui le pervertit. De même, dans le souci maniaque de préserver la planète, les mouvements écologistes ont entamé une régression qui efface inexorablement les progrès de la civilisation. On n’élève plus les enfants pour en faire des adultes ; on fait des enfants pour retomber soi-même en enfance, pour retrouver la puérilité sublimée de l’enfance.

Les islamistes jouent de cette émotivité occidentale. Si la religion dont ils se servent est primitive, leur stratégie de conquête est extrêmement sophistiquée. Ils vous observent et vous analysent depuis la fin des années 1970. Ils ont fréquenté les mêmes écoles, les mêmes universités que les élites occidentales. Ils ont vu les mêmes spectacles, les mêmes films ; lu les mêmes articles dans les mêmes revues. Ils savent que votre sensibilité au respect de la vie, votre peur de la mort, votre fragilité mentale et votre compulsion à la culpabilité sur un terrain compassionnel constituent votre talon d’Achille. Vous êtes tombés dans un triple piège :

- Le piège de l’anxiété collective " individualisée ". Certes, les guerres ont toujours fait des victimes civiles ; mais au World Trade Center ou dans les avions, il n’y avait " que " des victimes civiles. Chacun pouvait se dire : j’aurais pu me trouver parmi elles. Cette angoisse est le principe même du terrorisme, que les techniques de communication actuelles permettent d’individualiser simultanément à des milliards de témoins de la scène.

- Le piège de la " victimisation " des assassins. Pendant une centaine d’années, l’Europe a plus ou moins colonisé le monde ; en particulier les terres d’Islam que sont le Moyen-Orient, le Maghreb et l’Afrique. L’Amérique a toujours été solidaire des puissances européennes, sans parler de son soutien constant à l’Etat d’Israël. Pendant toute la durée de ces conflits, les victimes se sont comptées par centaines de milliers du côté des indigènes, sans que cela n’émeuve grand monde. Aujourd’hui, les victimes sont dans l’autre camp et toute une partie de la planète n’éprouve nullement l’envie de pleurer sur leur sort, considérant que c’est un juste retour des choses.

Le piège enfin du " chahid ", le martyr, celui qui meurt pour témoigner, alors que vous, pauvres larves invertébrées, vous pleurnichez de trouille en chiant dans votre froc, tant la mort vous effraie. Et cet exhibition du « héros » a le double avantage d’impressionner les musulmans, qui respectent le courage par principe, et de faire peur aux incroyants comme aux non pratiquants.

Les motivations fondamentales d’Al Qaida, celles des Islamistes en général, sont politiques et ne sont pas religieuses. Parce que la religion musulmane est intrinsèquement et historiquement politique. Il n’y a pas d’équivalent. Ni les juifs, ni les bouddhistes ou les hindouistes, ni les chrétiens n’ont eu pour vocation première de guerroyer et de conquérir. Bien sûr qu’ils ont tous été amenés à prendre les armes à divers moments de leur histoire. Mais ce n’était pas l’amorce ni la genèse de leur projet. Il faut en être conscient.

Mohammed – ou Mahomet comme vous l’appelez en France – n’a pas cherché à " spiritualiser " ses contemporains ni à leur apporter des réponses philosophiques. Son objectif était très prosaïque : il a voulu les rendre plus efficaces au travail et au combat !

Avant de " faire prophète " il était caravanier et commerçant. Issu de la tribu des Quraych et de tradition hanifiste, c’est-à-dire monothéiste, le jeune homme était intelligent, ambitieux et séduisant. Il sut se rendre indispensable à sa patronne, Khadija, une riche veuve de 15 ans son aînée, qu’il épousa et à laquelle il fit six enfants. Ses contacts sur la route avec des juifs et des chrétiens lui permirent de constater les avantages de la morale judéo-chrétienne et l’efficacité, par 45° à l’ombre, des prescritions hygiéniques et alimentaires de la kashrout.

On connaît la suite : Gibril dans le rôle de l’Ange Gabriel transforma ces préceptes en révélation divine et donna à l’accomplissement de ces pratiques un caractère religieux. Mais très objectivement, la plupart des Hadiths du Coran concernent l’organisation familiale et sociale, les pratiques et les règles juridiques à observer dans ces domaines, ce qui en fait un code civil plus qu’une somme théologique. L’islam a bénéficié de l’antériorité du Judaïsme et du Christianisme ; ses messages ont donc été parfaitement ajustés à leur objectif : discipliner et contrôler l’être humain. Le pouvoir politique l’a utilisé sans vergogne pour manipuler les peuples, tant il est vrai que la religion s’est toujours avérée l’arme la plus efficace pour anéantir toute aspiration à la démocratie et à la liberté.

Un simple constat: les monarchies héréditaires musulmanes se sont systématiquement trouvé une filiation directe avec le Prophète ou l’un de ses descendants ! Pour leurs chefs, pour les meneurs, la religion a toujours été un moyen, jamais une fin. Ben Laden, comme ceux qui l’ont précédé et ceux qui prendront sa suite, n’en a strictement rien à faire (et je suis poli…) du projet spirituel du Djihad et de l’accomplissement des hadiths du Coran. L’Islamisme sert juste un dessein politique. La religion n’est que l’instrument de la conquête, ou plutôt de la reconquête. Qu’importe le temps que cela mettra : dix ans, vingt ans, plus de trente ans peut-être… Ce que l’Islam a programmé, c’est la chute de l’Occident et de la civilisation judéo-chrétienne. Pas pour le takbîr, mais pour conquérir le monde et ses richesses, asservir ses populations. Allahou Akbar, proclamé et calligraphié sur les emblèmes et les drapeaux, n’est qu’un cri de guerre destiné à galvaniser les pauvres idiots crédules qui se prennent pour des soldats d’Allah et ne sont que la chair à canon de ceux qui rêvent de pouvoir absolu et universel depuis 1422 ans !

Le terrorisme est une tactique, que les islamistes utilisent ponctuellement ; pour entretenir la terreur, bien sûr, mais aussi parce qu’ils ont compris tout le bénéfice qu’il pouvaient tirer de la dichotomie que vous avez créée entre la religion musulmane et l’Islam " radical ". En triant vous-mêmes les " bons musulmans " des mauvais, vous vous êtes tiré une balle dans le pied et vous leur avez rendu un fieffé service ! En focalisant l’attention sur le terrorisme, vous réduisez la cible contre laquelle vous devriez combattre. Grâce à la très ancienne tactique du leurre, les Islamistes vous montrent du doigt les djihadistes et détournent votre attention du cheval de Troie qu’ils ont construit et mis en marche pour vous soumettre.

Et que l’on ne vienne pas me parler de " musulmans modérés "! Ils sont, évidemment, très largement majoritaires aujourd’hui. Mais où et comment les voit-on condamner les agissement des fondamentalistes? Combien sont-ils à être descendus dans la rue pour manifester massivement contre Al Qaïda au lendemain du 11 septembre 2001 ? Pour hurler à la face du monde, dans tous les médias et dans toutes les langues qu’ils se désolidarisent du salafisme, du wahhabisme, du frérisme et autres branches radicales de l’Islam ? Pour affirmer qu’ils vont faire le ménage dans leurs pratiques, actualiser drastiquement la charia et définir une ligne exclusivement métaphysique à leur religion ?

La religion musulmane n’est pas monolithique et exclusivement constituée de conquérants assoiffés de pouvoir et de vengeance, c’est clair. Mais la conquête est consubstantielle de la religion musulmane. L’Islam, sa culture politique, sa doctrine, son prosélytisme, son histoire et sa finalité sont intrinsèquement d’inspiration guerrière. De même que la vie ne peut se concevoir sans la mort, il n’y a pas de soumission sans victoire, ni de victoire sans combat. Or, la soumission à Allah est l’essence même du message de l’Islam.

C’est pourquoi les musulmans se soumettent implicitement aujourd’hui au fondamentalisme que leur impose l’Islam radical. Ils s’y soumettront explicitement demain et vous ne résisterez pas, un jour, à la tentation de vous y soumettre à votre tour. Parce que la peur est l’arme absolue, l’arme que l’Islam politique utilise avec talent pour anéantir toute forme de résistance à leur domination. Ils l’utiliseront jusqu’au bout, contre vous, mais aussi contre ceux que vous appelez " les musulmans modérés " pour anéantir votre civilisation.

Bien sûr qu’il existe des courants plus ou moins progressistes comme le malikisme, dont le logiciel est régulièrement mis à jour par le Roi du Maroc. Bien sûr que l’on peut interpréter le Coran de dizaines, de centaines de manières. Bien sûr que l’on peut intellectualiser le concept du Djihad et en faire un idéal moral (…) Néanmoins le syllogisme est évident et les faits sont têtus : tous les musulmans ne sont pas des fondamentalistes islamiques ni des djihadistes ; mais tous les fondamentalistes islamiques et tous les djihadistes sont musulmans. Trop facile d’établir une distinction morale et sémantique entre les prescriptions religieuses supposées acceptables, que vous qualifiez d’ " islamiques " et celles, intolérables, cataloguées " islamistes ". Quand on tue au nom de l’Islam, on n’accomplit pas un acte de dément, pas plus qu’un crime de sang ordinaire. Quand on tue au nom de l’Islam, c’est qu’on vous a mis dans la tête qu’il est de votre devoir de croyant d’exterminer les incroyants, lesquels auraient soit disant " déclaré la guerre " aux soldats de la vraie foi !

La motivation du donneur d’ordre est politique, pas religieuse. Ils arriveront à leurs fins, parce que la dialectique de l’Islam est redoutable. Les stratégies et les techniques de communication qu’ils mettent en œuvre sont très subtiles et pertinentes, car ils savent parfaitement comment vous fonctionnez. Ils achètent depuis des années les réseaux de communication qui influencent l’opinion publique, en Europe comme aux USA. Vous êtes des enfants dans leurs mains. Ils vous connaissent très bien, alors que vous ne les connaissez pas. Vous êtes manipulés et vous ne le savez pas.

Ils ont compris voila longtemps que votre talon d’Achille, c’est la mauvaise conscience et la compassion. Les Français en sont rongés depuis qu’on leur a mis dans la tête que la colonisation de l’Afrique et du Maghreb avait été un crime contre l’Humanité commis par leurs aïeux. Les uns après les autres, tous les gouvernants français ont baissé leur froc et fait acte de " repentance " vis-à-vis de ces peuples que leurs pères avaient " exploités " ; mais a-t-on songé à demander aux Arabes de se repentir, eux qui ont réduit en esclavage pendant des siècles, des générations d’Africains ?

Je suis athée, mais je ne pourrais pas le dire si j’étais resté dans mon pays. Pas plus hier qu’aujourd’hui. Ce n’est pas un problème de liberté d’expression, c’est juste un problème de liberté d’être. On n’a pas le droit d’être athée en Islam : juif, chrétien, oui. Athée, non. Mon appréhension, au vu de tout ce qui s’est produit depuis une dizaine d’années, c’est que je ne puisse pas le dire demain ; ici, dans ce beau pays libre qu’est la France. Je ne le crains pas pour moi, bien sûr, je suis vieux. Mais je crains que mes enfants et mes petits enfants se trouvent confrontés à la main-mise de l’Islam, à laquelle j’ai eu la chance de me soustraire voila près d’un siècle.

En 25 ans, j’ai vu évoluer la société française d’un modèle républicain et comme vous dites " laïc " vers un modèle communautaire à l’anglo-américaine. Il a fallu dix-neuf siècles de conflits et de guerres pour que la France, " Fille aînée de l’Eglise " sépare sa " mère " de son Etat, en 1905. Et encore, nous sommes très loin du compte aujourd’hui, pour les raisons économiques et électoralistes que tu connais mieux que moi. Il n’y a qu’à regarder tes hommes politiques se trémousser dans les églises, les mosquées et les synagogues pour en être convaincu.

La religion est un leurre contre la peur de la mort ; un leurre pour assujettir ceux qui ont vocation à être dominés. Depuis toujours, la religion est l’auxiliaire du pouvoir. Dans toutes les religions. Pourquoi l’être humain a-t-il tellement besoin de se raccrocher à un Dieu et à un au-delà pour tenter d’évacuer la peur de la mort ? Je ne sais pas. Moi, vois-tu, je n’ai jamais eu peur. Jamais eu peur de la mort, en tous cas. Sauf (rires) que j’ai toujours craint d’être enterré vivant. Je fais très souvent un affreux cauchemar. On ferme mon cercueil alors que je suis assoupi. Je me réveille et je frappe désespérément sur le couvercle en hurlant : bande d’idiots, espèces d’imbéciles… Vous ne voyez donc pas que je ne suis pas mort ? "

Mon père est mort le 28 avril 2014 dans sa centième année. Il a arrêté de se nourrir, estimant qu’il avait suffisamment vécu.

Il n’a pas connu les attentats de Charlie Hebdo, du Bataclan, de la Promenade des Anglais à Nice, ni l’égorgement du Père Jacques Hamel à St. Etienne-du-Rouvray.

A chacune de ces attaques terroristes et plus encore aujourd’hui, après le carnage barbare du Hamas perpétré le samedi 7 octobre 2023, j’ai repensé à ce qu’il m’avait dit au lendemain du 11 septembre 2001. 

Auteur: Mansouret Anne

Info: https://www.causeur.fr/, 21 octobre 2023, [1] Agha Djoun est mon grand-père, le père de mon père. C’est l’appellation donnée dans les familles, qui peut s’interpréter : " Votre Éminence chérie " et qui traduit tout à la fois la déférence et l’affection. En l’occurrence, mon grand-père était haut fonctionnaire territorial, c’est à dire Trésorier général dans plusieurs provinces, d’où les déménagements successifs vécus par ma famille.

[ prise du pouvoir ] [ machiavélisme ] [ orient - occident ]

évolution technologique

Intelligence artificielle ou stupidité réelle ?

Bien que le battage médiatique augmente la sensibilisation à l'IA, il facilite également certaines activités assez stupides et peut distraire les gens de la plupart des progrès réels qui sont réalisés.
Distinguer la réalité des manchettes plus dramatiques promet d'offrir des avantages importants aux investisseurs, aux entrepreneurs et aux consommateurs.

L'intelligence artificielle a acquis sa notoriété récente en grande partie grâce à des succès très médiatisés tels que la victoire d'IBM Watson à Jeopardy et celle de Google AlphaGo qui a battu le champion du monde au jeu "Go". Waymo, Tesla et d'autres ont également fait de grands progrès avec les véhicules auto-propulsés. Richard Waters a rendu compte de l'étendue des applications de l'IA dans le Financial Times : "S'il y a un message unificateur qui sous-tend la technologie grand public exposée [au Consumer Electronics Show] .... c'est : "L'IA partout."

Les succès retentissants de l'IA ont également capturé l'imagination des gens à un tel point que cela a suscité d'autres efforts d'envergure. Un exemple instructif a été documenté par Thomas H. Davenport et Rajeev Ronanki dans le Harvard Business Review. Ils écrirent, "En 2013, le MD Anderson Cancer Center a lancé un projet ""Moon shot " : diagnostiquer et recommander des plans de traitement pour certaines formes de cancer en utilisant le système cognitif Watson d'IBM". Malheureusement, ce système n'a pas fonctionné et en 2017 le projet fut mis en veilleuse après avoir coûté plus de 62 millions de dollars sans avoir été utilisé pour les patients.

Waters a également abordé un autre message, celui des attentes modérées. En ce qui concerne les "assistants personnels à commande vocale", note-t-elle, "on ne sait pas encore si la technologie est capable de remplacer le smartphone pour naviguer dans le monde numérique autrement autrement que pour écouter de la musique ou vérifier les nouvelles et la météo".

D'autres exemples de prévisions modérées abondent. Generva Allen du Baylor College of Medicine et de l'Université Rice a avertit , "Je ne ferais pas confiance à une très grande partie des découvertes actuellement faites qui utilisent des techniques de machine learning appliquées à de grands ensembles de données". Le problème, c'est que bon nombre des techniques sont conçues pour fournir des réponses précises et que la recherche comporte des incertitudes. Elle a précisé : "Parfois, il serait beaucoup plus utile qu'ils reconnaissent que certains sont vraiment consolidés, mais qu'on est pas sûr pour beaucoup d'autres".

Pire encore, dans les cas extrêmes, l'IA n'est pas seulement sous-performante ; elle n'a même pas encore été mise en œuvre. Le FT rapporte, "Quatre jeunes entreprises européennes sur dix n'utilisent aucun programme d'intelligence artificielle dans leurs produits, selon un rapport qui souligne le battage publicitaire autour de cette technologie.

Les cycles d'attentes excessives suivies de vagues de déception ne sont pas surprenants pour ceux qui ont côtoyé l'intelligence artificielle pendant un certain temps. Ils savent que ce n'est pas le premier rodéo de l'IA. En effet, une grande partie du travail conceptuel date des années 1950. D'ailleurs, en passant en revue certaines de mes notes récentes je suis tombé sur une pièce qui explorait les réseaux neuronaux dans le but de choisir des actions - datant de 1993.

La meilleure façon d'avoir une perspective sur l'IA est d'aller directement à la source et Martin Ford nous en donne l'occasion dans son livre, Architects of Intelligence. Organisé sous la forme d'une succession d'entrevues avec des chercheurs, des universitaires et des entrepreneurs de premier plan de l'industrie, le livre présente un historique utile de l'IA et met en lumière les principaux courants de pensée.

Deux perspectives importantes se dégagent de ce livre.

La première est qu'en dépit des origines et des personnalités disparates des personnes interrogées, il existe un large consensus sur des sujets importants.

L'autre est qu'un grand nombre des priorités et des préoccupations des principales recherches sur l'IA sont bien différentes de celles exprimées dans les médias grand public.

Prenons par exemple le concept d'intelligence générale artificielle (AGI). Qui est étroitement lié à la notion de "singularité" ce point où l'IA rejoindra celle de l'homme - avant un dépassement massif de cette dernière. Cette idée et d'autres ont suscité des préoccupations au sujet de l'IA, tout comme les pertes massives d'emplois, les drones tueurs et une foule d'autres manifestations alarmantes.

Les principaux chercheurs en AI ont des points de vue très différents ; ils ne sont pas du tout perturbés par l'AGI et autres alarmismes.

Geoffrey Hinton, professeur d'informatique à l'Université de Toronto et vice-président et chercheur chez Google, dit : "Si votre question est : Quand allons-nous obtenir un commandant-docteur Data (comme dans Star Trek ) je ne crois pas que ce sera comme çà que ça va se faire. Je ne pense pas qu'on aura des programmes uniques et généralistes comme ça."

Yoshua Bengio, professeur d'informatique et de recherche opérationnelle à l'Université de Montréal, nous dit qu'il y a des problèmes très difficiles et que nous sommes très loin de l'IA au niveau humain. Il ajoute : "Nous sommes tous excités parce que nous avons fait beaucoup de progrès dans cette ascension, mais en nous approchant du sommet, nous apercevons d'autres collines qui s'élèvent devant nous au fur et à mesure".

Barbara Grosz, professeur de sciences naturelles à l'Université de Harvard : "Je ne pense pas que l'AGI soit la bonne direction à prendre". Elle soutient que la poursuite de l'AGI (et la gestion de ses conséquences) sont si loin dans l'avenir qu'elles ne sont que "distraction".

Un autre fil conducteur des recherches sur l'IA est la croyance que l'IA devrait être utilisée pour améliorer le travail humain plutôt que le remplacer.

Cynthia Breazeal, directrice du groupe de robots personnels du laboratoire de médias du MIT, aborde la question : "La question est de savoir quelle est la synergie, quelle est la complémentarité, quelle est l'amélioration qui permet d'étendre nos capacités humaines en termes d'objectifs, ce qui nous permet d'avoir vraiment un plus grand impact dans le monde, avec l'IA."

Fei-Fei Li, professeur d'informatique à Stanford et scientifique en chef pour Google Cloud dit lui : "L'IA en tant que technologie a énormément de potentiel pour valoriser et améliorer le travail, sans le remplacer".

James Manyika, président du conseil et directeur du McKinsey Global Institute, fait remarquer que puisque 60 % des professions ont environ un tiers de leurs activités qui sont automatisables et que seulement environ 10 % des professions ont plus de 90 % automatisables, "beaucoup plus de professions seront complétées ou augmentées par des technologies qu'elles ne seront remplacées".

De plus, l'IA ne peut améliorer le travail humain que si elle peut travailler efficacement de concert avec lui.

Barbara Grosz fait remarquer : "J'ai dit à un moment donné que 'les systèmes d'IA sont meilleurs s'ils sont conçus en pensant aux gens'". Je recommande que nous visions à construire un système qui soit un bon partenaire d'équipe et qui fonctionne si bien avec nous que nous ne nous rendions pas compte qu'il n'est pas humain".

David Ferrucci, fondateur d'Elemental Cognition et directeur d'IA appliquée chez Bridgewater Associates, déclare : " L'avenir que nous envisageons chez Elemental Cognition repose sur une collaboration étroite et fluide entre l'intelligence humaine et la machine. "Nous pensons que c'est un partenariat de pensée." Yoshua Bengio nous rappelle cependant les défis à relever pour former un tel partenariat : "Il ne s'agit pas seulement de la précision [avec l'IA], il s'agit de comprendre le contexte humain, et les ordinateurs n'ont absolument aucun indice à ce sujet."

Il est intéressant de constater qu'il y a beaucoup de consensus sur des idées clés telles que l'AGI n'est pas un objectif particulièrement utile en ce moment, l'IA devrait être utilisée pour améliorer et non remplacer le travail et l'IA devrait fonctionner en collaboration avec des personnes. Il est également intéressant de constater que ces mêmes leçons sont confirmées par l'expérience des entreprises.

Richard Waters décrit comment les implémentations de l'intelligence artificielle en sont encore à un stade assez rudimentaire.

Éliminez les recherches qui monopolisent les gros titres (un ordinateur qui peut battre les humains au Go !) et la technologie demeure à un stade très primaire .

Mais au-delà de cette "consumérisation" de l'IT, qui a mis davantage d'outils faciles à utiliser entre les mains, la refonte des systèmes et processus internes dans une entreprise demande beaucoup de travail.

Ce gros travail prend du temps et peu d'entreprises semblent présentes sur le terrain. Ginni Rometty, responsable d'IBM, qualifie les applications de ses clients d'"actes aléatoires du numérique" et qualifie nombre de projets de "hit and miss". (ratages). Andrew Moore, responsable de l'intelligence artificielle pour les activités de Google Cloud business, la décrit comme "intelligence artificielle artisanale". Rometty explique : "Ils ont tendance à partir d'un ensemble de données isolé ou d'un cas d'utilisation - comme la rationalisation des interactions avec un groupe particulier de clients. Tout ceci n'est pas lié aux systèmes, données ou flux de travail plus profonds d'une entreprise, ce qui limite leur impact."

Bien que le cas HBR du MD Anderson Cancer Center soit un bon exemple d'un projet d'IA "au clair de lune "qui a probablement dépassé les bornes, cela fournit également une excellente indication des types de travail que l'IA peut améliorer de façon significative. En même temps que le centre essayait d'appliquer l'IA au traitement du cancer, son "groupe informatique expérimentait l'utilisation des technologies cognitives pour des tâches beaucoup moins ambitieuses, telles que faire des recommandations d'hôtels et de restaurants pour les familles des patients, déterminer quels patients avaient besoin d'aide pour payer leurs factures, et résoudre les problèmes informatiques du personnel".

Dans cette entreprise, le centre a eu de bien meilleures expériences : "Les nouveaux systèmes ont contribué à accroître la satisfaction des patients, à améliorer le rendement financier et à réduire le temps consacré à la saisie fastidieuse des données par les gestionnaires de soins de l'hôpital. De telles fonctions banales ne sont peut-être pas exactement du ressort de Terminator, mais elles sont quand même importantes.

Optimiser l'IA dans le but d'augmenter le travail en collaborant avec les humains était également le point central d'une pièce de H. James Wilson et Paul R. Daugherty "HBRpiece". Ils soulignent : "Certes, de nombreuses entreprises ont utilisé l'intelligence artificielle pour automatiser leurs processus, mais celles qui l'utilisent principalement pour déplacer leurs employés ne verront que des gains de productivité à court terme. Grâce à cette intelligence collaborative, l'homme et l'IA renforcent activement les forces complémentaires de l'autre : le leadership, le travail d'équipe, la créativité et les compétences sociales de la première, la rapidité, l'évolutivité et les capacités quantitatives de la seconde".

Wilson et Daugherty précisent : "Pour tirer pleinement parti de cette collaboration, les entreprises doivent comprendre comment les humains peuvent le plus efficacement augmenter les machines, comment les machines peuvent améliorer ce que les humains font le mieux, et comment redéfinir les processus commerciaux pour soutenir le partenariat". Cela demande beaucoup de travail et cela va bien au-delà du simple fait de balancer un système d'IA dans un environnement de travail préexistant.

Les idées des principaux chercheurs en intelligence artificielle, combinées aux réalités des applications du monde réel, offrent des implications utiles. La première est que l'IA est une arme à double tranchant : le battage médiatique peut causer des distractions et une mauvaise attribution, mais les capacités sont trop importantes pour les ignorer.

Ben Hunt discute des rôles de la propriété intellectuelle (PI) et de l'intelligence artificielle dans le secteur des investissements, et ses commentaires sont largement pertinents pour d'autres secteurs. Il note : "L'utilité de la propriété intellectuelle pour préserver le pouvoir de fixation des prix est beaucoup moins fonction de la meilleure stratégie que la PI vous aide à établir, et beaucoup plus fonction de la façon dont la propriété intellectuelle s'intègre dans le l'esprit du temps (Zeitgeist) dominant dans votre secteur.

Il poursuit en expliquant que le "POURQUOI" de votre PI doit "répondre aux attentes de vos clients quant au fonctionnement de la PI" afin de protéger votre produit. Si vous ne correspondez pas à l'esprit du temps, personne ne croira que les murs de votre château existent, même si c'est le cas". Dans le domaine de l'investissement (et bien d'autres encore), "PERSONNE ne considère plus le cerveau humain comme une propriété intellectuelle défendable. Personne." En d'autres termes, si vous n'utilisez pas l'IA, vous n'obtiendrez pas de pouvoir de fixation des prix, quels que soient les résultats réels.

Cela fait allusion à un problème encore plus grave avec l'IA : trop de gens ne sont tout simplement pas prêts à y faire face.

Daniela Rus, directrice du laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT déclare : "Je veux être une optimiste technologique. Je tiens à dire que je vois la technologie comme quelque chose qui a le potentiel énorme d'unir les gens plutôt que les diviser, et de les autonomiser plutôt que de les désolidariser. Mais pour y parvenir, nous devons faire progresser la science et l'ingénierie afin de rendre la technologie plus performante et plus utilisable." Nous devons revoir notre façon d'éduquer les gens afin de nous assurer que tous ont les outils et les compétences nécessaires pour tirer parti de la technologie.

Yann Lecun ajoute : "Nous n'aurons pas de large diffusion de la technologie de l'IA à moins qu'une proportion importante de la population ne soit formée pour en tirer parti ".

Cynthia Breazeal répéte : "Dans une société de plus en plus alimentée par l'IA, nous avons besoin d'une société alphabétisée à l'IA."

Ce ne sont pas non plus des déclarations creuses ; il existe une vaste gamme de matériel d'apprentissage gratuit pour l'IA disponible en ligne pour encourager la participation sur le terrain.

Si la société ne rattrape pas la réalité de l'IA, il y aura des conséquences.

Brezeal note : "Les craintes des gens à propos de l'IA peuvent être manipulées parce qu'ils ne la comprennent pas."

Lecun souligne : " Il y a une concentration du pouvoir. À l'heure actuelle, la recherche sur l'IA est très publique et ouverte, mais à l'heure actuelle, elle est largement déployée par un nombre relativement restreint d'entreprises. Il faudra un certain temps avant que ce ne soit utilisé par une plus grande partie de l'économie et c'est une redistribution des cartes du pouvoir."

Hinton souligne une autre conséquence : "Le problème se situe au niveau des systèmes sociaux et la question de savoir si nous allons avoir un système social qui partage équitablement... Tout cela n'a rien à voir avec la technologie".

À bien des égards, l'IA est donc un signal d'alarme. En raison de l'interrelation unique de l'IA avec l'humanité, l'IA a tendance à faire ressortir ses meilleurs et ses pires éléments. Certes, des progrès considérables sont réalisés sur le plan technologique, ce qui promet de fournir des outils toujours plus puissants pour résoudre des problèmes difficiles. Cependant, ces promesses sont également limitées par la capacité des gens, et de la société dans son ensemble, d'adopter les outils d'IA et de les déployer de manière efficace.

Des preuves récentes suggèrent que nous avons du pain sur la planche pour nous préparer à une société améliorée par l'IA. Dans un cas rapporté par le FT, UBS a créé des "algorithmes de recommandation" (tels que ceux utilisés par Netflix pour les films) afin de proposer des transactions pour ses clients. Bien que la technologie existe, il est difficile de comprendre en quoi cette application est utile à la société, même de loin.

Dans un autre cas, Richard Waters nous rappelle : "Cela fait presque dix ans, par exemple, que Google a fait trembler le monde de l'automobile avec son premier prototype de voiture autopropulsée". Il continue : "La première vague de la technologie des voitures sans conducteur est presque prête à faire son entrée sur le marché, mais certains constructeurs automobiles et sociétés de technologie ne semblent plus aussi désireux de faire le grand saut. Bref, ils sont menacés parce que la technologie actuelle est à "un niveau d'autonomie qui fait peur aux constructeurs automobiles, mais qui fait aussi peur aux législateurs et aux régulateurs".

En résumé, que vous soyez investisseur, homme d'affaires, employé ou consommateur, l'IA a le potentiel de rendre les choses bien meilleures - et bien pires. Afin de tirer le meilleur parti de cette opportunité, un effort actif axé sur l'éducation est un excellent point de départ. Pour que les promesses d'AI se concrétisent, il faudra aussi déployer beaucoup d'efforts pour mettre en place des infrastructures de systèmes et cartographier les forces complémentaires. En d'autres termes, il est préférable de considérer l'IA comme un long voyage plutôt que comme une destination à court terme.

Auteur: Internet

Info: Zero Hedge, Ven, 03/15/2019 - 21:10

[ prospective ]

transgressions verbales

Avant même de parler, nous jurions.

Furieux de ce qu'il considère comme une pandémie virtuelle de vulgarité verbale émanant de personnalités aussi diverses que Howard Stern, Bono de U2 et Robert Novak, le Sénat des États-Unis est sur le point d'examiner un projet de loi qui augmenterait fortement les sanctions pour obscénité à l'antenne.

En multipliant par quinze les amendes qui seraient infligées aux radiodiffuseurs contrevenants, pour atteindre un montant d'environ 500 000 dollars par diffusion de grossièretés, et en menaçant de révoquer les licences des contrevenants récidivistes, le Sénat cherche à redonner à la place publique la teneur plus douce d'antan, lorsque l'on entendait rarement des propos calomnieux et que les célébrités n'étaient pas grossières à longueur de journée.

Pourtant, les chercheurs qui étudient l'évolution du langage et la psychologie des jurons disent qu'ils n'ont aucune idée du modèle mystique de gentillesse linguistique que les critiques pourraient avoir en tête. Le juron, disent-ils, est un universel humain. Toutes les langues, tous les dialectes et tous les patois étudiés, vivants ou morts, parlés par des millions de personnes ou par une petite tribu, ont leur part d'interdits, une variante de la célèbre liste des sept gros mots qui ne doivent pas être prononcés à la radio ou à la télévision, établie par le comédien George Carlin.

Les jeunes enfants mémorisent cet inventaire illicite bien avant d'en saisir le sens, explique John McWhorter, spécialiste de la linguistique au Manhattan Institute et auteur de "The Power of Babel", et les géants de la littérature ont toujours construit leur art sur sa colonne vertébrale.

"Le dramaturge jacobéen Ben Jonson a parsemé ses pièces de fackings et de "Culs peremptoirs", et Shakespeare ne pouvait guère écrire une strophe sans insérer des blasphèmes de l'époque comme "zounds" ou "sblood" - contractions offensantes de "God's wounds" et "God's blood" - ou autre étonnant  jeu de mots sexuel.

Le titre "Much Ado About Nothing", dit son auteur le Dr McWhorter, est un jeu de mots sur "Much Ado About an O Thing", le O thing étant une référence aux organes génitaux féminins.

Même la quintessence du bon livre abonde en passages coquins comme les hommes de II Kings 18:27 qui, comme le dit la traduction relativement douce du King James, "mangent leur propre merde et boivent leur propre pisse".

En fait, selon Guy Deutscher, linguiste à l'université de Leyde, aux Pays-Bas, et auteur de "The Unfolding of Language : An Evolutionary Tour of Mankind's Greatest Invention", les premiers écrits, qui datent d'il y a 5 000 ans, comportent leur lot de descriptions colorées de la forme humaine et de ses fonctions encore plus colorées. Et les écrits ne sont que le reflet d'une tradition orale qui, selon le Dr Deutscher et de nombreux autres psychologues et linguistes évolutionnistes, remonte à l'apparition du larynx humain, si ce n'est avant.

Certains chercheurs sont tellement impressionnés par la profondeur et la puissance du langage grossier qu'ils l'utilisent comme un judas dans l'architecture du cerveau, comme un moyen de sonder les liens enchevêtrés et cryptiques entre les nouvelles régions "supérieures" du cerveau chargées de l'intellect, de la raison et de la planification, et les quartiers neuronaux plus anciens et plus "bestiaux" qui donnent naissance à nos émotions.

Les chercheurs soulignent que le fait de jurer est souvent un amalgame de sentiments bruts et spontanés et de ruse ciblée, à la dérobée. Lorsqu'une personne en insulte une autre, disent-ils, elle crache rarement des obscénités et des insultes au hasard, mais évalue plutôt l'objet de son courroux et adapte le contenu de son explosion "incontrôlable" en conséquence.

Étant donné que l'injure fait appel aux voies de la pensée et des sentiments du cerveau dans une mesure à peu près égale et avec une ferveur facilement évaluable, les scientifiques affirment qu'en étudiant les circuits neuronaux qui la sous-tendent, ils obtiennent de nouvelles informations sur la façon dont les différents domaines du cerveau communiquent - et tout cela pour une réplique bien sentie.

D'autres chercheurs se sont penchés sur la physiologie de l'injure, sur la façon dont nos sens et nos réflexes réagissent à l'audition ou à la vue d'un mot obscène. Ils ont déterminé que le fait d'entendre un juron suscite une réaction littérale chez les gens. Lorsque des fils électrodermiques sont placés sur les bras et le bout des doigts d'une personne pour étudier les schémas de conductivité de sa peau et que les sujets entendent ensuite quelques obscénités prononcées clairement et fermement, les participants montrent des signes d'excitation instantanée. La conductivité de leur peau augmente, les poils de leurs bras se dressent, leur pouls s'accélère et leur respiration devient superficielle.

Il est intéressant de noter, selon Kate Burridge, professeur de linguistique à l'université Monash de Melbourne, en Australie, qu'une réaction similaire se produit chez les étudiants universitaires et d'autres personnes qui se targuent d'être instruites lorsqu'elles entendent des expressions de mauvaise grammaire ou d'argot qu'elles considèrent comme irritantes, illettrées ou déclassées.

"Les gens peuvent se sentir très passionnés par la langue, dit-elle, comme s'il s'agissait d'un artefact précieux qu'il faut protéger à tout prix contre les dépravations des barbares et des étrangers lexicaux." 

Le Dr Burridge et un collègue de Monash, Keith Allan, sont les auteurs de "Forbidden Words : Taboo and the Censoring of Language", qui sera publié au début de l'année prochaine par la Cambridge University Press.

Les chercheurs ont également découvert que les obscénités peuvent s'insinuer dans la peau d'une personne qui a la chair de poule, puis ne plus bouger. Dans une étude, les scientifiques ont commencé par le célèbre test de Stroop, qui consiste à montrer à des sujets une série de mots écrits en différentes couleurs et à leur demander de réagir en citant les couleurs des mots plutôt que les mots eux-mêmes.

Si les sujets voient le mot "chaise" écrit en lettres jaunes, ils sont censés dire "jaune".

Les chercheurs ont ensuite inséré un certain nombre d'obscénités et de vulgarités dans la gamme standard. En observant les réponses immédiates et différées des participants, les chercheurs ont constaté que, tout d'abord, les gens avaient besoin de beaucoup plus de temps pour triller les couleurs des mots d'injures que pour des termes neutres comme "chaise".

L'expérience de voir un texte titillant détournait manifestement les participants de la tâche de codage des couleurs. Pourtant, ces interpolations osées ont laissé des traces. Lors de tests de mémoire ultérieurs, les participants ont non seulement été beaucoup plus aptes à se souvenir des vilains mots que des mots neutres, mais cette supériorité s'appliquait également aux teintes des mots vilains, ainsi qu'à leur sens.

Oui, il est difficile de travailler dans la pénombre des ordures idiomatiques. Dans le cadre d'une autre étude, des chercheurs ont demandé à des participants de parcourir rapidement des listes de mots contenant des obscénités, puis de se souvenir du plus grand nombre possible de ces mots. Là encore, les sujets se sont montrés plus aptes à se remémorer les injures, et moins aptes à se souvenir de tout ce qui était acceptable et qui précédait ou suivait les injures.

Pourtant, si le langage grossier peut donner un coup de fouet, il peut aussi aider à évacuer le stress et la colère. Dans certains contextes, la libre circulation d'un langage grossier peut signaler non pas l'hostilité ou une pathologie sociale, mais l'harmonie et la tranquillité.

"Des études montrent que si vous êtes avec un groupe d'amis proches, plus vous êtes détendu, plus vous jurez", a déclaré le Dr Burridge. "C'est une façon de dire : 'Je suis tellement à l'aise ici que je peux me défouler. Je peux dire ce que je veux".

Il est également prouvé que les jurons peuvent être un moyen efficace d'évacuer l'agressivité et de prévenir ainsi la violence physique.

Avec l'aide d'une petite armée d'étudiants et de volontaires, Timothy B. Jay, professeur de psychologie au Massachusetts College of Liberal Arts à North Adams et auteur de "Cursing in America" et "Why We Curse", a exploré en détail la dynamique du juron.

Les enquêteurs ont découvert, entre autres, que les hommes jurent généralement plus que les femmes, à moins que ces dernières ne fassent partie d'une sororité, et que les doyens d'université jurent plus que les bibliothécaires ou les membres du personnel de la garderie universitaire.

Selon le Dr Jay, peu importe qui jure ou quelle est la provocation, la raison de l'éruption est souvent la même.

"À maintes reprises, les gens m'ont dit que le fait de jurer était pour eux un mécanisme d'adaptation, une façon de réduire le stress", a-t-il déclaré lors d'un entretien téléphonique. "C'est une forme de gestion de la colère qui est souvent sous-estimée".

En effet, les chimpanzés se livrent à ce qui semble être une sorte de match de jurons pour évacuer leur agressivité et éviter un affrontement physique potentiellement dangereux.

Frans de Waal, professeur de comportement des primates à l'université Emory d'Atlanta, a déclaré que lorsque les chimpanzés sont en colère, "ils grognent, crachent ou font un geste brusque et ascendant qui, si un humain le faisait, serait reconnu comme agressif".

Ces comportements sont des gestes de menace, a déclaré le professeur de Waal, et ils sont tous de bon augure.

"Un chimpanzé qui se prépare vraiment à se battre ne perd pas de temps avec des gestes, mais va tout simplement de l'avant et attaque". De la même manière, a-t-il ajouté, rien n'est plus mortel qu'une personne trop enragée pour utiliser des jurons, qui prend une arme à feu et commence à tirer sans bruit.

Les chercheurs ont également examiné comment les mots atteignent le statut de discours interdit et comment l'évolution du langage grossier affecte les couches plus lisses du discours civil empilées au-dessus. Ils ont découvert que ce qui est considéré comme un langage tabou dans une culture donnée est souvent un miroir des peurs et des fixations de cette culture.

"Dans certaines cultures, les jurons sont principalement liés au sexe et aux fonctions corporelles, tandis que dans d'autres, ils sont principalement liés au domaine de la religion", a déclaré le Dr Deutscher.

Dans les sociétés où la pureté et l'honneur des femmes sont d'une importance capitale, "il n'est pas surprenant que de nombreux jurons soient des variations sur le thème "fils de pute" ou fassent référence de manière imagée aux organes génitaux de la mère ou des sœurs de la personne concernée".

Le concept même de juron ou de serment trouve son origine dans la profonde importance que les cultures anciennes accordaient au fait de jurer au nom d'un ou de plusieurs dieux. Dans l'ancienne Babylone, jurer au nom d'un dieu était censé donner une certitude absolue contre le mensonge, a déclaré le Dr Deutscher, "et les gens croyaient que jurer faussement contre un dieu attirerait sur eux la terrible colère de ce dieu." La mise en garde contre tout abus du serment sacré se reflète dans le commandement biblique selon lequel il ne faut pas "prendre le nom du Seigneur en vain", et aujourd'hui encore, les témoins dans les tribunaux jurent sur la Bible qu'ils disent toute la vérité et rien que la vérité.

Chez les chrétiens, cette interdiction de prendre le nom du Seigneur en vain s'étendait à toute allusion désinvolte envers le fils de Dieu ou à ses souffrances corporelles - aucune mention du sang, des plaies ou du corps, et cela vaut aussi pour les savantes contractions. De nos jours, l'expression "Oh, golly !" peut être considérée comme presque comiquement saine, mais il n'en a pas toujours été ainsi. "Golly" est une compaction de "corps de Dieu" et, par conséquent, était autrefois un blasphème.

Pourtant, ni les commandements bibliques, ni la censure victorienne la plus zélée ne peuvent faire oublier à l'esprit humain son tourment pour son corps indiscipliné, ses besoins chroniques et embarrassants et sa triste déchéance. L'inconfort des fonctions corporelles ne dort jamais, a déclaré le Dr Burridge, et le besoin d'une sélection toujours renouvelée d'euphémismes sur des sujets sales a longtemps servi de moteur impressionnant à l'invention linguistique.

Lorsqu'un mot devient trop étroitement associé à une fonction corporelle spécifique, dit-elle, lorsqu'il devient trop évocateur de ce qui ne devrait pas être évoqué, il commence à entrer dans le domaine du tabou et doit être remplacé par un nouvel euphémisme plus délicat.

Par exemple, le mot "toilette" vient du mot français "petite serviette" et était à l'origine une manière agréablement indirecte de désigner l'endroit où se trouve le pot de chambre ou son équivalent. Mais depuis, le mot "toilettes" désigne le meuble en porcelaine lui-même, et son emploi est trop brutal pour être utilisé en compagnie polie. Au lieu de cela, vous demanderez à votre serveur en smoking de vous indiquer les toilettes pour dames ou les toilettes ou, si vous le devez, la salle de bains.

De même, le mot "cercueil" (coffin) désignait à l'origine une boîte ordinaire, mais une fois qu'il a été associé à la mort, c'en fut fini du "cercueil à chaussures" ou de la "pensée hors du cercueil". Selon le Dr Burridge, le sens tabou d'un mot "chasse toujours les autres sens qu'il aurait pu avoir".

Les scientifiques ont récemment cherché à cartographier la topographie neuronale du discours interdit en étudiant les patients atteints du syndrome de Tourette qui souffrent de coprolalie, l'envie pathologique et incontrôlable de jurer. Le syndrome de Gilles de la Tourette est un trouble neurologique d'origine inconnue qui se caractérise principalement par des tics moteurs et vocaux chroniques, une grimace constante ou le fait de remonter ses lunettes sur l'arête du nez, ou encore l'émission d'un flot de petits glapissements ou de grognements.

Seul un faible pourcentage des patients atteints de la maladie de Gilles de la Tourette sont atteints de coprolalie - les estimations varient de 8 à 30 % - et les patients sont consternés par les représentations populaires de la maladie de Gilles de la Tourette comme une affection humoristique et invariablement scatologique. Mais pour ceux qui souffrent de coprolalie, dit le Dr Carlos Singer, directeur de la division des troubles du mouvement à la faculté de médecine de l'université de Miami, ce symptôme est souvent l'aspect le plus dévastateur et le plus humiliant de leur maladie.

Non seulement il peut être choquant pour les gens d'entendre une volée de jurons jaillir sans raison apparente, parfois de la bouche d'un enfant ou d'un jeune adolescent, mais les jurons peuvent aussi être provocants et personnels, des insultes fleuries contre la race, l'identité sexuelle ou la taille d'un passant, par exemple, ou des références obscènes délibérées et répétées au sujet d'un ancien amant dans les bras d'un partenaire ou d'un conjoint actuel.

Dans un rapport publié dans The Archives of General Psychiatry, le Dr David A. Silbersweig, directeur du service de neuropsychiatrie et de neuro-imagerie du Weill Medical College de l'université Cornell, et ses collègues ont décrit leur utilisation de la TEP pour mesurer le débit sanguin cérébral et identifier les régions du cerveau qui sont galvanisées chez les patients atteints de la maladie de Tourette pendant les épisodes de tics et de coprolalie. Ils ont constaté une forte activation des ganglions de la base, un quatuor de groupes de neurones situés dans le cerveau antérieur, à peu près au niveau du milieu du front, connus pour aider à coordonner les mouvements du corps, ainsi qu'une activation des régions cruciales du cerveau antérieur arrière gauche qui participent à la compréhension et à la production du langage, notamment l'aire de Broca.

Les chercheurs ont également constaté l'activation de circuits neuronaux qui interagissent avec le système limbique, le trône des émotions humaines en forme de berceau, et, de manière significative, avec les domaines "exécutifs" du cerveau, où les décisions d'agir ou de s'abstenir d'agir peuvent être prises : la source neuronale, selon les scientifiques, de la conscience, de la civilité ou du libre arbitre dont les humains peuvent se prévaloir.

Selon le Dr Silbersweig, le fait que le superviseur exécutif du cerveau s'embrase lors d'une crise de coprolalie montre à quel point le besoin de dire l'indicible peut être un acte complexe, et pas seulement dans le cas du syndrome de Tourette. La personne est saisie d'un désir de maudire, de dire quelque chose de tout à fait inapproprié. Les circuits linguistiques d'ordre supérieur sont sollicités pour élaborer le contenu de la malédiction. Le centre de contrôle des impulsions du cerveau s'efforce de court-circuiter la collusion entre l'envie du système limbique et le cerveau néocortical, et il peut y parvenir pendant un certain temps. 

Mais l'envie monte, jusqu'à ce que les voies de la parole se déchaînent, que le verboten soit prononcé, et que les cerveaux archaïques et raffinés en portent la responsabilité.

Auteur: Angier Natalie

Info: The New York Times, 20 septembre 2005

[ vocables pulsions ] [ onomasiologie ] [ tiercités réflexes ] [ jargon reptilien ] [ verbe soupape ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]