bourgeoisie

IVANOV : Zinaïda Savichna, j'ai une prière à vous faire...
ZINAÏDA SAVICHNA : Que voulez-vous, Nikolaï Alekséïevitch ?
IVANOV : L'échéance de mes billets tombe après-demain ; vous m'obligeriez beaucoup si vous m'accordiez un délai ou me permettiez d'ajouter les intérêts au capital. Je n'ai pour l'instant aucun argent...
ZINAÏDA SAVICHNA : Nikolaï Alekséïevitch, est-ce possible ! Quelle manière est-ce là ? Non, au nom de Dieu, n'y songez pas ! Ne me tourmentez pas, malheureuse que je suis.
IVANOV : Pardon, pardon...
ZINAÏDA SAVICHNA : Oh ! saints du paradis, comme il m'a bouleversée ! Je tremble toute... j'en tremble...

Auteur: Tchekhov Anton Pavlovitch

Info: Ivanov

[ argent ] [ anatocisme ]

subatomique

Il est actuellement très improbable que les éléments chimiques encore indivisibles soient des substances absolument irréductibles. Il semble plutôt que les atomes des éléments ne soient pas les constituants finaux, mais seulement les constituants immédiats des molécules des éléments et des composés - la molécule étant la première division de la matière, les atomes étant considérés comme le second ordre, à leur tour constitués de particules de matière d'un troisième ordre plus élevé.

(Spéculant en 1870 sur l'existence de particules subatomiques, dans la remarque d'ouverture de l'article par lequel il s'est imposé comme co-découvreur de la loi périodique).

Auteur: Meyer Julius Lothar

Info: 'Die Natur der chemischen Elemente als Function ihrer Atomgewichte' ('The Nature of the Chemical Elements as a Function of their Atomic Weight'), Annalen der Chemie (1870), supp. b, 354. Original German paper reprinted in Lothar Meyer and Dmitry Ivanovich Mendeleyev, Das natürliche System der chemischen Elemente: Abhandlungen (1895), 9

dialogue

– Voyez-vous, mon ami, se disputer est à mon avis une perte de temps. Si je m’adresse à quelqu’un, qu’est-ce qui m’intéresse chez lui ? Ses idées, sa façon de penser. Mon but, et pas seulement le mien, est de le pousser à exprimer ses idées et à essayer de les comprendre. J’irais jusqu’à prétendre que plus elles sont éloignées des miennes, plus elles m’intéressent. Je ne cherche pas à convaincre mon interlocuteur de partager mon avis. D’ailleurs, si l’on poursuit ce raisonnement jusqu’aux extrêmes, on s’aperçoit que celui qui réussit à imposer ses opinions finit par entendre répéter ses propres propos ; la conversation n’a ainsi plus de sens. L’intérêt commence là où les opinions et les personnalités divergent.

Auteur: Gazdanov Gajto Ivanovic

Info: Cygnes noirs

[ discuter ] [ tolérance ] [ ouverture ] [ compréhension ] [ singularité ]

sans réponse

Y a-t-il quelque chose sur terre qui ait un sens et qui pourrait changer le cours d'événements non seulement sur terre, mais dans d'autres mondes ?" ai-je demandé à mon professeur. "Il y en a", me répondit-il. "Eh bien, qu'est-ce ?" lui ai-je demandé. "C'est..." commença mon maître, et soudain il se tut. Je suis resté debout et ai attendu sa réponse avec impatience. Mais il est resté silencieux. Et je suis resté debout et silencieux. Et il était silencieux. Et je restais debout, silencieux. Et il était silencieux. Nous étions tous deux debout et silencieux. Ho la la ! Nous sommes tous deux debout et silencieux. Ho ben voilà ! C'est ça... nous sommes tous les deux debout et silencieux !

Auteur: Harms Daniil Ivanovitch Iouvatchev

Info: 16-17 juillet 1937

[ sans solution ] [ point fixe impossible ] [ perdus ] [ humour ]

justification

Le refus de ce monde étranger le poussait à d’idiotes entorses à la loi. Il se roulait des pelotes de papier toilette, volait les Kleenex par paquets entiers. Jamais il ne quittait un café sans embarquer un cendrier ou une salière. On aurait pu le croire kleptomane, ou simplement fou. Il n’était ni l’un ni l’autre. Il se vengeait des offenses que ce monde lui infligeait ; il méprisait ces gens qui vivaient là si facilement. Il avait mille raisons… Il les méprisait. Parce qu’ils étaient si propres sur eux, qu’ils portaient des vêtements nets et bigarrés, que même les retraités s’habillaient comme des ados ; il vomissait leurs sacs à dos, leurs capuchons roses, leurs moufles vertes, leurs baskets rouges…
– Ces gens ressemblent à des bonshommes en pâte d’amande, disait Hanumân.

Auteur: Ivanov Andreï Viatcheslavovitch

Info: Le Voyage d'Hanuman

[ rancoeur ] [ frustration ] [ voleur ]

mégalomanie

Un mois auparavant, des voisins ayant porté plainte, il avait signé ses explications à la milice : "Serge Ivanovitch Kalmykov, génie nº1 de la Terre et de la Galaxie, décorateur des ballets Abaï." En ces temps où un seul être passait pour être le génie de l'humanité, pareille audace pouvait coûter cher, marquant soit une dérision, soit une intention de concurrence. Des hypothèses de cet ordre avaient, semble-t-il, été émises en haut lieu. Les choses en restèrent là. Un personnage important, ayant croisé Kalmykov dans la rue, s’était dit sans doute que cette tête-là ne lui rapporterait pas lourd. Il avait tort. Que le peintre fit son apparition dans la rue, et il se produisait aussitôt un brouhaha. La circulation ralentissait. Les gens s'arrêtaient. Un être insolite s'offrait à leurs regards : rouge, jaune, vert, bleu, couvert de passepoils, de franges, de rubans. "Imaginez, disait-il, qu'on nous regarde du fin fond de l'Univers. Que verrait-on ? Une masse rampante, morne et grise. Mais, soudain, comme un coup de feu, éclaterait une tache de lumière. Et ce serait moi !"

Auteur: Dombrovskij Ûrij Osipovic

Info: La faculté de l'inutile

[ égoïsme ] [ humour ] [ exagération ]

canevas

Maintenant j’ai sommeil, mais je ne vais pas dormir. Je vais prendre du papier et un stylo à plume, je vais écrire. Je sens une force redoutable en moi. J’ai réfléchi à tout encore hier. Cela sera l’histoire d’un thaumaturge qui vit de nos jours et ne fait pas de miracles. Il sait qu’il est un thaumaturge et qu’il peut faire n’importe quel miracle, mais il ne le fait pas. Il se fait expulser de son appartement, il sait qu’il lui suffit d’un signe de main pour garder son appartement, mais il ne le fait pas, il part docilement et vit dans une cabane en banlieue. Il peut transformer sa cabane en une formidable maison en briques, mais il ne le fait pas, il continue de vivre dans sa cabane et finalement meurt sans avoir fait le moindre miracle de son vivant.

Je me frotte joyeusement les mains dans mon fauteuil. Sakerdon Mikhaïlovitch va crever de jalousie. Il croit que je ne suis plus capable d’écrire une œuvre de génie. Vite, vite au travail ! À bas le sommeil et la paresse ! Je vais travailler pendant dix-huit heures d’affilée !

Auteur: Harms Daniil Ivanovitch Iouvatchev

Info: La Vieille

[ résolution ] [ imagination ]

couple

Au physique, Grigori était un homme froid et grave, peu bavard, qui ne laissait tomber que des paroles ayant du poids et exemptes de frivolité. Il eût été impossible de déterminer au premier abord s’il aimait ou non sa femme humble et soumise, et cependant il l’aimait vraiment, et bien entendu elle le comprenait. Cette Martha Ignatievna, loin d’être sotte, était peut-être même plus intelligente que son mari, du moins avait-elle plus de bon sens dans les choses de la vie ; pourtant elle s’était soumise à lui sans murmure et sans réserve dès le début de leur mariage et le respectait sans conteste pour sa supériorité morale. Il est à remarquer qu’ils n’échangeaient jamais que de rares paroles, sinon sur les questions les plus indispensables de la vie courante. Le grave et majestueux Grigori méditait toujours seul ses affaires et ses soucis, aussi Martha Ignatievna avait-elle depuis longtemps compris une fois pour toutes qu’il n'avait nul besoin de ses conseils. Elle sentait que son mari appréciait son silence et qu’il reconnaissait en cela son intelligence. Il ne l’avait jamais vraiment battue, si ce n’est une fois seulement, et encore légèrement. La première année du mariage d’Adélaïde Ivanovna avec Fédor Pavlovitch, à la campagne, les filles et les femmes du village, alors encore serves, avaient été un jour rassemblées dans la cour des maîtres pour chanter et danser. On entonna Dans les prés quand soudain Martha Ignatievna, jeune femme à cette époque, bondit devant le chœur et exécuta "la russe" d’une manière spéciale, non pas à la paysanne mais comme elle la dansait du temps qu’elle était au service des riches Mioussov, sur leur théâtre particulier, dans leur propriété, où les pas étaient enseignés aux acteurs par un maître de danses qu’on avait fait venir de Moscou. Grigori avait vu sa femme danser et une heure plus tard, une fois chez lui, il lui donna une correction en la traînant un peu par les cheveux. Mais les coups en restèrent là une fois pour toutes et ne se renouvelèrent plus jamais ; d’ailleurs Martha Ignatievna se garda bien désormais de danser.

Auteur: Dostoïevski Fédor Mikhaïlovitch

Info: Dans "Les Frères Karamazov", traduction d'Elisabeth Guertik, le Cercle du bibliophile, pages 120-121

[ obéissance ] [ autorité ]

sorcières

Marguerite fut alors saisie par l'idée qu'au fond, elle avait tort de presser son balai avec tant d'ardeur, qu'elle se privait ainsi de la possibilité de voir les choses comme il convenait, de jouir pleinement de son voyage aérien. Quelque chose lui suggérait que, là où elle allait, on l'attendrait de toute façon, et qu'elle n'avait donc aucune raison de se maintenir à cette hauteur et à cette vitesse, où elle s'ennuyait.
Elle abaissa la brosse de son balai, dont le manche se releva par-derrière, et, ralentissant considérablement son allure, elle descendit vers la terre. Cette glissade - comme sur un wagonnet de montagnes russes - lui procura le plus intense plaisir. Le sol, jusqu'alors obscur et confus, montait vers elle, et elle découvrait les beautés secrètes de la terre au clair de lune. La terre s'approcha encore, et Marguerite reçut par bouffées la senteur des forêts verdissantes. Plus bas, elle survola les traînées de brouillard qui s'étalaient sur un pré humide de rosée, puis elle passa au-dessus d'un étang. A ses pieds, les grenouilles chantaient en chœur. Elle perçut au loin, avec une bizarre émotion, le grondement d'un train. Bientôt, elle put le voir. Il s'étirait lentement, semblable à une chenille, et projetait en l'air des étincelles. Marguerite le dépassa, survola encore un plan d'eau miroitant où flottait une seconde lune, descendit plus bas encore et continua de voler, effleurant des pieds la cime des pins gigantesques.
A ce moment, un affreux bruissement d'air déchiré, qui se rapprochait rapidement, se fit entendre derrière Marguerite. Peu à peu, à ce sifflement d'obus, se joignît - déjà perceptible à des kilomètres de distance - un rire de femme. Marguerite tourna la tête et vit un objet sombre, de forme compliquée, qui la rattrapait. A mesure qu'il gagnait du terrain, l'objet se dessinait avec plus de netteté, et bientôt Marguerite put voir que c'était quelque chose qui volait, chevauchant une monture. Enfin, l'objet ralentit sa course en arrivant à la hauteur de Marguerite, et celle-ci reconnut Natacha.
Elle était nue, complètement échevelée, et elle avait pour monture un gros pourceau qui serrait entre ses sabots de devant un porte-documents, tandis que ses pattes de derrière battaient l'air avec acharnement. De temps à autre, un pince-nez qui avait glissé de son groin et qui volait à côté de lui au bout de son cordon, jetait des reflets de lune, tandis qu'un chapeau tressautait sur sa tête et glissait parfois sur ses yeux. En l'examinant plus soigneusement, Marguerite reconnut dans ce pourceau Nikolaï Ivanovitch, et son rire sonore retentit au-dessus de la forêt, se mêlant au rire de Natacha.

Auteur: Boulgakov Mikhaïl

Info: Dans "Le Maître et Marguerite", trad. Claude Ligny, Editions Laffont, Paris, 1968, pages 341-342

[ sabbat ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]