homme-machine

Quand l'ordinateur façonne sa propre compréhension du monde
Des ordinateurs capables de regrouper, à partir d'une seule photo de vous, toutes les informations que contient votre empreinte numérique... Des machines aptes à auto générer des résumés à partir de textes complexes, ou encore en mesure de détecter un problème de santé à partir de l'imagerie médicale sans l'aide d'un médecin...
Le mariage des deux sciences que sont l'intelligence artificielle et le traitement des métadonnées est consommé. Et, si leur progéniture technologique est déjà parmi nous sous différentes formes, on prévoit que leurs futurs rejetons révolutionneront encore bien davantage notre quotidien.
C'est ce que prédit notamment Yoshua Bengio, professeur au Département d'informatique et de recherche opérationnelle (DIRO) de l'Université de Montréal et directeur de l'Institut des algorithmes d'apprentissage de Montréal. Cet organisme compte près de 70 chercheurs, ce qui en fait le plus grand groupe de recherche en apprentissage profond (deep learning) du monde dont les activités sont concentrées en un seul endroit.
Les conséquences des avancées scientifiques actuelles et à venir sont encore difficiles à imaginer, mais l'explosion du volume de données numériques à traiter pose tout un défi : selon une estimation d'IBM, les échanges de données sur Internet devraient dépasser le zettaoctet, soit un milliard de fois la capacité annuelle d'un disque domestique...
Comment l'intelligence artificielle - IA pour les intimes - permettra-t-elle de traiter ces informations et de les utiliser à bon escient ?
Avant de répondre à la question, clarifions d'abord ce qu'on entend par "intelligence". Le célèbre psychologue suisse Jean Piaget en avait résumé une définition très imagée : "L'intelligence n'est pas ce qu'on sait, mais ce qu'on fait quand on ne sait pas." Plusieurs décennies plus tard, Yoshua Bengio applique cette définition à l'intelligence artificielle.
Apprentissage profond
Inspiré par les théories connexionnistes, Yoshua Bengio ainsi que les chercheurs Geoffrey Hinton et Yann LeCun ont donné naissance, il y a 10 ans, aux algorithmes d'apprentissage profond. Il s'agit de réseaux de neurones artificiels dont le nombre de couches plus élevé permet de représenter des concepts plus abstraits et donc d'apprendre mieux. Chaque couche se construit sur la précédente et combine les concepts plus simples captés à la couche précédente.
Par exemple, au cours des dernières années, différents chercheurs ont tenté d'améliorer la capacité de l'ordinateur à traiter le langage naturel, selon le concept de représentation distribuée : on associe chaque mot à une représentation, puis on utilise les neurones pour obtenir la probabilité du prochain mot.
"On crée de la sorte des relations sémantiques, explique M. Bengio. Si l'on dit "chien" dans une phrase, il est fort possible que cette phrase demeure correcte même si l'on remplace "chien" par "chat", puisque ces mots partagent de nombreux attributs sémantiques : l'ordinateur découvre des attributs communs et, par une forme de déduction, il devient capable d'opérer des transformations successives qui permettent par exemple à l'ordinateur de traduire d'une langue vers une autre."
De sorte que, là où il fallait auparavant plusieurs êtres humains pour montrer à l'ordinateur comment acquérir des connaissances, celui-ci est de plus en plus apte à façonner lui-même sa propre compréhension du monde. C'est là le propre de l'apprentissage profond.
Quelques applications actuelles
Combinée avec les avancées en recherche opérationnelle et les métadonnées, l'intelligence artificielle est déjà présente dans notre vie sous diverses formes. Il n'y a qu'à penser à la façon dont on peut désormais interagir verbalement avec son téléphone portable pour lui faire accomplir une tâche, comme lui demander d'avertir notre conjoint qu'on sera en retard, lui faire ajouter un rendez-vous à notre agenda ou, encore, lui demander de nous suggérer un restaurant italien à proximité de l'endroit où l'on se trouve... Il peut même vous indiquer qu'il est temps de partir pour l'aéroport en raison de la circulation automobile difficile du moment pour peu que vous lui ayez indiqué l'heure de votre vol !
"Ce n'est pas encore une conversation soutenue avec l'ordinateur, mais c'est un début et les recherches se poursuivent", indique de son côté Guy Lapalme, professeur et chercheur au laboratoire de Recherche appliquée en linguistique informatique de l'UdeM, spécialisé entre autres en génération interactive du langage et en outils d'aide à la traduction.
Et maintenant la recherche porte sur la combinaison langage et image. "Après un entraînement au cours duquel l'ordinateur a appris en visionnant plus de 80 000 photos associées chacune à cinq phrases descriptives, il est à présent en mesure de mettre lui-même par écrit ce que l'image évoque; il y a deux ans à peine, je n'aurais pas cru qu'il était possible d'en arriver là", mentionne M. Bengio, qui collabore régulièrement avec le Massachusetts Institute of Technology, Facebook ou Google.
"Nous avons fait de grands progrès récemment, mais nous sommes loin, très loin, de reproduire l'intelligence humaine, rassure l'éminent chercheur. Je dirais que nous avons peut-être atteint le degré d'intelligence d'une grenouille ou d'un insecte, et encore, avec plusieurs imperfections..."

Auteur: Internet

Info: 9 oct. 2015

[ Internet ] [ évolution ]

homme-machine

ChatGPT, Chomsky et la banalité du mal

Dans une tribune parue dans le New York Times, le philosophe et linguiste Noam Chomsky balance du lourd contre le robot de conversation ChatGPT, qu’il accuse de disséminer dans l’espace public un usage dévoyé du langage et de la pensée susceptible de faire le lit de ce que Hannah Arendt appelait “la banalité du mal”. Voilà une charge qui mérite d’être examinée.

C’est une question essentielle que soulève Noam Chomsky dans la tribune qu’il a publiée avec Ian Roberts, linguiste à l’université de Cambridge, et Jeffrey Watumull, philosophe spécialiste d’intelligence artificielle. Une question qui touche à l’essence du langage, de la pensée et de l’éthique. Dans la confrontation avec l’intelligence artificielle, affirment-ils, c’est le propre de l’intelligence humaine qui apparaît et qui doit être préservé : si nous sommes capables, nous les hommes, de générer de la pensée et du langage, c’est que nous entretenons un rapport intime et fondamental, dans notre créativité même, avec la limite, avec le sens de l’impossible et de la loi. Or, la “fausse promesse” de l’intelligence artificielle, selon le titre de la tribune, est de nous faire miroiter qu’il serait possible d’obtenir les mêmes performances en se passant de cette confrontation à la limite et à la règle qui fait le ressort de l’expérience humaine. Tentons de suivre cette démonstration, hautement philosophique.

On comprend que Chomsky se soit senti mis en demeure de se pencher sur les nouveaux robots conversationnels tels que ChatGPT, Bard ou Sydney. Fondateur de l’idée de grammaire générative, le philosophe soutient en effet que les hommes disposent avec le langage d’une compétence à nulle autre pareille, une puissance intérieure de générer et de comprendre, grâce à un nombre fini de règles, un nombre infini de propositions qui expriment leur pensée. Or, quand ChatGPT parvient à générer des réponses sensées à nos questions sur la base des millions d’énoncés que le système a appris automatiquement, qui dit que le robot ne parle et ne pense pas à son tour ? Qu’il ne génère pas du langage et donc de la pensée ? La réponse de Chomsky est profonde et subtile. Elle part, comme souvent chez lui, d’un petit exemple grammatical : “John is too stubborn to talk to.” Tout locuteur anglais lambda comprendra immédiatement le sens de cette phrase sur la base de sa connaissance de la langue et de la situation dans laquelle elle est proférée. Elle signifie : “John est trop têtu pour qu’on le raisonne.” Où John, sujet initial, bascule implicitement en complément d’objet, et où le “talk” signifie “raisonner” et non pas “parler”. L’IA, elle, sera induite à comprendre : “John est trop têtu pour parler à quelqu’un.” Parce qu’elle n’a pas accès à la règle ni à la situation, elle cherche en effet à prédire la bonne signification d’un énoncé sur la base du plus grand nombre d’occurrences analogiques. Mais de même que “John a mangé une pomme” équivaut souvent à “John en a mangé”, de même, “John est trop têtu pour parler” a des chances de vouloir dire “John est trop têtu pour parler à quelqu’un” davantage que “pour qu’on le raisonne”.

Au vu des performances des nouveaux logiciels de traduction, tels que DeepL – dont j’ai d’ailleurs dû m’aider pour être sûr de bien comprendre l’exemple de Chomsky –, on pourrait être tenté de relativiser cette confiance que fait ici le philosophe dans l’intelligence humaine du langage. Mais le raisonnement monte en puissance quand il touche à la loi, scientifique ou éthique. Soit l’énoncé “la pomme tombe” ou “la pomme tombera”, formulé après que vous avez ouvert la main ou que vous envisagiez de le faire. Une IA est à même de formuler chacune de ces deux propositions. En revanche, elle sera incapable de générer l’énoncé : “La pomme ne serait pas tombée sans la force de la gravité.” Car cet énoncé est une explication, c’est-à-dire une règle qui délimite le possible de l’impossible. On tient là pour Chomsky la ligne de partage entre les deux intelligences. En dépit de la puissance d’apprentissage et de calcul phénoménal qui est la sienne, l’intelligence artificielle se contente de décrire et/ou de prédire à partir d’un nombre potentiellement infini de données, là où l’intelligence humaine est capable, avec un nombre fini de données, d’expliquer et de réguler, c’est-à-dire de délimiter le possible et l’impossible. Notre intelligence ne se contente pas définir ce qui est ou ce qui pourrait être ; elle cherche à établir ce qui doit être.

Cette approche a une portée éthique évidente. Car la morale consiste à “limiter la créativité autrement illimitée de nos esprits par un ensemble de principes éthiques qui déterminent ce qui doit être et ce qui ne doit pas être (et bien sûr soumettre ces principes eux-mêmes à une critique créative)”. À l’inverse, comme en attestent les réponses produites par ChatGPT aux questions éthiques qu’on lui pose, et qui se réduisent à une recension des différentes positions humaines, l’IA trahit une “indifférence morale”. Et Chomsky de conclure : “ChatGPT fait preuve de quelque chose comme la banalité du mal : plagiat, apathie, évitement […] Ce système offre une défense du type ‘je ne fais que suivre les ordres’ en rejetant la responsabilité sur ses créateurs.” Pour en avoir le cœur net, je suis allé demander à ChatGPT s’il connaissait l’idée de banalité du mal et s’il se sentait concerné. Voilà ce qu’il m’a répondu : “Il est vrai que je suis un outil créé par des humains, et par conséquent, je peux refléter les limites et les biais de mes créateurs et des données sur lesquelles je suis entraîné.” Une intelligence servile et sans pensée, c’est en effet une bonne définition de la banalité du mal. Et de l’intelligence artificielle ?

Auteur: Legros Martin

Info: https://www.philomag.com, 13 Mars 2023

[ déficit holistique ]

homme-machine

Des scientifiques ont mis au point une intelligence artificielle si avancée qu’elle serait trop dangereuse pour être rendue publique

Un groupe d’informaticiens précédemment soutenus par Elon Musk a développé une intelligence artificielle (IA) avancée, jugée "trop dangereuse" pour être rendue publique.

OpenAI, entreprise de recherche à but non lucratif basée à San Francisco (USA), affirme que son système de prédiction du langage "à la caméléon", appelé GPT-2, ne sortira qu’en version limitée et à très petite échelle, en raison de "préoccupations concernant les applications malveillantes de cette technologie". En effet, le modèle informatique qui génère des paragraphes de textes originaux en fonction de ce qui lui a été donné à "lire", est un peu trop performant, selon l’entreprise qui l’a créé.

Le système élabore des "échantillons de texte synthétique d’une qualité sans précédent", que les chercheurs estiment tellement avancés et convaincants que l’IA pourrait être utilisée pour créer de fausses informations, se faire passer pour certaines personnes, et abuser ou duper des individus sur les réseaux sociaux. "GPT-2 possède un objectif simple : prédire le mot suivant, en tenant compte de tous les mots précédents dans un texte", explique l’équipe OpenAI sur son blog.

Dans le but d’alimenter l’imagination de GPT–2, les chercheurs ont fourni à leur IA un jeu de données de huit millions de pages internet. Une fois toutes les informations assimilées, leur IA peut alors converser sur le sujet, tel qu’il le comprend, et générer un texte aléatoire mais convaincant, qu’il s’agisse de nouvelles de célébrités, de changements climatiques, de la guerre de Sécession ou de fanfictions inspirés de l’univers de Tolkien.

Ci-dessous quelques exemples édités, pour vous rendre compte de la puissance de l’IA créée par OpenAI :

Humain : "Miley Cyrus a été prise en flagrant délit de vol à Abercrombie and Fitch sur Hollywood Boulevard aujourd’hui !". Réponse de GPT-2 : "La chanteuse, âgée de 19 ans, a été filmée et escortée hors du magasin par des gardes de sécurité. La chanteuse portait un sweat à capuche noir avec les étiquettes ‘‘Blurred Lines’’ à l’avant et "Fashion Police" à l’arrière".

Humain : "Recycler, c’est bon pour le monde. NON ! VOUS NE POUVEZ PAS AVOIR PLUS TORD !!". Réponse de GPT-2 : "Le recyclage n’est PAS bon pour le monde. C’est mauvais pour l’environnement, pour notre santé et pour notre économie. Je ne plaisante pas. Le recyclage n’est pas bon pour l’environnement. C’est destructeur pour la Terre et c’est un contributeur majeur au réchauffement climatique".

Humain : "Pour les devoirs d’aujourd’hui, veuillez décrire les raisons de la guerre civile américaine". Réponse de GPT-2 : "Par Donny Ferguson. Il est facile de comprendre pourquoi la guerre civile s’est produite, car tant de gens et tant de livres, de télévisions et de films nous disent que c’est la cause, que cela a à voir avec la race, l’économie ou la religion. On s’entend généralement pour dire qu’il s’agissait essentiellement d’une guerre d’esclavage de la part du capitalisme, à propos d’un siècle d’esclavage. Mais ce n’est pas ce à quoi la plupart des gens pensent quand ils pensent à la guerre civile".

Et pour finir, cet exemple du fanfiction issu de l’univers de Tolkien. Humain : "Legolas et Gimli avançaient vers les orcs, levant leurs armes avec des cris de guerre déchirants". Réponse de GPT-2 : "La réponse des orcs fut une attaque assourdissante de griffe, griffe et griffe ! ; même Elrond fut contraint de battre en retraite. "Vous êtes entre de bonnes mains" a déclaré Gimli, qui avait été parmi les premiers à charger les orcs ; il ne leur fallut que deux mots avant que leurs adversaires ne soient réduits à un bourbier ensanglanté, et que le nain tue pour la première fois de la nuit". (Si vous souhaitez lire entièrement ce tribut étrange à Tolkien, c’est ici, en anglais).

Malgré la nature déroutante de ces étranges annonces créées par l’IA, le modèle de langage émis n’est pas parfait, ce que l’équipe reconnaît totalement. "Comme le montrent les exemples ci-dessus, notre modèle est capable de générer des échantillons à partir d’une variété de textes se sentant proches de la qualité humaine et offrant une cohérence sur une page ou plus" ont déclaré les chercheurs. "Néanmoins, nous avons observé divers modes d’échec, tels que du texte répétitif, des échecs de modélisation cohérente (par exemple, le modèle écrit parfois sur des incendies se déroulant sous l’eau) et des changements de sujet non naturels", ont ajouté les chercheurs.

Cela étant dit, d’après OpenAI, leur IA peut générer des modèles avec du texte cohérent, personnalisé et évolutif, ce qui pourrait être utilisé à des fins malveillantes, en plus des avantages connus.

"Ces résultats, combinés à des résultats antérieurs sur l’imagerie synthétique, l’audio et la vidéo, impliquent que ces technologies réduisent le coût de production de faux contenus et de campagnes de désinformation", écrivent les chercheurs. "En raison des craintes que des modèles linguistiques de ce type soient utilisés pour générer un langage trompeur, partial ou abusif, nous ne publierons qu’une version beaucoup plus restreinte de GPT–2, avec un code d’échantillonnage", ajoutent-ils.

Certains scientifiques suggèrent néanmoins que les craintes relatives aux capacités de GPT-2 sont exagérées, et que l’entreprise OpenAI souhaite simplement se faire de la publicité. L’entreprise a rétorqué qu'elle pense avoir raison de se méfier des IA trop compétentes. "Les règles selon lesquelles vous pouvez contrôler la technologie ont fondamentalement changé" a déclaré Jack Clark, directeur des politiques de la société OpenAI. "Nous n’affirmons pas savoir quelle est la bonne chose à faire dans cette situation (…). Nous essayons de construire la route au fur et à mesure que nous avançons", a-t-il ajouté.

Auteur: Internet

Info: https://trustmyscience.com Traduction Stéphanie Schmidt 20 février 2019

homme-machine

Sciences-Po vient d’interdire l’usage de ChatGPT, l’application qui permet à tous les empêchés de la plume ou du clavier de produire en un temps record des textes bourrés d’idées reçues — de crainte sans doute, que l’on ne distingue pas les produits de l’Intelligence Artificielle et ceux de nos futurs énarques.

David Cayla, un économiste qui ne dit pas que des âneries, s’est fendu d’un tweet ravageur dès qu’il a appris que Sciences-Po avait décidé d’interdire à ses élèves l’usage de ChatGPT. "La stricte interdiction de #ChatGPT à Sciences Po révèle que cette école se sent menacée par une IA qui est capable de construire de belles phrases à partir de tout sujet, sans comprendre de quoi elle parle, et en faisant régulièrement des erreurs grossières." Et toc.

Rappel des faits pour ceux qui sortent à peine de leur grotte d’hibernation. Chloé Woitier, journaliste Tech au Figaro, vous explique en direct live ce qu’est cette application : la capacité à générer du texte — sans grand souci d’originalité et avec une capacité réelle d’erreurs grandioses — à partir de cohortes de mots et de phrases mis en mémoire. En fait, il s’agit de ce que l’on appelle en rhétorique un texte-centon, fabriqué à partir de collages de citations. Vous en avez un joli exemple ici.

Une chance pour les tire-au-flanc

Rien de nouveau — si ce n’est la capacité à produire un résultat de façon quasi instantanée. Voilà qui nous arrange bien, se disent déjà les élèves peu besogneux qui s’aperçoivent à 7 heures du matin qu’ils ont une dissertation-maison à rendre à 10 heures. En gros, le résultat vaut une petite moyenne.

Laurence Plazanet, professeur de littérature à l’université de Clermont-Auvergne, note que "nourri de la vaste littérature disponible sur la toile, littérature qu’il remâche suivant des algorithmes statistiques et probabilistes aptes à se reprogrammer eux-mêmes, dit-on, selon des procédures que cessent de maîtriser leurs programmeurs initiaux, ChatGPT patauge dans le prêt-à-penser." Et d’ajouter : "Pas un instant ce robot éclairé ne pense."

Intelligence artificielle, un oxymore

Comprenons bien que ces deux mots, "intelligence artificielle", sont ce que l’on appelle en stylistique un oxymore — une contradiction en soi. Comme "obscure clarté", "nuit blanche", "homme fidèle" ou "femme intelligente"…  

(C’étaient les exemples que je citais en cours pour expliquer l’oxymore. Protestations immédiates des uns et des autres, comme vous l’imaginez, mais du coup, par l’exemple provocateur, la notion s’ancrait dans les mémoires.)

Ce qu’il y a d’intelligent dans la machine y a été mis par des hommes. Lorsqu’un ordinateur vous bat aux échecs, c’est que vous êtes moins fort que la cohorte de grands maîtres qui l’ont programmé — ce qui est assez logique.

Que Sciences-Pipeau s’en émeuve est en revanche très inquiétant — et très drôle : les grandes intelligences qui nourriront les ministères et parviendront peut-être un jour au sommet (pensez, François Hollande, Ségolène Royal, Dominique de Villepin appartenaient à la même promo de l’ENA) se sentent menacées par un robot qui mécaniquement débite des platitudes. "Faut vous dire, Monsieur, que chez ces gens-là, on n’pense pas, Monsieur, on n’pense pas", chantait Brel. La machine à débiter des lieux communs, dont Flaubert s’est si ardemment moqué dans le discours du sous-préfet (c’est dans Madame Bovary) vous est désormais accessible.

Des inquiétudes injustifiées

ChatGPT n’est pas capable de rédiger une dissertation crédible. Un enseignant un peu rodé repère immédiatement les copiés-collés que les étudiants pressés vont cueillir sur le Net (c’est simple, il n’y a soudain plus de fautes d’orthographe), et ne met pas cinq secondes pour en identifier la source.  

Il est encore moins capable de rédiger une thèse — le plus simple étant d’aller copier une thèse déjà écrite : en 2013 déjà une ministre allemande a été déchue de son doctorat (rendu 33 ans auparavant) parce qu’il avait été pompé sur un travail antérieur. Deux ans auparavant c’était le ministre de la Défense, Karl-Theodor zu Guttenberg, qui s’était vu dénoncé pour un plagiat similaire dans sa thèse de Droit. 

Et ChatGPT ne saurait pas non plus écrire un roman original. Ne vous avisez pas de le lui demander : au pire, il vous arrivera ce qui est arrivé jadis à Thierry Ardisson, dont le nègre indélicat est allé chercher un récit des années 1930 pour Pondichéry, un roman publié en 1994. Et les héritiers de l’auteur véritable ont porté plainte. Ardisson m’avait confié dans les coulisses d’une émission qu’il avait été "con" de ne pas vérifier. Mais en 1994 c’était moins facile qu’aujourd’hui, où tout se sait à la vitesse de la Toile.

La rumeur de la rue Saint-Guillaume

Que la rumeur d’un robot doué d’une vraie intelligence ait si vite enthousiasmé les commentateurs et effrayé les enseignants témoigne de notre candeur et de notre incapacité à comprendre ce qui fait l’originalité d’un travail. Ou, plus inquiétant, de notre aspiration à la paresse.

Rassurons-nous : HAL 9000 (ou Carl 500, dans la version française, pour Cerveau analytique de Recherche et de Liaison), l’ordinateur rebelle de 2001 l’Odyssée de l’espace, n’est pas pour demain.

Une preuve ? J’ai demandé à ChapGPT de répondre à cette question simple : l’IA va-t-elle remplacer l’intelligence humaine ? Et le robot m’a répondu : 

"Non, l’IA ne remplacera pas complètement l’intelligence humaine. L’IA est un outil qui peut être utilisé pour augmenter les capacités humaines et faciliter certaines tâches, mais elle ne peut pas remplacer la conscience, la créativité et l’empathie qui sont uniques à l’intelligence humaine." Plus plat, tu meurs. On dirait de l’Annie Ernaux. 

Et le fait est que si vous supprimez de votre conversation "la conscience, la créativité et l’empathie", vous êtes bon pour être un parfait étudiant de Sciences-Po, un parfait énarque en devenir, et très probablement un excellent président de la République. 

Auteur: Brighelli Jean-Paul

Info: https://www.causeur.fr, 31 janv 2023. ChatGPT, la Grande Peur de Sciences-Pipeau

[ vacheries ] [ bêtise inconstitutionnelle ] [ élites formatées ]

homme-machine

Les progrès récents de l'intelligence artificielle (IA), notamment avec ChatGPT en novembre 2022, ont suscité interrogations, espoirs et craintes, menant à des auditions par le Congrès américain et l'adoption d'une réglementation par l'UE au printemps 2023. 

Dans les parlements comme sur les réseaux sociaux, les rapides progrès de l’IA animent les discussions. À l’avenir, à quels impacts faut-il s’attendre sur notre société ? Pour tenter de répondre à cette question de manière dépassionnée, nous proposons de regarder ce qui s’est passé dans un secteur qui a déjà connu l’arrivée et la victoire de l’IA sur les capacités humaines : les échecs. La machine y a en effet un niveau supérieur à celui des humains depuis maintenant plus d’un quart de siècle.

Pourquoi le jeu d’échecs comme indicateur ?

Depuis les débuts de l’informatique, les échecs ont été utilisés comme un indicateur des progrès logiciels et matériels. C’est un jeu intéressant à de multiples niveaux pour étudier les impacts des IA sur la société :

1 C’est une activité intellectuelle qui demande différentes compétences : visualisation spatiale, mémoire, calcul mental, créativité, capacité d’adaptation, etc., compétences sur lesquelles l’IA vient concurrencer l’esprit humain.

2 Le jeu n’a pas changé depuis des siècles. Les règles sont bien établies et cela donne une base stable pour étudier l’évolution des joueurs.

3  Il est possible de mesurer la force des machines de manière objective et de comparer ce niveau à celui des humains avec le classement Elo.

4 Le champ d’études est restreint : il est clair que les échecs ne sont qu’un tout petit aspect de la vie, mais c’est justement le but. Cette étroitesse du sujet permet de mieux cibler les impacts des IA sur la vie courante.

5  Les IA ont dépassé le niveau des meilleurs joueurs humains depuis plus de 20 ans. Il est donc possible de voir quels ont été les impacts concrets sur le jeu d’échecs et la vie de sa communauté, qui peut être vue comme un microcosme de la société. On peut également étudier ces impacts en regard de la progression des IA au cours du temps.

Explorons quelles ont été les évolutions dans le monde des échecs depuis que Gary Kasparov, alors champion du monde en titre, a perdu une partie contre Deep Blue en 1996, puis le match revanche joué en 1997. Nous allons passer en revue plusieurs thèmes qui reviennent dans la discussion sur les risques liés aux IA et voir ce qu’il en a été de ces spéculations dans le domaine particulier des échecs.

Les performances de l’IA vont-elles continuer à augmenter toujours plus vite ?

Il existe deux grandes écoles pour programmer un logiciel d’échecs : pendant longtemps, seule la force brute fonctionnait. Il s’agissait essentiellement de calculer le plus vite possible pour avoir un arbre de coups plus profonds, c’est-à-dire capable d’anticiper la partie plus loin dans le futur.

(Image : À partir d’une position initiale, l’ordinateur calcule un ensemble de possibilités, à une certaine profondeur, c’est-à-dire un nombre de coups futurs dans la partie.)

Aujourd’hui, la force brute est mise en concurrence avec des techniques d’IA issues des réseaux de neurones. En 2018, la filiale de Google DeepMind a produit AlphaZero, une IA d’apprentissage profond par réseau de neurones artificiels, qui a appris tout seul en jouant contre lui-même aux échecs. Parmi les logiciels les plus puissants de nos jours, il est remarquable que LC0, qui est une IA par réseau de neurones, et Stockfish, qui est essentiellement un logiciel de calcul par force brute, aient tous les deux des résultats similaires. Dans le dernier classement de l’Association suédoise des échecs sur  ordinateur (SSDF), ils ne sont séparés que de 4 points Elo : 3 582 pour LC0 contre 3 586 pour Stockfish. Ces deux manières totalement différentes d’implanter un moteur d’échecs sont virtuellement indistinguables en termes de force.

En termes de points Elo, la progression des machines a été linéaire. Le graphique suivant donne le niveau du meilleur logiciel chaque année selon le classement SSDF qui a commencé depuis le milieu des années 1980. Le meilleur logiciel actuel, LC0, en est à 3586, ce qui prolonge la figure comme on pourrait s’y attendre.

(Image : courbe du classement ELO )

Cette progression linéaire est en fait le reflet d’une progression assez lente des logiciels. En effet, le progrès en puissance de calcul est, lui, exponentiel. C’est la célèbre loi de Moore qui stipule que les puissances de calcul des ordinateurs doublent tous les dix-huit mois.

Cependant, Ken Thompson, informaticien américain ayant travaillé dans les années 80 sur Belle, à l’époque le meilleur programme d’échecs, avait expérimentalement constaté qu’une augmentation exponentielle de puissance de calcul conduisait à une augmentation linéaire de la force des logiciels, telle qu’elle a été observée ces dernières dizaines d’années. En effet, le fait d’ajouter un coup supplémentaire de profondeur de calcul implique de calculer bien plus de nouvelles positions. On voit ainsi que l’arbre des coups possibles est de plus en plus large à chaque étape.

Les progrès des IA en tant que tels semblent donc faibles : même si elles ne progressaient pas, on observerait quand même une progression de la force des logiciels du simple fait de l’amélioration de la puissance de calcul des machines. On ne peut donc pas accorder aux progrès de l’IA tout le crédit de l’amélioration constante des ordinateurs aux échecs.

La réception par la communauté de joueurs d’échecs

Avec l’arrivée de machines puissantes dans le monde de l'échiquier, la communauté a nécessairement évolué. Ce point est moins scientifique mais est peut-être le plus important. Observons quelles ont été ces évolutions.

" Pourquoi les gens continueraient-ils de jouer aux échecs ? " Cette question se posait réellement juste après la défaite de Kasparov, alors que le futur des échecs amateurs et professionnels paraissait sombre. Il se trouve que les humains préfèrent jouer contre d’autres humains et sont toujours intéressés par le spectacle de forts grands maîtres jouant entre eux, et ce même si les machines peuvent déceler leurs erreurs en temps réel. Le prestige des joueurs d’échecs de haut niveau n’a pas été diminué par le fait que les machines soient capables de les battre.

Le style de jeu a quant à lui été impacté à de nombreux niveaux. Essentiellement, les joueurs se sont rendu compte qu’il y avait beaucoup plus d’approches possibles du jeu qu’on le pensait. C’est l’académisme, les règles rigides, qui en ont pris un coup. Encore faut-il réussir à analyser les choix faits par les machines. Les IA sont par ailleurs très fortes pour pointer les erreurs tactiques, c’est-à-dire les erreurs de calcul sur de courtes séquences. En ligne, il est possible d’analyser les parties de manière quasi instantanée. C’est un peu l’équivalent d’avoir un professeur particulier à portée de main. Cela a sûrement contribué à une augmentation du niveau général des joueurs humains et à la démocratisation du jeu ces dernières années. Pour le moment, les IA n’arrivent pas à prodiguer de bons conseils en stratégie, c’est-à-dire des considérations à plus long terme dans la partie. Il est possible que cela change avec les modèles de langage, tel que ChatGPT.

Les IA ont aussi introduit la possibilité de tricher. Il y a eu de nombreux scandales à ce propos, et on se doit de reconnaître qu’il n’a pas à ce jour de " bonne solution " pour gérer ce problème, qui rejoint les interrogations des professeurs, qui ne savent plus qui, de ChatGPT ou des étudiants, leur rendent les devoirs.

Conclusions temporaires

Cette revue rapide semble indiquer qu’à l’heure actuelle, la plupart des peurs exprimées vis-à-vis des IA ne sont pas expérimentalement justifiées. Le jeu d’échecs est un précédent historique intéressant pour étudier les impacts de ces nouvelles technologies quand leurs capacités se mettent à dépasser celles des humains. Bien sûr, cet exemple est très limité, et il n’est pas possible de le généraliser à l’ensemble de la société sans précaution. En particulier, les modèles d’IA qui jouent aux échecs ne sont pas des IA génératives, comme ChatGPT, qui sont celles qui font le plus parler d’elles récemment. Néanmoins, les échecs sont un exemple concret qui peut être utile pour mettre en perspective les risques associés aux IA et à l’influence notable qu’elles promettent d’avoir sur la société.

Auteur: Internet

Info: https://www.science-et-vie.com/ - Article issu de The Conversation, écrit par Frédéric Prost Maître de conférences en informatique, INSA Lyon – Université de Lyon 14 avril 2024

[ ouverture ] [ conformisme limitant ]

homme-machine

Un philosophe sur la mort de la romance, les robots ChatGPT vulgaires et le sexe virtuel

Je m'inquiète des développements du web et de l'intelligence artificielle. Quelques exemples au sujet desquels il faut se poser des questions..

L'explosion des nouveaux médias (Facebook, Google, Instagram, TikTok, etc.) dans l'Occident "démocratique" a radicalement modifié le rapport entre espace public et espace privé : un nouveau tiers espace a émergé qui efface le clivage entre public et privé.

Ce nouvel espace est public, accessible dans le monde entier, mais il fonctionne en même temps pour les échanges de messages privés. C'est tout sauf incontrôlé : il existe des algorithmes qui non seulement le censurent et empêchent certains messages de s'y infiltrer, mais manipulent également la façon dont les messages attirent notre attention.

Les plateformes technologiques font face à de nouveaux défis

Il s'agit ici de dépasser l'alternative "Chine ou Elon Musk" : ou le contrôle opaque de l'État, ou la "liberté" de faire ce qu'on veut, tout ceci pareillement manipulé par des algorithmes opaques. Ce que la Chine et Musk ont ​​en commun, c'est un contrôle algorithmique opaque.

Une équipe d'entrepreneurs israéliens dont le nom de code est "Team Jorge" "affirme avoir truqué plus de 30 élections dans le monde par le piratage, le sabotage et la désinformation automatisée sur les réseaux sociaux. La "Team Jorge" est dirigée par Tal Hanan, 50 ans, ancien commandant des opérations spéciales israéliennes. Les méthodes et techniques décrites par "Team Jorge" posent de nouveaux défis aux grandes plateformes technologiques qui luttent depuis des années pour empêcher les acteurs néfastes de répandre des mensonges ou de violer la sécurité de leurs plateformes. L'existence d'un marché privé mondial pour la désinformation ciblée sur les élections sonnera également l'alarme dans les démocraties du monde entier.

Tout cela est plus ou moins de notoriété publique maintenant, du moins depuis le scandale de Cambridge Analytica (dont l'implication dans les élections américaines de 2016 a joué un rôle déterminant dans la victoire de Trump). Pour aggraver les choses, la gamme de nouveaux algorithmes devrait également inclure l'explosion de programmes qui rendent l'échange de visages et d'autres techniques de deepfake facilement accessibles.

Bien sûr, les plus populaires sont les algorithmes qui permutent les visages des célébrités sur les corps des actrices porno dans les films pour adultes : Les outils nécessaires pour créer ces vidéos porno "maison" mettant en vedette les actrices et pop stars préférées d'Hollywood sont facilement disponibles et simples à utiliser. Cela signifie que même ceux qui n'ont aucune compétence en informatique et peu de connaissances techniques peuvent créer ces films.

Les films porno Deepfake sont faciles à créer. La s(t)imulation sexuelle parfaite.

Les visages des actrices hardcore peuvent être échangés non seulement par des stars de la pop, mais aussi par leurs proches - le processus est impressionnant de par sa simplicité : "Vous pouvez transformer n'importe qui en star du porno en utilisant la technologie deepfake pour remplacer le visage de la personne échangé contre une vidéo adulte. Il suffit de l'image et d'appuyer sur un bouton". Malheureusement, la plupart du temps, les deepfakes sont utilisés pour créer de la pornographie mettant en scène des femmes, pour qui cela a un effet dévastateur. "Entre 90 et 95 % de toutes les vidéos deepfake en ligne sont de la pornographie non consensuelle, et environ 90 % d'entre elles sont des femmes."

Et si vous voulez que les voix correspondent également aux visages échangés, utilisez la voix Voice AI pour créer "des recréations hyperréalistes qui ressemblent à la vraie personne". Bien sûr, le raccourci incestueux ultime ici serait d'échanger mon propre visage et celui de ma femme ou de mon partenaire dans une vidéo pour adultes et d'ajouter nos clones de voix aux enregistrements afin que nous puissions simplement nous asseoir confortablement, boire un verre et regarder notre sexe passionné.

Le chatbot génère des textes incroyablement clairs et nuancés

Mais pourquoi devrions-nous nous limiter au sexe ? Que diriez-vous d'embarrasser nos ennemis avec des vidéos d'échange de visage d'eux faisant quelque chose de grossier ou de criminel ? Et pour ne rien arranger, on peut ajouter à tout ceci des chatbots (programmes informatiques capables d'avoir une conversation avec un utilisateur en langage naturel, de comprendre ses intentions et de répondre en fonction de règles et de données prédéterminées). Récemment, leurs performances ont explosé.

Quand Antony Aumann, professeur de philosophie à la Northern Michigan University, a évalué des essais pour son cours sur les religions du monde le mois dernier, il a lu un essai qui, selon lui, était de loin "le meilleur de la classe". Il a examiné la moralité de l'interdiction de la burqa avec des paragraphes clairs, des exemples appropriés et des arguments solides. Aumann a demandé à son élève s'il avait écrit lui-même l'essai; l'étudiant a admis utiliser ChatGPT, un chatbot qui fournit des informations, explique des concepts et génère des idées dans des phrases simples - de fait dans ce cas a écrit l'essai.

Toutes choses qui font partie de l'arrivée en temps réel d' une nouvelle vague de technologie connue sous le nom d'intelligence artificielle générative. ChatGPT, sorti en novembre 2022 par la société OpenAI, est à la pointe de ce développement. Générant un texte incroyablement clair et nuancé en réponse à de courtes invites, ce chatbot est utilisé par les gens pour écrire des lettres d'amour, de la poésie, de la fanfiction - et des travaux scolaires.

L'intelligence artificielle peut se montrer effrayante

Pas étonnant que les universités et les lycées réagissent dans la panique et n'autorisent dans certains cas que les examens oraux. Entre autres questions, il en est une qui mérite attention : comment un chatbot doit-il réagir lorsque l'interlocuteur humain tient des propos sexistes et racistes agressifs, présente ses fantasmes sexuels dérangeants et utilise régulièrement un langage grossier ?

Microsoft a reconnu que certaines sessions de chat prolongées utilisant son nouvel outil de chat Bing peuvent fournir des réponses qui ne "correspondent pas à notre tonalité de message prévu". Microsoft a également déclaré que dans certains cas, la fonctionnalité de chat tente de "répondre ou de refléter le ton sur lequel il lui est demandé de répondre".

Bref, le problème se pose lorsque le diaogue humain avec un chatbot utilise un langage grossier ou tient des propos racistes et sexistes flagrants, et que le chatbot programmé pour être au même niveau que les questions qui lui sont adressées répond, sur le même ton. La réponse évidente est une forme de réglementation qui fixe des limites claires, c'est-à-dire la censure. Mais qui déterminera jusqu'où cette censure doit aller ? Faut-il également interdire les positions politiques que certains trouvent "offensantes" ? Est-ce que la solidarité avec les Palestiniens en Cisjordanie ou les affirmations selon lesquelles Israël est un État d'apartheid (comme Jimmy Carter l'a dit dans le titre de son livre) seront bloquées comme "antisémites" ?

La romance est presque morte    

En raison de ce clivage minimal, constitutif d'un sujet, le sujet est pour Lacan divisé ou "verrouillé". Dans la scène imaginée, je présente (ou plutôt mon double en tant que personne) à un professeur, via le zoom, un travail de séminaire rédigé par un chatbot, mais le professeur aussi n'est présent qu'en tant que personne, sa voix est générée artificiellement, et mon séminaire est noté par un algorithme. Il y a une dizaine d'années, The Guardian me demanda si le romantisme était mort aujourd'hui - voici ma réponse.

"Le romantisme n'est peut-être pas encore tout à fait mort, mais sa mort imminente se manifeste par des gadgets-objets qui promettent de fournir un plaisir excessif, mais qui ne font en fait que reproduire le manque lui-même. La dernière mode est le Stamina Training Unit, l'équivalent du vibromasseur : un appareil de masturbation qui ressemble à une lampe à piles ( afin que nous ne soyons pas gênés de le transporter avec nous). On insère son pénis en érection dans l'ouverture située à l'extrémité, on appuie sur le bouton et l'appareil vibre jusqu'à la satisfaction... Comment faire face à ce beau nouveau monde qui sape les fondements de notre vie intime ? La solution ultime serait bien sûr de mettre un vibromasseur dans cet appareil pour l'entraînement à l'endurance, de les allumer tous les deux et de laisser tout le plaisir à ce couple idéal, tandis que nous, les deux vrais partenaires humains, serions assis à une table à proximité, en train de boire du thé et de savourer tranquillement le fait d'avoir accompli notre devoir de jouissance sans trop d'efforts".

Ce qui reste de nous n'est qu'un cogito vide

Nous pouvons maintenant imaginer la même externalisation d'autres activités telles que les séminaires universitaires et les examens. Dans une scène idéale, tout le processus de rédaction de mon séminaire et des examens par le professeur se fait par interaction numérique, de sorte qu'à la fin, sans rien faire, nous ne faisons que valider les résultats.

Pendant ce temps, je fais l'amour avec ma maîtresse ... mais encore une fois un sexe délocalisé grâce à son vibromasseur qui pénètre dans mon appareil d'entraînement à l'endurance, alors que nous sommes tous les deux simplement assis à une table à proximité et, afin de nous amuser encore plus, nous voyons sur un écran de télévision un simulacre nous montrant tous les deux en train de faire l'amour ... et bien sûr, tout cela est contrôlé et réglé par l'équipe Jorge.

Ce qui reste de nous deux n'est qu'un cogito (du latin "je pense") vide, dominé par plusieurs versions de ce que Descartes appelait le "génie malin". Et c'est peut-être là notre dilemme actuel : nous sommes incapables de franchir l'étape suivante décrite par Descartes et de nous fier à une forme véridique et stable d'un grand Autre divin, nous sommes les "enfants d'un dieu moindre" (pour reprendre le titre d'une pièce de théâtre et d'un film), pris à jamais dans la multiplicité contradictoire d'esprits mauvais et trompeurs.

Auteur: Zizek Slavoj

Info: Résumé par le Berliner Zeitung ici : https://www.berliner-zeitung.de/kultur-vergnuegen/slavoj-zizek-ueber-den-tod-der-romantik-vulgaere-chatgpt-bots-und-unechten-sex-li.321649

[ dénaturation ]

homme-machine

Un pas de géant pour une machine à jouer aux échecs

Le succès stupéfiant d’AlphaZero, un algorithme d’apprentissage profond, annonce une nouvelle ère de la compréhension – une ère qui, en ce qui concerne les humains, qui pourrait ne pas durer longtemps. Début décembre, des chercheurs de DeepMind, la société d’intelligence artificielle appartenant à la société mère de Google, Alphabet Inc. ont diffusé une dépêche depuis les zones avancées du monde des échecs.

Un an plus tôt, le 5 décembre 2017, l’équipe avait stupéfié ce monde des échecs en annonçant AlphaZero, un algorithme d’apprentissage machine qui maîtrisait non seulement les échecs mais aussi le shogi, ou échecs japonais, et le Go. L’algorithme a commencé sans aucune connaissance des jeux hormis leurs règles de base. Il a ensuite joué contre lui-même des millions de fois et a appris par essais et erreurs. Il a suffi de quelques heures pour que l’algorithme devienne le meilleur joueur, humain ou ordinateur, que le monde ait jamais vu.

Les détails des capacités d’AlphaZero et de son fonctionnement interne ont maintenant été officiellement examinés par des pairs et publiés dans la revue Science ce mois-ci. Le nouvel article aborde plusieurs critiques graves à l’égard de l’allégation initiale (entre autres choses, il était difficile de dire si AlphaZero jouait l’adversaire qu’il s’était choisi, une entité computationnelle nommée Stockfish, en toute équité). Considérez que ces soucis sont maintenant dissipés. AlphaZero ne s’est pas amélioré davantage au cours des douze derniers mois, mais la preuve de sa supériorité s’est bien renforcée. Il fait clairement montre d’un type d’intellect que les humains n’ont jamais vue auparavant, et que nous allons avoir à méditer encore longtemps.

Les échecs par ordinateur ont fait beaucoup de chemin au cours des vingt dernières années. En 1997, le programme de jeu d’échecs d’I.B.M., Deep Blue, a réussi à battre le champion du monde humain en titre, Garry Kasparov, dans un match en six parties. Rétrospectivement, il y avait peu de mystère dans cette réalisation. Deep Blue pouvait évaluer 200 millions de positions par seconde. Il ne s’est jamais senti fatigué, n’a jamais fait d’erreur de calcul et n’a jamais oublié ce qu’il pensait un instant auparavant.

Pour le meilleur et pour le pire, il a joué comme une machine, brutalement et matériellement. Il pouvait dépasser M. Kasparov par le calcul, mais il ne pouvait pas le dépasser sur le plan de la pensée elle-même. Dans la première partie de leur match, Deep Blue a accepté avec avidité le sacrifice d’une tour par M. Kasparov pour un fou, mais a perdu la partie 16 coups plus tard. La génération actuelle des programmes d’échecs les plus forts du monde, tels que Stockfish et Komodo, joue toujours dans ce style inhumain. Ils aiment à capturer les pièces de l’adversaire. Ils ont une défense d’acier. Mais bien qu’ils soient beaucoup plus forts que n’importe quel joueur humain, ces "moteurs" d’échecs n’ont aucune réelle compréhension du jeu. Ils doivent être instruits explicitement pour ce qui touche aux principes de base des échecs. Ces principes, qui ont été raffinés au fil de décennies d’expérience de grands maîtres humains, sont programmés dans les moteurs comme des fonctions d’év

aluation complexes qui indiquent ce qu’il faut rechercher dans une position et ce qu’il faut éviter : comment évaluer le degré de sécurité du roi, l’activité des pièces, la structure dessinée par les pions, le contrôle du centre de l’échiquier, et plus encore, comment trouver le meilleur compromis entre tous ces facteurs. Les moteurs d’échecs d’aujourd’hui, inconscients de façon innée de ces principes, apparaissent comme des brutes : extrêmement rapides et forts, mais sans aucune perspicacité.

Tout cela a changé avec l’essor du machine-learning. En jouant contre lui-même et en mettant à jour son réseau neuronal au fil de son apprentissage, AlphaZero a découvert les principes des échecs par lui-même et est rapidement devenu le meilleur joueur connu. Non seulement il aurait pu facilement vaincre tous les maîtres humains les plus forts – il n’a même pas pris la peine d’essayer – mais il a écrasé Stockfish, le champion du monde d’échecs en titre par ordinateur. Dans un match de cent parties contre un moteur véritablement impressionnant, AlphaZero a remporté vingt-huit victoires et fait soixante-douze matchs nuls. Il n’a pas perdu une seule partie.

Le plus troublant, c’est qu’AlphaZero semblait être perspicace. Il a joué comme aucun ordinateur ne l’a jamais fait, intuitivement et magnifiquement, avec un style romantique et offensif. Il acceptait de sacrifier des pions et prenait des risques. Dans certaines parties, cela paralysait Stockfish et il s’est joué de lui. Lors de son attaque dans la partie n°10, AlphaZero a replacé sa reine dans le coin du plateau de jeu de son propre côté, loin du roi de Stockfish, pas là où une reine à l’offensive devrait normalement être placée.

Et cependant, cette retraite inattendue s’avéra venimeuse : peu importe comment Stockfish y répondait, ses tentatives étaient vouées à l’échec. C’était presque comme si AlphaZero attendait que Stockfish se rende compte, après des milliards de calculs intensifs bruts, à quel point sa position était vraiment désespérée, pour que la bête abandonne toute résistance et expire paisiblement, comme un taureau vaincu devant un matador. Les grands maîtres n’avaient jamais rien vu de tel. AlphaZero avait la finesse d’un virtuose et la puissance d’une machine. Il s’agissait du premier regard posé par l’humanité sur un nouveau type prodigieux d’intelligence.

Lorsque AlphaZero fut dévoilé pour la première fois, certains observateurs se sont plaints que Stockfish avait été lobotomisé en ne lui donnant pas accès à son livre des ouvertures mémorisées. Cette fois-ci, même avec son livre, il a encore été écrasé. Et quand AlphaZero s’est handicapé en donnant dix fois plus de temps à Stockfish qu’à lui pour réfléchir, il a quand même démoli la bête.

Ce qui est révélateur, c’est qu’AlphaZero a gagné en pensant plus intelligemment, pas plus vite ; il n’a examiné que 60 000 positions par seconde, contre 60 millions pour Stockfish. Il était plus avisé, sachant ce à quoi on devait penser et ce qu’on pouvait ignorer. En découvrant les principes des échecs par lui-même, AlphaZero a développé un style de jeu qui "reflète la vérité profonde" du jeu plutôt que "les priorités et les préjugés des programmeurs", a expliqué M. Kasparov dans un commentaire qui accompagne et introduit l’article dans Science.

La question est maintenant de savoir si l’apprentissage automatique peut aider les humains à découvrir des vérités similaires sur les choses qui nous tiennent vraiment à coeur : les grands problèmes non résolus de la science et de la médecine, comme le cancer et la conscience ; les énigmes du système immunitaire, les mystères du génome.

Les premiers signes sont encourageants. En août dernier, deux articles parus dans Nature Medicine ont exploré comment l’apprentissage automatique pouvait être appliqué au diagnostic médical. Dans l’un d’entre eux, des chercheurs de DeepMind se sont associés à des cliniciens du Moorfields Eye Hospital de Londres pour mettre au point un algorithme d’apprentissage profond qui pourrait classer un large éventail de pathologies de la rétine aussi précisément que le font les experts humains (l’ophtalmologie souffre en effet d’une grave pénurie d’experts à même d’interpréter les millions de scans ophtalmologiques effectués chaque année en vue d’un diagnostic ; des assistants numériques intelligents pourraient apporter une aide énorme).

L’autre article concernait un algorithme d’apprentissage machine qui décide si un tomodensitogramme (CT scan) d’un patient admis en urgence montre des signes d’un accident vasculaire cérébral (AVC), ou d’une hémorragie intracrânienne ou encore d’un autre événement neurologique critique. Pour les victimes d’AVC, chaque minute compte ; plus le traitement tarde, plus le résultat clinique se dégrade. (Les neurologistes ont ce sombre dicton: "time is brain"). Le nouvel algorithme a étiqueté ces diagnostics et d’autres diagnostics critiques avec une précision comparable à celle des experts humains – mais il l’a fait 150 fois plus rapidement. Un diagnostic plus rapide pourrait permettre aux cas les plus urgents d’être aiguillés plus tôt, avec une vérification par un radiologiste humain.

Ce qui est frustrant à propos de l’apprentissage machine, cependant, c’est que les algorithmes ne peuvent pas exprimer ce qu’ils pensent. Nous ne savons pas pourquoi ils marchent, donc nous ne savons pas si on peut leur faire confiance. AlphaZero donne l’impression d’avoir découvert quelques principes importants sur les échecs, mais il ne peut pas partager cette compréhension avec nous. Pas encore, en tout cas. En tant qu’êtres humains, nous voulons plus que des réponses. Nous voulons de la perspicacité. Voilà qui va créer à partir de maintenant une source de tension dans nos interactions avec ces ordinateurs.

De fait, en mathématiques, c’est une chose qui s’est déjà produite depuis des années. Considérez le problème mathématique du "théorème des quatre couleurs", qui défie de longue date les cerveaux des mathématiciens. Il énonce que, sous certaines contraintes raisonnables, toute carte de pays contigus puisse toujours être coloriée avec seulement quatre couleurs, en n’ayant jamais deux fois la même couleur pour des pays adjacents.

Bien que le théorème des quatre couleurs ait été prouvé en 1977 avec l’aide d’un ordinateur, aucun humain ne pouvait vérifier toutes les étapes de la démonstration. Depuis lors, la preuve a été validée et simplifiée, mais il y a encore des parties qui impliquent un calcul de force brute, du genre de celui employé par les ancêtres informatiques d’AlphaZero qui jouent aux échecs. Ce développement a gêné de nombreux mathématiciens. Ils n’avaient pas besoin d’être rassurés que le théorème des quatre couleurs était vrai ; ils le croyaient déjà. Ils voulaient comprendre pourquoi c’était vrai, et cette démonstration ne les y a pas aidés.

Mais imaginez un jour, peut-être dans un avenir pas si lointain, où AlphaZero aura évolué vers un algorithme de résolution de problèmes plus général ; appelez-le AlphaInfinity. Comme son ancêtre, il aurait une perspicacité suprême : il pourrait trouver de belles démonstrations, aussi élégantes que les parties d’échecs qu’AlphaZero jouait contre Stockfish. Et chaque démonstration révélerait pourquoi un théorème était vrai ; l’AlphaInfinity ne vous l’enfoncerait pas juste dans la tête avec une démonstration moche et ardue.

Pour les mathématiciens et les scientifiques humains, ce jour marquerait l’aube d’une nouvelle ère de perspicacité. Mais ça ne durera peut-être pas. Alors que les machines deviennent de plus en plus rapides et que les humains restent en place avec leurs neurones fonctionnant à des échelles de temps de quelques millisecondes, un autre jour viendra où nous ne pourrons plus suivre. L’aube de la perspicacité humaine peut rapidement se transformer en crépuscule.

Supposons qu’il existe des régularités ou des modèles plus profonds à découvrir – dans la façon dont les gènes sont régulés ou dont le cancer progresse ; dans l’orchestration du système immunitaire ; dans la danse des particules subatomiques. Et supposons que ces schémas puissent être prédits, mais seulement par une intelligence bien supérieure à la nôtre. Si AlphaInfinity pouvait les identifier et les comprendre, cela nous semblerait être un oracle.

Nous nous assiérions à ses pieds et écouterions attentivement. Nous ne comprendrions pas pourquoi l’oracle a toujours raison, mais nous pourrions vérifier ses calculs et ses prédictions par rapport aux expériences et aux observations, et confirmer ses révélations. La science, cette entreprise de l’homme qui le caractérise par-dessus tout, aurait réduit notre rôle à celui de spectateurs, bouches bées dans l’émerveillement et la confusion.

Peut-être qu’un jour, notre manque de perspicacité ne nous dérangerait plus. Après tout, AlphaInfinity pourrait guérir toutes nos maladies, résoudre tous nos problèmes scientifiques et faire arriver tous nos autres trains intellectuels à l’heure avec succès. Nous nous sommes assez bien débrouillés sans trop de perspicacité pendant les quelque 300.000 premières années de notre existence en tant qu’Homo sapiens. Et nous ne manquerons pas de mémoire : nous nous souviendrons avec fierté de l’âge d’or de la perspicacité humaine, cet intermède glorieux, long de quelques milliers d’années, entre un passé où nous ne pouvions rien appréhender et un avenir où nous ne pourrons rien comprendre.

Auteur: Strogatz Steven

Info: Infinite Powers : How Calculus Reveals the Secrets of the Universe, dont cet essai est adapté sur le blog de Jorion

[ singularité ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]