homme-machine

L'esprit humain n'est pas, comme ChatGPT et ses semblables, une machine statistique et avide de centaines de teraoctets de données pour obtenir la réponse la plus plausible à une conversation ou la plus susceptible à une question scientifique. "

Au contraire...  L'esprit humain est un système étonnamment efficace et élégant qui fonctionne sur une quantité limitée d'informations. Il n'essaie pas d'endommager les corrélations à partir des données, mais essaie de créer des explications.  

Alors arrêtons de l'appeler " Intelligence artificielle "  et nommons-la pour ce qu'elle est et fait, c'est à dire  " logiciel plagiaire ", parce que ça ne crée rien, mais copie les œuvres existantes, d'artistes existants, les modifie suffisamment pour échapper aux lois sur les droits d'auteur. C'est le plus grand vol de propriété intellectuelle jamais enregistré depuis l'arrivée des colons européens sur les terres amérindiennes.

Auteur: Chomsky Noam

Info: New York Times - 8 mars 2023

[ comparés ] [ chatbots ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

étiquetage FLP

Lorsqu'Octavio Paz affirme que "traduire est la façon la plus profonde de lire", il interpelle les concepteurs des "fils de la pensée". "La plus profonde" parce que le traducteur doit intégrer la compréhension des mots, la compréhension du sens et celle du climat général du texte/histoire... avant de le transposer dans un autre idiome.

C'est à dire qu'il doit le lire plusieurs fois, chaque fois avec une focale différente, de "points de vue" variés. Il intègre aussi, consciemment ou pas, plein d'autres paramètres : conditions de vie de l'auteur, pays, spécificité de sa langue, de son époque et ses us en coutume, etc... Démontrant par là même la merveilleuse plasticité d'un cerveau, le notre, capable (dans l'idéal) de gérer tous ces niveaux.

La lecture du "tagueur" FLP se différencie de deux manières de celle du traducteur.

PRIMO : étant entendu qu'il lit et parle couramment la langue en question, (qu'il ne doit donc pas traduire), il conserve une vitesse de croisière qui fait que son esprit se soucie beaucoup moins des détails, plus focalisé sur le sens de l'idée ou des phrases qui défilent. Lecteur-miroir il perçoit, reçoit... comprend, ressent. Et boum ! Voilà qu'il tombe sur une formulation qui le frappe, le conforte d'une manière ou d'une autre. Une impression déjà vécue mais jamais exprimée, un agencement des mots, ou de phrases, qui reflètent une réalité pressentie, expériencée... rêvée ? Ici notre lecteur-miroir est déjà en train d'indexer inconsciemment puisque son "être chair-esprit" reconnait (s'identifie à ?) une "idée vraie", une "pensée drôle", "réflexion sage", "parole profonde", etc.

SECUNDO : focalisé sur le sens d'une phrase ou d'un extrait, il doit maintenant repérer la ou les quelques "idées-clefs" du texte en question. Pour ensuite faire sa petite cuisine. Quelles sont-elles ? Sont-elles clairement représentées par des mots de l'extraits ? Si oui quels sont les plus pertinents, et, parmi ceux-ci, le plus important (Catégorie)... Sont-ils déjà dans le corps du texte ? Si oui : quel synonyme utiliser pour focaliser le concept, comment se débrouiller ?

Ce simple extrait, (celui que vous avez devant les yeux !), contient en lui-même beaucoup (tous?) de ces éléments. Ne reste plus qu'à lui joindre les termes catégorie et tags - absents du texte même, et propices à la précision de son indexation. Et l'introduire dans la base de données du logiciel. Pour les auteurs et leur paramètres voir ici.

Pour info les chatbots comme ChatGPT4, Bard, ou autres... sont encore assez loin du compte pour ce qui est de taguer correctement un extrait, en suivant les règles, avant son insertion dans le corpus de cette application, et son éventuelle modération/discussion. Ne qui n'empêche en rien, à l'occasion, de les mettre à contribution, et parfois d'échanger plus avant avec eux à des fin de désambiguation sémantique.

Auteur: Mg

Info: 13 août 2016 - 2024

[ analyse ] [ citation s'appliquant à ce logiciel ] [ réflexivité ] [ onomasiologie ]

interrogations

Lorsqu'Einstein réfléchissait à un problème, il estimait toujours nécessaire de formuler ce sujet de manières aussi diverses que possible, afin pouvoir en adapter la présentation et la rendre compréhensible pour des personnes habituées à des modes de pensée dissemblables et à des parcours éducatifs différents.

Avec FLP nous tentons de nous inspirer de tout, de ce qui précède bien sûr, mais aussi de cette progression : Euclide pensa à partir de la surface, Newton, de la matière, Einstein, de la lumière...

Et bien FLP veut s'amuser à le faire à partir de l'esprit, c'est à dire s'essayer à l'extension-compréhension de notre perspectivisme-anthropique-miroir.

Tout ceci organisé de manière orthogonale, à savoir que chaque individu tente de frotter-intégrer sa singularité infime... dans le corpus linguistique général humain.  Et puis, avec l'aide des chatbots, on va s'apercevoir d'une intrication récurrente langage - mathématique, ce qui est déjà le cas à partir des années 2020.

Voici quelques idées qui, en conservant une ouverture absolue, tendent vers ce concept : 

- Les hommes, structures organiques à la pensée analogique, fonctionnent avec des mots-univers, symboles miroirs, vus par un système AI numérique comme des vecteurs polysémiques (sphères sans fond ? n dimensions ?). 

- Chaque mot-système-univers, plus ou moins fermé en fonction du contexte et de qui le manipule, est aussi une structure autonome + ou - durable. Exemples au hasard : Gaïa, le soleil, le requin, les fougères, la culture humaine, un atome... l'écriture, une route, etc. Termes qui renferment tous, de fait, l'entière évolution cosmique qui les précède. Chacun étant à comprendre/interpréter/intégrer au milieu de mélanges de cycles variés-variables... vus-codés par des observateurs variés-variables aussi. Observateurs pareillement issus de systèmes variés et variables.  Nous avons donc : 

- Des priméïté interprétées par des secondéités qui produisent des tiercités-codages, avec rocades multiples possibles entre ces trois acteurs. Merci Charle Sanders Pierce.

- Les codages-transcriptions des perceptions-représentations-structures de l'observateur, suite aux contacts avec ce qui constitue son "1er LIVRE"... Contacts qui constituent des tiercités qui avec le temps constituent et développent un "2e LIVRE", pensées communautaires, religions, philosophies, etc. 

Et maintenant arrivent les bots dialoguants, IA aptes à réfléchir et raisonner, mais à partir de ce second ouvrage seulement, sans sensibilité, peur de la mort, etc... tous sur base de logique binaire. Alors que le premier livre, minéral-organique, semble fondé sur la tétravalence.

- Pour FLP, les secondéités, individus qui transposent, existent via leurs patronymes. Elles sont de fait des mots-univers-personnalités, ci-nommées : secondéités médium. 

Questions :

a) comment au milieu de tout cela modéliser, structurer et créer une classification diachronique orthogonale afin de constituer de nouveaux et plus efficients corpus ?        

b) comment situer-imaginer une éventuelle extension de ce système-structure autonome vu que le fond "créatif" unique que nous pensons connaître est celui schématisé par l'interaction terre-soleil, avec la gravitation et le cycle de l'eau, d'où nous sommes issus ? 

Réponse : imaginer-construire-développer un autre système autonome de ce genre, mais sur des bases différentes (par exemple : trois soleils, un autre base chimico organique ?...) et essayer de construire quelques idées sémiotiques, linguistiques, syntaxiques ou autres... susceptibles d'aider à une communication entre des êtres issus de ces deux systèmes distincts. 

Auteur: Mg

Info: fév. 2024

[ prospectives ] [ xéno-communication ] [ exolinguistique ] [ au coeur de FLP ]

FLP défini 3

Les Fils de La Pensée est un site-application dédié à l'encouragement de la lecture. Et, plus encore, de la lecture analytique.  

Mais pas que.

Initié à l'orée du 3e millénaire, alors que le numérique rétrécit une planète terre où la domination américano-occidentale post ww2 se termine, FLP veut se positionner "à partir du langage" c'est à dire en contemplant le monde pratiquement sur le mode peircéen du quasi-esprit.

Ainsi notre site-agrégateur-moteur de recherche collectif tente d'aller un peu plus loin que ce que les idiomes, unificateurs grégaires, font déjà. Ceci en proposant des pistes susceptibles d'amener le développement d'une lexicologie humaine (ici francophone) élargie, en mouvement, souple... et charpentée différemment comme explicité plus loin. 

FLP est aussi un espace de réflexion communautaire trans-partisan HOMME - machine, à l'heure où on veut nous faire croire que les chatbots générateurs de texte sont une intelligence artificielle (A.I. - I.A.) susceptible d'être comparée à celle des hommes - voire supérieure à cette dernière.  Alors que ce ne sont que de fantastiques outils, dangereux pour deux raisons au moins selon nous.  a) L'utilisation que tout pouvoir cherchera à en faire b) La dépendance, voire l'abrutissement, qu'elles pourront générer. 

FLP s'essaye donc à semer les graines d'une refondation des structures de la classification sémantique - sans bien sûr abandonner les savoirs partagés antérieurs. C'est à dire sans remettre en cause notre évolution ni ce qu'il y a "au dessous du langage",  ce dernier ne représentant que l'hyperstructure évolutive du monde-miroir-anthropique consensuel, miroir qui grandit au fur et à mesure de la progression et de l'affinement de notre science, c'est à dire de représentations qui recherchent une forme de vérité/exactitude sur base, entre autres, d'analogies et de hiérarchisations. Hiérarchisations souvent ridicules, probablement à l'instar du faible niveau de notre jeune espèce dans le grand et mystérieux concert cosmique.  

Structuration sémantique à venir potentiellement plus fiable et durable parce que simultanément partie d'une meilleure compréhension-intégration humaine avec la matrice Gaïa et le reste du vivant.

Mais restons bien humbles et revenons à FLP. Sachant que chacun d'entre nous est par essence limité par son imprégnation propre : milieu, époque, pays, langue, famille, genre, conformation physique, épisodes de vie, etc. et étant assumés et assurés certains prérequis quant à un minimum d'"existence physique" et d'éducation au verbe du participant, FLP essaye ce dépassement classificateur en s'appuyant sur deux idées perpendiculaires syntonisées.  

Primo : développement et l'approfondissement de l'idiosyncrasie de chacun, principalement par lecture réflexive et compréhension/analyse. 

Secundo :  meilleure intégration/compréhension de chaque subjectivité personnelle au sein des idées ; humaines dans un premier temps et, pourquoi pas, de la nature dans un sens plus large, avec cette idée parallèle d'une réintégration dans le concert du vivant après tous ces épisodes capitalo-anthropocentrés des singes trop malins que nous sommes. 

En bref :   approfondissement personnel      versus       élargissement collectif incorporateur.

Nous retrouvons ici le concept de tétravalence cher à nos yeux où se combinent l'horizontalité de l'intégration aux rouages du présent (principe féminin, empathique ?), avec une verticalité qui tend à vouloir incorporer le MOI dans la continuité de l'évolution (principe masculin, égoïste ?). 

Il y a ici une parenté évidente - que FLP voudrait développer - avec les quatre liaisons de covalence du carbone (et en lien avec les 4 bases dont sont formées les chaines de la double hélice de l'ADN ?). Nous croyons encore une fois que s'en inspirer aidera à  une meilleure représentation humaine au sein du mystérieux processus de la vie émergé de notre matrice Gaïa ; à l'heure où la science  à  déjà bien montré combien nos représentations du réel sont à revoir de fond en comble.

Nous préconisons-anticipons donc le développement d'une classification à partir d'une double base duale, extension des 2 axes conceptuels habituels : ying-yang, mâle-femelle, vie-mort, ouranien-chtonien, doute-certitude, noir blanc, etc... ici sémantiques, qui sont à appréhender comme deux vecteurs doubles, orthogonaux , qui copulent, modélisent, conjuguent et fusionnent sans cesse les formulations, c'est à dire comment nous nous représentons le réel sous forme de consensus humain verbaux.

Voilà donc défini un cadre et quatre vecteurs-directions, sans autre forme méthodologique que la présentation de ce "chassis conceptuel".  Chassis sous-jacent qui, avec l'aide de l'outil FLP, ses règles simples, et les possibilités de précision sémantique qu'Internet permet, aidera le participant-inserteur à aller  un cran plus loin, c'est à dire à réfléchir, en extrapolant et dédoublant parfois la double dualité foncière qui nous anime. 

On pourra partir par exemple de idée simple d'un "dictionnaire intriqué  à deux termes". Termes définis et mis ensemble dans une recherche, dont les combinaisons vont générer diverses variations, en partant de la plus courte. Recherche-exploration "à deux mots" dont on pourra comparer les résultats tels qu'exprimés par une femme, ou par un homme, ou autre... Les paramétrages de lieu, époque, pays, etc. venant ensuite pour qui voudra aller plus loin.

Ainsi, via les bidouillages de chacun et des échanges multiples, principalement portés sur une "exactitude sémantique consensuelle", le dictionnaire FLP devrait s'auto-construire - sans jamais vouloir conclure - par la pratique et le partage communautaire. 

C'est donc une entreprise collective qui combine deux orientations orthogonales : occupation du temps et développement personnel, ces derniers participants à la construction et au développement d'un dictionnaire linguistique communautaire, base de données  multidimensionnelle  enchevêtrée  - en espérant de continuels élagages-mises à jour-corrections des extraits insérés. Tout ceci idéalement en développant et mettant en pratique un ordonnancement sémantico-taxinomique qui s'inspire de ce que nous savons de l'esprit qui est dans la matière.

Mais ne nous emballons pas. Voyons d'abord FLP comme un instrument de recherche, transversal et sérendipitaire, sur fond de délassement.  

Nous croyons au plaisir du lire, de la pensée, de la rêverie... de la curiosité qui avance par crans....  Pas assouvie, mais nourrie... souvent parce que le langage - c'est à dire tous les hommes rassemblés -, formule et matérialise pour un temps nos sentiments-sensations-idées, avant que chaque représentation personnelle (pas de représentations sans verbe) ne diverge et se développe plus avant à sa manière dans un corpus idiomatique jamais fixé. 

Nous pensons que l'esprit a soif de nouveau et répondons à cette appétence en proposant le double plaisir conjugué de la lecture et de la quête. Bon dieu quel bonheur de découvrir des choses parce que formulées jusqu'à nous paraitre intelligibles !

Auteur: Mg

Info: mars, avril 2023

[ prospective ] [ alcènes et alcynes  ] [ gnose ]

homme-machine

Un philosophe sur la mort de la romance, les robots ChatGPT vulgaires et le sexe virtuel

Je m'inquiète des développements du web et de l'intelligence artificielle. Quelques exemples au sujet desquels il faut se poser des questions..

L'explosion des nouveaux médias (Facebook, Google, Instagram, TikTok, etc.) dans l'Occident "démocratique" a radicalement modifié le rapport entre espace public et espace privé : un nouveau tiers espace a émergé qui efface le clivage entre public et privé.

Ce nouvel espace est public, accessible dans le monde entier, mais il fonctionne en même temps pour les échanges de messages privés. C'est tout sauf incontrôlé : il existe des algorithmes qui non seulement le censurent et empêchent certains messages de s'y infiltrer, mais manipulent également la façon dont les messages attirent notre attention.

Les plateformes technologiques font face à de nouveaux défis

Il s'agit ici de dépasser l'alternative "Chine ou Elon Musk" : ou le contrôle opaque de l'État, ou la "liberté" de faire ce qu'on veut, tout ceci pareillement manipulé par des algorithmes opaques. Ce que la Chine et Musk ont ​​en commun, c'est un contrôle algorithmique opaque.

Une équipe d'entrepreneurs israéliens dont le nom de code est "Team Jorge" "affirme avoir truqué plus de 30 élections dans le monde par le piratage, le sabotage et la désinformation automatisée sur les réseaux sociaux. La "Team Jorge" est dirigée par Tal Hanan, 50 ans, ancien commandant des opérations spéciales israéliennes. Les méthodes et techniques décrites par "Team Jorge" posent de nouveaux défis aux grandes plateformes technologiques qui luttent depuis des années pour empêcher les acteurs néfastes de répandre des mensonges ou de violer la sécurité de leurs plateformes. L'existence d'un marché privé mondial pour la désinformation ciblée sur les élections sonnera également l'alarme dans les démocraties du monde entier.

Tout cela est plus ou moins de notoriété publique maintenant, du moins depuis le scandale de Cambridge Analytica (dont l'implication dans les élections américaines de 2016 a joué un rôle déterminant dans la victoire de Trump). Pour aggraver les choses, la gamme de nouveaux algorithmes devrait également inclure l'explosion de programmes qui rendent l'échange de visages et d'autres techniques de deepfake facilement accessibles.

Bien sûr, les plus populaires sont les algorithmes qui permutent les visages des célébrités sur les corps des actrices porno dans les films pour adultes : Les outils nécessaires pour créer ces vidéos porno "maison" mettant en vedette les actrices et pop stars préférées d'Hollywood sont facilement disponibles et simples à utiliser. Cela signifie que même ceux qui n'ont aucune compétence en informatique et peu de connaissances techniques peuvent créer ces films.

Les films porno Deepfake sont faciles à créer. La s(t)imulation sexuelle parfaite.

Les visages des actrices hardcore peuvent être échangés non seulement par des stars de la pop, mais aussi par leurs proches - le processus est impressionnant de par sa simplicité : "Vous pouvez transformer n'importe qui en star du porno en utilisant la technologie deepfake pour remplacer le visage de la personne échangé contre une vidéo adulte. Il suffit de l'image et d'appuyer sur un bouton". Malheureusement, la plupart du temps, les deepfakes sont utilisés pour créer de la pornographie mettant en scène des femmes, pour qui cela a un effet dévastateur. "Entre 90 et 95 % de toutes les vidéos deepfake en ligne sont de la pornographie non consensuelle, et environ 90 % d'entre elles sont des femmes."

Et si vous voulez que les voix correspondent également aux visages échangés, utilisez la voix Voice AI pour créer "des recréations hyperréalistes qui ressemblent à la vraie personne". Bien sûr, le raccourci incestueux ultime ici serait d'échanger mon propre visage et celui de ma femme ou de mon partenaire dans une vidéo pour adultes et d'ajouter nos clones de voix aux enregistrements afin que nous puissions simplement nous asseoir confortablement, boire un verre et regarder notre sexe passionné.

Le chatbot génère des textes incroyablement clairs et nuancés

Mais pourquoi devrions-nous nous limiter au sexe ? Que diriez-vous d'embarrasser nos ennemis avec des vidéos d'échange de visage d'eux faisant quelque chose de grossier ou de criminel ? Et pour ne rien arranger, on peut ajouter à tout ceci des chatbots (programmes informatiques capables d'avoir une conversation avec un utilisateur en langage naturel, de comprendre ses intentions et de répondre en fonction de règles et de données prédéterminées). Récemment, leurs performances ont explosé.

Quand Antony Aumann, professeur de philosophie à la Northern Michigan University, a évalué des essais pour son cours sur les religions du monde le mois dernier, il a lu un essai qui, selon lui, était de loin "le meilleur de la classe". Il a examiné la moralité de l'interdiction de la burqa avec des paragraphes clairs, des exemples appropriés et des arguments solides. Aumann a demandé à son élève s'il avait écrit lui-même l'essai; l'étudiant a admis utiliser ChatGPT, un chatbot qui fournit des informations, explique des concepts et génère des idées dans des phrases simples - de fait dans ce cas a écrit l'essai.

Toutes choses qui font partie de l'arrivée en temps réel d' une nouvelle vague de technologie connue sous le nom d'intelligence artificielle générative. ChatGPT, sorti en novembre 2022 par la société OpenAI, est à la pointe de ce développement. Générant un texte incroyablement clair et nuancé en réponse à de courtes invites, ce chatbot est utilisé par les gens pour écrire des lettres d'amour, de la poésie, de la fanfiction - et des travaux scolaires.

L'intelligence artificielle peut se montrer effrayante

Pas étonnant que les universités et les lycées réagissent dans la panique et n'autorisent dans certains cas que les examens oraux. Entre autres questions, il en est une qui mérite attention : comment un chatbot doit-il réagir lorsque l'interlocuteur humain tient des propos sexistes et racistes agressifs, présente ses fantasmes sexuels dérangeants et utilise régulièrement un langage grossier ?

Microsoft a reconnu que certaines sessions de chat prolongées utilisant son nouvel outil de chat Bing peuvent fournir des réponses qui ne "correspondent pas à notre tonalité de message prévu". Microsoft a également déclaré que dans certains cas, la fonctionnalité de chat tente de "répondre ou de refléter le ton sur lequel il lui est demandé de répondre".

Bref, le problème se pose lorsque le diaogue humain avec un chatbot utilise un langage grossier ou tient des propos racistes et sexistes flagrants, et que le chatbot programmé pour être au même niveau que les questions qui lui sont adressées répond, sur le même ton. La réponse évidente est une forme de réglementation qui fixe des limites claires, c'est-à-dire la censure. Mais qui déterminera jusqu'où cette censure doit aller ? Faut-il également interdire les positions politiques que certains trouvent "offensantes" ? Est-ce que la solidarité avec les Palestiniens en Cisjordanie ou les affirmations selon lesquelles Israël est un État d'apartheid (comme Jimmy Carter l'a dit dans le titre de son livre) seront bloquées comme "antisémites" ?

La romance est presque morte    

En raison de ce clivage minimal, constitutif d'un sujet, le sujet est pour Lacan divisé ou "verrouillé". Dans la scène imaginée, je présente (ou plutôt mon double en tant que personne) à un professeur, via le zoom, un travail de séminaire rédigé par un chatbot, mais le professeur aussi n'est présent qu'en tant que personne, sa voix est générée artificiellement, et mon séminaire est noté par un algorithme. Il y a une dizaine d'années, The Guardian me demanda si le romantisme était mort aujourd'hui - voici ma réponse.

"Le romantisme n'est peut-être pas encore tout à fait mort, mais sa mort imminente se manifeste par des gadgets-objets qui promettent de fournir un plaisir excessif, mais qui ne font en fait que reproduire le manque lui-même. La dernière mode est le Stamina Training Unit, l'équivalent du vibromasseur : un appareil de masturbation qui ressemble à une lampe à piles ( afin que nous ne soyons pas gênés de le transporter avec nous). On insère son pénis en érection dans l'ouverture située à l'extrémité, on appuie sur le bouton et l'appareil vibre jusqu'à la satisfaction... Comment faire face à ce beau nouveau monde qui sape les fondements de notre vie intime ? La solution ultime serait bien sûr de mettre un vibromasseur dans cet appareil pour l'entraînement à l'endurance, de les allumer tous les deux et de laisser tout le plaisir à ce couple idéal, tandis que nous, les deux vrais partenaires humains, serions assis à une table à proximité, en train de boire du thé et de savourer tranquillement le fait d'avoir accompli notre devoir de jouissance sans trop d'efforts".

Ce qui reste de nous n'est qu'un cogito vide

Nous pouvons maintenant imaginer la même externalisation d'autres activités telles que les séminaires universitaires et les examens. Dans une scène idéale, tout le processus de rédaction de mon séminaire et des examens par le professeur se fait par interaction numérique, de sorte qu'à la fin, sans rien faire, nous ne faisons que valider les résultats.

Pendant ce temps, je fais l'amour avec ma maîtresse ... mais encore une fois un sexe délocalisé grâce à son vibromasseur qui pénètre dans mon appareil d'entraînement à l'endurance, alors que nous sommes tous les deux simplement assis à une table à proximité et, afin de nous amuser encore plus, nous voyons sur un écran de télévision un simulacre nous montrant tous les deux en train de faire l'amour ... et bien sûr, tout cela est contrôlé et réglé par l'équipe Jorge.

Ce qui reste de nous deux n'est qu'un cogito (du latin "je pense") vide, dominé par plusieurs versions de ce que Descartes appelait le "génie malin". Et c'est peut-être là notre dilemme actuel : nous sommes incapables de franchir l'étape suivante décrite par Descartes et de nous fier à une forme véridique et stable d'un grand Autre divin, nous sommes les "enfants d'un dieu moindre" (pour reprendre le titre d'une pièce de théâtre et d'un film), pris à jamais dans la multiplicité contradictoire d'esprits mauvais et trompeurs.

Auteur: Zizek Slavoj

Info: Résumé par le Berliner Zeitung ici : https://www.berliner-zeitung.de/kultur-vergnuegen/slavoj-zizek-ueber-den-tod-der-romantik-vulgaere-chatgpt-bots-und-unechten-sex-li.321649

[ dénaturation ]

citation s'appliquant à FLP

A l'origine il y a cet atavisme, l'attrait et le plaisir des formules verbales. Mais que dans la tête donc, parce qu'à l'époque, on n'avait pas de portables pour enregistrer en vitesse un bon mot sur la fonction dictaphone... Plus tard je me suis amusé à noter les idées, marrantes ou pas. J'avais mes petits papiers... cahiers...

Mon premier ordinateur était un Atari, avec une mémoire de termite : 500 ko si je me rappelle bien, c'était l'équivalent d'une disquette d'alors. Mais quel ne fut pas mon plaisir, par ce confort informatique soudain, de pouvoir conserver et organiser les extraits qui me plaisaient. Et surtout corriger et peaufiner mes propres textes au fur et à mesure. Et puis arriva Microsoft Office et surtout Excel, ce qui permit l'ouverture de deux bases de données, parallèles aux textes proprement dits, bases qui n'ont cessé de se développer depuis : une pour les auteurs (avec les dates, pays, profession, etc..) l'autre avec les catégories et leurs corrélats... J'étais sur la voie d'un début d'organisation.

De fils en aiguille, les années passant et les ordinateurs s'améliorant, sans oublier l'irruption d'Internet, cette manie s'amplifia... J'en vins à parler de ce syndrome quasi maladif avec un élève de mes cours de musique, Fabrice. Etant informaticien, il se proposa de programmer un logiciel PHP afin de classer le moins mal possible ces données. Il fut décidé de faire simple, en taguant les textes/formules à deux niveaux distincts : CATEGORIE et CORRELATS. La recherche pouvant ensuite se combiner de multiples manières (par corrélat, mot du texte, catégorie, auteur, etc... et leurs mélanges). Il faut aussi savoir que le mot du tag n'apparait pas dans le texte cible, ce qui constitue une véritable VALEUR AJOUTEE, même si elle est subjective. Ainsi se sont développées des grappes de citations classées par catégories... Les tags des corrélats venant soit en éclairage secondaire soit, en les prenant tous ensemble, comme un mur de mots venant préciser l'extrait où la formule. En même temps se développaient les deux bases. Celle des auteurs permettant d'avoir une structure temporelle très intéressante puisqu'on peut voir les 21000 auteurs se déployer chronologiquement sur près de 5000 ans, en commençant par les égyptiens. Et celle des catégorie et des corrélats, structure centrale de tous les tags connectés, tablés sur Excel, un peu comme une transposition des associations diverses - et bien sûr subjectives - de mon petit cerveau... Outil fort utile ma foi quand, ne sachant plus trop quoi faire pour taguer ou associer intelligemment une citation ou un mot, je m'y réfère, utilisant aussi beaucoup les dictionnaires de synonymes en ligne pour ce faire.

Il y a bien sûr énormément de manques, de redondances, d'erreurs, doublons... Cette application est tout sauf exhaustive. Je conserve cependant espoir que l'électronique aidant il sera toujours plus aisé de corriger, d'augmenter les entrées, d'affiner et de contrôler mieux les tags, etc., d'autant qu'avec une mise en ligne on pourra user du retours des internautes. Tiens, par exemple il fut ajouté sur suggestion externe un filtre pour pouvoir choisir la longueur du texte recherché. (actuellement 25 mots au max, ou 100, ou illimité). L'établissement des catégories est une problématique complexe. Il faudrait pouvoir synthétiser le plus possible avec un mot unique ce qui est impossible. Et puis la langue évolue... et nous aussi... et chacun a sa manière de voir. Bref je me suis de fait retrouvé à établir des "mots clefs catégories" toujours plus affinés, et qui s'affineront encore avec le temps je suppose. Exemples : hommes-par-femmes, femmes-par-hommes, dialogue-web (pour mes emprunts sur les chats), pensée-de-femme, art-de-vivre, fond-forme... et beaucoup d'autres que vous découvrirez si vous vous promenez sur l'application.

Ainsi, au fil des années, (à ce jour près d'une trentaine), s'est établi une routine matinale d'une ou deux heures où je vais à la pêche aux extraits. Une prédation qui prend plusieurs formes. D'abord la traduction (de l'anglais et de l'allemand, avec une dilection pour les sciences et l'humour), ce qui constitue un excellent exercice, et qui permet parfois d'importer des idées différentes dans la langue française. Ensuite par le surf, au hasard d'un concept, en allant sur des sites spécialisés ou autre. Enfin, en lisant tel livre ou tel dictionnaire et en en annotant les parties que je fais ensuite saisir par ma fille ainée - contre salaire ! Cette marotte matinale me permet du coup de noter les idées qui me viennent au cours du processus. Transmutées en langage électronique je les tague aussi, avant de les mettre dans la base de données, ce qui me permet, oh immense présomption, de mêler mon nom et mes cogitations à celles d'immenses créateurs... tout autant qu'à celles d'illustre inconnus. 

Je me vois souvent mieux en sémanticien-joueur-explorateur, plutôt qu'en écrivain ou compilateur ; le langage - en tant qu'émergence de codes de communication - m'intéresse finalement plus que les histoires proprement dites. On pourra donc déceler un fort tropisme vers les jeux de mots, la poésie, les réparties amusantes, les paradoxes...

Mais en fait, ce qui est passionnant ici, c'est de taguer. Car classer est une forme de jugement, de critique... (avec une petit pensée au passage pour Perec). Alors : classer de manière neuronale ?!.. Bref c'est un plaisir, une quête... Du coup j'ai pris aussi quelques voies latérales, établissant par exemple, à l'aide de sites spécialisés, un classement personnel des personnages importants de l'histoire et de la pensée humaine dans plusieurs domaines (penseurs militaires, philosophes, maîtres spirituels...). Ce qui me permit, en utilisant ma classification des écrivains clefs, d'ouvrir quelques catégories sur certains pivots de la littérature mondiale. On retrouvera donc des textes où sont commentés Dostoïevski, Nietzsche, les grecs anciens, Montaigne, Dante, Shakespeare, Cervantès, etc. Auteurs qui se retrouvent de fait être les seuls et uniques à exister aussi bien dans la base de données "auteurs" que dans celle des "mots/clefs et corrélats". La problématique du tri sélectif dans l'histoire de la culture humaine a toujours été une grande interrogation personnelle. Pourquoi ceci ou cela demeure dans la culture humaine.

Il existe beaucoup de pistes pour des éléments de réponse mais il me semble que j'aurai vécu cette époque charnière, c'est à dire celle d'une explosion informatique ou l'outil intellectuel s'est retrouvé multiplié de manière incroyable. De fait ce délire personnel participera peut-être d'une manière ou d'une autre à quelque forme de tri futur ? Allons savoir.

On aura donc compris combien l'application FLP ne fut initiée que par des choix subordonnés à mon bon plaisir, mon goût pour l'ordre et la fantaisie... et aussi une ouverture naturelle que je ne réfrène aucunement. C'est à dire, pour être vraiment clair, que j'ai toujours eu une appétence autant pour le sérieux que pour le vulgaire, le superficiel, voire le grossier choquant... Est-ce ce qu'on appelle aimer les extrêmes ? Avec pour résultat que j'ai parfois une légère honte rétrospective quant à certaines catégories : porno, vulgarité... Je n'y suis parfois pas allé avec le dos de la cuillère... je ne sais pas me restreindre je vous dis... et comme l'informatique ne nous limite pas en terme de mémoire...

A aussi émergé, avant de bien se développer, une catégorie "Citations s'appliquant au logiciel", à l'instar de "Titre possible pour ce logiciel", qui permettent de consulter un grand nombre du vues que moi ou d'autres considèrent comme pertinentes quant à la définition de cette application.

Maintenant une de mes principales espérance reste qu'il devrait être possible pour tout un chacun, avec cet outil, tout comme je le fais moi-même, de développer et de fixer des filaments de pensées, (voir sous Memex) un peu à l'image de ces photos de l'univers où l'on voit les amas de galaxies s'étirer en de grands lambeaux dorés... J'ai vécu beaucoup de ces "voyages sur un concept" de par et grâce à l'organisation de cette base de donnée, les voyant se développer malgré moi en fonction de l'avancée de l'indexation de tel ou tel mot. Une des premières rubriques qui fit scintiller mes neurones se passa avec ce beau mot : "réminiscence"...

Beaucoup de catégories se sont donc développées en parallèle, certaines comme "humour" ou "littérature" venant au fil du temps envelopper de grands pans de la base. D'autres prenant de très grandes dimensions en terme de nombre d'entrées : femmes-hommes, déclarations d'amour, justifications... Au point qu'un jour cela donna lieu à l'édition d'un recueil, les "dernières paroles". J'avais fait sans le savoir de l'édition "en live".

Il y a aussi quelques domaines où, de par ma curiosité propre, mon parcours de vie et l'accumulation des données, j'ai la faiblesse de m'auto bombarder "connaisseur". En voici quelques-uns : musique, extraterrestres, judaïsme...

Il y eu souvent aussi des périodes, de quelques jours à quelques semaines, où je me suis concentré sur un mot/concept/catégorie précis, comme : haïkus, questions, positiver, réparties, quête.... Ou mieux. Suite à des demandes, il m'est arrivé de faire des recherches plus précises. Sur deux mots par exemple. Un jour une connaissance m'interrogea sur l'existence d'un extrait "littéraire" où serait décrit quelqu'un en pleine lecture lors d'une forte pluie. Ne trouvant pas l'extrait, je l'ai écrit. Eh oui... Le client est finalement roi !! Donc, pour qui utiliserait le logiciel pour ce cas précis, il lui faudra faire une recherche qui associera ces deux mots : pluie et lecture.

Et puis il y eut la rencontre avec cet incroyable logicien sémanticien que fut C.S. Peirce, qu'on pourra découvrir via les extraits que nous avons intégrés, sur Internet... ou dans la profession de foi de FLP. Et puis je fis connaissance avec notre chère Colimasson dont les retours et autres remontrances aidèrent, à partir de 2015, à préciser beaucoup de choses. Et puis il y a tous les autres contributeurs, que je ne puis que chaleureusement remercier ici. 

Bon, assez, je vous laisse essayer si ça vous dit -, moi j'y retourne. Ces temps j'ai un petit faible pour "crépuscule" et "source"... Que suis-je d'autre, ma foi, que la personne, subjective et égocentrée, à la source de cette compilation multidimensionnelle. Le dico des avocats ? Devenu FLP.

Avec maintenant les chatbots, bons outils comparatifs, qui nous aident à préciser certaines choses.

Auteur: Mg

Info: 24 nov. 2012. Précisé et mis à jour au fil du temps

[ création ] [ autocritique ] [ confession ] [ au coeur de FLP ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]