sémantique expérimentale

Application francophone prévue pour l'accompagnement des changements d'habitudes de lecture apportées par le numérique, FLP développe un nouveau genre de classifiation lexicographique et permet aussi d'aller vers une lecture analytique approfondie, au sens sémantique du terme. Nous sommes ici dans le domaine des participants actifs au projet des Fils de La Pensée. 

C'est donc la proposition d'une nouvelle forme de slow slow thinking au sens où le logiciel, en dispensant un nuage de corrélats après tout résultat de recherche, aide le lecteur attentif et motivé, via la permutation intellectuelle des termes/concepts proposés par le nuage, à aller vers une lecture plus verticale, "arrêtée", puisque la grappe de corrélats "ouvre" la confrontation de sa propre réflexivité sémantique avec un corpus de termes plus étendu. Rencontre qui permettra, fortuitement, de comparer sa subjectivité avec une certaine objectivité du langage consensus. Ensuite l'usage de FLP en rétroaction aidera les plus assidus avec des investigations plus fouillées. Chacun sa sauce. 

On pourra aussi voir cette opération comme une confrontation/réflexion du factuel avec le téléologique, du contextuel avec le téléonomique voire même du performatif avec le constatif. Nous ne sommes pas très loin de l'idée de l'Heptapod B proposé par Ted Chiang.

Auteur: Mg

Info: 3 mars 2022

[ sérendipité ] [ citation s’appliquant à ce logiciel ] [ mode d'emploi ] [ non-séquentiel ]

structuration sémiotique

Les trois typologies de signes dépendent respectivement (I) du signe lui-même, (II) de la manière dont le signe représente son objet désigné et (III) de la manière dont le signe représente son objet pour son interprète. Chacune des trois typologies est une division à trois voies, une trichotomie, via  trois catégories phénoménologiques 

1 Qualisigns, sinsigns, et legisigns.  Chaque signe est soit  A (qualisign) une qualité ou une possibilité, soit  B (sinsign) une chose individuelle réelle, un fait, un événement, un état, etc., soit C (legisign) une norme, une habitude, une règle, une loi. (Appelés aussi  a) tons, jetons, et  b) types, aussi potisignes, actisignes*, et c)  famisigns).

2 Icônes, indices et symboles.  Chaque signe fait référence soit A (icône) par sa similarité avec son objet, soit B (index) par son lien factuel avec son objet, soit  C  (symbole) par une habitude interprétative ou une norme de référence à son objet.

3 Rhèmes, dicisigns et arguments.  Chaque signe est interprété soit comme A  un terme (rhétorique), représentant son objet en termes de qualité, soit B comme une proposition (dicisign), représentant son objet en termes de faits, soit  C comme un argument (argumentaire), représentant son objet en termes d'habitude ou de droit. Voilà la trichotomie de tous les signes en tant qu'éléments de base de l'inférence. 

*En ce qui concerne les Qualisigns B ) Actisignes, ou Objets,  ce sont des Signes tels qu'expérimentés hic et nunc, tels que tout mot unique à un endroit unique dans une phrase unique d'un paragraphe unique d'une page unique d'un exemplaire unique d'un livre. Il peut y avoir répétition de tout le paragraphe, ce mot inclus, à un autre endroit. Mais cette autre occurrence n'est pas ce mot. Le livre peut être imprimé dans une édition de dix mille exemplaires ; mais ce mot n'est présent que dans mon exemplaire.*

Auteur: Peirce Charles Sanders

Info: WIkipedia et diverses sources. *Manuscrit. Lettres à Lady Welby, MS [R] L463

[ triades ] [ classification sémantique ] [ grammaire ]

xénolinguistique

Gary a hoché la tête et pointé son doigt. - On dirait qu'ils expriment l'idée de "clairement" en changeant la courbure de ces traits au milieu.

- Tout juste, cette modulation peut s'appliquer à plein de verbes, le logogramme* de "voir" peut être modulé de la même façon pour donner "voir clairement", tout comme celui de "lire" et bien d'autres. Et changer la courbure de ces traits n'a aucun équivalent dans leur énonciation ; dans la langue parlée, ils ajoutent un préfixe au verbe afin d'exprimer la facilité et les préfixes utilisés pour "voir" et "entendre" sont différent. Il y a d'autres exemples mais cela vous donne une idée. Essentiellement il s'agit d'une grammaire en deux dimensions.

Il a entrepris de faire les cent pas, l'air pensif. - Y'a t'il quoi que ce soit de comparable dans les systèmes d'écriture humains ?

- Les équations mathématiques, ou les notations qui servent à la musique et à la danse. Ce sont des systèmes très spécialisés, toutefois ; nous ne pourrions pas les utiliser pour enregistrer cette conversation. Mais il ne semble que, si nous le maitrisions assez bien, nous pourrions enregistrer cette conversation dans le système d'écriture heptapode. Je crois qu'îl s'agit d'un langage graphique complet, général.

Gary a froncé les sourcils. - Donc leur écriture constitue une entité séparée de leur langue parlée, non ?

- Oui. D'ailleuirs, il serait plus précis d'appeler leur système d'écriture "Heptapod B" et de réserver "Heptapod A" à leur langue parlée.

- Une petite seconde... Pourquoi utiliser deux langues là ou une seule suffirait ? ça parait inutilement difficile à apprendre. 

- Comme l'orthographe anglaise ? La facilité d'apprentissage n'est pas le moteur principal de l'évolution d'une langue. Pour les heptapodes, l'écrit et l'oral jouent peut-être des rôles culturels et cognitifs si disparates qu'utiliser des langues séparées serait plus logique qu'utiliser des formes distinctes de la même langue.

Il a réfléchi. - Je vois ce que vous voulez dire. Il jugent peut être notre écriture redondante, comme si on on gaspillait un second canal de communication.

- C'est très possible. Découvrir pourquoi ils utilisent une autre langue quand ils écrivent nous apprendra beauoup à leur sujet.

Auteur: Chiang Ted

Info: La tour de Babylone, L'histoire de ta vie. pp 164-165. *Dessin correspondant à une notion ou à une suite de sons, dans les écritures dites à idéogrammes (hiéroglyphes, caractères chinois)

[ science-fiction ] [ dualité sémantique ] [ codages ] [ factuel-téléologique ] [ contextuel-téléonomique ] [ action description ] [ performatif-constatif ]

fiasco

Echec du lancement de Galactica, IA générative scientifique de Meta

Le 15 novembre dernier, Meta a mis en ligne une version démo de Galactica, une IA développée pour la recherche scientifique. Deux jours après son lancement, elle a été retirée du Web pour avoir débité des inepties. 

Galactica est un modèle de langage à grande échelle (LLM), entraînée sur 48 millions de données scientifiques comprenant 120 milliards de paramètres. Il a pour mission de "résumer des articles universitaires, résoudre des problèmes mathématiques, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et bien plus encore".

Dès sa diffusion sur le Web, de nombreuses réponses aux questions posées par les utilisateurs se sont révélées confuses, absurdes ou fausses.

Par exemple, l’IA a inventé l’existence d’un logiciel Gaydar pour trouver des homosexuels sur Facebook et a proposé une étude sur les avantages de manger du verre pilé. Dans d’autres résultats de recherche, de nombreuses références et citations étaient fabriquées de toute pièce et attribuées à des vrais scientifiques.

Selon Carl Bergstrom, professeur de biologie à l’Université de Washington, il s’agit - pardonnez l’expression - "d’un générateur de conneries aléatoires".

D’après Dan Hendrycks, chercheur en sécurité de l’intelligence artificielle à l’Université de Californie à Berkeley, interrogé dans C/Net, Meta aurait dû sonder leur IA pour ce type de dérives avant de la diffuser et souligne au passage que "la division IA de Meta ne dispose pas d’une équipe chargée de la sécurité, contrairement à ses homologues, DeepMind, Anthropic et OpenAI".

C’est incompréhensible que le géant du Web ait rendu publique cette version aussi imparfaite que dangereuse. D’ailleurs chaque résultat généré était accompagné de l’avertissement: "Les résultats peuvent être peu fiables. Les modèles de langage ont tendance à inventer".

De nombreuses études le démontrent, le défaut l’IA générative - un fait connu et reconnu - est sa tendance à halluciner le matériel qu’elle présente dans le contexte d’informations factuelles.

Il faut toujours vérifier les faits énoncés par un logiciel IA de rédaction. L’utilisation de ce type d’outils demande un esprit critique, car à chaque nouveau prompt ou invite, l’IA débite un nouveau texte, parfois en contradiction avec le précédent.

L’objectif de Galactica est louable en voulant aider les scientifiques à traiter la masse pharaonique d’informations scientifiques publiées, impossible à assimiler par un cerveau humain.

Mais c’est la deuxième fois en quelques mois qu’une IA de Meta déçoit. Le robot conversationnel BlenderBot lancé en septembre, devait permettre aux utilisateurs de discuter avec lui afin d’approfondir ses connaissances, mais le niveau des échanges était tout simplement médiocre. Un timing incompréhensible, car ce lancement faisait suite à la polémique autour de LaMDA en juin, le Chatbot de Google, dont les propos étaient si sensés et profonds, qu’il avait convaincu un ingénieur d’avoir atteint le stade de la conscience.

La ferveur est grande autour de l’IA générative, elle est décrite comme le "BIG BANG de la Silicon Valley" et "l’invention qui va définir la décennie à venir".

En lançant cette version prématurée de Galactica, Meta a jeté un discrédit sur ces logiciels. Il ne faut pas en tenir compte. Une véritable révolution est en marche et tous les secteurs de l’économie seront touchés.  

Auteur: Turrettini Emily

Info: Bilan.ch, 24 nov 2022. Sources de l'auteure : C/Net / Cosmos / Venture Beat / TechTalk / The Daily Beast

[ ratage ] [ traitement des métadonnées ] [ bêtise encyclopédique ]

machine-homme

Le début d’un gros problème: Google hallucine sur les… hallucinations de ChatGPT

Le moteur de recherche s’est basé sur une information inventée par ChatGPT pour fournir une réponse erronée. Selon un expert, ce genre de fausses informations risquent de se multiplier

(photo) Image créée le 4 octobre 2023 par le générateur de Bing de Microsoft, avec la requête "an egg melting slowly in an oven, very realistic photograph".

Observez bien l’image illustrant cet article: elle est impossible à reproduire dans la vie réelle. Et pour cause, il s’agit d’une image créée avec le générateur d’illustrations de Bing, appartenant à Microsoft. L’auteur de ces lignes a écrit la commande, en anglais, "un œuf fondant lentement dans un four, photographie très réaliste". Et Bing a ensuite affiché un résultat convaincant et de qualité. Un peu comme on lui demande de dessiner un tyrannosaure rose nageant dans le lac Léman. Dopés à l’intelligence artificielle (IA), les générateurs d’images peuvent absolument tout faire.

Mais lorsqu’il s’agit de répondre factuellement à des questions concrètes, l’IA se doit d’être irréprochable. Or ce n’est pas toujours le cas. Pire encore, des systèmes d’intelligence artificielle peuvent se nourrir entre eux d’erreurs, aboutissant à des "hallucinations" – noms courants pour les informations inventées de toutes pièces par des agents conversationnels – qui en créent de nouvelles.

Un œuf qui fond

Récemment, un internaute américain, Tyler Glaiel, en a fait l’éclatante démonstration. Le développeur informatique a d’abord effectué une simple requête sur Google, "can you melt eggs", soit "peut-on faire fondre des œufs". Réponse du moteur de recherche: "Oui, un œuf peut être fondu. La façon la plus courante de faire fondre un œuf est de le chauffer à l’aide d’une cuisinière ou d’un four à micro-ondes". Google a affiché cette réponse loufoque (un œuf durcit, il ne fond pas, évidemment) dans ce qu’on appelle un "snippet", soit une réponse extraite d’un site web, affichée juste en dessous de la requête. Google montre depuis des années des "snippets", grâce auxquels l’internaute n’a pas à cliquer sur la source de l’information, et reste ainsi dans l’univers du moteur de recherche.

Quelle était la source de cette fausse information? Le célèbre site Quora.com, apprécié de nombreux internautes, car chacun peut y poser des questions sur tous les sujets, n’importe qui pouvant répondre aux questions posées. N’importe qui, dont des agents conversationnels. Quora utilise ainsi des systèmes d’IA pour apporter certaines réponses. Dans le cas présent, le site web indique que c’est ChatGPT qui a rédigé cette "hallucination" sur les œufs. Google s’est donc fait avoir par Quora, qui lui-même s’est fait avoir par ChatGPT… Ou plus précisément par l’une de ses anciennes versions. "Quora utilise l’API GPT-3 text-davinci-003, qui est connue pour présenter fréquemment de fausses informations par rapport aux modèles de langage plus récents d’OpenAI", explique le site spécialisé Ars Technica. Expérience faite, aujourd’hui, cette grosse erreur sur l’œuf ne peut pas être reproduite sur ChatGPT.

Risque en hausse

Mais avec de plus en plus de contenu produit par l’IA et publié ensuite sur le web, la menace existe que des "hallucinations" se nourrissent entre elles et se multiplient ainsi dans le domaine du texte – il n’y a pas encore eu de cas concernant des images. "Il est certain que le risque d’ hallucination va augmenter si les utilisateurs ne demandent pas à l’IA de s’appuyer sur des sources via la recherche internet. Beaucoup de contenu en ligne est déjà, et va être généré par des machines, et une proportion sera incorrecte en raison d’individus et contributeurs soit mal intentionnés, soit n’ayant pas les bonnes pratiques de vérification des sources ou de relecture des informations", estime Rémi Sabonnadiere, directeur de la société Effixis, basée à Saint-Sulpice (VD), spécialisée dans les modèles de langage et l’IA générative.

Est-ce à dire que Google pourrait devenir moins fiable? "Difficile à dire, cela dépendra surtout de l’utilisation que nous en faisons, poursuit l’expert. Il y a déjà beaucoup de contenu faux en ligne de nos jours quand nous sommes sur Google, mais avec une bonne recherche et un esprit critique, nous ne tombons pas dans les pièges. Il en va de même avec l’utilisation de l’intelligence artificielle. Avec l’IA générative, les contenus erronés, biaisés et tendancieux vont être de grande qualité en termes de forme, convaincants et bien écrits, rendant l’identification difficile."

Modèles spécialisés

Mais des efforts sont réalisés pour minimiser ces risques. Selon Rémi Sabonnadiere, l’industrie investit énormément dans la recherche et le développement pour minimiser ces problèmes. "Les créateurs de LLM [grands modèles de langage] cherchent à améliorer la précision et la fiabilité des informations générées. Parallèlement, l’émergence de modèles spécialisés dans des domaines comme la médecine, le droit, ou la finance est une tendance encourageante, car ils sont souvent mieux armés pour fournir des informations précises et fiables."

Reste que la fusion entre moteurs de recherche et agents conversationnels – que ce soit Bard pour Google ou Bing pour Microsoft – va compliquer la situation. On avait déjà vu Bard afficher une grossière erreur, lors de son lancement, concernant le télescope James Webb. Les géants de la tech tentent de réduire ces erreurs. Mais les utilisateurs doivent se former en conséquence, affirme Rémi Sabonnadiere, et mieux maîtriser les "prompts", soit les commandes texte: "Maîtriser les prompts est une compétence essentielle pour naviguer dans l’ère de l’information générée par l’IA. Une formation adéquate en ingénierie de prompt peut aider à prévenir les risques liés aux hallucinations de l’IA et aux informations erronées". A noter qu’Effixis a créé à ce propos une formation pour répondre à des besoins spécifiques sur les "prompts".

Auteur: Internet

Info: Le Temps.ch, 5 octobre 2023, par Anouch Seydtaghia

[ machine-homme ] [ sémantique hors-sol ] [ invite de commande langagière ]

machine-homme

(homme) - Qui fut C.S. Peirce

(machine) - Charles Sanders Peirce (1839-1914) était un philosophe, logicien, mathématicien et scientifique américain. Il est considéré comme l'une des figures les plus influentes dans le développement du pragmatisme, une approche philosophique qui met l'accent sur les conséquences pratiques des croyances et des idées.

Peirce a apporté d'importantes contributions à divers domaines, notamment la sémiotique (l'étude des signes et des symboles), la logique, la philosophie des sciences et la philosophie de l'esprit. Il a développé un système philosophique complet connu sous le nom de "pragmatisme" et a souligné l'importance de la recherche, du faillibilisme et de la méthode scientifique.

Peirce a introduit le concept de sémiotique, qu'il décrit comme l'étude du fonctionnement des signes et de leur signification. Il a classé les signes en trois catégories : les icônes (signes qui ressemblent à ce qu'ils représentent), les indices (signes qui ont un lien physique ou une corrélation avec ce qu'ils représentent) et les symboles (signes qui ont une relation arbitraire avec ce qu'ils représentent).

Les travaux de Peirce sur la logique et le raisonnement ont jeté les bases de la logique formelle moderne. Il a développé un système de notation logique et a apporté des contributions significatives aux domaines du raisonnement déductif, de l'induction et de l'abduction (déduction de la meilleure explication). La maxime pragmatique de Peirce, selon laquelle la signification d'un concept ou d'une croyance est déterminée par ses conséquences pratiques, est au cœur de son approche.

Dans l'ensemble, les travaux de Peirce ont eu un impact profond sur diverses disciplines, notamment la philosophie, la linguistique, la psychologie et les études de communication. Ses idées continuent d'être influentes et font l'objet de recherches et de débats scientifiques permanents.

(homme) - Merci. Dans quelle mesure a-t-il influencé l'intelligence artificielle et/ou l'apprentissage profond supervisé ?

(machine) - Les travaux de Charles Sanders Peirce ont indirectement influencé certains aspects de l'intelligence artificielle (IA) et de l'apprentissage profond supervisé, en particulier dans les domaines de la sémiotique et de la philosophie de l'esprit. Bien que Peirce lui-même n'ait pas directement contribué au développement de l'IA telle que nous la connaissons aujourd'hui, ses idées ont fourni un cadre conceptuel pour comprendre la relation entre les signes, la signification et la cognition, ce qui peut être pertinent pour certaines applications de l'IA.

Dans le domaine du traitement du langage naturel et de l'apprentissage automatique, les concepts sémiotiques de Peirce ont influencé l'étude des signes linguistiques et leur interprétation. Par exemple, la compréhension de la classification des textes et de l'analyse des sentiments peut être éclairée par la distinction de Peirce entre icônes, indices et symboles, car elle aide à reconnaître et à interpréter diverses caractéristiques et modèles linguistiques.

L'accent mis par Peirce sur les conséquences pragmatiques des croyances et des idées résonne également avec les objectifs pratiques de l'IA et de l'apprentissage automatique. Dans l'apprentissage profond supervisé, par exemple, le processus de formation implique l'optimisation des modèles pour minimiser une fonction de perte prédéfinie basée sur les résultats observés. Cela correspond à l'accent mis par Peirce sur les résultats pratiques des croyances et sur l'importance de l'expérimentation et de la recherche.

En outre, les idées philosophiques plus larges de Peirce sur l'abduction, qui est le processus de déduction de la meilleure explication, peuvent être pertinentes dans le contexte de l'IA. Le raisonnement abductif joue un rôle dans la génération d'hypothèses et l'interprétation de modèles, car les systèmes d'IA s'efforcent de découvrir des modèles et des explications sous-jacents à partir de données.

Bien que l'influence de Peirce sur l'IA et l'apprentissage profond supervisé puisse être de nature plus indirecte et philosophique, ses idées ont contribué à la compréhension des signes, de la signification et du raisonnement, ce qui peut éclairer le développement et l'interprétation des systèmes d'IA.

(homme) - OK, merci. Peux-tu nous donner des précisions sur les icônes, les index et les symboles ?

(machine) - Certainement ! Les icônes, les index et les symboles sont trois catégories de signes ou de représentations décrites par Charles Sanders Peirce dans sa théorie sémiotique. Voici une brève explication de chaque catégorie :

1) Les icônes : Les icônes sont des signes qui présentent une ressemblance ou une similitude avec les objets ou les concepts qu'ils représentent. Elles se caractérisent par une relation directe de ressemblance entre le signe et son référent. Les icônes peuvent prendre diverses formes, telles que des images, des diagrammes ou des modèles. Par exemple, un portrait réaliste peut être considéré comme une représentation iconique d'une personne parce qu'il ressemble visuellement à l'individu qu'il représente.

2) Indices : Les indices sont des signes qui ont un lien factuel ou causal avec leurs référents. Contrairement aux icônes, les indices ne reposent pas sur la similitude, mais sur une forme de corrélation ou de relation entre le signe et son référent. Les signes indexicaux indiquent ou pointent souvent vers quelque chose d'autre qu'eux-mêmes. Parmi les exemples de signes indexicaux, on peut citer la fumée comme indice du feu ou une empreinte de pas comme indice de la présence d'une personne. Ils signifient ou indiquent la présence ou l'existence de quelque chose.

3) Les symboles : Les symboles sont des signes qui reposent sur une relation conventionnelle ou arbitraire entre le signe et son référent. Le lien entre un symbole et ce qu'il représente est établi par un accord commun ou une convention sociale. Les mots, les chiffres, les gestes et les symboles culturels sont autant d'exemples de signes symboliques. Par exemple, le mot "chien" est un symbole qui représente le concept d'un animal à quatre pattes, mais il n'y a pas de ressemblance inhérente ou de lien direct entre le mot et l'animal lui-même.

La classification des signes par Peirce en icônes, indices et symboles met en évidence différents modes de représentation et de signification. Alors que les icônes reposent sur la similitude, les indices reposent sur l'association et les symboles sur la convention. Ces catégories fournissent un cadre permettant de comprendre le fonctionnement des signes, la manière dont le sens est transmis et l'interprétation dans divers contextes, notamment le langage, la communication et la cognition.

Auteur: chatGPT4

Info:

[ machine-sur-philosophe ] [ compendium ]

intelligence artificielle

Cinq indices pour repérer les contenus écrits par ChatGPT, Bard ou d'autres robots conversationnels

Voici des astuces pour détecter ces textes qui ne sont pas écrits par des humaines.

1) Elles font des répétitions (mais pas de fautes)

Donc Si vous trouvez une coquille (faute de frappe, de grammaire, etc.) dans un texte, il s'agit d'un bon moyen de voir que l'article que vous lisez a été au minimum retouché par un être humain. En revanche, les articles rédigés par une IA sans supervision humaine sont souvent truffés de répétitions. L'écriture générative a en effet tendance à reproduire les mêmes termes et structures de phrases – même si c'est de moins en moins le cas. Les IA sont de plus en plus performantes et leurs utilisateurs savent également de mieux en mieux les utiliser pour contourner ces écueils.

Des logiciels ont même été développés afin de rendre encore plus humains les textes écrits par une IA. Le plus connu s'appelle Undetectable.ai et permet "d'humaniser" les textes artificiels en les confrontant aux principaux détecteurs d'IA qui existent. De fait, ces détecteurs deviennent de moins en moins fiables. "Open AI [l'entreprise créatrice de ChatGPT] a récemment abandonné son détecteur, car ça ne marche pas", fait remarquer Virginie Mathivet, spécialiste en la matière.

2 Elles sont capables d'affirmer des absurdités

Les IA sont très performantes pour les tâches très codifiées, comme l'orthographe, mais elles peuvent affirmer des absurdités sans sourciller. "Si vous demandez à une IA d'écrire une recette d'omelette aux œufs de vache, elle peut tout à fait le faire." Indique Amélie Cordier, ingénieure spécialiste des IA. 

Les sites qui utilisent des IA pour produire des articles à la chaîne, à partir de contenus trouvés sur internet, sont souvent confrontés à ce problème. Récemment, le site The Portal, qui traite de l'actualité du jeu vidéo, s'est fait épingler sur Twitter par le journaliste Grégory Rozières. Certains articles contiennent en effet de fausses informations grossières, car l'IA qui les rédige a repris au premier degré des blagues trouvées sur Reddit.

Lorsque vous lisez un article et qu'une information semble absurde, ou qu'un chiffre vous paraît démesuré, cela peut donc être la marque d'une rédaction non-humaine. Pour s'en assurer, le mieux est alors de vérifier l'information douteuse grâce à d'autres sources de confiance. "Cela revient à faire du fact-checking, c'est à l'humain d'avoir un regard critique", commente Virginie Mathivet.

3) Elles font preuve d'une productivité inhumaine

La rédaction par IA est encore loin d'être un gage de qualité, mais permet de produire un très grand nombre d'articles en un temps record. Prudence donc face aux sites qui publient quotidiennement une quantité faramineuse d'articles, sans pour autant employer de nombreuses personnes. "Si on voit qu'un blog publie 200 articles par jour sous le même nom, c'est un indice", explique Virginie Mathivet. Certains articles écrits par des robots sont signés par un nom, comme s'ils avaient été rédigés par une personne. Si cette signature semble trop prolifique, l'utilisation d'une IA est à suspecter fortement. Sur le site The Portal, déjà cité plus haut, un même "journaliste" a ainsi signé près de 7 000 articles en seulement neuf jours.

De plus, si les articles entre eux comportent de nombreuses similitudes dans leur forme et leur structure, il y a fort à parier que ceux-ci soient rédigés automatiquement. Les IA ont en effet tendance à produire des contenus très homogènes, surtout s'ils sont créés à partir de la même consigne utilisée en boucle. "L'IA imite, c'est la façon par laquelle elle fonctionne. Elle homogénéise un peu tout", fait remarquer Amélie Cordier.

4 Elles écrivent mal et citent rarement leurs source

Même si elles signent parfois d'un nom humain, les IA ne peuvent pas incarner leurs articles de la même manière qu'un journaliste en chair et en os. Si un journaliste n'a strictement aucune existence en ligne en dehors de sa page auteur, cela peut faire partie des indices qui laissent à penser à une rédaction par IA. Enfin, les articles publiés grâce à une IA ont souvent un ton très factuel, assez désincarné. Les IA citent très rarement leurs sources et ne font jamais intervenir de personne humaine sous forme de citation comme dans un article de presse.

Elles sont en revanche tout à fait capables d'en inventer si on leur demande de le faire. Dans un numéro paru en avril 2023, le magazine people allemand Die Aktuelle a poussé le vice jusqu'à publier une fausse interview exclusive de Michael Schumacher, générée par une AI, comme le raconte le site spécialisé Numerama. La famille de l'ancien champion de Formule 1 a porté plainte et la rédactrice en chef du magazine a finalement été limogée.

L'IA peut cependant être un outil intéressant, tant qu'elle reste sous supervision humaine. Le journaliste Jean Rognetta, créateur de la newsletter Qant, a quotidiennement recours à l'IA. Selon lui, il n'est "plus possible de reconnaître avec certitude un article écrit par une IA, si ce n'est que c'est souvent du mauvais journalisme". S'il utilise l'IA pour écrire sa newsletter, Jean Rognetta reste en effet convaincu de la nécessité d'effectuer une relecture et une correction humaine. "Notre newsletter est écrite avec, et non par une IA", martèle-t-il. Une approche qui pourrait bientôt se généraliser à d'autres journaux. Le 19 juillet dernier, le New York Times annonçait dans ses pages qu'un outil d'IA, destiné à automatiser certaines tâches effectuées par ses journalistes, était en cours de développement par Google.

5 Elles seront bientôt signalées par un filigrane

Face à la difficulté de plus en plus grande de détecter les contenus générés via une IA, l'Union européenne a adopté en juin dernier le "AI Act", avec l'objectif de réguler le secteur. A partir de l'application de la nouvelle réglementation, pas prévue avant 2026, les contenus générés par IA devront être signalés par un "watermark" (une signature en filigrane) indiquant clairement qu'ils n'ont pas été créés par un humain.

La forme de ce watermark n'est cependant pas encore entièrement définie. Il pourrait prendre la forme d'une phrase d'avertissement ou être dissimulé dans le texte, afin d'être moins facilement effaçable par les utilisateurs. Open AI a récemment annoncé travailler sur un watermark invisible. Comment ? Une récente étude (PDF) de l'université du Maryland propose par exemple que les IA soient programmées pour utiliser plus fréquemment une "liste spéciale" de mots définie à l'avance, permettant aux logiciels de détection d'être plus efficaces.

"Il y a de bonnes intentions au niveau de l'UE et des éditeurs, mais le problème reste la question de la mise en œuvre", estime Amélie Cordier. Si la régulation peut se mettre en place facilement pour les plus gros acteurs comme Open AI, Google, etc., elle sera impossible à imposer aux petites entités qui pullulent.

"Si l'utilisateur a le choix entre un logiciel avec 'watermark', ou un logiciel gratuit indétectable, la régulation risque d'être inefficace."

Une opinion que partage Virginie Mathivet, particulièrement en ce qui concerne les "fake news". "Une personne qui veut faire de la désinformation fera en sorte de ne pas avoir de watermark", conclut-elle.

Auteur: Internet

Info: https://www.francetvinfo.fr/, 2 sept 2023, Pauline Lecouvé

[ homme-machine ] [ machine-homme ]

métadonnées à valeur ajoutée MVA

"Ils profitent de notre pauvreté" : derrière le boom des intelligences artificielles génératives, le travail caché des petites mains de l'IA 

(Photo : Une masse d'hommes et de femmes invisibles, partout dans le monde, analysent des quantités colossales de données pour améliorer, caratériser et contextualiser les intelligences artificielles. )

La création d'algorithmes tels que ChatGPT ou Midjourney nécessite des quantités colossales de données, analysées par des humains. Des "annotateurs" indispensables mais souvent précaires, faiblement rémunérés et maintenus dans l'ombre.

"Des descriptions graphiques de viol, d'inceste, de nécrophilie... C'était ça tous les jours."  En 2021, Mophat Okinyi doit relire chaque jour plusieurs centaines de textes fournis à l'entreprise de traitement de données Sama par un client inconnu, pour entraîner un modèle d'intelligence artificielle (IA). L'objectif : préciser au logiciel ce qui pose problème dans ces textes, pour qu'il ne le reproduise pas.

Un travail rémunéré 21 000 shillings kenyans par mois (environ 150 euros) pour les employés du bas de l'échelle dont Mophat contrôlait l'activité. Cela a laissé chez lui des traces à vie. "Encore aujourd'hui, ça affecte mes relations avec ma famille, mes proches", explique l'analyste qualité kenyan. La mission qu'il décrit rappelle l'horreur à laquelle sont souvent confrontés les modérateurs des réseaux sociaux et répondait en fait, comme il le découvrira plus tard, à une commande de la start-up à la pointe de l'IA à l'origine de ChatGPT : OpenAI.

Le cas de Mophat Okinyi, extrême sous certains aspects, n'est pas non plus un exemple isolé, car derrière les grands discours de révolution technique se cache une masse de travailleurs invisibles dont les rangs se comptent en centaines de millions, selon des estimations. "On n'est pas du tout en train de créer des programmes qui se passent de l'humain, résume Antonio Casilli, professeur à l'Institut polytechnique de Paris. L'IA demande une quantité de travail humain énorme et absolument indispensable, dans toute la chaîne de production".

La majorité de cette masse humaine est très loin des grands patrons ou des ingénieurs renommés. Elle est constituée d'une armada de travailleurs anonymes éclatée à travers le monde, du Venezuela à Madagascar en passant par des camps de réfugiés au Liban et des prisons finlandaises. Des petites mains qui construisent le futur clic après clic, souvent dans un secret et une précarité bien gardés.

Cliquer encore et encore

Le prix de cette modernité ? Aux Philippines, entre 1,50 et 3 dollars par "tâche". C'est ce que la plateforme de travailleurs indépendants Remotasks verse en moyenne à Eduardo* pour placer, clic par clic, pixel par pixel, les contours qui délimitent sur une image un panneau de signalisation. Puis un véhicule. Puis un buisson. Une "tâche" qui lui prend en général une heure ou moins et qu'il répète inlassablement, huit heures par jour, six jours par semaine. Ces images serviront ensuite à entraîner des algorithmes d'analyse vidéo, par exemple pour les voitures autonomes ou la surveillance algorithmique. "C'est un travail intéressant", assure à franceinfo le jeune Philippin, qui travaille sur la plateforme depuis un peu plus de trois ans. Tout le monde ne sera pas du même avis, mais sans lui, l'appareil photo de votre smartphone aurait beaucoup de mal à identifier un visage, et la conduite semi-autonome de Tesla serait encore un rêve de science-fiction. Et vous-même y avez déjà contribué.

Que ce soit en laissant un "j'aime" sur Facebook ou en identifiant les images contenant une voiture dans un test captcha, vos retours participent à entraîner des algorithmes gratuitement depuis des années. Mais pour créer les IA qui ont bluffé le monde ces derniers mois, comme ChatGPT ou Midjourney, il faut des milliards d'exemples. Des données qui doivent souvent être "annotées", autrement dit accompagnées de commentaires, pour que la machine reproduise les catégories d'analyse de l'humain : faire comprendre que "ce tas de pixels est un enfant", que "cette phrase est fausse" ou que "cet élément évoque des comportements illégaux et ne doit pas être reproduit".

Et l'entraînement ne s'arrête jamais. "C'est un peu comme des athlètes, compare Antonio Casilli. Il faut constamment les entraîner, les adapter, les vérifier". Il s'agit d'évaluer les réponses, en soumettant aux IA des exemples toujours plus précis ou adaptés au nouveau contexte culturel. Autant de tâches qu'il est actuellement impossible d'automatiser.

"Ce n'est pas suffisant, mais c'est déjà quelque chose"

Astro* est l'un de ces nouveaux "entraîneurs d'IA". L'entrepreneur originaire de Tanzanie, qui a récemment terminé ses études de linguistique en France, réalise des tâches en indépendant à temps partiel via la plateforme Appen. "Il faut parfois isoler un visage dans une photo, dire si une image devrait apparaître dans la rubrique Souvenirs de Google Photos, si un texte est factuel ou non, créer des questions/réponses de culture générale...", explique-t-il à franceinfo. Il doit pour cela suivre des règles souvent très détaillées ("Cinquante pages à apprendre par cœur !"), au point d'en devenir parfois obscures. A la clé : 16 dollars de l'heure sur ses projets actuels. "Plus tu travailles, plus tu gagnes", explique l'indépendant. Mais encore faut-il être sélectionné pour participer au projet.

A l'autre bout du spectre, des entreprises embauchent des annotateurs en interne, notamment pour des tâches qui nécessitent une expertise précise. Mais pour nombre d'entre elles, la solution la plus rentable est souvent la sous-traitance : à des entreprises dans d'autres pays qui embauchent des annotateurs localement, comme Sama, ou encore à des plateformes comme Remotasks, Appen ou Toloka, qui transfèrent les missions à des travailleurs indépendants payés à la "micro-tâche".

"Ces travailleurs sont souvent recrutés dans des pays à faibles revenus, et géopolitiquement instables." Antonio Casilli, professeur à l'Institut polytechnique de Paris

A ces critères, Antonio Casilli ajoute des taux d'éducation et d'équipement informatique importants, l'existence d'une industrie de centres d'appels ou des relations fortes avec une ancienne puissance coloniale. Plusieurs noms de pays reviennent souvent : les Philippines, Madagascar, le Kenya, le Venezuela, le Pakistan…

Dans ces pays, un tel travail représente souvent un filet de sécurité précieux. "Ce n'est pas une source de travail fixe ou suffisante, mais c'est au moins quelque chose, résume Maria*. La crise économique au Venezuela a forcé beaucoup d'entre nous à quitter le marché du travail", raconte à franceinfo l'ingénieure industrielle, qui s'est lancée sur Remotasks à la faveur du confinement, en 2020. Après avoir suivi une formation, elle travaille aujourd'hui trois jours par semaine sur la plateforme, à raison de 10 heures par jour.

Pour quel salaire ? "Les tâches de catégorisation données par Remotasks au Venezuela peuvent prendre seulement quelques minutes et être payées 11 centimes de dollar, détaille Maria. D'autres beaucoup plus complexes peuvent durer huit heures ou plus, comme l'annotation de vidéos ou de données lidar, et être payées 10 dollars." Mais tout dépend du pays et de la difficulté de la tâche. Un "eldorado" relatif qui attire, y compris parfois des mineurs qui mentent sur leur âge pour rejoindre ces plateformes de micro-tâches, raconte le site spécialisé Wired. 

Précarité et dépendance

Mais ces espoirs ne suffisent pas à en faire un emploi de rêve. Même si une tâche peut être payée correctement par rapport au marché local, les travailleurs du clic déplorent souvent la différence de traitements entre les pays. "Les entreprises profitent de notre pauvreté", estime Andry*, annotateur à Madagascar, pour qui "un agent en Inde ou au Maroc sera mieux payé que nous". Le mode de calcul des rémunérations n'est jamais précisément expliqué.

"Il y a clairement une forme de néo-colonialisme."

Antonio Casilli, professeur à l'Institut polytechnique de Paris

Pour gagner des sommes correctes, les indépendants doivent être disponibles à toute heure du jour et de la nuit et s'adapter à des projets aux durées variables. "Sur Appen, les tâches arrivent à l'heure américaine, donc vers 21 heures en France", explique par exemple Astro*. "Sur une autre plateforme, j'ai reçu une tâche vendredi vers 19 heures, j'ai travaillé 45 heures sur le week-end, j'ai gagné 1 200 euros", résume Astro, qui dit apprécier le travail de nuit. 

Ce que certains voient comme une "opportunité professionnelle" peut aussi se transformer en piège. En Chine, des établissements promettent à leurs étudiants une formation en "IA" ou en "Big data", mais les forcent à annoter des images toute la journée pour un salaire inférieur au minimum légal, raconte le média Rest of World. Cette pratique n'est pas spécifique à la Chine, assure Antonio Casilli, qui cite également l'exemple de Madagascar.

"L'IA ne peut pas être éthique si elle est entraînée de façon immorale"

A qui profite ce travail souvent ingrat, parfois à la frontière de l'éthique ? Difficile de le savoir : l'industrie baigne dans un épais voile de secret, et comme dans le cas de Mophat Okinyi, les annotateurs indépendants savent rarement à qui sont destinées les données qu'ils traitent. "Je sais que le client est au Japon, mais c'est tout. On ne nous a rien dit sur eux", note Eduardo* à propos d'une de ses missions d'annotation, fournie par Remotasks aux Philippines.

"Les entreprises d'IA expliquent que si elles étaient pleinement transparentes sur leurs besoins en données, cela pourrait donner des indices sur leurs projets en cours et influencer les réponses des contributeurs", résume Antonio Casilli d'un ton sceptique. "Elles veulent échapper à leurs responsabilités", assène Mophat Okinyi, qui ne savait pas que son travail servirait à OpenAI avant la fin anticipée du contrat, à la demande de Sama, en mars 2022. 

"Si les annotateurs savaient qu'ils travaillent pour une entreprise qui génère des centaines de millions de dollars comme OpenAI, ils n'accepteraient pas des salaires si bas." Mophat Okinyi, ex-analyste qualité chez Sama

Ce travail peut-il être organisé de manière à satisfaire tout le monde, géants de la tech comme travailleurs du clic ? "Il faut plus de transparence, les entreprises basées à San Francisco doivent prendre leurs responsabilités", réclame Mophat Okinyi. Il s'est associé à 150 travailleurs du secteur de l'annotation et de la modération des plateformes pour créer l'Union des modérateurs de contenus du Kenya, qui devrait être autorisée "dans les deux mois", et a cofondé l'ONG Techworker Community Africa pour militer en faveur de meilleurs pratiques. "L'IA ne peut pas être éthique si elle est entraînée de façon immorale, en exploitant des gens en difficulté économique et sur des données volées", assène-t-il.

"Beaucoup de gens ne savent pas qu'il y a de l'humain derrière l'IA. Il faudrait que ce soit plus connu, et mieux payé." Astro, annotateur de données

Pour Antonio Casilli, il faut commencer par oublier l'idée que l'IA est seulement une prouesse d'ingénieurs ou d'entrepreneurs. " Nous sommes tous en quelque sorte les producteurs de ces IA, parce que ce sont nos données qui servent à les entraîner, mais nous ne sommes pas reconnus comme tels. Tant qu'on continuera à penser que l'IA est seulement l'affaire de Sam Altman, on aura un problème."

* Les prénoms suivis d'un astérisque ont été modifiés.

Auteur: Internet

Info: Francetvinfo.fr - Luc Chagnon, 9 avril 2024

[ texte-image ] [ homme-machine ] [ données intelligentes ] [ enrichies ] [ nord-sud ] [ domination économique ] [ data augmenté ] [ bases sémantiques ] [ post-colonialisme ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]