homme-machine

Un philosophe sur la mort de la romance, les robots ChatGPT vulgaires et le sexe virtuel

Je m'inquiète des développements du web et de l'intelligence artificielle. Quelques exemples au sujet desquels il faut se poser des questions..

L'explosion des nouveaux médias (Facebook, Google, Instagram, TikTok, etc.) dans l'Occident "démocratique" a radicalement modifié le rapport entre espace public et espace privé : un nouveau tiers espace a émergé qui efface le clivage entre public et privé.

Ce nouvel espace est public, accessible dans le monde entier, mais il fonctionne en même temps pour les échanges de messages privés. C'est tout sauf incontrôlé : il existe des algorithmes qui non seulement le censurent et empêchent certains messages de s'y infiltrer, mais manipulent également la façon dont les messages attirent notre attention.

Les plateformes technologiques font face à de nouveaux défis

Il s'agit ici de dépasser l'alternative "Chine ou Elon Musk" : ou le contrôle opaque de l'État, ou la "liberté" de faire ce qu'on veut, tout ceci pareillement manipulé par des algorithmes opaques. Ce que la Chine et Musk ont ​​en commun, c'est un contrôle algorithmique opaque.

Une équipe d'entrepreneurs israéliens dont le nom de code est "Team Jorge" "affirme avoir truqué plus de 30 élections dans le monde par le piratage, le sabotage et la désinformation automatisée sur les réseaux sociaux. La "Team Jorge" est dirigée par Tal Hanan, 50 ans, ancien commandant des opérations spéciales israéliennes. Les méthodes et techniques décrites par "Team Jorge" posent de nouveaux défis aux grandes plateformes technologiques qui luttent depuis des années pour empêcher les acteurs néfastes de répandre des mensonges ou de violer la sécurité de leurs plateformes. L'existence d'un marché privé mondial pour la désinformation ciblée sur les élections sonnera également l'alarme dans les démocraties du monde entier.

Tout cela est plus ou moins de notoriété publique maintenant, du moins depuis le scandale de Cambridge Analytica (dont l'implication dans les élections américaines de 2016 a joué un rôle déterminant dans la victoire de Trump). Pour aggraver les choses, la gamme de nouveaux algorithmes devrait également inclure l'explosion de programmes qui rendent l'échange de visages et d'autres techniques de deepfake facilement accessibles.

Bien sûr, les plus populaires sont les algorithmes qui permutent les visages des célébrités sur les corps des actrices porno dans les films pour adultes : Les outils nécessaires pour créer ces vidéos porno "maison" mettant en vedette les actrices et pop stars préférées d'Hollywood sont facilement disponibles et simples à utiliser. Cela signifie que même ceux qui n'ont aucune compétence en informatique et peu de connaissances techniques peuvent créer ces films.

Les films porno Deepfake sont faciles à créer. La s(t)imulation sexuelle parfaite.

Les visages des actrices hardcore peuvent être échangés non seulement par des stars de la pop, mais aussi par leurs proches - le processus est impressionnant de par sa simplicité : "Vous pouvez transformer n'importe qui en star du porno en utilisant la technologie deepfake pour remplacer le visage de la personne échangé contre une vidéo adulte. Il suffit de l'image et d'appuyer sur un bouton". Malheureusement, la plupart du temps, les deepfakes sont utilisés pour créer de la pornographie mettant en scène des femmes, pour qui cela a un effet dévastateur. "Entre 90 et 95 % de toutes les vidéos deepfake en ligne sont de la pornographie non consensuelle, et environ 90 % d'entre elles sont des femmes."

Et si vous voulez que les voix correspondent également aux visages échangés, utilisez la voix Voice AI pour créer "des recréations hyperréalistes qui ressemblent à la vraie personne". Bien sûr, le raccourci incestueux ultime ici serait d'échanger mon propre visage et celui de ma femme ou de mon partenaire dans une vidéo pour adultes et d'ajouter nos clones de voix aux enregistrements afin que nous puissions simplement nous asseoir confortablement, boire un verre et regarder notre sexe passionné.

Le chatbot génère des textes incroyablement clairs et nuancés

Mais pourquoi devrions-nous nous limiter au sexe ? Que diriez-vous d'embarrasser nos ennemis avec des vidéos d'échange de visage d'eux faisant quelque chose de grossier ou de criminel ? Et pour ne rien arranger, on peut ajouter à tout ceci des chatbots (programmes informatiques capables d'avoir une conversation avec un utilisateur en langage naturel, de comprendre ses intentions et de répondre en fonction de règles et de données prédéterminées). Récemment, leurs performances ont explosé.

Quand Antony Aumann, professeur de philosophie à la Northern Michigan University, a évalué des essais pour son cours sur les religions du monde le mois dernier, il a lu un essai qui, selon lui, était de loin "le meilleur de la classe". Il a examiné la moralité de l'interdiction de la burqa avec des paragraphes clairs, des exemples appropriés et des arguments solides. Aumann a demandé à son élève s'il avait écrit lui-même l'essai; l'étudiant a admis utiliser ChatGPT, un chatbot qui fournit des informations, explique des concepts et génère des idées dans des phrases simples - de fait dans ce cas a écrit l'essai.

Toutes choses qui font partie de l'arrivée en temps réel d' une nouvelle vague de technologie connue sous le nom d'intelligence artificielle générative. ChatGPT, sorti en novembre 2022 par la société OpenAI, est à la pointe de ce développement. Générant un texte incroyablement clair et nuancé en réponse à de courtes invites, ce chatbot est utilisé par les gens pour écrire des lettres d'amour, de la poésie, de la fanfiction - et des travaux scolaires.

L'intelligence artificielle peut se montrer effrayante

Pas étonnant que les universités et les lycées réagissent dans la panique et n'autorisent dans certains cas que les examens oraux. Entre autres questions, il en est une qui mérite attention : comment un chatbot doit-il réagir lorsque l'interlocuteur humain tient des propos sexistes et racistes agressifs, présente ses fantasmes sexuels dérangeants et utilise régulièrement un langage grossier ?

Microsoft a reconnu que certaines sessions de chat prolongées utilisant son nouvel outil de chat Bing peuvent fournir des réponses qui ne "correspondent pas à notre tonalité de message prévu". Microsoft a également déclaré que dans certains cas, la fonctionnalité de chat tente de "répondre ou de refléter le ton sur lequel il lui est demandé de répondre".

Bref, le problème se pose lorsque le diaogue humain avec un chatbot utilise un langage grossier ou tient des propos racistes et sexistes flagrants, et que le chatbot programmé pour être au même niveau que les questions qui lui sont adressées répond, sur le même ton. La réponse évidente est une forme de réglementation qui fixe des limites claires, c'est-à-dire la censure. Mais qui déterminera jusqu'où cette censure doit aller ? Faut-il également interdire les positions politiques que certains trouvent "offensantes" ? Est-ce que la solidarité avec les Palestiniens en Cisjordanie ou les affirmations selon lesquelles Israël est un État d'apartheid (comme Jimmy Carter l'a dit dans le titre de son livre) seront bloquées comme "antisémites" ?

La romance est presque morte    

En raison de ce clivage minimal, constitutif d'un sujet, le sujet est pour Lacan divisé ou "verrouillé". Dans la scène imaginée, je présente (ou plutôt mon double en tant que personne) à un professeur, via le zoom, un travail de séminaire rédigé par un chatbot, mais le professeur aussi n'est présent qu'en tant que personne, sa voix est générée artificiellement, et mon séminaire est noté par un algorithme. Il y a une dizaine d'années, The Guardian me demanda si le romantisme était mort aujourd'hui - voici ma réponse.

"Le romantisme n'est peut-être pas encore tout à fait mort, mais sa mort imminente se manifeste par des gadgets-objets qui promettent de fournir un plaisir excessif, mais qui ne font en fait que reproduire le manque lui-même. La dernière mode est le Stamina Training Unit, l'équivalent du vibromasseur : un appareil de masturbation qui ressemble à une lampe à piles ( afin que nous ne soyons pas gênés de le transporter avec nous). On insère son pénis en érection dans l'ouverture située à l'extrémité, on appuie sur le bouton et l'appareil vibre jusqu'à la satisfaction... Comment faire face à ce beau nouveau monde qui sape les fondements de notre vie intime ? La solution ultime serait bien sûr de mettre un vibromasseur dans cet appareil pour l'entraînement à l'endurance, de les allumer tous les deux et de laisser tout le plaisir à ce couple idéal, tandis que nous, les deux vrais partenaires humains, serions assis à une table à proximité, en train de boire du thé et de savourer tranquillement le fait d'avoir accompli notre devoir de jouissance sans trop d'efforts".

Ce qui reste de nous n'est qu'un cogito vide

Nous pouvons maintenant imaginer la même externalisation d'autres activités telles que les séminaires universitaires et les examens. Dans une scène idéale, tout le processus de rédaction de mon séminaire et des examens par le professeur se fait par interaction numérique, de sorte qu'à la fin, sans rien faire, nous ne faisons que valider les résultats.

Pendant ce temps, je fais l'amour avec ma maîtresse ... mais encore une fois un sexe délocalisé grâce à son vibromasseur qui pénètre dans mon appareil d'entraînement à l'endurance, alors que nous sommes tous les deux simplement assis à une table à proximité et, afin de nous amuser encore plus, nous voyons sur un écran de télévision un simulacre nous montrant tous les deux en train de faire l'amour ... et bien sûr, tout cela est contrôlé et réglé par l'équipe Jorge.

Ce qui reste de nous deux n'est qu'un cogito (du latin "je pense") vide, dominé par plusieurs versions de ce que Descartes appelait le "génie malin". Et c'est peut-être là notre dilemme actuel : nous sommes incapables de franchir l'étape suivante décrite par Descartes et de nous fier à une forme véridique et stable d'un grand Autre divin, nous sommes les "enfants d'un dieu moindre" (pour reprendre le titre d'une pièce de théâtre et d'un film), pris à jamais dans la multiplicité contradictoire d'esprits mauvais et trompeurs.

Auteur: Zizek Slavoj

Info: Résumé par le Berliner Zeitung ici : https://www.berliner-zeitung.de/kultur-vergnuegen/slavoj-zizek-ueber-den-tod-der-romantik-vulgaere-chatgpt-bots-und-unechten-sex-li.321649

[ dénaturation ]

multi-milliardaires

DE LA SURVIE DES PLUS RICHES
Quand des patrons de fonds d'investissement new-yorkais font appel à un spécialiste de la société de l'information, afin d'améliorer leurs chances de survie après l'Évènement qui détruira le monde tel que nous le connaissons.

AVERTISSEMENT, CECI N'EST PAS UNE FICTION
L’année dernière, j’ai été invité à donner une conférence dans un complexe hôtelier d’hyper-luxe face à ce que je pensais être un groupe d’une centaine de banquiers spécialisés dans l’investissement. On ne m’avait jamais proposé une somme aussi importante pour une intervention - presque la moitié de mon salaire annuel de professeur - et délivrer mes visions sur "l’avenir de la technologie".

Je n’ai jamais aimé parler du futur. Ce genre de séance d’échange se termine fatalement par un interrogatoire, à l’occasion duquel on me demande de me prononcer sur les dernières "tendances" technologiques, comme s’il s’agissait d’indicateurs boursiers pour les investisseurs : blockchain, impression 3D, CRISPR. L’audience s’y préoccupe généralement moins des technologies en elles-mêmes et de leurs implications, que de savoir si elles méritent ou non que l’on parie sur elles, en mode binaire. Mais l’argent ayant le dernier mot, j’ai accepté le boulot.

À mon arrivée, on m’a accompagné dans ce que j’ai cru n’être qu’une vulgaire salle technique. Mais alors que je m’attendais à ce que l’on me branche un microphone ou à ce que l’on m’amène sur scène, on m’a simplement invité à m’asseoir à une grande table de réunion, pendant que mon public faisait son entrée : cinq gars ultra-riches - oui, uniquement des hommes - tous issus des plus hautes sphères de la finance internationale. Dès nos premiers échanges, j’ai réalisé qu’ils n’étaient pas là pour le topo que je leur avais préparé sur le futur de la technologie. Ils étaient venus avec leurs propres questions.

Ça a d’abord commencé de manière anodine. Ethereum ou Bitcoin ? L’informatique quantique est-elle une réalité ? Lentement mais sûrement, ils m’ont amené vers le véritable sujet de leurs préoccupations.

Quelle sera la région du monde la plus épargnée par la prochaine crise climatique : la nouvelle Zélande ou l’Alaska ? Est-ce que Google construit réellement un nouveau foyer pour le cerveau de Ray Kurzweil ? Est-ce que sa conscience survivra à cette transition ou bien mourra-t-elle pour renaître ensuite ? Enfin, le PDG d’une société de courtage s’est inquiété, après avoir mentionné le bunker sous-terrain dont il achevait la construction : "Comment puis-je conserver le contrôle de mes forces de sécurité, après l’Événement ?"

L’Évènement. Un euphémisme qu’ils employaient pour évoquer l’effondrement environnemental, les troubles sociaux, l’explosion nucléaire, le nouveau virus impossible à endiguer ou encore l’attaque informatique d’un Mr Robot qui ferait à lui seul planter tout le système.

Cette question allait nous occuper durant toute l’heure restante. Ils avaient conscience que des gardes armés seraient nécessaires pour protéger leurs murs des foules en colère. Mais comment payer ces gardes, le jour où l’argent n’aurait plus de valeur ? Et comment les empêcher de se choisir un nouveau leader ? Ces milliardaires envisageaient d’enfermer leurs stocks de nourriture derrière des portes blindées aux serrures cryptées, dont eux seuls détiendraient les codes. D’équiper chaque garde d’un collier disciplinaire, comme garantie de leur survie. Ou encore, si la technologie le permettait à temps, de construire des robots qui serviraient à la fois de gardes et de force de travail.

C’est là que ça m’a frappé. Pour ces messieurs, notre discussion portait bien sur le futur de la technologie. Inspirés par le projet de colonisation de la planète Mars d’Elon Musk, les tentatives d’inversion du processus du vieillissement de Peter Thiel, ou encore les expériences de Sam Altman et Ray de Kurzweil qui ambitionnent de télécharger leurs esprits dans de super-ordinateurs, ils se préparaient à un avenir numérique qui avait moins à voir avec l’idée de construire un monde meilleur que de transcender la condition humaine et de se préserver de dangers aussi réels qu’immédiats, comme le changement climatique, la montée des océans, les migrations de masse, les pandémies planétaires, les paniques identitaires et l’épuisement des ressources. Pour eux, le futur de la technologie se résumait à une seule finalité : fuir.

Il n’y a rien de mal aux visions les plus follement optimistes sur la manière dont la technologie pourrait bénéficier à l’ensemble de la société humaine. Mais l’actuel engouement pour les utopies post-humaines est d’un tout autre ordre. Il s’agit moins d’une vision de la migration de l’ensemble de notre espèce vers une nouvelle condition humaine, que d’une quête pour transcender tout ce qui nous constitue : nos corps, notre interdépendance, la compassion, la vulnérabilité et la complexité. Comme l’indiquent maintenant depuis plusieurs années les philosophes de la technologie, le prisme transhumaniste réduit trop facilement la réalité à un conglomérat de données, en concluant que "les humains ne sont rien d’autre que des centres de traitement de l’information".

L’évolution humaine s’apparente alors à une sorte de jeu vidéo labyrinthique, dont les heureux gagnants balisent le chemin de la sortie pour leurs partenaires les plus privilégiés. S’agit-il de Musk, Bezos, Thiel… Zuckerberg ? Ces quelques milliardaires sont les gagnants présupposés d’une économie numérique régie par une loi de la jungle qui sévit dans le monde des affaires et de la spéculation dont ils sont eux-mêmes issus.

Bien sûr, il n’en n’a pas toujours été ainsi. Il y a eu une période courte, au début des années 1990, où l’avenir numérique apparaissait fertile, enthousiasmant, ouvert à la création. La technologie y devenait le terrain de jeu de la contre-culture, qui vit là l’opportunité de créer un futur plus inclusif, mieux réparti et pro-humain. Mais les intérêts commerciaux n’y ont vu pour leur part que de nouveaux potentiels pour leurs vieux réflexes. Et trop de technologues se sont laissés séduire par des IPO (introduction en bourse) chimériques. Les futurs numériques s’en retrouvèrent envisagés sous le même prisme que le cours de la bourse ou du coton, dans ce même jeu dangereux de paris et de prédictions. Ainsi, la moindre étude documentaire, le moindre article ou livre blanc publié sur ce thème n’étaient plus interprété que comme un nouvel indice boursier. Le futur s’est transformé en une sorte de scénario prédestiné, sur lequel on parie à grands renforts de capital-risque, mais qu’on laisse se produire de manière passive, plus que comme quelque chose que l’on crée au travers de nos choix présents et de nos espoirs pour l’espèce humaine.

Ce qui a libéré chacun d’entre nous des implications morales de son activité. Le développement technologique est devenu moins une affaire d’épanouissement collectif que de survie individuelle. Pire, comme j’ai pu l’apprendre à mes dépens, le simple fait de pointer cette dérive suffisait à vous désigner d’emblée comme un ennemi rétrograde du marché, un ringard technophobe.

Et plutôt que de questionner la dimension éthique de pratiques qui exploitent et appauvrissent les masses au profit d’une minorité, la majorité des universitaires, des journalistes et des écrivains de science fiction ont préféré se focaliser sur des implications plus abstraites et périphériques : "Est-il juste qu’un trader utilise des drogues nootropiques ? Doit-on greffer des implants aux enfants pour leur permettre de parler des langues étrangères? Les véhicules intelligents doivent-ils privilégier la sécurité des piétons ou celle de leurs usagers? Est-ce que les premières colonies martiennes se doivent d’adopter un modèle démocratique? Modifier son ADN, est-ce modifier son identité ? Est-ce que les robots doivent avoir des droits ?".

Sans nier le côté divertissant de ces questions sur un plan philosophique, force est d’admettre qu’elles ne pèsent pas lourd face aux vrais enjeux moraux posés par le développement technologique débridé, au nom du capitalisme pratiqué par les multinationales. Les plateformes numériques ont modifié un marché déjà fondé sur l’exploitation (Walmart) pour donner naissance à un successeur encore plus déshumanisant (Amazon). La plupart d’entre-nous sommes conscients de ces dérives, rendues visibles par la recrudescence des emplois automatisés, par l’explosion de l’économie à la tâche et la disparition du commerce local de détails.

Mais c’est encore vis-à-vis de l’environnement et des populations les plus pauvres que ce capitalisme numérique désinhibé produit ses effets les plus dévastateurs. La fabrication de certains de nos ordinateurs et de nos smartphones reste assujettie au travail forcé et à l’esclavage. Une dépendance si consubstantielle que Fairphone, l’entreprise qui ambitionnait de fabriquer et de commercialiser des téléphones éthiques, s’est vue obligée de reconnaître que c’était en réalité impossible. Son fondateur se réfère aujourd’hui tristement à ses produits comme étant "plus" éthiques.

Pendant ce temps, l’extraction de métaux et de terres rares, conjuguée au stockage de nos déchets technologiques, ravage des habitats humains transformés en véritables décharges toxiques, dans lesquels es enfants et des familles de paysans viennent glaner de maigres restes utilisables, dans l’espoir de les revendre plus tard aux fabricants.

Nous aurons beau nous réfugier dans une réalité alternative, en cachant nos regards derrière des lunettes de réalité virtuelle, cette sous-traitance de la misère et de la toxicité n’en disparaîtra pas pour autant. De fait, plus nous en ignorerons les répercussions sociales, économiques et environnementales, plus elles s’aggraveront. En motivant toujours plus de déresponsabilisation, d’isolement et de fantasmes apocalyptiques, dont on cherchera à se prémunir avec toujours plus de technologies et de business plans. Le cycle se nourrit de lui-même.

Plus nous adhérerons à cette vision du monde, plus les humains apparaitront comme la source du problème et la technologie comme la solution. L’essence même de ce qui caractérise l’humain est moins traité comme une fonctionnalité que comme une perturbation. Quels que furent les biais idéologiques qui ont mené à leur émergence, les technologies bénéficient d’une aura de neutralité. Et si elles induisent parfois des dérives comportementales, celles-ci ne seraient que le reflet de nos natures corrompues. Comme si nos difficultés ne résultaient que de notre sauvagerie constitutive. À l’instar de l’inefficacité d’un système de taxis locaux pouvant être "résolue" par une application qui ruine les chauffeurs humains, les inconsistances contrariantes de notre psyché pouvait être corrigée par une mise à jour digitale ou génétique.

Selon l’orthodoxie techno-solutionniste, le point culminant de l’évolution humaine consisterait enfin à transférer notre conscience dans un ordinateur, ou encore mieux, à accepter la technologie comme notre successeur dans l’évolution des espèces. Comme les adeptes d’un culte gnostique, nous souhaitons atteindre la prochaine phase transcendante de notre évolution, en nous délestant de nos corps et en les abandonnant, avec nos péchés et nos problèmes.

Nos films et nos productions télévisuelles continuent d’alimenter ces fantasmes. Les séries sur les zombies dépeignent ainsi une post-apocalypse où les gens ne valent pas mieux que les morts vivants - et semblent en être conscients. Pire, ces projections fictives invitent les spectateurs à envisager l’avenir comme une bataille à somme nulle entre les survivants, où la survie d’un groupe dépend mécaniquement de la disparition d’un autre. Jusqu’à la série Westworld, basée sur un roman de science-fiction dans lequel les robots deviennent fous et qui clôt sa seconde saison sur une ultime révélation : les êtres humains sont plus simples et plus prévisibles que les intelligences artificielles qu’ils ont créées. Les robots y apprennent que nous nous réduisons, tous autant que nous sommes, à quelques lignes de code et que notre libre arbitre n’est qu’une illusion. Zut ! Dans cette série, les robots eux-mêmes veulent échapper aux limites de leurs corps et passer le reste de leurs vies dans une simulation informatique.

Seul un profond dégoût pour l’humanité autorise une telle gymnastique mentale, en inversant ainsi les rôles de l’homme et de la machine. Modifions-les ou fuyons-les, pour toujours.

Ainsi, nous nous retrouvons face à des techno-milliardaires qui expédient leurs voiture électriques dans l’espace, comme si ça symbolisait autre chose que la capacité d’un milliardaire à assurer la promotion de sa propre compagnie. Et quand bien même quelques élus parviendraient à rallier la planète Mars pour y subsister dans une sorte de bulle artificielle - malgré notre incapacité à maintenir des telles bulles sur Terre, malgré les milliards de dollars engloutis dans les projets Biosphère - le résultat s’apparenterait plus à une espèce de chaloupe luxueuse réservée une élite qu’à la perpétuation de la diaspora humaine.

Quand ces responsables de fonds d’investissement m’ont interrogé sur la meilleure manière de maintenir leur autorité sur leurs forces de sécurité "après l’Évènement", je leur ai suggéré de traiter leurs employés du mieux possible, dès maintenant. De se comporter avec eux comme s’il s’agissait des membres de leur propre famille. Et que plus ils insuffleraient cette éthique inclusive à leur pratiques commerciales, à la gestion de leurs chaînes d’approvisionnement, au développement durable et à la répartition des richesses, moins il y aurait de chances que "l’Événement" se produise. Qu’ils auraient tout intérêt à employer cette magie technologique au service d’enjeux, certes moins romantiques, mais plus collectifs, dès aujourd’hui.

Mon optimisme les a fait sourire, mais pas au point de les convaincre. Éviter la catastrophe ne les intéressait finalement pas, persuadés qu’ils sont que nous sommes déjà trop engagés dans cette direction. Malgré le pouvoir que leur confèrent leurs immenses fortunes, ils ne veulent pas croire en leur propre capacité d’infléchir sur le cours des événements. Ils achètent les scénarios les plus sombres et misent sur leur argent et la technologie pour s’en prémunir - surtout s’ils peuvent disposer d’un siège dans la prochaine fusée pour Mars.

Heureusement, ceux d’entre nous qui n’ont pas de quoi financer le reniement de leur propre humanité disposent de meilleures options. Rien nous force à utiliser la technologie de manière aussi antisociale et destructive. Nous pouvons nous transformer en individus consommateurs, aux profils formatés par notre arsenal de plateformes et d’appareils connectés, ou nous pouvons nous souvenir qu’un être humain véritablement évolué ne fonctionne pas seul.

Être humain ne se définit pas dans notre capacité à fuir ou à survivre individuellement. C’est un sport d’équipe. Quel que soit notre futur, il se produira ensemble.

Auteur: Rushkoff Douglas

Info: Quand les riches conspirent pour nous laisser derrière. Avec l’accord de l’auteur, traduction de Céleste Bruandet, avec la participation de Laurent Courau

[ prospective ] [ super-riches ] [ oligarques ]

homme-animal

CAPACITÉS COGNITIVES DU DAUPHIN

Au-delà de leur physiologie cérébrale, les dauphins font preuve de capacités extrêmement rares dans le domaine animal. Comme les humains, les dauphins peuvent imiter, aussi bien sur le mode gestuel que sur le mode vocal, ce qui est soi est déjà exceptionnel. Si certains oiseaux peuvent imiter la voix, ils n’imitent pas les attitudes. Les singes, de leur côté, imitent les gestes et non les mots. Le dauphin est capable des deux. Les dauphins chassent les poissons et se nourrissent d’invertébrés, mais ils usent pour ce faire de techniques complexes et variables, acquises durant l’enfance grâce à l’éducation. L’usage des outils ne leur est pas inconnu : un exemple frappant de cette capacité est la façon dont deux dauphins captifs s’y sont pris pour extraire une murène cachée dans le creux d’un rocher à l’intérieur de leur bassin. L’un d’eux a d’abord attrapé un petit poisson scorpion très épineux, qui passait dans le secteur, et l’ayant saisi dans son rostre, s’en est servi comme d’un outil pour extraire la murène de sa cachette. S’exprimant à propos de leur intelligence, le Dr Louis M.Herman, Directeur du Kewalo Basin Marine Mammal Laboratory de l’Université d’Hawaii, note que les dauphins gardent en mémoire des événements totalement arbitraires, sans le moindre rapport avec leur environnement naturel et sans aucune incidence biologique quant à leur existence.

Recherches sur le langage des dauphins

Beaucoup d’humains trouvent intrigante l’idée de communiquer avec d’autres espèces. A cet égard, le dauphin constitue un sujet attractif, particulièrement dans le domaine du langage animal, du fait de ses capacités cognitives et de son haut degré de socialisation. Dès le début des années soixante, c’est le neurologue John Lilly qui, le premier, s’est intéressé aux vocalisations des cétacés. Les recherches de Lilly se poursuivirent durant toute une décennie, tout en devenant de moins en moins conventionnelles. Le savant alla même jusqu’à tester les effets du L.S.D. sur les émissions sonores des dauphins et dut finalement interrompre ses recherches en 1969, lorsque cinq de ses dauphins se suicidèrent en moins de deux semaines. Malheureusement, nombre de découvertes ou de déclarations de John Lilly sont franchement peu crédibles et ont jeté le discrédit sur l’ensemble des recherches dans le domaine du langage animal. De ce fait, ces recherches sont aujourd’hui rigoureusement contrôlées et très méticuleuses, de sorte que les assertions des scientifiques impliquées dans ce secteur restent désormais extrêmement réservées.

Louis Herman est sans doute l’un des plus importants chercheurs à mener des études sur la communication et les capacités cognitives des dauphins. Son instrument de travail privilégié est la création de langues artificielles, c’est-à-dire de langages simples crées pour l’expérience, permettant d’entamer des échanges avec les dauphins. Louis Herman a surtout concentré ses travaux sur le phénomène de la "compréhension" du langage bien plus que sur la "production" de langage, arguant que la compréhension est le premier signe d’une compétence linguistique chez les jeunes enfants et qu’elle peut être testée de façon rigoureuse. En outre, la structure grammaticale qui fonde les langages enseignés s’inspire le plus souvent de celle de l’anglais. Certains chercheurs ont noté qu’il aurait été mieux venu de s’inspirer davantage de langues à tons ou à flexions, comme le chinois, dont la logique aurait parue plus familière aux cétacés. Dans les travaux d’Herman, on a appris à deux dauphins, respectivement nommés Akeakamai (Ake) et Phoenix, deux langues artificielles. Phoenix a reçu l’enseignement d’un langage acoustique produit par un générateur de sons électroniques. Akeakamai, en revanche, a du apprendre un langage gestuel (version simplifiée du langage des sourds-muets), c’est-à-dire visuel. Les signaux de ces langues artificiels représentent des objets, des modificateurs d’objet (proche, loin, gros, petit, etc.) ou encore des actions. Ni les gestes ni les sons ne sont sensés représenter de façon analogique les objets ou les termes relationnels auxquels ils se réfèrent. Ces langages utilisent également une syntaxe, c’est-à-dire des règles de grammaire simples, ce qui signifie que l’ordre des mots influe sur le sens de la phrase. Phoenix a appris une grammaire classique, enchaînant les termes de gauche à droite (sujet-verbe-complément) alors que la grammaire enseignée à Ake allait dans l’autre sens et exigeait de sa part qu’elle voit l’ensemble du message avant d’en comprendre le sens correctement. Par exemple, dans le langage gestuel de Ake, la séquence des signaux PIPE-SURFBOARD-FETCH ("tuyau – planche à surf – apporter") indiquait l’ordre d’amener la planche de surf jusqu’au tuyau, alors que SURFBOARD-PIPE-FETCH ("planche-tuyau- rapporter") signifiait qu’il fallait, au contraire, amener le tuyau jusqu’ à la planche de surf. Phoenix et Ake ont ainsi appris environ 50 mots, lesquels, permutés l’un avec l’autre au sein de séquences courtes, leur permirent bientôt de se servir couramment de plus de mille phrases, chacune produisant une réponse neuve et non apprise.

Compte tenu de l’influence possible de la position dans l’espace des expérimentateurs sur l’expérimentation, les lieux d’apprentissage et les entraîneurs se voyaient changés de session en session. Dans le même temps, des observateurs "aveugles", qui ne connaissaient pas les ordres et ne voyaient pas les entraîneurs, notaient simplement le comportement des dauphins, afin de vérifier ensuite qu’il correspondait bien aux commandes annoncées. Les entraîneurs allaient jusqu’à porter des cagoules noires, afin de ne révéler aucune expression ou intention faciale et se tenaient immobiles, à l’exception des mains. Les dauphins se montrèrent capables de reconnaître les signaux du langage gestuels aussi bien lorsqu’il étaient filmés puis rediffusés sur un écran vidéo que lorsque ces mêmes signes étaient exécutés à l’air libre par l’entraîneur. Même le fait de ne montrer que des mains pâles sur un fond noir ou des taches de lumière blanche reproduisant la dynamique des mains, a largement suffi aux dauphins pour comprendre le message ! Il semble donc que les dauphins répondent davantage aux symboles abstraits du langage qu’à tout autre élément de la communication.

Par ailleurs, si les dauphins exécutent aisément les ordres qu’on leur donne par cette voie gestuelle, ils peuvent également répondre de façon correcte à la question de savoir si un objet précis est présent ou absent, en pressant le levier approprié (le clair pour PRESENT, le sombre pour ABSENT). Ceci démontre évidement leur faculté de "déplacement mental", qui consiste à manipuler l’image d’objets qui ne se trouvent pas dans les environs. Des expériences additionnelles ont conduit à préciser comment le dauphin conçoit l’étiquetage des objets, comment il les qualifie de son point de vue mental. "Nous avons constaté" nous apprend Louis Herman, "qu’au regard du dauphin, le signe CERCEAU n’est pas seulement le cerceau précis utilisé dans le cadre de cette expérience précise, c’est plutôt TOUT OBJET DE GRANDE TAILLE PERCE D’UN GRAND TROU AU MILIEU. Un seul concept général associe donc pour le dauphin les cerceaux ronds, carrés, grands et petits, flottants ou immergés, que l’on utilise généralement lors de la plupart des expériences". Parmi les choses que le Dr Herman estime n’avoir pu enseigner aux dauphins, il y a le concept du "non" en tant que modificateur logique. L’ordre de "sauter au-dessus d’une non-balle" indique en principe que le dauphin doit sauter au-dessus de n’importe quoi, sauf d’une balle ! Mais cela n’est pas compris, pas plus, affirme toujours Herman, que le concept de "grand" ou de "petit".

Communication naturelle chez les dauphins

On sait que les dauphins émettent de nombreux sifflements, de nature très diverse. La fonction de la plupart d’entre eux demeure toujours inconnue mais on peut affirmer aujourd’hui que la moitié d’entre eux au moins constitue des "signatures sifflées". Un tel signal se module dans une fourchette de 5 à 20 kilohertz et dure moins d’une seconde. Il se distingue des autres sifflements - et de la signature de tous les autres dauphins – par ses contours particuliers et ses variations de fréquences émises sur un temps donné, ainsi que le montrent les sonogrammes. Les jeunes développent leur propre signature sifflée entre l’âge de deux mois et d’un an. Ces sifflements resteront inchangés douze ans au moins et le plus souvent pour la durée entière de la vie de l’animal. Par ailleurs, au-delà de leur seule fonction nominative, certains des sifflements du dauphin apparaissent comme de fidèles reproductions de ceux de leurs compagnons et servent manifestement à interpeller les autres par leur nom. Lorsqu’ils sont encore très jeunes, les enfants mâles élaborent leur propre signature sifflée, qui ressemble fort à celle de leur mère. En revanche, les jeunes femelles doivent modifier les leurs, précisément pour se distinguer de leur mère.

Ces différences reflètent sans doute celles qui existent dans les modes de vie des femelles et des mâles. Puisque les filles élèvent leur propre enfant au sein du groupe maternel, un sifflement distinct est donc indispensable pour pouvoir distinguer la maman de la grand mère. La signature sifflée masculine, presque identique à celle de la mère, permet tout au contraire d’éviter l’inceste et la consanguinité. Le psychologue James Ralston et l’informaticien Humphrey Williams ont découvert que la signature sifflée pouvait véhiculer bien plus que la simple identité du dauphin qui l’émet. En comparant les sonogrammes des signatures sifflées durant les activités normales et lors de situations stressantes, ils découvrirent que la signature sifflée, tout en conservant sa configuration générale, pouvait changer en termes de tonalité et de durée et transmettre ainsi des informations sur l’état émotionnel de l’animal. Les modifications causé par cet état émotionnel sur les intonations de la signature varient en outre selon les individus. Les dauphins semblent donc utiliser les sifflement pour maintenir le contact lorsqu’ils se retrouvent entre eux ou lorsqu’ils rencontrent d’autres groupes, mais aussi, sans doute, pour coordonner leur activités collectives. Par exemple, des sifflements sont fréquemment entendus lorsque le groupe entier change de direction ou d’activité.

De son côté, Peter Tyack (Woods Hole Oceanographic Institute) a travaillé aux côtés de David Staelin, professeur d’ingénierie électronique au M.I.T., afin de développer un logiciel d’ordinateur capable de détecter les "matrices sonores" et les signaux répétitifs parmi le concert de couinements, piaulements et autres miaulements émis par les dauphins. Une recherche similaire est menée par l’Université de Singapore (Dolphin Study Group). Avec de tels outils, les chercheurs espèrent en apprendre davantage sur la fonction précise des sifflements.

Dauphins sociaux

Les observations menées sur des individus sauvages aussi bien qu’en captivité révèlent un très haut degré d’ordre social dans la société dauphin. Les femelles consacrent un an à leur grossesse et puis les trois années suivantes à élever leur enfant. Les jeunes s’éloignent en effet progressivement de leur mère dès leur troisième année, restant près d’elle jusqu’à six ou dix ans ! – et rejoignent alors un groupe mixte d’adolescents, au sein duquel ils demeurent plusieurs saisons. Parvenus à l’âge pleinement adulte, vers 15 ans en moyenne, les mâles ne reviennent plus que rarement au sein du "pod" natal. Cependant, à l’intérieur de ces groupes d’adolescents, des liens étroits se nouent entre garçons du même âge, qui peuvent persister la vie entière. Lorsque ces mâles vieillissent, ils ont tendance à s’associer à une bande de femelles afin d’y vivre une paisible retraite. Bien que les dauphins pratiquent bien volontiers la promiscuité sexuelle, les familles matriarcales constituent de fortes unités de base de la société dauphin. Lorsqu’une femelle donne naissance à son premier enfant, elle rejoint généralement le clan de sa propre mère et élève son delphineau en compagnie d’autres bébés, nés à la même saison. La naissance d’un nouveau-né donne d’ailleurs souvent lieu à des visites d’autres membres du groupe, mâles ou femelles, qui s’étaient séparés de leur mère depuis plusieurs années. Les chercheurs ont également observé des comportements de "baby-sitting", de vieilles femelles, des soeurs ou bien encore d’autres membres du groupe, voire même un ancien mâle prenant alors en charge la surveillance des petits. On a ainsi pu observer plusieurs dauphins en train de mettre en place une véritable "cour de récréation", les femelles se plaçant en U et les enfants jouant au milieu ! (D’après un texte du Dr Poorna Pal)

Moi, dauphin.

Mais qu’en est-il finalement de ce moi central au coeur de ce monde circulaire sans relief, sans couleurs constitué de pixels sonores ? C’est là que les difficultés deviennent insurmontables tant qu’un "contact" n’aura pas été vraiment établi par le dialogue car le "soi" lui-même, le "centre de la personne" est sans doute construit de façon profondément différente chez l’homme et chez le dauphin. H.Jerison parle carrément d’une "conscience collective". Les mouvements de groupe parfaitement coordonnés et quasi-simultanés, à l’image des bancs de poissons ou des troupeaux de gnous, que l’on observe régulièrement chez eux, suppose à l’évidence une pensée "homogène" au groupe, brusquement transformé en une "personne plurielle". On peut imaginer ce sentiment lors d’un concert de rock ou d’une manifestation, lorsqu’une foule entière se tend vers un même but mais ces attitudes-là sont grossières, globales, peu nuancées. Toute autre est la mise à l’unisson de deux, trois, cinq (les "gangs" de juvéniles mâles associés pour la vie) ou même de plusieurs centaines de dauphins ensemble (de formidables "lignes de front" pour la pêche, qui s’étendent sur des kilomètres) et là, bien sûr, nous avons un comportement qui traduit un contenu mental totalement inconnu de nous. On sait que lorsqu’un dauphin voit, tout le monde l’entend. En d’autres termes chaque fois qu’un membre du groupe focalise son faisceau de clicks sur une cible quelconque, l’écho lui revient mais également à tous ceux qui l’entourent. Imaginons que de la même manière, vous regardiez un beau paysage. La personne qui vous tournerait le dos et se tiendrait à l’arrière derrière vous pourrait le percevoir alors aussi bien que vous le faites. Cette vision commune, qui peut faire croire à de la télépathie, n’est pas sans conséquence sur le contenu mental de chaque dauphin du groupe, capable de fusionner son esprit à ceux des autres quand la nécessité s’en fait sentir. Ceci explique sans doute la formidable capacité d’empathie des dauphins mais aussi leur fidélité "jusqu’à la mort" quand il s’agit de suivre un compagnon qui s’échoue. Chez eux, on ne se sépare pas plus d’un ami en détresse qu’on ne se coupe le bras quand il est coincé dans une portière de métro ! En d’autres circonstances, bien sûr, le dauphin voyage seul et il "rassemble" alors sa conscience en un soi individualisé, qui porte un nom, fait des choix et s’intègre dans une lignée. Il en serait de même pour l’homme si les mots pouvaient faire surgir directement les images qu’ils désignent dans notre cerveau, sans passer par le filtre d’une symbolisation intermédiaire. Si quelqu’un me raconte sa journée, je dois d’abord déchiffrer ses mots, les traduire en image et ensuite me les "représenter". Notre système visuel étant indépendant de notre système auditif, un processus de transformation préalable est nécessaire à la prise de conscience du message. Au contraire, chez le dauphin, le système auditif est à la fois un moyen de communication et un moyen de cognition "constructiviste" (analyse sensorielle de l’environnement). La symbolisation n’est donc pas nécessaire aux transferts d’images, ce qui n’empêche nullement qu’elle puisse exister au niveau des concepts abstraits. Quant à cette conscience fusion-fission, cet "ego fluctuant à géométrie variable", ils préparent tout naturellement le dauphin à s’ouvrir à d’autres consciences que la sienne. D’où sans doute, son besoin de nous sonder, de nous comprendre et de nous "faire" comprendre. Un dauphin aime partager son cerveau avec d’autres, tandis que l’homme vit le plus souvent enfermé dans son crâne. Ces êtres-là ont décidément beaucoup à nous apprendre...

Auteur: Internet

Info: http://www.dauphinlibre.be/dauphins-cerveau-intelligence-et-conscience-exotiques

[ comparaisons ] [ mimétisme ] [ sémiotique ] [ intelligence grégaire ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]