source du vivant

Comment les archées, la troisième forme de vie sur Terre, produisent de l'énergie

(photo : Un arbre phylogénétique à vraisemblance maximale non enraciné de la sous-unité catalytique (HydA) des hydrogénases [FeFe] et des hydrogénases hybrides. L'arbre a été construit sur la base de 3 677 séquences d'acides aminés en utilisant le modèle LG + C20 + R + F. Les nombres sur les branches indiquent les valeurs de support aLRT (test du rapport de vraisemblance approximatif) et bootstrap ultrarapide (entre parenthèses), chacune avec 1 000 répétitions. La barre d'échelle correspond au nombre de substitutions attendu par site. Les cercles colorés à l'extrémité indiquent des séquences d'eucaryotes et de groupes archéens majeurs. Toutes les autres séquences proviennent de bactéries)

Une équipe scientifique internationale a redéfini notre compréhension des archées, un ancêtre microbien de l'homme datant de deux milliards d'années, en montrant comment elles utilisent l'hydrogène gazeux.

Les résultats, publiés aujourd'hui dans Cell, expliquent comment ces minuscules formes de vie produisent de l'énergie en consommant et en produisant de l'hydrogène. Cette stratégie simple mais fiable leur a permis de prospérer dans certains des environnements les plus hostiles de la Terre depuis des milliards d'années.

L'article, dirigé par des scientifiques du Biomedicine Discovery Institute de l'Université Monash, dont le professeur Chris Greening, le professeur Jill Banfield et le Dr Bob Leung, réécrit le manuel de biologie fondamentale.

Le Dr Bob Leung a déclaré que cette découverte sur l'une des formes d'existence les plus anciennes de la Terre pourrait également aider à l'existence humaine, notamment en concevant de nouvelles façons d'utiliser l'hydrogène pour une future économie verte.

(Image : Résumé graphique évolutif)

" Les humains n’ont commencé que récemment à penser à l’utilisation de l’hydrogène comme source d’énergie, mais les archées le font depuis un milliard d’années. Les biotechnologues ont désormais la possibilité de s’inspirer de ces archées pour produire industriellement de l’hydrogène.

Tout en haut de la pyramide de la vie, il y a trois " domaines "de la vie : les eucaryotes (domaine des animaux,  plantes et champignons), les bactéries et les archées. Les archées sont des organismes unicellulaires qui peuvent vivre dans les environnements les plus extrêmes de la Terre. La théorie scientifique la plus largement acceptée suggère également que les eucaryotes, comme les humains, ont évolué à partir d’une très ancienne lignée d’archées fusionnant avec une cellule bactérienne par échange d’hydrogène gazeux.

"Notre découverte nous rapproche de la compréhension de la manière dont ce processus crucial a donné naissance à tous les eucaryotes, y compris les humains", explique Leung.

(image : description des nano-interactions à l'origine de la vie - Les hydrogénases [FeFe] et [NiFe] codées par les archées ont vraisemblablement formé des complexes uniques)  

L’équipe a analysé le génome de milliers d’archées à la recherche d’enzymes productrices d’hydrogène, puis a produit les enzymes en laboratoire pour étudier leurs caractéristiques. Ils ont découvert que certaines archées utilisent des types inhabituels d’enzymes appelées [FeFe]-hydrogénases.

Les archées qui produisent ces enzymes utilisant l'hydrogène ont été trouvées dans bon nombre des environnements les plus difficiles de la Terre, notamment les sources chaudes, les réservoirs de pétrole et les profondeurs des fonds marins.

On pensait jusque là que ces hydrogénases étaient limitées à seulement deux " domaines " de la vie : les eucaryotes et les bactéries. Ici, l’équipe a montré qu'on les trouve dans les archées pour la première fois et qu’elles sont remarquablement diverses dans leurs formes et leurs fonctions.

Non seulement les archées possèdent les plus petites enzymes utilisant l’hydrogène, mais elles possèdent également les enzymes les plus complexes qui usent de l’hydrogène, ce qui pourrait offrir des solutions rationalisées pour la production d’hydrogène biologique en milieu industriel.

Le professeur Chris Greening a déclaré que ces découvertes sur la manière dont les archées utilisent l'hydrogène ont des applications potentielles pour la transition vers une économie verte.

" L’industrie utilise actuellement de précieux catalyseurs chimiques pour utiliser l’hydrogène. Cependant, nous savons par la nature que le fonctionnement des catalyseurs biologiques peut être très efficace et résilient. Pouvons-nous les utiliser pour améliorer la façon dont nous utilisons l’hydrogène ? "

Avec leurs très anciennes origines et des applications potentielles en biotechnologie, les archées continuent de captiver les chercheurs et offrent des voies prometteuses pour de nouvelles découvertes et applications.

(Photo avec grande complexité de détails. La partie gauche de la figure montre un arbre phylogénomique de vraisemblance maximale (modèle LG + F + G4) basé sur les 15 protéines marqueurs ribosomiques concaténées des génomes archéens qui codent pour les hydrogénases [FeFe]. Les résultats sont présentés pour les 118 génomes (sur 130) qui sont complets à au moins 60 %, contaminés à moins de 5 % et contiennent au moins 75 % des 15 protéines synténiques. Les branches sont codées par couleur, codées en fonction du phylum respectif. Les cercles noirs indiquent des valeurs de support bootstrap supérieures à 80 %. La partie centrale montre la présence de gènes métaboliques clés (dans au moins un génome) impliqués dans différents processus métaboliques. Fixation du carbone : sous-unité bêta d'ATP-citrate lyase (AclB), sous-unité bêta d'acétyl-CoA synthase (AcsB), 4-hydroxybutyryl-CoA déshydratase/vinylacétyl-CoA-delta-isomérase (AbfD), monoxyde de carbone déshydrogénase/acétyl-CoA synthase ( CODH/ACS), sous-unité complexe delta (CdhD), sous-unité complexe CODH/ACS gamma (CdhE), sous-unité catalytique anaérobie CODH (CooS), ribulose-bisphosphate carboxylase de type II/III (RbcL II/II) et ribulose-bisphosphate de type III carboxylase (RbcL III); respiration : déshalogénase réductrice (RdhA), enzyme activatrice du formaldéhyde (Fae), sous-unité alpha du formate déshydrogénase (FdhA) et succinate déshydrogénase réversible et flavoprotéine fumarate réductase (SdhA/FrdA) ; Synthèse d'ATP : sous-unité alpha de l'ATP synthase (AtpA) et sous-unité bêta de l'ATP synthase (AtpB) ; fermentation : 2-oxoacide : ferrédoxine ou pyruvate : sous-unité alpha de ferrédoxine oxydoréductase (OorA/PorA), L-lactate déshydrogénase (Idh), acétyl-CoA synthétase formant l'ADP (AcdA), acétate kinase (Ack), phosphate acétyltransférase (Pta) , acétyl-CoA synthétase (Acs) et formiate C-acétyltransférase (PflD); dégradation des acides gras : acyl-CoA déshydrogénase (ACAD) ; dégradation des aromatiques : flavine prényltransférase (UbiX) ; métabolisme du soufre : soufre dioxygénase (Sdo), sulfate adenylyltransférase (Sat), adenylylsulfate kinase (CysC), sous-unité 1 de sulfate adenylyltransférase (CysN) et sous-unité A de sulfite réductase anaérobie (AsrA). La partie droite montre les divers environnements à partir desquels les génomes archéens ont été récupérés. Notez que le phylum QMZS01 a été classé comme Aenigmatarchaeota dans GTDB R06-RS207, tandis que la classe Thermoproteota EX4484-205 a été proposée comme Brockarchaeia. )

Les hydrogénases minimales et hybrides sont actives à partir des archées (Cell - accès libre).

Auteur: Cowing Keith

Info: Communiqué de presse, Université Monash, 12 juin 2024

[ astrobiologie ] [ extrémophiles ]

compromission

En mai 68 mai et dans le sillage de l’événement sont apparus de nouveaux thèmes portant sur la sexualité, l’éducation des enfants, la psychiatrie, la culture, qui sont venus interpeller les schémas de la lutte des classes et les idéologies de l’extrême gauche traditionnelle. Le gauchisme culturel naît précisément dans ce cadre et c’est lui qui va le premier déplacer l’axe central de la contestation vers les questions sociétales, à la manière de l’époque, c’est-à-dire de façon radicale et délibérément provocatrice. Il est ainsi devenu le vecteur d’une révolution culturelle qui a mis à mal l’orthodoxie des groupuscules d’extrême-gauche, avant de concerner l’ensemble de la gauche et de se répandre dans la société. Quand on étudie la littérature gauchiste de l’immédiat après-Mai, on est frappé de retrouver nombre de thèmes du gauchisme culturel d’aujourd’hui, mais, en même temps, ces derniers semblent bien mièvres et presque banalisés en regard de la rage dont faisaient preuve les révolutionnaires de l’époque. Leur remise en question radicale a concerné bien des domaines dont nous ne pouvons rendre compte dans le cadre limité de cet article 34. Mais il suffit d’évoquer ce qu’il en fut en matière de mœurs et de sexualité au début des années 1970 pour mieux cerner le fossé qui nous sépare du présent. Le désir était alors brandi comme une arme de subversion de l’ordre établi qui devait faire sauter tous les interdits, les tabous et les barrières. Il s’agissait de faire tomber tous les masques, en pourchassant les justifications et les refoulements au cœur même des discours les plus rationnels et les plus savants. Être "authentique", c’était oser, si l’on peut dire, regarder le désir en face et ne plus craindre d’exprimer en toute liberté le chaos que l’on porte en soi. C’est sans doute pour cette raison que sur le front du désir la classe ouvrière a pu apparaître muette à beaucoup.

Les religions juives et chrétiennes, la "morale bourgeoise", l’idéologie, le capitalisme réprimaient le désir, il s’agissait alors ouvertement de tout mettre à bas pour le libérer. Le mariage et la famille n’échappaient pas à un pareil traitement. Ils étaient considérés comme un dispositif central dans ce vaste système de répression, la cellule de base du système visant à castrer et à domestiquer le désir en le ramenant dans les credo de la normalité. Les lesbiennes et les gays revendiquaient clairement leur différence en n’épargnant pas les " hétéro-flics", la "virilité fasciste", le patriarcat. Il était alors totalement exclu de se marier et de rentrer dans le rang.

On peut mesurer les différences et le chemin parcouru depuis lors. Nous sommes passés d’une dynamique de transgression à une banalisation paradoxale qui entend jouer sur tous les plans à la fois: celui de la figure du contestataire de l’ordre établi, celui de la minorité opprimée, celui de la victime ayant des droits et exigeant de l’État qu’il satisfasse au plus vite ses revendications, celui du Républicain qui défend la valeur d’égalité, celui du bon père et de la bonne mère de famille…

Mais, en même temps, force est de constater que nombre de thèmes de l’époque font écho aux postures d’aujourd’hui. Il en est ainsi du culte des sentiments développé particulièrement au sein du MLF. Renversant la perspective du militantisme traditionnel, il s’agissait déjà de partir de soi, de son "vécu quotidien", de partager ce vécu avec d’autres et de le faire connaître publiquement. On soulignait déjà l’importance d’une parole au plus près des affects et des sentiments. Alors que l’éducation voulait apprendre à les dominer, il fallait au contraire ne plus craindre de se laisser porter par eux. Ils exprimaient une révolte à l’état brut et une vérité bien plus forte que celle qui s’exprime à travers la prédominance accordée à la raison. À l’inverse de l’idée selon laquelle il ne fallait pas mêler les sentiments personnels et la politique, il s’agissait tout au contraire de faire de la politique à partir des sentiments. Trois préceptes du MLF nous paraissent condenser le renversement qui s’opère dès cette période: "Le personnel est politique et le politique est personnel";  "Nous avons été dupés par l’idéologie dominante qui fait comme si “la vie publique” était gouvernée par d’autres principes que la vie privée”; "Dans nos groupes, partageons nos sentiments et rassemblons-les et voyons où ils nous mèneront. Ils nous mèneront aux idées puis à l’action". Ces préceptes condensent une nouvelle façon de faire de la "politique" qui fera de nombreux adeptes.

Resterait à tracer la genèse de ce curieux destin du gauchisme culturel jusqu’à aujourd’hui, la perpétuation de certains de ses thèmes et leur transformation. L’analyse de l’ensemble du parcours reste à faire, mais cette dernière implique à notre sens la prise en compte du croisement qui s’est opéré entre ce gauchisme de première génération avec au moins trois grands courants: le christianisme de gauche, l’écologie politique et les droits de l’homme. C’est dans la rencontre avec ces courants que le gauchisme culturel s’est pacifié, pris un côté boy-scout et faussement gentillet, et qu’il s’est mis à revendiquer des droits. Mais c’est surtout dans les années 1980 que le gauchisme culturel va recevoir sa consécration définitive dans le champ politique, plus précisément au tournant des années 1983-1984, au moment où la gauche change de politique économique sans le dire clairement et entame la "modernisation " Le gauchisme culturel va alors servir de substitut à la crise de sa doctrine et masquer un changement de politique économique mal assumé. À partir de ce moment, la gauche au pouvoir va intégrer l’héritage impossible de mai 68, faire du surf sur les évolutions dans tous les domaines, et apparaître clairement aux yeux de l’opinion comme étant à l’avant-garde dans le bouleversement des mœurs et de la "culture". Nous ne sommes pas sortis de cette situation.

Au terme de ce parcours qui rend compte des glissements opérés par la gauche et de l’influence du gauchisme culturel en son sein, il nous paraît possible de poser sans détour ce qui n’est plus tout à fait une hypothèse: nous assistons à la fin d’un cycle historique dont les origines remontent au XIXe siècle; la gauche a atteint son point avancé de décomposition, elle est passée à autre chose tout en continuant de faire semblant qu’il n’en est rien; il n’est pas sûr qu’elle puisse s’en remettre. Le gauchisme culturel, qui est devenu hégémonique à gauche et dans la société, a été un vecteur de cette décomposition et son antilibéralisme intellectuel, pour ne pas dire sa bêtise, est un des principaux freins à son renouvellement. La gauche est-elle capable de rompre clairement avec lui ? Rien n’est certain étant donné la prégnance de ses postures et de ses schémas de pensée.

Auteur: Le Goff Jean-Pierre

Info: "Du gauchisme culturel et de ses avatars" , Le Débat n° 176, septembre-octobre 2013, p.49-55.

[ hypocrisie ] [ détournement ]

fausse viande

La Décroissance : Pour vous, l'abolition de l'élevage fait le jeu du capital : il y a une collusion d'intérêts entre ceux qui la prônent et la science, l'industrie, les start-up des biotechnologies, les investisseurs qui se saisissent du marché en plein essor des substituts alimentaires...

Jocelyne Porcher: [...] Ce qui se développe aujourd'hui, le véganisme, la revendication d'en finir avec l'élevage, cela sert des intérêts économiques. L'agriculture cellulaire qui arrive, en collusion avec les défenseurs des animaux au nom d'une agriculture sans élevage, s'inscrit dans la continuité du processus d'industrialisation de la production alimentaire. On passe de la production de matière animale à partir d'animaux à la production de matière animale sans les animaux, avec les mêmes acteurs : c'est-à-dire la science, l'industrie, la banque. [...] Avec l'agriculture cellulaire, on change le niveau d'extraction : au lieu d'extraire la matière animale à partir de la vache, du cochon, etc., l'extraction se fait à un niveau plus resserré, au niveau de la cellule. On est bien dans la même logique de pensée, complètement inscrite dans le système capitaliste. Ce qui explique à la fois le soutien financier accordé aux associations véganes, type L214, qui reçoit directement de l'argent d'une fondation américaine et qui a une surface médiatique sans commune mesure avec ce qu'elle fait réellement, c'est-à-dire de la communication au service d'une agriculture sans élevage. [...]

LD : En quoi consiste la viande "propre" que les start-up veulent produire ?

JP : Mark Prost, un des premiers biologistes a avoir travaillé là-dessus, celui qui a présenté le premier hamburger in vitro en 2013, disait : "La viande in vitro est 100% naturelle, la seule différence c'est qu'elle est produire en dehors de la vache..." C'est ça l'idée: ils considèrent que la vache, ce n'est que de la ressource de matière animale. [...] L'idée de certaines start-up, c'est de faire l'équivalent du produit industriel en se passant d'animaux : selon eux, la multiplication de cellules de poulet va donner la même chose que le poulet qu'on achète actuellement dans les supermarchés, au moins visuellement...

LD: On a l'impression qu'ils n'en sont qu'au stade expérimental. Ce marché est-il appelé à grandir ?

JP: [...] Il y a des milliards investis là-dedans, des dizaines de start-up qui se développent, le potentiel du marché est énorme, non seulement en ce qui concerne la viande in vitro, mais aussi l'ensemble des substituts: le faux lait, les faux oeufs, le faux cuir... le faux tout. D'un point de vue technique, ce qu'on réussit à faire dans un incubateur, on peut réussir à le faire dans cent incubateurs. [...] Après il y a le volet sanitaire : ce sera peut-être un peu plus compliqué de garantir l'innocuité de ces produits. Mais aux Etats-Unis, cette viande in vitro est déjà autorisée à la vente, comme si c'était un produit ordinaire. La deuxième limite, c'est le consentement des gens à manger ces produits. C'est pourquoi, en plus de l'aspect production, les start-up des biotechnologies font un travail de fond pour préparer les consommateurs, construire la demande. De ce point de vue, des associations comme Peta aux Etats-Unis, L214 en France et Gaïa en Belgique, préparent vraiment le terrain pour que le marché des substituts se développe.

LD: Pour vendre ces substituts, l'industrie des biotechnologies affirme qu'elle oeuvre pour un monde meilleur. Vous, au contraire, vous montrez qu'elle signe le triomphe de la société industrielle et technicienne.

JP : Non seulement c'est l'industrialisation complète du vivant, mais c'est aussi la réduction de la vie au vivant. [...] On produit un amas de cellules qui se multiplient, c'est du vivant biologique, mais il n'y a pas de vie. C'est effectivement le triomphe de la technique, en tant qu'elle est complètement mortifère. Je le dis en citant Michel Henry, qui l'explique dans son livre La Barbarie : le triomphe de la technique sur la vie, c'est une destruction de la vie même, des affects, de la culture, du lien, de tout ce qui fait que la vie, c'est autre chose que du vivant.

LD: Le mouvement de la "libération animale" a l'air plus implanté dans les métropoles que dans les campagnes. Est-ce que vous pensez que ce type de préoccupation relève d'une civilisation très urbanisée comme l'est la nôtre, hors-sol, où on n'a plus de contact avec la terre, l'élevage et la production alimentaire en général ?

JP : Quand on est dans un milieu rural où il y a encore des vaches dans les champs, où les gens peuvent encore croiser des agriculteurs, des éleveurs, avoir un rapport à la vie et à la mort, les revendications d'en finir avec l'élevage passent beaucoup moins facilement que dans un milieu urbain, où les gens sont complètement déconnectés de la production, de ce que c'est qu'un champ, une prairie, de ce qui fait la relation de travail entre les humains et les animaux, et plus largement entre les agriculteurs et la nature. [...] Toute la propagande abolitionniste leur dit qu'élevage et production animale, c'est pareil. Ils sont dans la compassion, l'émotion. Des visions d'animaux maltraités leur arrivent sur leurs smartphones, et ils ont des réactions binaires : "la viande c'est mal, c'est affreux, je n'en mange plus." [...]

LD: Marx ironisait au XIXe sur les bourgeois qui se préoccupaient de protection animale mais qui ne se souciaient pas de la dégradation des conditions de vie dans les cités industrielles. Dans votre livre, vous notez aussi qu'une certaine protection animale, contemporaine de l'industrialisation et de l'urbanisation, parle de "bien-être animal" en dépolitisant la question.

JP : C'est aussi ce qu'a souligné l'historien Maurice Agulhon à la suite de Marx : le fait qu'au XIXe siècle, la protection animale vise d'abord à pacifier les classes populaires, avec l'hypothèse que la violence commise envers les animaux est de leur fait, et qu'au-delà couve le risque d'une violence contre l'ordre social, contre la bourgeoisie. Toute cette bourgeoisie, qui tient les transformations sociales, veut pacifier les mœurs après les révolutions de 1830 et 1848. Et l'un de ses moyens, c'est de pacifier les rapports envers les animaux, avec l'idée qu'il y a une violence atavique des classes populaires contre les animaux, que les gens ordinaires sont des brutes épaisses qu'il faudrait maîtriser, former, éduquer, civiliser. La loi Grammont, votée en 1850, [...] condamne le cocher qui malmène son cheval, mais pas le bourgeois propriétaire de la mine où descendent des chevaux et des enfants. On condamne la violence des personnes, des paysans, des ouvriers, mais on ne remet pas en cause les énormes bouleversements qu'engendre l'industrialisation [...] : la violence inouïe contre les enfants, les femmes et les hommes, mais aussi contre les animaux qui sont tous prolétarisés. Aujourd'hui, les défenseurs du "bien-être animal" sont toujours dans cette vision individuelle et dépolitisée : il suffit de voir une association comme PETA appeler à éduquer les gens, les rendre moraux, en leur donnant de la viande in vitro s'ils tiennent absolument à en manger, alors qu'elle occulte complètement les rapports sociaux et l'organisation du travail pensée par la bourgeoisie. Pourtant, la question, c'est bien la place des animaux dans les rapports sociaux, la violence faite aussi bien aux humains qu'aux animaux. Dans les porcheries industrielles par exemple, les gens subissent les mêmes conditions de vie au travail que les bêtes : on est enfermé du matin au soir, dans la poussière, le bruit, les odeurs infectes, c'est le même univers concentrationnaire pour les uns et pour les autres.

Auteur: Porcher Jocelyne

Info: Dans "La décroissance" N°165, décembre 2019, pages 26-27

[ enjeux économiques ] [ lobbies ] [ nourriture ]

transposition linguistique

La théorie de la traduction est très rarement - comment dire ? - comique. Son mode de fonctionnement est celui de l'élégie et de l'admonestation sévère. Au XXe siècle, ses grandes figures étaient Vladimir Nabokov, en exil de la Russie soviétique, attaquant des libertins comme Robert Lowell pour leurs infidélités au sens littéral ; ou Walter Benjamin, juif dans un Berlin proto-nazi, décrivant la tâche du traducteur comme un idéal impossible d'exégèse. On ne peut jamais, selon l'argument élégiaque, reproduire précisément un vers de poésie dans une autre langue. Poésie ! Tu ne peux même pas traduire "maman"... Et cet argument élégiaque a son mythe élégiaque : la Tour de Babel, où la multiplicité des langues du monde est considérée comme la punition de l'humanité - condamnée aux hurleurs, aux faux amis, aux applications de menu étrangères. Alors que l'état linguistique idéal serait la langue universelle perdue de l'Eden.

La théorie de la traduction est rarement désinvolte ou joyeuse.

Le nouveau livre de David Bellos sur la traduction contourne d'abord cette philosophie. Il décrit les dragons de la Turquie ottomane, l'invention de la traduction simultanée lors du procès de Nuremberg, les dépêches de presse, les bulles d'Astérix, les sous-titres de Bergman, etc.... Il propose une anthropologie des actes de traduction. Mais à travers cette anthropologie, c'est un projet beaucoup plus grand qui émerge. Les anciennes théories étaient élégiaques, majestueuses ; elles étaient très sévères. Bellos est pratique et vif. Il n'est pas éduqué par l'élégie. Et c'est parce qu'il est sur quelque chose de nouveau.

Bellos est professeur de français et de littérature comparée à l'université de Princeton, et également directeur du programme de traduction et de communication interculturelle de cette université (où, je dois le préciser, j'ai déjà pris la parole). Mais pour moi, il est plus intéressant en tant que traducteur de deux romanciers particulièrement grands et problématiques : le Français Georges Perec, dont l'œuvre se caractérise par un souci maniaque de la forme, et l'Albanais Ismail Kadare, dont Bellos traduit l'œuvre non pas à partir de l'original albanais, mais à partir de traductions françaises supervisées par Kadare. La double expérience de Bellos avec ces romanciers est, je pense, à l'origine de son nouveau livre, car ces expériences de traduction prouvent deux choses : Il est toujours possible de trouver des équivalents adéquats, même pour une prose maniaquement formelle, et il est également possible de trouver de tels équivalents dans une langue qui n'est pas l'original de l'œuvre. Alors que selon les tristes théories orthodoxes de la traduction, aucune de ces vérités ne devrait être vraie.

À un moment donné, Bellos cite avec une fierté légitime un petit exemple de sa propre inventivité. Dans le roman de Perec "La vie : Mode d'emploi" de Perec, un personnage se promène dans une arcade parisienne et s'arrête pour regarder les "cartes de visite humoristiques dans la vitrine d'un magasin de farces et attrapes". Dans l'original français de Perec, l'une de ces cartes est : "Adolf Hitler/Fourreur". Un fourreur est un fourreur, mais la blague de Perec est que cela ressemble aussi à la prononciation française de Führer. Donc Bellos, dans sa version anglaise, traduit à juste titre "fourreur" non pas par "furrier", mais comme ceci : "Adolf Hitler/Lieder allemand". Le nouveau jeu de mots multiphonique de Bellos est une parodie, sans aucun doute - et c'est aussi la traduction la plus précise possible.

Les conclusions que ce paradoxe exige sont, disons, déconcertantes pour le lecteur vieux jeu. Nous sommes habitués à penser que chaque personne parle une langue individuelle - sa langue maternelle - et que cette langue maternelle est une entité discrète, avec un vocabulaire manipulé par une grammaire fixe. Mais cette image, selon Bellos, ne correspond pas aux changements quotidiens de nos multiples langues, ni au désordre de notre utilisation des langues. L'ennemi philosophique profond de Bellos est ce qu'il appelle le "nomenclaturisme", "la notion que les mots sont essentiellement des noms" - une notion qui a été amplifiée dans notre ère moderne d'écriture : une conspiration de lexicographes. Cette idée fausse l'agace parce qu'elle est souvent utilisée pour soutenir l'idée que la traduction est impossible, puisque toutes les langues se composent en grande partie de mots qui n'ont pas d'équivalent unique et complet dans d'autres langues. Mais, écrit Bellos, "un terme simple comme 'tête', par exemple, ne peut être considéré comme le 'nom' d'une chose particulière. Il apparaît dans toutes sortes d'expressions". Et si aucun mot en français, par exemple, ne couvre toutes les connotations du mot "tête", sa signification "dans un usage particulier peut facilement être représentée dans une autre langue".

Cette idée fausse a toutefois une très longue histoire. Depuis que saint Jérôme a traduit la Bible en latin, le débat sur la traduction s'est dissous dans l'ineffable - la fameuse idée que chaque langue crée un monde mental essentiellement différent et que, par conséquent, toutes les traductions sont vouées à l'insuffisance philosophique. Dans la nouvelle proposition de Bellos, la traduction "présuppose au contraire... la non-pertinence de l'ineffable dans les actes de communication". En zigzaguant à travers des études de cas de bibles missionnaires ou de machines linguistiques de la guerre froide, Bellos élimine calmement cette vieille idée de l'ineffable, et ses effets malheureux.

On dit souvent, par exemple, qu'une traduction ne peut jamais être un substitut adéquat de l'original. Mais une traduction, écrit Bellos, n'essaie pas d'être identique à l'original, mais d'être comme lui. C'est pourquoi le duo conceptuel habituel de la traduction - la fidélité et le littéral - est trop maladroit. Ces idées dérivent simplement de l'anxiété déplacée qu'une traduction essaie d'être un substitut. Adolf Hitler/Fourreur ! Une traduction en anglais par "furrier" serait littéralement exacte ; ce serait cependant une ressemblance inadéquate.

En littérature, il existe un sous-ensemble connexe de cette anxiété : l'idée que le style - puisqu'il établit une relation si complexe entre la forme et le contenu - rend une œuvre d'art intraduisible. Mais là encore, cette mélancolie est mélodramatique. Il sera toujours possible, dans une traduction, de trouver de nouvelles relations entre le son et le sens qui soient d'un intérêt équivalent, voire phonétiquement identiques. Le style, comme une blague, a juste besoin de la découverte talentueuse d'équivalents. "Trouver une correspondance pour une blague et une correspondance pour un style", écrit Bellos, "sont deux exemples d'une aptitude plus générale que l'on pourrait appeler une aptitude à la correspondance de modèles".

La traduction, propose Bellos dans une déclaration sèchement explosive, plutôt que de fournir un substitut, "fournit pour une certaine communauté une correspondance acceptable pour une énonciation faite dans une langue étrangère." Ce qui rend cette correspondance acceptable variera en fonction de l'idée que se fait cette communauté des aspects d'un énoncé qui doivent être assortis de sa traduction. Après tout, "on ne peut pas s'attendre à ce qu'une traduction ressemble à sa source sur plus de quelques points précis". Une traduction ne peut donc pas être bonne ou mauvaise "à la manière d'une interrogation scolaire ou d'un relevé bancaire". Une traduction s'apparente davantage à un portrait à l'huile". Dans une traduction, comme dans toute forme d'art, la recherche est celle d'un signe équivalent.

Et pour les habitants de Londres ou de Los Angeles, ce démantèlement des mythes autour de la traduction a des implications particulières. Comme le souligne Bellos, ceux qui sont nés anglophones sont aujourd'hui une minorité de locuteurs de l'anglais : la plupart le parlent comme une deuxième langue. L'anglais est la plus grande interlangue du monde.

Je pense donc que deux perspectives peuvent être tirées de ce livre d'une inventivité éblouissante, et elles sont d'une ampleur réjouissante. Le premier concerne tous les anglophones. Google Translate, sans aucun doute, est un appareil à l'avenir prometteur. Il connaît déjà un tel succès parce que, contrairement aux traducteurs automatiques précédents, mais comme d'autres inventions de Google, il s'agit d'une machine à reconnaissance de formes. Il analyse le corpus des traductions existantes et trouve des correspondances statistiques. Je pense que les implications de ce phénomène n'ont pas encore été suffisamment explorées : des journaux mondiaux aux romans mondiaux... . . . Et cela m'a fait imaginer une deuxième perspective - limitée à un plus petit, hyper-sous-ensemble d'anglophones, les romanciers. Je suis un romancier anglophone, après tout. Je me suis dit qu'il n'y avait aucune raison pour que les traductions d'œuvres de fiction ne puissent pas être faites de manière beaucoup plus extensive dans et à partir de langues qui ne sont pas les langues d'origine de l'œuvre. Oui, j'ai commencé à caresser l'idée d'une future histoire du roman qui serait imprudemment internationale. En d'autres termes : il n'y aurait rien de mal, pensais-je, à rendre la traduction plus joyeuse. 

Auteur: Thirlwell Adam

Info: https://www.nytimes.com/2011/10/30. A propos du livre : Le côté joyeux de la traduction, Faber & Faber Ed. Texte traduit à 90% par deepl.com/translator

homme-animal

Comment les pieuvres changent de couleur
Le morphing, c'était amusant. Rappelez-vous dans Terminator 2 les effets d'infographie qui permettaient au mauvais Terminator de prendre la forme et le visage de toute personne qu'il rencontrait ? La transformation à l'écran violait les règles non écrites de ce qui était prétendument possible de voir et procurait un plaisir profond et déchirant quelque part le fond du cerveau du spectateur. On pouvait presque sentir nos machines neurales se briser et se recoller les unes aux autres.
Dommage que l'effet soit devenu un cliché. De nos jours, on regarde une annonce télévisée ou un film de science-fiction et une voix intérieure dit : "Ho hum, juste un autre morph." Cependant, il y a un clip vidéo que je montre souvent aux élèves et à mes amis pour leur rappeler, ainsi qu'à moi-même, les effets de la transformation anatomique. Cette vidéo est tellement choquante que la plupart des téléspectateurs ne peuvent bien l'apprécier la première fois qu'ils la voient - alors ils demandent à la voir encore et encore et encore, jusqu'à ce que leur esprit se soit suffisamment adapté pour l'accepter.

La vidéo a été tournée en 1997 par mon ami Roger Hanlon alors qu'il faisait de la plongée sous-marine au large de l'île Grand Cayman. Roger est chercheur au Laboratoire de biologie marine de Woods Hole ; sa spécialité est l'étude des céphalopodes, une famille de créatures marines comprenant les poulpes, les calmars et les seiches. La vidéo est tournée alors qu'il nage vers le haut pour examiner un banal rocher recouvert d'algues en suspension. Soudain, étonnamment, un tiers de la roche et une masse enchevêtrée d'algues se transforme et révèle ce qu'elle est vraiment : les bras ondulants d'une pieuvre blanche brillante. Pour se protéger la créature projette de l'encre sur Roger et s'élance au loin, laissant Roger et le spectateur bouches bées.
La vedette de cette vidéo, Octopus vulgaris, est l'une des nombreuses espèces de céphalopodes capables de se métamorphoser, tout comme la pieuvre mimétique et la seiche géante australienne. Le truc est si bizarre qu'un jour j'ai suivi Roger dans l'un de ses voyages de recherche, juste pour m'assurer qu'il ne maquillait pas ça avec des trucages sophistiqués. À cette époque, j'étais accro aux céphalopodes. Mes amis ont dû s'adapter à mon obsession ; ils se sont habitués à mes fulgurances sur ces créatures. Je ne peux plus me résoudre à manger de calamars. En ce qui me concerne, les céphalopodes sont les créatures intelligentes les plus étranges sur Terre. Elles offrent le meilleur exemple de la façon dont des extraterrestres intelligents (s'ils existent) pourraient ètre vraiment différents de nous, et comment ils pourraient nous narguer avec des indices sur l'avenir potentiel de notre propre espèce.

Le morphing chez les céphalopodes fonctionne un peu de la même façon que dans l'infographie. Deux composantes sont impliquées : un changement dans l'image ou la texture visible sur la surface d'une forme et un changement dans la forme sous-jacente elle-même. Les "pixels" de la peau d'un céphalopode sont des organes appelés chromatophores. Ceux-ci peuvent se dilater et se contracter rapidement, et chacun est rempli d'un pigment d'une couleur particulière. Lorsqu'un signal nerveux provoque l'expansion d'un chromatophore rouge, le "pixel" devient rouge. Une série de mouvements nerveux provoque un déplacement de l'image - une animation - qui apparaît sur la peau du céphalopode. Quant aux formes, une pieuvre peut rapidement disposer ses bras pour en former une grande variété, comme un poisson ou un morceau de corail, et peut même soulever des marques sur sa peau pour ajouter de la texture.
Pourquoi se transformer pareillement ? L'une des raisons est le camouflage. (La pieuvre de la vidéo essaie probablement de se cacher de Roger.) Un autre est pour manger. Un des clips vidéo de Roger montre une seiche géante poursuivant un crabe. La seiche est principalement à corps mou, le crabe à armure. À l'approche de la seiche, le crabe, d'allure médiévale, prend une posture machiste, agitant ses griffes acérées vers le corps vulnérable de son ennemi.

La seiche répond avec une performance psychédélique bizarre et ingénieuse. Des images étranges, des couleurs luxueuses et des vagues successives d'éclairs ondulent et filigranes sur sa peau. C'est si incroyable que même le crabe semble désorienté ; son geste menaçant est remplacé un instant par un autre qui semble exprimer "Heuuuuh ?" C'est à ce moment que la seiche frappe entre les fissures de l'armure.
Elle utilise l'art pour chasser ! Chez certains ingénieurs chercheurs cette même manoeuvre s'appelle "esbroufer". Éblouissez votre financier potentiel avec une démonstration de votre projet, puis foncez avant que la lueur ne s'estompe.
En tant que créatures intelligentes, les céphalopodes sont peut-être les plus "étranges" que nous connaissions ; voyez-les comme une répétition générale pour le jour lointain où nous pourrions rencontrer des ET's intelligents. Les chercheurs sur les céphalopodes adorent partager les dernières nouvelles sur les pieuvres intelligentes ou les histoires émouvantes de seiches qui impliquent souvent des évasions téméraires hors des aquariums. Dans une autre vidéo de Roger, une pieuvre sur un récif corallien traverse une dangereuse étendue ouverte entre les têtes de corail. L'animal prend la posture, le dessin et la coloration d'une tête de corail, puis se tient debout comme sur sur ses orteils en pointe et se déplace lentement en terrain découvert. Les seules choses qui bougent sont les bout des bras ; le reste de l'animal semble immobile. Mais voici la partie la plus intelligente : En eau peu profonde à midi, par une journée ensoleillée et agitée, les ombres intenses et la lumière balayent tout. Non seulement le "rocher en mouvement" les imite, mais il veille à ne pas dépasser la vitesse de ces effets lumineux, pleinement conscient de son apparence dans des conditions changeantes.

En tant que chercheur qui étudie la réalité virtuelle, je peux vous dire exactement quelle émotion m'envahit lorsque je regarde les céphalopodes se transformer : la jalousie. La réalité virtuelle, un environnement informatique et graphique immersif dans lequel un humain peut "entrer" et se transformer en diverses choses, n'est que pâle approximation de l'expérience. Vous pouvez avoir un corps virtuel, ou avatar, et faire des choses comme examiner vos mains ou vous regarder dans un miroir virtuel. D'ailleurs certains des premiers avatars expérimentaux étaient en fait aquatiques, dont un qui permettait à une personne d'habiter le corps d'un homard.

Le problème, c'est que pour se transformer, les humains doivent concevoir des avatars dans les moindres détails à l'avance. Nos outils logiciels ne sont pas encore assez flexibles pour nous permettre, en réalité virtuelle, de nous imaginer sous différentes formes. Pourquoi le voudrions-nous ? Considérez les avantages existants de notre capacité à créer des sons avec notre bouche. Nous pouvons faire de nouveaux bruits et imiter les bruits existants, spontanément et instantanément. Mais quand il s'agit de communication visuelle, nous sommes paralysés. Nous pouvons mimer, nous pouvons apprendre à dessiner et à peindre, ou utiliser des logiciels de conception graphique par ordinateur. Mais nous ne pouvons pas produire des images à la vitesse à laquelle nous pouvons les imaginer.

Nos capacités vocales font partie de ce qui a permis à notre espèce de développer via le langage parlé. De même, notre capacité à dessiner des images - ainsi que les structures cérébrales nécessaires - était pré-adaptative au langage écrit. Supposons que nous ayons la capacité de nous transformer à volonté : Quel genre de langage pourrait rendre cela possible ? Serait-ce la même vieille conversation, ou serions-nous capables de nous "dire" des choses nouvelles les uns aux autres ?

Par exemple, au lieu de dire "J'ai faim ; allons chasser le crabe", vous pourriez simuler votre propre transparence pour que vos amis puissent voir votre estomac vide, ou vous transformer en jeu vidéo sur la chasse au crabe pour que vous et vos compatriotes puissiez vous entraîner un peu avant la chasse réelle. J'appelle ça une communication post symbolique. Certaines personnes pensent que la capacité de morphing ne ferait que vous donner un nouveau dictionnaire qui correspondrait aux mêmes vieilles idées, avec des avatars à la place des mots, alors que d'autres, dont moi, pensent qu'il y aura des différences fondamentales.
Il y a une autre façon d'y penser. Si les céphalopodes évoluent un jour pour devenir des créatures intelligentes et développer des civilisations, que pourraient-elles faire de cette capacité à se transformer ? Serions-nous capables de communiquer avec elles ? Peut-être offrent-elles un substitut utile à la réflexion sur une façon dont les extraterrestres intelligents, où qu'ils soient, pourraient un jour se présenter à nous. En essayant de développer de nouvelles façons de communiquer en utilisant le morphing dans la réalité virtuelle, nous faisons au moins un peu pour nous préparer à cette possibilité. Nous, les humains, pensons beaucoup de nous-mêmes en tant qu'espèce ; nous avons tendance à supposer que la façon dont nous pensons est la seule façon de penser. Peut-être devrions-nous y réfléchir à deux fois.

Auteur: Lanier Jaron

Info: http://discovermagazine.com, April 02, 2006

[ prospective ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]