éloge funèbre

Roland Jaccard a mis fin à ses jours hier, lundi 20 septembre. Nombre de ses amis ont reçu un courriel matinal indiquant qu’il était sur le point de partir, qu’il tirait sa révérence. Pour moi, c’était à 8h09. Avec pour objet "Une leçon de dandysme helvétique" et les phrases suivantes dans le corps du texte : "Tu es un des seuls à m’avoir compris! Amitiés vives !"

Roland m’a fait beaucoup d’honneur. Nous n’étions peut-être pas beaucoup à l’avoir compris, mais il y en avait tout de même quelques-uns. À l’avoir compris et à l’avoir aimé. J’ai trainé un vilain pressentiment, toute la matinée, mais j’étais face à des étudiants et je me suis promis de l’appeler dès la pause de midi. Deux coups de téléphone de Gil Mihaely puis d’Elisabeth Lévy m’ont indiqué que c’était devenu inutile.

J’ai été sidéré mais pas surpris. Sidéré parce que, tout de même, la mort d’un ami, d’une de ces amitiés littéraires transformée en affection réciproque avec le temps, c’est une espèce de bloc d’abîme au creux de l’âme et des tripes, un bloc d’abîme que connaissent tous ceux qui apprennent la disparition brutale d’un être cher. 

Mais je n’ai pas été surpris : qui connaissait Roland savait que le suicide était chez lui un thème récurrent, une obsession, une porte de sortie presque rassurante. Le suicide est cette liberté terrible des stoïciens, et il y avait du stoïcien chez Roland au-delà de son hédonisme élégant, résumé ainsi par Marc-Aurèle dans Pensées pour moi-même : "Il y a trop de fumée ici, je m’en vais". Le suicide, Roland connaissait : en leur temps son père et son grand-père avaient eux aussi choisi la nuit. Il écrivait dans "Les Carnets de mon père", un de ses "Billets du vaurien" qu’il donnait chaque semaine à Causeur : "Soyons francs : nous avons aimé vivre une fois, mais nous n’aimerions pas recommencer. C’était aussi l’opinion de mon père." C’est à 80 ans que son père avait tiré sa révérence. Roland a écrit et dit, souvent, qu’il n’avait pas l’intention de le dépasser en âge. Et de fait, il allait avoir 80 ans, le 22 septembre. Quand vous aimez quelqu’un, vous ne l’écoutez pas, ou vous ne voulez pas le croire. C’est oublier que derrière la désinvolture de Roland, derrière son élégante et éternelle dégaine d’adolescent filiforme, il était d’une terrible rigueur. Il n’épargnait personne de ses sarcasmes et surtout pas lui-même. Mais on se rassure comme on peut, quand on aime. Après tout, un de ses maîtres et amis, Cioran, n’avait-il pas dans toute son œuvre parlé du suicide comme seule solution rationnelle à l’horreur du monde sans jamais passer à l’acte ? 

Non, décidément, malheureux comme les pierres mais pas surpris : lundi 13 septembre, après des mois d’absence puisqu’il avait décidé de revenir vivre dans sa ville natale, à Lausanne, depuis le début de la crise sanitaire, il était apparu à une réunion de rédaction suivie d’un pot célébrant le départ d’un des nôtres. Il paraît évident, maintenant, qu’il était venu nous dire au revoir ou plus précisément, car là encore on méconnait trop souvent à quel point celui qui faisait profession de cynisme aimait l’amitié, il avait voulu passer un peu de temps avec nous une dernière fois. De quoi ai-je parlé avec Roland pour ce qui était, sans que je le sache, une ultime rencontre ? Je ne sais pas pourquoi, j’ai du mal à m’en souvenir. Je voudrais vous dire qu’il avait donné des indices implicites, ce ne serait pas vrai. Il avait son flegme habituel, son sourire oriental, son exquise courtoisie d’homme qui a perdu depuis longtemps toute illusion mais qui n’en fait pas un drame, courtoisie héritée de cette civilisation naufragée de la Mitteleuropa à laquelle avait appartenu sa mère autrichienne.

Je voudrais tout de même souligner, maintenant, son importance dans le paysage intellectuel français. Il a écrit des livres essentiels sur la psychanalyse avec laquelle il entretenait des rapports ambigus comme avec tout le reste, notamment L’exil intérieur en 1975. Il y disait d’une autre manière, ce que Debord avait cerné dans La Société du Spectacle : l’impossibilité dans le monde moderne pour les êtres de rencontrer d’autres êtres, et pire encore l’impossibilité pour l’homme de coïncider avec lui-même. Il a été aussi une des plus belles plumes du Monde comme critique des essais et surtout un éditeur hors pair aux PUF où sa collection, "Perspectives critiques", présente un catalogue de rêve. On lui doit la découverte d’André Comte-Sponville mais il a aussi publié Clément Rosset ou Marcel Conche et a assuré, à travers plusieurs autres auteurs, les noces de la philosophie et de la littérature : on y trouve ainsi les inclassables et tellement talentueux Romain Slocombe et Frédéric Pajak.

Après, d’autres le réduiront sans doute à une légende qu’il a malicieusement entretenue dans ses journaux intimes dont le monumental Le Monde d’avant (1983-1988) paru au début de l’année dont nous avons rendu compte dans Causeur. Son amitié, jamais reniée, avec Matzneff malgré les brouilles, son goût pour les jeunes filles qui ressemblaient à son idole, Louise Brooks, ou qui venait de l’Empire du Levant. Sa manière de jauger et de juger les hommes à la manière dont ils jouaient au ping-pong et aux échecs. Une de ses grandes tristesses fut d’ailleurs la fermeture pour rénovation du Lutétia, où on pouvait le trouver tous les dimanches dans les salons où il vous mettait très rapidement échec et mat. 

Au-delà de son refus de la postérité, celle qui consiste à avoir des enfants comme celle qui nous fait survivre à notre propre mort en étant encore lu dans vingt ou trente ans, le nihiliste Roland était un homme étonnamment soucieux de transmettre. Il refusait de l’admettre, il disait que je le taquinais, mais pourtant il suffit d’ouvrir un de ses livres pour avoir envie de lire les auteurs dont il parle : Cioran, bien sûr mais aussi son cher Amiel ou encore Paul Nizon. J’en oublie, forcément.

Je ne sais pas où est Roland désormais. Il se riait de mon communisme comme de mon catholicisme qui revient avec l’âge. Il n’empêche, je suis content d’avoir ses livres dans ma bibliothèque. Je vais le relire. C’est encore la meilleure des prières en même temps que le plus beau des hommages que je peux lui rendre. Le plus consolant aussi, car nous allons être un certain nombre, à Causeur et ailleurs, à avoir besoin d’être consolé.

Auteur: Leroy Jérôme

Info: Causeur, 21 sept 2021

[ eulogie ] [ écrivain-sur-écrivain ]

interactions

L'épigénétique, l'hérédité au-delà de l'ADN
Des mécanismes ne modifiant pas notre patrimoine génétique jouent un rôle fondamental dans le développement de l'embryon. Ils pourraient expliquer comment l'environnement induit des changements stables de caractères, voire des maladies, éventuellement héritables sur plusieurs générations.

L'épigénétique, c'est d'abord cette idée que tout n'est pas inscrit dans la séquence d'ADN du génome. "C'est un concept qui dément en partie la "fatalité" des gènes", relève Michel Morange, professeur de biologie à l'ENS. Plus précisément, "l'épigénétique est l'étude des changements d'activité des gènes - donc des changements de caractères - qui sont transmis au fil des divisions cellulaires ou des générations sans faire appel à des mutations de l'ADN", explique Vincent Colot, spécialiste de l'épigénétique des végétaux à l'Institut de biologie de l'Ecole normale supérieure (ENS-CNRS-Inserm, Paris).

Est-ce la fin de l'ère du "tout-ADN", qui a connu son apogée vers l'an 2000 avec les grandes manoeuvres du séquençage du génome humain ? "L'organisme reste construit à partir de ses gènes, même si l'activité de ceux-ci peut être modulée", tempère Michel Morange.

Mais le séquençage des génomes l'a révélé avec éclat : la connaissance seule de la séquence de l'ADN ne suffit pas à expliquer comment les gènes fonctionnent. C'était pourtant prévisible : si cette connaissance suffisait, comment expliquer que malgré leur génome identique, les différents types de cellules d'un individu développent des caractères aussi différents que ceux d'un neurone, d'une cellule du foie, des muscles ou de la peau ?

L'épigénétique répond en partie à cette interrogation - mais elle en soulève de nombreuses autres. "Le cadre classique de l'épigénétique, c'est le développement de l'embryon et la différenciation des cellules de l'organisme", indique Vincent Colot. Mais ses enjeux concernent également la médecine et la santé publique... et les théories sur l'évolution. Elle jette le soupçon sur l'environnement, qui pourrait moduler l'activité de certains de nos gènes pour modifier nos caractères, voire induire certaines maladies qui pourraient être transmis(es) à la descendance.

La première question, cependant, est celle de la définition de ce fascinant concept. Un certain flou persiste, même chez les scientifiques. "Ces ambiguïtés tiennent au fait que le terme a été introduit à plusieurs reprises dans l'histoire de la biologie, avec à chaque fois un sens différent", raconte Michel Morange, qui est aussi historien des sciences. Précurseur absolu, Aristote invente le terme "épigenèse" - de épi-, "au-dessus de", et genèse, "génération" - vers 350 avant notre ère.

"Observant des embryons de poulet, Aristote découvre que les formes ne préexistent pas dans le germe, mais sont, au contraire, progressivement façonnées au cours du développement embryonnaire", rapporte Edith Heard, qui dirige une équipe (Institut Curie-Inserm-CNRS) sur l'épigénétique du développement des mammifères. Une vision admirablement prémonitoire, qui ne se verra confirmée qu'avec l'invention du microscope à la fin du XVIIe siècle.

Quant au mot "épigénétique", il apparaît en 1942 : on le doit au généticien anglais Conrad Waddington, qui s'attache à comprendre le rôle des gènes dans le développement. Comment s'opère le passage du génotype (l'ensemble des gènes) au phénotype (l'ensemble des caractères d'un individu) ? A l'époque, on ignorait que l'ADN est le support de l'hérédité. Mais les liens entre génotype et phénotype se précisent peu à peu, à mesure qu'on découvre la structure des gènes et leur mode de régulation. Une étape décisive est franchie avec les travaux de François Jacob, Jacques Monod et André Lwoff, Prix Nobel en 1965 : ils montrent l'importance d'un facteur de l'environnement (la présence d'un sucre, le lactose) dans le contrôle de l'expression d'un gène et la détermination d'un caractère (la capacité de la bactérie E. coli à utiliser le lactose comme source d'énergie).

Le concept d'épigénétique tombe ensuite en relative déshérence, pour renaître dans les années 1980 avec son sens moderne. "Un chercheur australien, Robin Holliday, observe dans des cellules en culture des changements de caractères qui sont transmis au fil des divisions cellulaires, relate Vincent Colot. Mais ces changements semblaient trop fréquents pour pouvoir être causés par des mutations de l'ADN." Holliday découvre le rôle, dans cette transmission, de certaines modifications de l'ADN qui n'affectent pas la séquence des "nucléotides", ces lettres qui écrivent le message des gènes.

Plus largement, on sait aujourd'hui que les gènes peuvent être "allumés" ou "éteints" par plusieurs types de modifications chimiques qui ne changent pas la séquence de l'ADN : des méthylations de l'ADN, mais aussi des changements des histones, ces protéines sur lesquelles s'enroule l'ADN pour former la chromatine. Toutes ces modifications constituent autant de "marques épigénétiques". Elles jalonnent le génome en des sites précis, modulant l'activité des gènes localisés sur ces sites.

Quelle est la stabilité de ces marques épigénétiques ? La question est centrale. Certaines sont très transitoires, comme les marques qui régulent les gènes liés aux rythmes du jour et de la nuit. "Au moins 15 % de nos gènes sont régulés d'une façon circadienne : leur activité oscille sur un rythme de 24 heures. Il s'agit de gènes qui gouvernent notre métabolisme, assurant par exemple l'utilisation des sucres ou des acides gras", indique Paolo Sassone-Corsi, qui travaille au sein d'une unité Inserm délocalisée, dirigée par Emiliana Borrelli à l'université de Californie (Irvine). "Pour réguler tant de gènes d'une façon harmonieuse, il faut une logique commune. Elle se fonde sur des processus épigénétiques qui impliquent des modifications des histones."

D'autres marques ont une remarquable pérennité. "Chez un individu multicellulaire, elles peuvent être acquises très tôt lors du développement, sous l'effet d'un signal inducteur, rapporte Vincent Colot. Elles sont ensuite transmises au fil des divisions cellulaires jusque chez l'adulte - bien longtemps après la disparition du signal inducteur." Les marques les plus stables sont ainsi les garantes de "l'identité" des cellules, la vie durant. Comme si, sur la partition d'orchestre de l'ADN du génome - commune à toutes les cellules de l'organisme -, chaque instrument - chaque type de cellule - ne jouait que la partie lui correspondant, n'activant que les gènes "tagués" par ces marques.

Un des plus beaux exemples de contrôle épigénétique chez les mammifères est "l'inactivation du chromosome X". "Ce processus a lieu chez toutes les femelles de mammifères, qui portent deux exemplaires du chromosome X, explique Edith Heard. L'inactivation d'un des deux exemplaires du X, au cours du développement précoce, permet de compenser le déséquilibre existant avec les mâles, porteurs d'un seul exemplaire du X."

Si l'inactivation du X est déficiente, l'embryon femelle meurt très précocement. Cette inactivation est déclenchée très tôt dans le développement de l'embryon, "dès le stade "4 cellules" chez la souris et un plus tard pour l'espèce humaine, puis elle est stabilisée par des processus épigénétiques tout au long de la vie", poursuit Edith Heard. Par ailleurs, son équipe vient de publier un article dans Nature mis en ligne le 11 avril, montrant que les chromosomes s'organisent en "domaines", à l'intérieur desquels les gènes peuvent être régulés de façon concertée, et sur lesquels s'ajoutent des marques épigénétiques.

Les enjeux sont aussi médicaux. Certaines "épimutations", ou variations de l'état épigénétique normal, seraient en cause dans diverses maladies humaines et dans le vieillissement. Ces épimutations se produisent par accident, mais aussi sous l'effet de facteurs environnementaux. Le rôle de ces facteurs est très activement étudié dans le développement de maladies chroniques comme le diabète de type 2, l'obésité ou les cancers, dont la prévalence explose à travers le monde.

Les perspectives sont également thérapeutiques, avec de premières applications qui voient le jour. "Les variations épigénétiques sont finalement assez plastiques. Elles peuvent être effacées par des traitements chimiques, ce qui ouvre d'immenses perspectives thérapeutiques. Cet espoir s'est déjà concrétisé par le développement de premières "épidrogues" pour traiter certains cancers", annonce Edith Heard.

Le dernier défi de l'épigénétique, et non des moindres, renvoie aux théories de l'évolution. "Alors que le génome est très figé, l'épigénome est bien plus dynamique", estime Jonathan Weitzman, directeur du Centre épigénétique et destin cellulaire (université Paris-Diderot-CNRS). "L'épigénome pourrait permettre aux individus d'explorer rapidement une adaptation à une modification de l'environnement, sans pour autant graver ce changement adaptatif dans le génome", postule le chercheur. L'environnement jouerait-il un rôle dans la genèse de ces variations adaptatives, comme le croyait Lamarck ? Reste à le démontrer. Epigénétique ou non, le destin est espiègle : le laboratoire qu'anime Jonathan Weitzman n'a-t-il pas été aléatoirement implanté... dans le bâtiment Lamarck ? Internet,

Auteur: Internet

Info: Rosier Florence, https://www.lemonde.fr/sciences/ 13 avril 2012

[ interférences ] [ mutation acquise ]

religions

Luther était-il antisémite ?
Paru en 1543, "Des Juifs et de leurs mensonges" est traduit pour la première fois en français. Le texte, resté jusqu'à présent inédit en français, est un brûlot contre les Juifs, alors que le fondateur de la Réforme avait d'abord pris leur défense. Comment expliquer ce revirement? Et quelles en furent les conséquences?
- BibliObs. L'antisémitisme de Luther est régulièrement évoqué, mais on ne disposait pas en France de la traduction de son principal libelle sur le sujet: "Des juifs et de leurs mensonges". Qu'y a-t-il exactement dans ce texte?
- Pierre Savy. Comme l'indique le titre du livre, il s'agit de dénoncer les "mensonges" des Juifs, à commencer par le mensonge le plus scandaleux aux yeux de Luther, car il porte sur le trésor précieux entre tous que les Juifs ont reçu de Dieu: la Bible. La tradition chrétienne affirme, en tout cas jusqu'au XXe siècle, que la lecture juive de la Bible juive (l'"Ancien Testament") est fausse parce que, plus ou moins délibérément, elle refuse la lecture christologique de la Bible, qui permet de voir dans ces textes l'annonce de la venue de Jésus comme messie.
C'est donc un livre contre le judaïsme et "contre les Juifs", sans aucun doute, mais il n'est pas adressé aux Juifs: Luther met en garde les "Allemands", c'est-à-dire les chrétiens de son temps, contre une politique de tolérance à l'égard des communautés juives.
Il dénonce les "vantardises" des Juifs (leur lignage, le lien qu'ils entendent instaurer avec Dieu par la circoncision, la détention de la Loi et leur droit sur une terre) et s'efforce par un travail exégétique d'établir le caractère messianique de Jésus. Il expose les soi-disant "calomnies" juives sur Jésus et Marie, colportant au passage diverses superstitions médiévales, par exemple les crimes rituels prétendument perpétrés par les Juifs.
Dans la dernière partie du volume, la plus souvent citée, il appelle à faire cesser les agissements condamnables des Juifs: l'usure, qui vide le pays de ses richesses, le blasphème, les nuisances diverses. Pour cela, il prône une politique d'éradication violente (il conseille ainsi à de nombreuses reprises d'incendier les synagogues), voire l'expulsion, même si ce mot n'est pas présent dans le livre de Luther : "Il faut que nous soyons séparés d'eux et
- Dans quel contexte Luther en vient-il à écrire de telles choses?
- Le livre est publié en 1543, trois ans avant la mort du réformateur. On est loin des débuts flamboyants de sa vie: il avait publié les fameuses "thèses" qui avaient lancé la Réforme en 1517, et ses plus grands textes dans les années 1520. "Des Juifs et de leurs mensonges" s'inscrit dans les années de consolidation et de structuration par Luther d'une Église et d'une société protestantes.
Ce sont aussi des années d'inquiétude face à l'apparition de déviances internes à la Réforme, comme les anabaptistes ou les sabbatariens, qui ont poussé la relecture de l'Ancien Testament jusqu'à observer, par exemple, le repos du shabbat. Ces sectes, dont l'Église de Dieu et l'Église adventiste du Septième jour sont les héritières contemporaines, Luther les considère comme "judaïsantes".
Au même moment, la saison des expulsions des Juifs d'Europe occidentale s'achève: il n'y en reste plus guère, sinon dans les ghettos d'Italie et dans quelques localités du monde germanique. Ce traité et deux autres non moins anti-judaïques de la même année 1543, "Du nom ineffable et de la lignée du Christ" et "Des dernières paroles de David", illustrent ce que la plupart des biographes a décrit comme un revirement dans l'attitude de Luther à l'égard des Juifs.
D'abord plutôt bienveillant envers eux et convaincu de sa capacité de les convertir (il écrit "Que Jésus-Christ est né juif" en 1523, un traité autrement plus sympathique que "Des Juifs et de leurs mensonges"), il s'oppose aux persécutions dont ils sont l'objet. Il est même accusé de "judaïser". Mais son objectif reste la conversion et il finit par en rabattre, déçu qu'il est par leur obstination dans leur foi. En vieillissant, il développe une haine obsessionnelle contre les Juifs, il parle souvent d'eux dans ses "Propos de table" et, trois jours avant de mourir, il prêche encore contre eux.
- Quelle est la place de cet antisémitisme dans la pensée de Luther?
- On pourrait répondre en faisant valoir que, matériellement, les pages antisémites de Luther constituent une part réduite de son oeuvre, il est vrai très abondante; et qu'elles ne sont pas plus violentes que celles où il vise d'autres groupes qui font eux aussi l'objet de sa haine ("papistes", princes, fanatiques, Turcs, etc.). Mais cela ne répond pas vraiment sur le fond.
On pourrait répondre aussi, et ce serait déjà un peu plus convaincant, qu'un luthéranisme sans antisémitisme est bien possible: des millions de luthériens en donnent l'exemple chaque jour. L'antisémitisme n'est donc pas central dans l'édifice théologique luthérien. Néanmoins, les choses sont plus compliquées: sans être inexpugnable, l'hostilité au judaïsme se niche profondément dans la pensée de Luther.
Comme les catholiques de son temps, Luther considère comme une infâme déformation rabbinique l'idée d'une Loi orale (le Talmud) comme pendant indispensable de la Loi écrite. Comme eux encore, il campe sur des positions prosélytes et, partant, potentiellement, intolérantes. Comme eux enfin, il manie de lourds arguments théologiques contre les Juifs s'obstinant à rester juifs (caducité de l'Alliance, annonce de Jésus comme Messie, etc.).
Mais, en tant que fondateur du protestantisme, son conflit avec le judaïsme se noue plus spécifiquement autour de la question chrétienne du salut. Pour les catholiques, je suis sauvé par mes "oeuvres", c'est-à-dire mes bonnes actions. C'est le fondement théologique de l'activité caritative de la papauté, qui permet d'acheter son salut à coups de donations, de messes, d'indulgences.
Au contraire, Luther, en s'appuyant notamment sur Paul, développe une théologie de la grâce, qui inverse le lien de causalit : l'amour de Dieu m'est donné sans condition, et c'est précisément ce qui doit m'inciter à agir de façon charitable. Or, dans "Des Juifs et de leurs mensonges", Luther range les Juifs du côté des catholiques, en quoi il se trompe, car la perspective juive se soucie en réalité fort peu du salut et de la rédemption. Cette critique contre le judaïsme est forte: s'agit-il cependant d'antisémitisme? Je ne le crois pas.
Le problème se niche peut-être plutôt dans cette capacité de violence et de colère du réformateur, dans sa véhémente affirmation d'une parole persuadée de détenir la vérité et de devoir abolir l'erreur. Concernant les Juifs, cela conduit Luther à remettre en cause les équilibres anciens trouvés par l'Église romaine et, plus généralement, à attaquer la tradition de tolérance (avec toutes les ambiguïtés de ce mot) de l'Occident, qui, depuis plus de mille ans, puisait à la fois au droit romain, à la politique des papes et aux principaux textes chrétiens.
À côté de désaccords théologiques, par exemple sur les oeuvres, la foi et la grâce, il y a chez Luther cette approche radicale, désireuse de rupture, de rationalité et d'homogénéisation. Cette approche est une des formes possibles de la modernité occidentale. On pourrait dire que c'est la face sombre des Lumières, et il me semble qu'on en trouve la trace dès Luther.
Truie : La "truie des Juifs", ou "truie juive" (en allemand Judensau), est un motif antisémite classique au Moyen Âge, figurée notamment sur un bas-relief de l'église de la ville de Wittemberg (où Luther prêcha). Elle représente des Juifs en contact obscène avec une truie, et entend dénoncer ainsi la bestialité des Juifs et le lien intime qu'ils entretiennent avec les porcs. L'image revient à vingtaine de reprises dans "Des Juifs et de leurs mensonges".
- Quels ont été les effets de l'ouvrage de Luther sur le protestantisme et sur l'histoire allemande ?
- Sur le moment même, il n'a que peu d'effets: bien des expulsions sont prononcées sans que l'on ait besoin pour cela de ses recommandations. On a toutefois connaissance de mesures adoptées dans son sillage dans le Neumark, en Saxe ou encore en Hesse.
En outre, si sa réception et ses usages furent importants à l'époque de sa publication, y compris avec quelques condamnations par des contemporains de Luther, il semble que, passé le XVIe siècle, cette partie de l'oeuvre du théologien a en fait été assez oubliée. Aux XVIIe et XVIIIe siècles, les trois traités antijudaïques sont publiés de loin en loin isolément. Leur retour sur le devant de la scène commence dans les années 1830-1840 et c'est en 1920 que l'édition de Weimar qui fait référence achève de les rendre visibles.
On peut toutefois défendre que la présence d'une haine si forte dans une oeuvre si lue ne peut qu'avoir de lourds effets. Pour ainsi dire, avec "Des Juifs et de leurs mensonges", le vers est dans le fruit : l'antisémitisme est durablement légitimé. Avec lui, s'enclenche une certaine modernité allemande, qui n'est bien sûr ni toute l'Allemagne, ni toute la modernité. Que l'on songe aux accusations portées par Emmanuel Levinas contre la conscience philosophique occidentale et sa volonté totalisante.
Dans une telle perspective, Luther prendrait place dans la généalogie d'un universalisme devenu criminel, qui passerait par les Lumières et déboucherait sur la constitution d'un "problème" posé par les Juifs, perçus comme faisant obstacle à l'avènement de l'universel "illimité" ou "facile".
Je reprends ici la thèse proposée par Jean-Claude Milner dans "les Penchants criminels de l'Europe". Pour Milner, ce que les universalistes (adeptes d'une lecture plus ou moins sécularisée des épîtres de Paul) ne supportent pas dans le judaïsme, c'est le principe de filiation. Et en effet, ce principe est copieusement attaqué par Luther, dont on sait l'importance qu'il accordait à Paul.
Pour autant, peut-on inscrire Luther dans la succession des penseurs qui, à force d'universalisme "facile", ont fini par fabriquer le "problème juif" et ouvert la voie à la "solution finale" ? Circonstance aggravante pour le réformateur, c'est dans les années 1930-1940 que ses textes antisémites ont été le plus souvent cités - en un sens favorable, puisqu'il s'agit de récupérations par les nazis. L'une des plus célèbres récupérations est celle de Julius Streicher, directeur de "Der Stürmer" et vieux compagnon de Hitler, lorsqu'il déclara au procès de Nuremberg (1946) :
en fin de compte, [Luther] serait aujourd'hui à [sa] place au banc des accusés si ["Des Juifs et de leurs mensonges"] avait été versé au dossier du procès.
Autre indice frappant : la carte du vote nazi et celle du protestantisme au début des années 1930 se recoupent parfaitement, et, pourrait-on dire, terriblement. Pour autant, il paraît injuste de voir là de véritables effets de l'oeuvre de Luther. Dans la tradition antisémite de l'Allemagne, aujourd'hui bien évidemment interrompue, Luther joue un rôle, sans doute, mais il est difficile d'en faire la pesée.
L'historien Marc Bloch prononça une mise en garde fameuse contre l'"idole des origines", ce commencement "qui suffit à expliquer". Dans une généalogie, les crimes des générations postérieures ne sont pas imputables aux ancêtres. Bien responsable de ce qu'il a écrit, et qui l'accable, Luther ne l'est pas de la suite de l'histoire, surtout si cinq siècles le séparent de cette "suite" dramatique.

Auteur: Savy Pierre

Info: propos recueillis par Eric Aeschimann, Des Juifs et de leurs mensonges, par Martin Luther, éditions Honoré Champion, 212

[ Europe ]

homme-machine

Chat GPT ou le perroquet grammairien

L’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur le langage humain et sur ce qu’on appelle parler. Notamment, les IA redonnent naissance à un débat ancien sur la grammaire générative et sur l’innéisme des facultés langagières. Mais les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction, et considérant aussi la façon dont les animaux communiquent.

a capacité de ChatGPT à produire des textes en réponse à n’importe quelle requête a immédiatement attiré l’attention plus ou moins inquiète d’un grand nombre de personnes, les unes animées par une force de curiosité ou de fascination, et les autres, par un intérêt professionnel.

L’intérêt professionnel scientifique que les spécialistes du langage humain peuvent trouver aux Large Language Models ne date pas d’hier : à bien des égards, des outils de traduction automatique comme DeepL posaient déjà des questions fondamentales en des termes assez proches. Mais l’irruption des IA conversationnelles dans la sphère publique a conféré une pertinence supplémentaire aux débats sur ce que les Large Language Models sont susceptibles de nous dire sur le langage humain et sur ce qu’on appelle parler.

L’outil de traduction DeepL (ou les versions récentes de Google Translate) ainsi que les grands modèles de langage reposent sur des techniques d’" apprentissage profond " issues de l’approche " neuronale " de l’Intelligence Artificielle : on travaille ici sur des modèles d’IA qui organisent des entités d’information minimales en les connectant par réseaux ; ces réseaux de connexion sont entraînés sur des jeux de données considérables, permettant aux liaisons " neuronales " de se renforcer en proportion des probabilités de connexion observées dans le jeu de données réelles – c’est ce rôle crucial de l’entraînement sur un grand jeu de données qui vaut aux grands modèles de langage le sobriquet de " perroquets stochastiques ". Ces mécanismes probabilistes sont ce qui permet aussi à l’IA de gagner en fiabilité et en précision au fil de l’usage. Ce modèle est qualifié de " neuronal " car initialement inspiré du fonctionnement des réseaux synaptiques. Dans le cas de données langagières, à partir d’une requête elle-même formulée en langue naturelle, cette technique permet aux agents conversationnels ou aux traducteurs neuronaux de produire très rapidement des textes généralement idiomatiques, qui pour des humains attesteraient d’un bon apprentissage de la langue.

IA neuronales et acquisition du langage humain

Au-delà de l’analogie " neuronale ", ce mécanisme d’entraînement et les résultats qu’il produit reproduisent les théories de l’acquisition du langage fondées sur l’interaction avec le milieu. Selon ces modèles, généralement qualifiés de comportementalistes ou behavioristes car étroitement associés aux théories psychologiques du même nom, l’enfant acquiert le langage par l’exposition aux stimuli linguistiques environnants et par l’interaction (d’abord tâtonnante, puis assurée) avec les autres. Progressivement, la prononciation s’aligne sur la norme majoritaire dans l’environnement individuel de la personne apprenante ; le vocabulaire s’élargit en fonction des stimuli ; l’enfant s’approprie des structures grammaticales de plus en plus contextes ; et en milieu bilingue, les enfants apprennent peu à peu à discriminer les deux ou plusieurs systèmes auxquels ils sont exposés. Cette conception essentiellement probabiliste de l’acquisition va assez spontanément de pair avec des théories grammaticales prenant comme point de départ l’existence de patrons (" constructions ") dont la combinatoire constitue le système. Dans une telle perspective, il n’est pas pertinent qu’un outil comme ChatGPT ne soit pas capable de référer, ou plus exactement qu’il renvoie d’office à un monde possible stochastiquement moyen qui ne coïncide pas forcément avec le monde réel. Cela ne change rien au fait que ChatGPT, DeepL ou autres maîtrisent le langage et que leur production dans une langue puisse être qualifiée de langage : ChatGPT parle.

Mais ce point de vue repose en réalité sur un certain nombre de prémisses en théorie de l’acquisition, et fait intervenir un clivage lancinant au sein des sciences du langage. L’actualité de ces dernières années et surtout de ces derniers mois autour des IA neuronales et génératives redonne à ce clivage une acuité particulière, ainsi qu’une pertinence nouvelle pour l’appréhension de ces outils qui transforment notre rapport au texte et au discours. La polémique, comme souvent (trop souvent ?) quand il est question de théorie du langage et des langues, se cristallise – en partie abusivement – autour de la figure de Noam Chomsky et de la famille de pensée linguistique très hétérogène qui se revendique de son œuvre, généralement qualifiée de " grammaire générative " même si le pluriel (les grammaires génératives) serait plus approprié.

IA générative contre grammaire générative

Chomsky est à la fois l’enfant du structuralisme dans sa variante états-unienne et celui de la philosophie logique rationaliste d’inspiration allemande et autrichienne implantée sur les campus américains après 1933. Chomsky est attaché à une conception forte de la logique mathématisée, perçue comme un outil d’appréhension des lois universelles de la pensée humaine, que la science du langage doit contribuer à éclairer. Ce parti-pris que Chomsky qualifiera lui-même de " cartésien " le conduit à fonder sa linguistique sur quelques postulats psychologiques et philosophiques, dont le plus important est l’innéisme, avec son corollaire, l’universalisme. Selon Chomsky et les courants de la psychologie cognitive influencée par lui, la faculté de langage s’appuie sur un substrat génétique commun à toute l’espèce humaine, qui s’exprime à la fois par un " instinct de langage " mais aussi par l’existence d’invariants grammaticaux, identifiables (via un certain niveau d’abstraction) dans toutes les langues du monde.

La nature de ces universaux fluctue énormément selon quelle période et quelle école du " générativisme " on étudie, et ce double postulat radicalement innéiste et universaliste reste très disputé aujourd’hui. Ces controverses mettent notamment en jeu des conceptions très différentes de l’acquisition du langage et des langues. Le moment fondateur de la théorie chomskyste de l’acquisition dans son lien avec la définition même de la faculté de langage est un violent compte-rendu critique de Verbal Behavior, un ouvrage de synthèse des théories comportementalistes en acquisition du langage signé par le psychologue B.F. Skinner. Dans ce compte-rendu publié en 1959, Chomsky élabore des arguments qui restent structurants jusqu’à aujourd’hui et qui définissent le clivage entre l’innéisme radical et des théories fondées sur l’acquisition progressive du langage par exposition à des stimuli environnementaux. C’est ce clivage qui préside aux polémiques entre linguistes et psycholinguistes confrontés aux Large Language Models.

On comprend dès lors que Noam Chomsky et deux collègues issus de la tradition générativiste, Ian Roberts, professeur de linguistique à Cambridge, et Jeffrey Watumull, chercheur en intelligence artificielle, soient intervenus dans le New York Times dès le 8 mars 2023 pour exposer un point de vue extrêmement critique intitulée " La fausse promesse de ChatGPT ". En laissant ici de côté les arguments éthiques utilisés dans leur tribune, on retiendra surtout l’affirmation selon laquelle la production de ChatGPT en langue naturelle ne pourrait pas être qualifiée de " langage " ; ChatGPT, selon eux, ne parle pas, car ChatGPT ne peut pas avoir acquis la faculté de langage. La raison en est simple : si les Grands Modèles de Langage reposent intégralement sur un modèle behaviouriste de l’acquisition, dès lors que ce modèle, selon eux, est réfuté depuis soixante ans, alors ce que font les Grands Modèles de Langage ne peut être qualifié de " langage ".

Chomsky, trop têtu pour qu’on lui parle ?

Le point de vue de Chomsky, Roberts et Watumull a été instantanément tourné en ridicule du fait d’un choix d’exemple particulièrement malheureux : les trois auteurs avançaient en effet que certaines constructions syntaxiques complexes, impliquant (dans le cadre générativiste, du moins) un certain nombre d’opérations sur plusieurs niveaux, ne peuvent être acquises sur la base de l’exposition à des stimuli environnementaux, car la fréquence relativement faible de ces phénomènes échouerait à contrebalancer des analogies formelles superficielles avec d’autres tournures au sens radicalement différent. Dans la tribune au New York Times, l’exemple pris est l’anglais John is too stubborn to talk to, " John est trop entêté pour qu’on lui parle ", mais en anglais on a littéralement " trop têtu pour parler à " ; la préposition isolée (ou " échouée ") en position finale est le signe qu’un constituant a été supprimé et doit être reconstitué aux vues de la structure syntaxique d’ensemble. Ici, " John est trop têtu pour qu’on parle à [John] " : le complément supprimé en anglais l’a été parce qu’il est identique au sujet de la phrase.

Ce type d’opérations impliquant la reconstruction d’un complément d’objet supprimé car identique au sujet du verbe principal revient dans la plupart des articles de polémique de Chomsky contre la psychologie behaviouriste et contre Skinner dans les années 1950 et 1960. On retrouve même l’exemple exact de 2023 dans un texte du début des années 1980. C’est en réalité un exemple-type au service de l’argument selon lequel l’existence d’opérations minimales universelles prévues par les mécanismes cérébraux humains est nécessaire pour l’acquisition complète du langage. Il a presque valeur de shibboleth permettant de séparer les innéistes et les comportementalistes. Il est donc logique que Chomsky, Roberts et Watumull avancent un tel exemple pour énoncer que le modèle probabiliste de l’IA neuronale est voué à échouer à acquérir complètement le langage.

On l’aura deviné : il suffit de demander à ChatGPT de paraphraser cette phrase pour obtenir un résultat suggérant que l’agent conversationnel a parfaitement " compris " le stimulus. DeepL, quand on lui demande de traduire cette phrase en français, donne deux solutions : " John est trop têtu pour qu’on lui parle " en solution préférée et " John est trop têtu pour parler avec lui " en solution de remplacement. Hors contexte, donc sans qu’on sache qui est " lui ", cette seconde solution n’est guère satisfaisante. La première, en revanche, fait totalement l’affaire.

Le détour par DeepL nous montre toutefois la limite de ce petit test qui a pourtant réfuté Chomsky, Roberts et Watumull : comprendre, ici, ne veut rien dire d’autre que " fournir une paraphrase équivalente ", dans la même langue (dans le cas de l’objection qui a immédiatement été faite aux trois auteurs) ou dans une autre (avec DeepL), le problème étant que les deux équivalents fournis par DeepL ne sont justement pas équivalents entre eux, puisque l’un est non-ambigu référentiellement et correct, tandis que l’autre est potentiellement ambigu référentiellement, selon comment on comprend " lui ". Or l’argument de Chomsky, Roberts et Watumull est justement celui de l’opacité du complément d’objet… Les trois auteurs ont bien sûr été pris à défaut ; reste que le test employé, précisément parce qu’il est typiquement behaviouriste (observer extérieurement l’adéquation d’une réaction à un stimulus), laisse ouverte une question de taille et pourtant peu présente dans les discussions entre linguistes : y a-t-il une sémantique des énoncés produits par ChatGPT, et si oui, laquelle ? Chomsky et ses co-auteurs ne disent pas que ChatGPT " comprend " ou " ne comprend pas " le stimulus, mais qu’il en " prédit le sens " (bien ou mal). La question de la référence, présente dans la discussion philosophique sur ChatGPT mais peu mise en avant dans le débat linguistique, n’est pas si loin.

Syntaxe et sémantique de ChatGPT

ChatGPT a une syntaxe et une sémantique : sa syntaxe est homologue aux modèles proposés pour le langage naturel invoquant des patrons formels quantitativement observables. Dans ce champ des " grammaires de construction ", le recours aux données quantitatives est aujourd’hui standard, en particulier en utilisant les ressources fournies par les " grand corpus " de plusieurs dizaines de millions voire milliards de mots (quinze milliards de mots pour le corpus TenTen francophone, cinquante-deux milliards pour son équivalent anglophone). D’un certain point de vue, ChatGPT ne fait que répéter la démarche des modèles constructionalistes les plus radicaux, qui partent de co-occurrences statistiques dans les grands corpus pour isoler des patrons, et il la reproduit en sens inverse, en produisant des données à partir de ces patrons.

Corrélativement, ChatGPT a aussi une sémantique, puisque ces théories de la syntaxe sont majoritairement adossées à des modèles sémantiques dits " des cadres " (frame semantics), dont l’un des inspirateurs n’est autre que Marvin Minsky, pionnier de l’intelligence artificielle s’il en est : la circulation entre linguistique et intelligence artificielle s’inscrit donc sur le temps long et n’est pas unilatérale. Là encore, la question est plutôt celle de la référence : la sémantique en question est très largement notionnelle et ne permet de construire un énoncé susceptible d’être vrai ou faux qu’en l’actualisant par des opérations de repérage (ne serait-ce que temporel) impliquant de saturer grammaticalement ou contextuellement un certain nombre de variables " déictiques ", c’est-à-dire qui ne se chargent de sens que mises en relation à un moi-ici-maintenant dans le discours.

On touche ici à un problème transversal aux clivages dessinés précédemment : les modèles " constructionnalistes " sont plus enclins à ménager des places à la variation contextuelle, mais sous la forme de variables situationnelles dont l’intégration à la description ne fait pas consensus ; les grammaires génératives ont très longtemps évacué ces questions hors de leur sphère d’intérêt, mais les considérations pragmatiques y fleurissent depuis une vingtaine d’années, au prix d’une convocation croissante du moi-ici-maintenant dans l’analyse grammaticale, du moins dans certains courants. De ce fait, l’inscription ou non des enjeux référentiels et déictiques dans la définition même du langage comme faculté humaine représente un clivage en grande partie indépendant de celui qui prévaut en matière de théorie de l’acquisition.

À l’école du perroquet

La bonne question, en tout cas la plus féconde pour la comparaison entre les productions langagières humaines et les productions des grands modèles de langage, n’est sans doute pas de savoir si " ChatGPT parle " ni si les performances de l’IA neuronale valident ou invalident en bloc tel ou tel cadre théorique. Une piste plus intéressante, du point de vue de l’étude de la cognition et du langage humains, consiste à comparer ces productions sur plusieurs niveaux : les mécanismes d’acquisition ; les régularités sémantiques dans leur diversité, sans les réduire aux questions de référence et faisant par exemple intervenir la conceptualisation métaphorique des entités et situations désignées ; la capacité à naviguer entre les registres et les variétés d’une même langue, qui fait partie intégrante de la maîtrise d’un système ; l’adaptation à des ontologies spécifiques ou à des contraintes communicatives circonstancielles… La formule du " perroquet stochastique ", prise au pied de la lettre, indique un modèle de ce que peut être une comparaison scientifique du langage des IA et du langage humain.

Il existe en effet depuis plusieurs décennies maintenant une linguistique, une psycholinguistique et une pragmatique de la communication animale, qui inclut des recherches comparant l’humain et l’animal. Les progrès de l’étude de la communication animale ont permis d’affiner la compréhension de la faculté de langage, des modules qui la composent, de ses prérequis cognitifs et physiologiques. Ces travaux ne nous disent pas si " les animaux parlent ", pas plus qu’ils ne nous disent si la communication des corbeaux est plus proche de celle des humains que celle des perroquets. En revanche ils nous disent comment diverses caractéristiques éthologiques, génétiques et cognitives sont distribuées entre espèces et comment leur agencement produit des modes de communication spécifiques. Ces travaux nous renseignent, en nous offrant un terrain d’expérimentation inédit, sur ce qui fait toujours système et sur ce qui peut être disjoint dans la faculté de langage. Loin des " fausses promesses ", les grands modèles de langage et les IA neuronales nous offrent peut-être l’occasion d’étendre le domaine de la réflexion sur l’architecture des systèmes possibles de cognition, de communication et d’interaction. 

Auteur: Modicom Pierre-Yves

Info: https://aoc.media/ 14 nov 2023

[ onomasiologie bayésienne ] [ sémiose homme-animal ] [ machine-homme ] [ tiercités hors-sol ] [ signes fixés externalisables ]

Gaule 2023

Marianne : Comment avez-vous perçu le mouvement social de contestation à la réforme des retraites ?

E.T. : Je suis allé en manifestation. Du mouvement de contestation, j'ai constaté la masse, l’énergie, la jeunesse. Je tiens à dire ce que je pense de la responsabilité des uns et des autres concernant le désordre actuel, tout d'abord. Pour moi – je dis bien pour moi – mais ça sera aux juristes de trancher, il est clair qu'en faisant passer une réforme des retraites en loi de finances rectificative et par l'article 49.3, Emmanuel Macron et Élisabeth Borne sont sortis de la Constitution, du moins de l'esprit de la Constitution. Ce sera au Conseil constitutionnel de le dire. Mais il n'est pas certain que j'accepte l'avis du Conseil constitutionnel, s’il valide Macron-Borne.

J'ai vu les commentaires, le soir, sur BFM TV, LCI et d'autres, où l’on parlait de feux de poubelle. Pour moi, 100 % de la responsabilité de ces feux de poubelle incombe au président de la République française et la question de savoir si ce sont plus les black blocks ou les manifestants qui les ont allumés ne m'intéresse pas.

Pourquoi Emmanuel Macron entretiendrait-il ce désordre ?

Ce qui m'étonne le plus, moi, c'est que c'est un désordre qui ne sert à rien. En général, quand on gouverne par le désordre pour faire se lever le parti de l’ordre, c’est qu’on veut consolider un pouvoir fragile, ou bien pour reprendre le pouvoir. Mais Macron avait le pouvoir. La vérité de ce projet de réforme des retraites, en dehors du fait qu’il est injuste et incohérent, c’est qu’il est insignifiant et inutile par rapport aux problèmes réels de la société française.

Il y en a deux : la désindustrialisation et la chute du niveau de vie, liée à l’inflation. La question qui se pose et ce qu’il faut analyser vraiment, c’est la raison de cette mise en désordre de la France par son président, pour rien. Était-ce pour mener à bien un projet néolibéral, appelé "réformateur" ? Ou est-ce que c’est un problème lié à la personnalité de Macron lui-même ?

Commençons par l’hypothèse d’une réforme pensée comme juste par Macron. Vous la jugez néolibérale ?

La réalité du monde occidental, qui entre en guerre, c’est que le néolibéralisme, en tant qu’idéologie économiste active transformant la planète, est en train de mourir parce que ses effets ultimes se révèlent. La mortalité augmente aux États-Unis, et donc, logiquement, l’espérance de vie baisse. Les États-Unis ont perdu leur base industrielle, comme l’Angleterre. Le contexte historique général en ce moment, dans le monde américain, est plutôt aux réflexions sur le retour de l’État entrepreneur.

Macron avait pourtant engagé un tournant néo-protectionniste avec le Covid…

Non ! Je pense que Macron est néolibéral archaïque, et donc en grand état de déficit cognitif. Quand il parle de protectionnisme, il n’est même pas capable de dire s’il s’agit de protectionnisme national ou européen. Mais si tu ne fixes pas d’échelle, tu ne parles de rien. Quand il parle de réindustrialisation, il n’est pas capable de voir que la réindustrialisation implique deux actions simultanées. D’abord, l’investissement direct de l’État dans l’économie. C’est ça qui serait important actuellement, pas la réforme des retraites. Et puis des mesures de protection des secteurs qu’on refonde, par exemple dans les médicaments, dans la fabrication de tel ou tel bien essentiel à la sécurité informatique, alimentaire et énergétique de la France.

C’est d’ailleurs l’une des choses stupéfiantes dans ce débat sur les retraites : les politiques légifèrent – croient-ils – sur des perspectives à long terme d’équilibre. Ils spéculent sur des années de travail qui vont couvrir des décennies pour la plupart des gens, sans se poser la question de ce qui restera, non pas comme argent, comme signes monétaires, mais comme bien réels produits pour servir ces retraites en 2050 ou 2070.

Les retraites sont menacées, c’est vrai, mais par la désindustrialisation. Quel que soit le système comptable, si la France ne produit plus rien le niveau des retraites réelles de tout le monde va baisser. En dehors du fait qu'il a déjà commencé à baisser avec l'inflation.

Notre élite économique fait, selon vous, une fois de plus fausse route.

Notre président et les gens autour de lui, une sorte de pseudo-intelligentsia economico-politique, sont hors du monde. À une époque, on savait que pour faire la guerre, il fallait des biens industriels, des ingénieurs, des ouvriers. On redécouvre aujourd’hui à Washington et à Londres que tout ça n’existe plus assez ! Les faucons néoconservateurs croyaient qu’on pouvait faire la guerre à la Russie avec des soldats ukrainiens et à la Chine en prime, grâce au travail d’ouvriers… chinois ! La réalité du néolibéralisme, c'est qu’il a tout détruit au cœur même de son Empire. Le vrai nom du néolibéralisme, c'est "nihilisme économique". Je me souviens de phrases prophétiques de Margaret Thatcher disant "There is no such thing as society ", ou "There is no alternative" (TINA). Ces idioties ne sortent pas du libéralisme britannique, de John Locke ou d'Adam Smith, mais bien plutôt du nihilisme russe du XIXe siècle.

Cette réforme des retraites à contretemps est guidée par un phénomène d'inertie, au nom d’une idéologie qui est en train de mourir. Le discours néolibéral est un discours de la rationalité économique, un discours de la rationalité des marchés qui va permettre de produire, en théorie, plus d'efficacité. Je vais vous dire l’état de mes recherches sur le nihilisme néolibéral : cette passion de détruire les cadres de sécurité établis au cours des siècles par les religions, les États et les partis de gauche. Le nihilisme néolibéral détruit la fécondité du monde avancé, la possibilité même d’un futur. Et vous allez être fier de cette France dont les néolibéraux rient.

Vous faites partie de ceux qui voient dans les indices de fécondité l'avenir de l'Occident…

La vérité historique fondamentale actuelle, c’est que la rationalité individualiste pure détruit la capacité des populations à se reproduire et des sociétés à survivre. Pour faire des enfants, particulièrement dans les classes moyennes qui veulent pour eux des études longues, il faut l’aide de la collectivité, il faut se projeter dans un avenir qui ne peut apparaître suffisamment sûr que grâce à l’État. Il faut donc sortir de la rationalité économique à court terme. Sans oublier que décider d’avoir un enfant, ce n’est être ni rationnel, ni parfois même raisonnable, mais vivant. Je sais qu'il y a des gens qui s'inquiètent de l'augmentation de la population mondiale, mais moi, je suis inquiet de la sous-fécondité de toutes les régions "avancées". Même les États-Unis, même l'Angleterre, sont tombés à 1,6 enfant par femme. L’Allemagne est à 1,5, le Japon est à 1,3. La Corée, chouchou des majorettes intellectuelles du succès économique, le pays de Samsung et d'une globalisation économique assumée, est à 0,8. … Le plus efficace économiquement est le plus suicidaire.

C'est là que la France redevient vraiment intéressante. Elle a deux caractéristiques. C'est d’abord le pays qui fait le moins bien ses "réformes", qui refuse le plus le discours de la rationalité économique. Dont l'État n'est jamais dégrossi comme le rêvent les idéologues du marché. Mais c'est aussi le seul pays avancé qui garde une fécondité de 1,8. C'est le pays qui, en ne voulant pas toutes ces réformes, a refusé la destruction de certaines des structures de protection des individus et des familles qui permettent aux gens de se projeter dans le futur et d'avoir des enfants. Une retraite jeune, ce sont aussi des grands-pères et des grands-mères utilisables pour des gardes d’enfants ! Désolé d’apparaître en être humain plutôt qu’en économiste ! La grandeur de la France, c'est son refus de la rationalité économique, son refus de la réforme. Ce qui fait de la France un pays génial, c'est son irrationalité économique. On saura si Macron a réussi s'il arrive à faire baisser la natalité française au niveau anglo-américain, au-delà de son cas personnel de non-reproduction.

Comment ce dernier peut-il alors imposer une telle réforme si c'est contre l'intérêt du pays ?

Pourquoi un président de la République en si grand état de déficit cognitif peut-il imposer cette réforme injuste, inutile et incohérente par un coup de force institutionnel ou même un coup d’État ? Parce qu’il agit dans un système sociopolitique détraqué que je qualifierais même de pathologique. Il y avait une organisation de la République qui reposait sur une opposition de la droite et de la gauche, permise par un mode de scrutin adapté : le scrutin uninominal majoritaire à deux tours. Il faisait qu’au premier tour, on choisissait son parti de droite préféré, son parti de gauche préféré. Au deuxième tour, les deux camps se regroupaient et on avait une très belle élection.

Tout a été dévasté par la nouvelle stratification éducative de la France. La montée de l’éducation supérieure a produit une première division en deux de la société entre les gens qui ont fait des études et ceux qui n’en ont pas fait. C’est le modèle qui s’impose partout dans le monde développé. Mais il y a une autre dimension qui, il faut l’avouer, n’a pas grand-chose à voir : le vieillissement de la population et l’apparition d’une masse électorale âgée, qui établissent un troisième pôle, les vieux, dont je suis. Cette société stratifiée et vieillie a accouché de trois pôles politiques qui structurent le système. Je simplifie jusqu’à la caricature : 1) les éduqués supérieurs mal payés, plutôt jeunes ou actifs, se sont dirigés vers Mélenchon ou la Nupes ; 2) les moins éduqués mal payés, plutôt jeunes et actifs, vers le RN ; 3) les vieux, derrière Macron.

Ils sont les seuls à soutenir la réforme des retraites, d’ailleurs…

Ce système est dysfonctionnel, "détraqué", à cause de l’opposition viscérale entre les électorats contestataires de gauche et de droite, Nupes et RN. Ces deux électorats ont en commun leur niveau de vie, leur structure d’âge, mais sont séparés par l’éducation et par la question de la nation et de l’immigration. Cette fracture conduit à une incapacité des uns et des autres à se considérer comme mutuellement légitimes. Leur opposition permet à Macron et aux vieux de régner. Les retraités peuvent donc imposer une réforme des retraites qui ne les touche pas. Le problème, c’est qu’une démocratie ne peut fonctionner que si les gens opposés se considèrent comme certes différents, mais mutuellement légitimes.

La France vire-t-elle à la gérontocratie ?

On a enfermé les jeunes pour sauver les gens de ma génération. Comment la démocratie est-elle possible avec un corps électoral qui vieillit sans cesse ? Mais dénoncer un système gérontocratique ne suffit pas, d’un point de vue anthropologique en tout cas. Ce qu’il faut dénoncer, c’est une société qui ne peut survivre. Une société humaine ne peut pas se projeter dans l’avenir si on part du principe que les ressources doivent remonter vers les vieux plutôt que descendre vers les jeunes.

La question institutionnelle fondamentale, ce n’est pas tant le pouvoir disproportionné du président dans la conception de la Ve République, mais un système électoral inadapté dans un contexte où les deux forces d’opposition refusent d’exister l’une pour l’autre. Il y a deux solutions : la première est le passage au mode de scrutin proportionnel. Mais cela ne se produira pas car la gérontocratie en place a trop intérêt à ce que le système dysfonctionne. L’autre solution, c’est de trouver une voie politique qui permette le sauvetage de la démocratie : je propose un contrat à durée limitée réconciliant les électorats du Rassemblement national et de la Nupes pour établir le scrutin proportionnel.

Mais comment les réconcilier ?

Je considère vraiment que ce qui se passe est inquiétant. J’ai un peu de mal à imaginer que cela ne se termine pas mal. Il y a un élément d’urgence, et la simple menace de désistement implicite ou explicite entre les deux forces d’opposition calmerait beaucoup le jeu. Il ferait tomber le sentiment d’impunité de la bureaucratie qui nous gouverne.

Le problème fondamental n’est pas un problème entre appareils. Le problème fondamental est un problème de rejet pluriel. 1) L’électorat du Rassemblement national est installé dans son rejet de l’immigration, un concept qui mélange l’immigration réelle qui passe aujourd’hui la frontière et la descendance de l’immigration ancienne, les gosses d’origine maghrébine qui sont maintenant une fraction substantielle de la population française. 2) L’électorat de LFI et de la Nupes croit seulement exprimer un refus du racisme du RN mais il exprime aussi, à l’insu de son plein gré, un rejet culturel de l’électorat du RN. Il vit un désir à la Bourdieu de distinction. Simplifions, soyons brutal, il s’agit de sauver la République : il y a d’un côté une xénophobie ethnique et de l’autre une xénophobie sociale.

J’ai un peu de mal à imaginer que le sauvetage à court terme de la démocratie par l’établissement de la proportionnelle, via un accord à durée limitée entre Nupes et RN, puisse se passer d’un minimum de négociation sur la question du rapport à l’étranger. La seule négociation possible, la seule chose raisonnable d’ailleurs du point de vue de l’avenir du pays, c’est que les électeurs de la Nupes admettent que le contrôle des frontières est absolument légitime et que les gens du Rassemblement national admettent que les gens d’origine maghrébine en France sont des Français comme les autres. Sur cette base, à la fois très précise et qui admet du flou, on peut s’entendre.

Le contexte actuel reproduit-il celui de l’époque des Gilets jaunes ?

"La police tape pour Macron, mais vote pour Le Pen", disais-je en 2018 au moment des Gilets jaunes… Je m’inquiétais de la possibilité d’une collusion entre les forces de ce que j’appelais à l’époque l’aristocratie stato-financière et l’autoritarisme implicitement associé à la notion d’extrême droite. J’avançais le concept de macrolepénisme. Le Rassemblement national aujourd’hui est confronté à une ambivalence qu’il doit lever. Le contexte actuel reproduit le contexte de l’époque des Gilets jaunes, en effet : d’un côté le Rassemblement national passe des motions de censure contre la politique gouvernementale sur les retraites (et je trouve tout à fait immoral que LFI refuse de voter les motions du Rassemblement national sur ces questions), mais, d’un autre côté, c’est, comme d’habitude, la police qui cogne sur les manifestants, qui est utilisée par Macron, qui continue de voter à plus de 50 % pour le Rassemblement national ! J’ajoute que le choix par Marine Le Pen de l’opposition à la grève des éboueurs n’est pas de bon augure.

Le Rassemblement national ne peut pas rester dans cette ambiguïté : il suffirait d’un petit mot de modération de Marine Le Pen pour que le comportement de la police change. Ce que je dis est grave : en mode démocratique normal, une police doit obéir au ministre de l’Intérieur. Mais je ne vois pas pourquoi une police appliquerait aveuglément les consignes de violence d’un président qui est sorti de la Constitution. Nous avons besoin d’une réflexion approfondie des juristes. Il s’agit de protéger les institutions dans un contexte extrêmement bizarre. Le conflit entre jeunes manifestants et jeunes policiers nous ramène d’ailleurs à la question du rejet mutuel Nupes/RN. L’hostilité qu’encourage le gouvernement entre la police et les jeunes manifestants est une menace pour l’équilibre du pays. On ne peut pas vivre dans un pays avec deux jeunesses qui se tapent dessus. Il y a dans le style policier violent Macron-Borne-Darmanin quelque chose de pensé et de pervers.

Vous dites que la première raison de l’obstination du gouvernement pourrait venir de l’esprit de Macron directement…

J’ai parlé de système électoral, j’ai parlé de néolibéralisme. J’ai parlé du déficit cognitif néolibéral de Macron. Une autre chose doit être évoquée, non systémique, accidentelle, dont je n’aime pas parler mais dont on doit parler : une autre raison de la préférence de Macron pour le désordre et la violence est sans doute un problème de personnalité, un problème psychologique grave. Son rapport au réel n’est pas clair. On lui reproche de mépriser les gens ordinaires. Je le soupçonne de haïr les gens normaux. Son rapport à son enfance n’est pas clair. Parfois, il me fait penser à ces enfants excités qui cherchent la limite, qui attendent d’un adulte qu’il les arrête. Ce qui serait bien, ce serait que le peuple français devienne adulte et arrête l’enfant Macron.

La situation est extrêmement dangereuse parce que nous avons peut-être un président hors contrôle dans un système sociopolitique qui est devenu pathologique. Au-delà de toutes les théories, sophistiquées ou non, j’en appelle à tous les gens pacifiques, moraux et raisonnables, quel que soit leur niveau éducatif, leur richesse, leur âge, à tous les députés quel que soit leur parti, Renaissance compris, j’en appelle au Medef, aux pauvres, aux inspecteurs des finances, aux vieillards et aux oligarques de bonne volonté, pour qu’ils se donnent la main et remettent ce président sous contrôle. La France vaut mieux que ce bordel. 



 

Auteur: Todd Emmanuel

Info: Marianne.net, 5 mars 2023, Interview Par Etienne Campion

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]