informatique

Les machines me surprennent très fréquemment.

Auteur: Turing Alan

Info:

[ inattendu ] [ cybernétique ]

désenchantement

Je constate que je vieillis ; un signe qui ne trompe pas est le fait que les nouveautés ne m'intéressent pas ni ne me surprennent, peut-être parce que je me rends compte qu'il n'y a rien d'essentiellement nouveau en elles et qu'elles ne sont tout au plus que de timides variantes.

Auteur: Borges Jorge Luis

Info: Le livre de sable

[ ennui ] [ envieillir ]

deuil

La mort d'un parent, écrivait-il, "quoique nous y soyons préparés, et malgré notre âge, remue des choses profondes en nous, déclenchent des réactions qui nous surprennent et peuvent libérer des souvenirs, des sentiments que nous pensions éteints depuis longtemps. C'est comme si, durant cette période indéterminée qu'on appelle le deuil, on était dans un sous-marin, entouré par le silence de l'océan, conscient du poids de la profondeur, tantôt proche, tantôt lointain, assailli par la mémoire."

Auteur: Didion Joan

Info: L'année de la pensée magique

[ introspection ]

écriture

Parfois c'est l'inverse. Le lecteur pense toujours que l'écrivain a conscience des réactions qu'il provoque chez lui, les critiques parlent de maîtrise de l'écriture, ils disent que l'écrivain a travaillé dans tel sens pour que le lecteur ressente ceci ou cela. Je ne crois pas que ce soit vrai. Je crois que les écrivains se surprennent au cours de leur travail. Qu'ils ne décident pas de leurs émotions. Je crois qu'ils ne décident pas davantage de l'émotion qu'ils vont provoquer chez le lecteur : parfois ils ont des intentions eux aussi, mais ça rate. La réception n'est pas du tout à la mesure de l'attente.

Auteur: Herrou Laurent

Info: Je suis un écrivain

[ Murphy ]

christianisme

[…] la vraie humilité ne sait jamais qu’elle est humble, car si elle le savait, elle tirerait orgueil de la contemplation de cette belle vertu ; au contraire, elle s’attache par le cœur les pensées et tous les sens aux choses viles ; elle les a sans relâche devant les yeux ; c’est là l’image dont elle est pleine, et parce qu’elle a ces choses sous les yeux, elle ne peut pas se voir elle-même ni s’apercevoir qu’elle existe, et encore moins prendre conscience des choses élevées ; c’est pourquoi, l’honneur et l’élévation lui échoient forcément à l’improviste et la surprennent forcément dans des pensées tout à fait étrangères à l’honneur et à l’élévation […].

Auteur: Luther Martin

Info: Commentaire sur le Magnificat, traduction d’Albert Greiner, Nouvelle cité, 2017, page 70

[ définition ] [ inconsciente ]

barbarie ordinaire

Tu me demandes ce que tu dois principalement éviter? — La foule. Tu ne peux encore t'y livrer impunément. Moi, pour mon compte, j'avouerai ma faiblesse. Jamais je ne rentre chez moi tel que j'en suis sorti. Toujours quelque trouble que j'avais assoupi en moi se réveille, quelque tentation chassée reparaît. Ce qu'éprouvent ces malades réduits par un long état de faiblesse à ne pouvoir sans accident quitter le logis, nous arrive à nous de qui l'âme est convalescente d'une longue maladie. Il n'est pas bon de se répandre dans une nombreuse société. Là tout nous prêche le vice, ou nous l'imprime, ou à notre insu nous entache. Et plus nos liaisons s'étendent, plus le danger se multiplie. Mais rien n'est funeste à la morale comme l'habitude des spectacles. C'est là que les vices nous surprennent plus aisément par l'attrait du plaisir. Que penses-tu que je veuille dire que j'en sors plus attaché à l'argent, à l'ambition, à la mollesse, ajoute même plus cruel et plus inhumain pour avoir été au milieu des hommes.

Le hasard vient de me conduire au spectacle de midi : je m'attendais à des jeux, à des facéties, à quelque délassement qui repose les yeux du sang humain. Loin de là : tous les combats précédents avaient été pure clémence. Cette fois, plus de badinage : c'est l'homicide dans sa crudité. Le corps n'a rien pour se couvrir ; il est tout entier exposé aux coups, et pas un ne porte à faux. La foule préfère cela aux gladiateurs ordinaires et même extraordinaires. Et n'a-t-elle pas raison? ni casque ni bouclier qui repousse le fer. A quoi servent ces armures, cette escrime, toutes ces ruses? à marchander avec la mort. Le matin c'est aux lions et aux ours qu'on livre des hommes, à midi, c'est aux spectateurs. On met aux prises ceux qui ont tué avec d'autres qui les tueront, et tout vainqueur est réservé pour une nouvelle boucherie. L'issue de la lutte est la mort; le fer et le feu font la besogne. Cela, pour occuper les intermèdes. "Mais cet homme-ci a commis un vol ! — Eh bien, il mérite le gibet. — C'est un assassin ! — Tout assassin doit subir la peine du talion. Mais toi qu'as-tu fait, malheureux, qui te condamne à un tel spectacle? — Les fouets! le feu! la mort ! s'écrie-t-on. En voilà un qui s'enferre trop mollement, qui tombe avec peu de fermeté, qui meurt de mauvaise grâce !" — Le fouet les renvoie aux blessures ; et des deux côtés ces poitrines nues doivent d'elles-mêmes s'offrir aux coups. Le spectacle est-il suspendu? Par passe-temps qu'on égorge encore, pour ne pas être à ne rien faire.

Auteur: Sénèque

Info: Lettre à Lucilius, début lettre no VII. Trad J. Baillard

[ jeux du cirque ] [ mise à mort ]

linguistique de masse

L'intelligence artificielle travaille-t-elle en anglais ? 

Des scientifiques de l’EPFL ont montré que les grands modèles de langage semblent utiliser l’anglais en interne même lorsqu’ils sont sollicités dans une autre langue, ce qui pourrait avoir des conséquences en termes de biais linguistiques et culturels.

Les grands modèles de langage (LLM), tels que ChatGPT d’Open AI et Gemini de Google, ont conquis le monde et surprennent par leur capacité à comprendre les utilisatrices et utilisateurs et à leur répondre avec un discours en apparence naturel.

Bien qu’il soit possible d’interagir avec ces LLM dans n’importe quelle langue, ces derniers sont entraînés avec des centaines de milliards de paramètres textuels, principalement en anglais. Certaines personnes ont émis l’hypothèse qu’ils effectuaient la majeure partie de leur traitement interne en anglais et traduisaient ensuite dans la langue cible au tout dernier moment. Mais il y avait peu de preuves de cela, jusqu’à aujourd’hui.

Tests de Llama

Des chercheuses et chercheurs du Laboratoire de science des données (DLAB) de la Faculté informatique et communications de l’EPFL ont étudié le LLM open source Llama-2 (grand modèle de langage IA développé par Meta) pour essayer de déterminer quelles langues étaient utilisées à quels stades de la chaîne informatique.

" Les grands modèles de langage sont entraînés pour prédire le mot suivant. Pour cela, ils font correspondre chaque mot à un vecteur de nombres, c’est-à-dire à un point de données multidimensionnel. Par exemple, l’article le se trouvera toujours exactement à la même coordonnée fixe des nombres ", explique le professeur Robert West, responsable du DLAB.

" Les modèles enchaînent environ 80 couches de blocs de calcul identiques, chacun transformant un vecteur qui représente un mot en un autre vecteur. À la fin de cette séquence de 80 transformations, on obtient un vecteur représentant le mot suivant. Le nombre de calculs est déterminé par le nombre de couches de blocs de calcul. Plus il y a de calculs, plus votre modèle est puissant et plus le mot suivant a de chances d’être correct. "

Comme l’explique la prépublication intitulée Do Llamas Work in English? On the Latent Language of Multilingual Transformers, Robert West et son équipe ont forcé le modèle à répondre après chaque couche chaque fois qu’il essayait de prédire le mot suivant au lieu de le laisser effectuer les calculs à partir de ses 80 couches. Ils ont ainsi pu voir quel mot le modèle aurait prédit à ce moment-là. Ils ont mis en place différentes tâches telles que demander au modèle de traduire une série de mots français en chinois.

" Nous lui avons donné un mot français, puis la traduction en chinois, un autre mot français et la traduction en chinois, etc., de sorte que le modèle sache qu’il est censé traduire le mot français en chinois. Idéalement, le modèle devrait donner une probabilité de 100% pour le mot chinois. Mais lorsque nous l’avons forcé à faire des prédictions avant la dernière couche, nous avons remarqué que la plupart du temps, il prédisait la traduction anglaise du mot français, bien que l’anglais n’apparaisse nulle part dans cette tâche. Ce n’est qu’au cours des quatre ou cinq dernières couches que le chinois est en fait plus probable que l’anglais ", affirme Robert West.

Des mots aux concepts

Une hypothèse simple serait que le modèle traduit la totalité de l’entrée en anglais et la traduit à nouveau dans la langue cible juste à la fin. Mais en analysant les données, les chercheuses et chercheurs sont parvenus à une théorie bien plus intéressante.

Dans la première phase des calculs, aucune probabilité n’est attribuée à l’un ou l’autre mot. Selon eux, le modèle s’attache à résoudre les problèmes d’entrée. Dans la seconde phase, où l’anglais domine, les chercheuses et chercheurs pensent que le modèle se trouve dans une sorte d’espace sémantique abstrait où il ne raisonne pas sur des mots isolés mais sur d’autres types de représentations qui concernent davantage des concepts, sont universels dans toutes les langues et représentent plus un modèle du monde. C’est important car, pour bien prédire le mot suivant, le modèle doit en savoir beaucoup sur le monde et l’un des moyens d’y parvenir est d’avoir cette représentation des concepts.

" Nous supposons que cette représentation du monde en termes de concepts est biaisée en faveur de l’anglais, ce qui serait très logique car les données utilisées pour entraîner ces modèles sont à environ 90% en anglais. Ils cartographient les mots en entrée à partir d’un espace de mots superficiel, dans un espace de signification plus profond avec des représentations de la façon dont ces concepts sont liés les uns aux autres dans la réalité – et les concepts sont représentés de la même manière que les mots anglais, plutôt que les mots correspondants dans la langue d’entrée réelle ", déclare Robert West.

Monoculture et biais

Cette domination de l’anglais amène à se poser la question suivante: " est-ce important "? Les chercheuses et chercheurs pensent que oui. D’après de nombreuses recherches, les structures qui existent dans le langage influencent la manière dont nous construisons la réalité et les mots que nous employons sont profondément liés à la façon dont nous pensons le monde. Robert West suggère de commencer à étudier la psychologie des modèles de langage en les traitant comme des êtres humains et, dans différentes langues, en les interrogeant, en les soumettant à des tests de comportement et en évaluant leurs biais.

" Je pense que cette recherche a vraiment touché un point sensible, car les gens s’inquiètent de plus en plus de ce genre de problème de monoculture potentielle. Les modèles étant meilleurs en anglais, bon nombre de chercheuses et chercheurs étudient aujourd’hui la possibilité d’introduire un contenu en anglais et de le traduire dans la langue souhaitée. D’un point de vue technique, cela pourrait fonctionner, mais je pense que nous perdons beaucoup de nuances, car ce que vous ne pouvez pas exprimer en anglais ne sera pas exprimé ", conclut Robert West.

Auteur: Internet

Info: https://actu.epfl.ch/news/l-intelligence-artificielle-travaille-t-elle-en--2/#:~:text=Les%20chercheuses%20et%20chercheurs%20pensent%20que%20oui.,dont%20nous%20pensons%20le%20monde.

[ anglocentrisme ] [ spécificités des idiomes ] [ homme-machine ] [ symboles univers ] [ ethnocentrisme ]