linguistique de masse

L'intelligence artificielle travaille-t-elle en anglais ? 

Des scientifiques de l’EPFL ont montré que les grands modèles de langage semblent utiliser l’anglais en interne même lorsqu’ils sont sollicités dans une autre langue, ce qui pourrait avoir des conséquences en termes de biais linguistiques et culturels.

Les grands modèles de langage (LLM), tels que ChatGPT d’Open AI et Gemini de Google, ont conquis le monde et surprennent par leur capacité à comprendre les utilisatrices et utilisateurs et à leur répondre avec un discours en apparence naturel.

Bien qu’il soit possible d’interagir avec ces LLM dans n’importe quelle langue, ces derniers sont entraînés avec des centaines de milliards de paramètres textuels, principalement en anglais. Certaines personnes ont émis l’hypothèse qu’ils effectuaient la majeure partie de leur traitement interne en anglais et traduisaient ensuite dans la langue cible au tout dernier moment. Mais il y avait peu de preuves de cela, jusqu’à aujourd’hui.

Tests de Llama

Des chercheuses et chercheurs du Laboratoire de science des données (DLAB) de la Faculté informatique et communications de l’EPFL ont étudié le LLM open source Llama-2 (grand modèle de langage IA développé par Meta) pour essayer de déterminer quelles langues étaient utilisées à quels stades de la chaîne informatique.

" Les grands modèles de langage sont entraînés pour prédire le mot suivant. Pour cela, ils font correspondre chaque mot à un vecteur de nombres, c’est-à-dire à un point de données multidimensionnel. Par exemple, l’article le se trouvera toujours exactement à la même coordonnée fixe des nombres ", explique le professeur Robert West, responsable du DLAB.

" Les modèles enchaînent environ 80 couches de blocs de calcul identiques, chacun transformant un vecteur qui représente un mot en un autre vecteur. À la fin de cette séquence de 80 transformations, on obtient un vecteur représentant le mot suivant. Le nombre de calculs est déterminé par le nombre de couches de blocs de calcul. Plus il y a de calculs, plus votre modèle est puissant et plus le mot suivant a de chances d’être correct. "

Comme l’explique la prépublication intitulée Do Llamas Work in English? On the Latent Language of Multilingual Transformers, Robert West et son équipe ont forcé le modèle à répondre après chaque couche chaque fois qu’il essayait de prédire le mot suivant au lieu de le laisser effectuer les calculs à partir de ses 80 couches. Ils ont ainsi pu voir quel mot le modèle aurait prédit à ce moment-là. Ils ont mis en place différentes tâches telles que demander au modèle de traduire une série de mots français en chinois.

" Nous lui avons donné un mot français, puis la traduction en chinois, un autre mot français et la traduction en chinois, etc., de sorte que le modèle sache qu’il est censé traduire le mot français en chinois. Idéalement, le modèle devrait donner une probabilité de 100% pour le mot chinois. Mais lorsque nous l’avons forcé à faire des prédictions avant la dernière couche, nous avons remarqué que la plupart du temps, il prédisait la traduction anglaise du mot français, bien que l’anglais n’apparaisse nulle part dans cette tâche. Ce n’est qu’au cours des quatre ou cinq dernières couches que le chinois est en fait plus probable que l’anglais ", affirme Robert West.

Des mots aux concepts

Une hypothèse simple serait que le modèle traduit la totalité de l’entrée en anglais et la traduit à nouveau dans la langue cible juste à la fin. Mais en analysant les données, les chercheuses et chercheurs sont parvenus à une théorie bien plus intéressante.

Dans la première phase des calculs, aucune probabilité n’est attribuée à l’un ou l’autre mot. Selon eux, le modèle s’attache à résoudre les problèmes d’entrée. Dans la seconde phase, où l’anglais domine, les chercheuses et chercheurs pensent que le modèle se trouve dans une sorte d’espace sémantique abstrait où il ne raisonne pas sur des mots isolés mais sur d’autres types de représentations qui concernent davantage des concepts, sont universels dans toutes les langues et représentent plus un modèle du monde. C’est important car, pour bien prédire le mot suivant, le modèle doit en savoir beaucoup sur le monde et l’un des moyens d’y parvenir est d’avoir cette représentation des concepts.

" Nous supposons que cette représentation du monde en termes de concepts est biaisée en faveur de l’anglais, ce qui serait très logique car les données utilisées pour entraîner ces modèles sont à environ 90% en anglais. Ils cartographient les mots en entrée à partir d’un espace de mots superficiel, dans un espace de signification plus profond avec des représentations de la façon dont ces concepts sont liés les uns aux autres dans la réalité – et les concepts sont représentés de la même manière que les mots anglais, plutôt que les mots correspondants dans la langue d’entrée réelle ", déclare Robert West.

Monoculture et biais

Cette domination de l’anglais amène à se poser la question suivante: " est-ce important "? Les chercheuses et chercheurs pensent que oui. D’après de nombreuses recherches, les structures qui existent dans le langage influencent la manière dont nous construisons la réalité et les mots que nous employons sont profondément liés à la façon dont nous pensons le monde. Robert West suggère de commencer à étudier la psychologie des modèles de langage en les traitant comme des êtres humains et, dans différentes langues, en les interrogeant, en les soumettant à des tests de comportement et en évaluant leurs biais.

" Je pense que cette recherche a vraiment touché un point sensible, car les gens s’inquiètent de plus en plus de ce genre de problème de monoculture potentielle. Les modèles étant meilleurs en anglais, bon nombre de chercheuses et chercheurs étudient aujourd’hui la possibilité d’introduire un contenu en anglais et de le traduire dans la langue souhaitée. D’un point de vue technique, cela pourrait fonctionner, mais je pense que nous perdons beaucoup de nuances, car ce que vous ne pouvez pas exprimer en anglais ne sera pas exprimé ", conclut Robert West.

Auteur: Internet

Info: https://actu.epfl.ch/news/l-intelligence-artificielle-travaille-t-elle-en--2/#:~:text=Les%20chercheuses%20et%20chercheurs%20pensent%20que%20oui.,dont%20nous%20pensons%20le%20monde.

[ anglocentrisme ] [ spécificités des idiomes ] [ homme-machine ] [ symboles univers ] [ ethnocentrisme ]

géopolitique

L’Allemagne était [au début du 16e siècle] un pays sans unité : voilà l’essentiel. Il y avait, nombreux, forts, actifs, des Allemands, beaucoup d’Allemands parlant des dialectes voisins les uns des autres, ayant dans une large mesure des mœurs, des usages, des façons d’être et de penser communes. Ces Allemands formaient une "nation" au sens médiéval du mot. Ils n’étaient point groupés, tous, solidement, dans un État bien unifié et centralisé, corps harmonieux aux mouvements commandés par un unique cerveau.

Dans une Europe qui, partout, s’organisait autour des rois, l’Allemagne restait sans souverain national. Il n’y avait pas de roi d’Allemagne, comme il y avait, et depuis bien longtemps, un roi de France, un roi d’Angleterre, riches, bien servis, prestigieux, et sachant rallier aux heures de crise toutes les énergies du pays autour de leur personne et de leur dynastie. Il y avait un empereur, qui n’était plus qu’un nom, et un Empire qui n’était plus qu’un cadre. Dans ce cadre démesuré, le nom, le trop grand nom écrasait de son poids un homme faible, un homme pauvre — parfois un pauvre homme — qu’un vote, disputé comme un marché de foire, élevait finalement à la dignité suprême, mais impuissante.

En un temps où se révélait la valeur de l’argent, au temps décrit dans le livre classique d’Ehrenberg, l’empereur en tant que tel était un indigent. De son Empire il ne tirait plus rien de substantiel. La valeur d’une noisette, disait Granvelle — moins que, de leur évêché, certains évêques allemands. Fondus, les immenses domaines impériaux qui avaient fait la force des Saxons et des Franconiens. Concédés, aliénés, usurpés les droits régaliens, les droits de collation, tout ce qui aurait pu nourrir un budget régulier. Et cependant, plus que tout autre souverain de son temps, le prince au titre retentissant mais à qui les diètes, s’ingéniant, refusaient tout subside, aurait eu pour agir besoin d’être riche. Car, titulaire d’une dignité éminente et qui ne se transmettait pas, comme un royaume, par hérédité ; né d’un vote en faveur d’un prince chrétien qui n’était pas plus obligatoirement allemand que le pape n’était forcément italien   — l’empereur, courbé sous le poids d’une couronne lourde d’un trop lourd passé, devait courir partout, et veiller au monde en même temps qu’à l’Allemagne. Si, dans ce pays, son autorité de jour en jour périclitait — c’est que sa grandeur même empêchait d’agir ce souverain d’un autre âge. Elle le tenait enchaîné devant les véritables maîtres des pays germaniques : les princes, les villes.

Les princes avaient sur l’empereur une grande supériorité. Ils étaient les hommes d’un seul dessein. Et d’une seule terre. Ils n’avaient pas de politique mondiale à suivre, eux — pas de politique "chrétienne" à conduire. L’Italie ne les sollicitait pas. Ils ne dédaignaient point, certes, d’y faire de temps à autre un voyage fructueux. Mais ils n’allaient point là-bas, comme les empereurs, poursuivre des chimères vieillies ou d’illusoires mirages. Tandis que les Césars fabriqués à Francfort par les soins diligents de quelques-uns d’entre eux, se ruinaient en de folles et stériles aventures, une seule chose tenait les princes en souci : la fortune de leur maison, la grandeur et la richesse de leur dynastie. Précisément, à la fin du XVe siècle, au début du XVIe siècle, on les voit opérer un peu partout, en Allemagne, un vigoureux effort de concentration politique et territoriale. Plusieurs d’entre eux, profitant de circonstances favorables, de hasards heureux, s’employaient à constituer des états solides, moins morcelés qu’auparavant. Dans le Palatinat, en Wurtemberg, en Bavière, en Hesse, dans le Brandebourg et le Mecklembourg, ailleurs encore, la plupart des maisons qui, à l’époque moderne, joueront dans l’histoire allemande un rôle de premier plan, affirment dès le début du XVIe siècle une vigueur nouvelle et unifient leurs forces pour de prochaines conquêtes.

On va donc vers une Allemagne princière. On y va seulement. N’ayant point à sa tête de chef souverain vraiment digne de ce nom, l’Allemagne paraît tendre à s’organiser sous huit ou dix chefs régionaux, en autant d’états solides, bien administrés, soumis à un vouloir unique. Mais cette organisation, elle n’existe point encore. Au-dessus des princes il y a toujours l’empereur. Ils ne sont souverains que sous sa souveraineté. Et au-dessous d’eux, ou plutôt, à côté d’eux, il y a (pour ne point parler des nobles indisciplinés et pillards), les villes.

Les villes allemandes au seuil du XVIe siècle : une splendeur. Et telle, que les étrangers ne voient qu’elles lorsqu’ils visitent l’Allemagne, comme si l’éclat des cités éblouissait leurs yeux. Vingt capitales, chacune possédant en propre ses institutions, ses industries, ses arts, ses costumes, son esprit. Celles du Sud : l’Augsbourg des Fugger, porte d’entrée et de sortie du trafic italo-germain, préface pittoresque avec ses maisons peintes à fresque, du monde ultramontain. Mieux encore, Nuremberg, la patrie de Durer, de Fischer, d’Hans Sachs, de Martin Behaim, assise au pied de son Burg à mi-chemin entre Main et Danube. Mais celles du Nord aussi : l’industrieuse et réa-iste Hambourg, légère de scrupules et commençant sa magnifique ascension ; Lübeck, reine déjà déclinante de la Hanse ; Stettin, la ville du blé, et, tout au loin, Dantzig, ses vastes édifices, ses grandes églises de brique, enseignes d’une propriété sans défaillance. Sur le front oriental, Francfort-sur-l’Oder, entrepôt du trafic polonais ; Breslau, porte naturelle de la Silésie. Et à l’Ouest, sur le grand fleuve fougueux, la brillante pléiade des villes rhénanes, de Cologne à Bâle ; par-derrière, l’énorme marché francfortois ; et par-derrière encore Leipzig, un carrefour, au vrai cœur de cette Allemagne multiple. 

[…] Implantées au milieu des domaines princiers, elles [les villes] les trouent, les déchiquettent, limitent leur expansion, les empêchent de se constituer fortement. Elles-mêmes, peuvent-elles s’étendre ? Non. Se fédérer ? Non plus. Autour de leurs murailles, le plat pays : des campagnes soumises à un droit dont le droit de la ville est la négation. Là, sous des maîtres avides, des paysans incultes et grossiers, parfois misérables, prêts à se révolter et grondant sous le joug, étrangers en tout cas à la culture urbaine, si particuliers que les artistes peintres et graveurs ne se lassent pas de décrire leurs aspects sauvages, leurs mœurs primitives. Les villes veulent-elles s’entendre, collaborer ? Ce ne peut être que par-dessus de larges étendues, de vastes territoires hétérogènes qui contrastent avec elles, vigoureusement, en tout. Ces civilisations urbaines, si prestigieuses : des civilisations d’oasis. Ces villes : des prisonnières, vouées à l’isolement, et que guettent les princes, et qui se guettent l’une l’autre.

Leurs ressources, leurs richesses, à quoi vont-elles ? Aux arsenaux dont elles s’enorgueillissent, mais qui les ruinent. Aux canonniers, techniciens exigeants, qu’il faut payer très cher. Aux remparts, aux bastions sans cesse à réparer, parfois à modifier de fond en comble... Et encore, ces ressources, elles vont aux ambassades, aux missions diplomatiques lointaines, aux courriers sans cesse sur les hauts chemins et pour quelles randonnées furieuses ! Villes libres, elles payent leur liberté : trop cher. Car malgré tous les sacrifices, elles sont faibles, à la merci du prince qui s’installe sur le fleuve, en amont, en aval, pour barrer le trafic ; à la merci du hobereau qui les détrousse et les nargue, du haut de son nid d’aigle imprenable pour des milices bourgeoises, à la merci de la cité rivale, qui, rompant les accords, se retourne contre la voisine jalousée.

Faiblesse, sous des apparences de prospérité ; surprenante faiblesse politique contrastant avec tant de puissance économique. Ces cités si brillantes et qui offusquent de leur éclat nos villes françaises du temps, comme leurs bourgeois sont loin de ce sens national, de ce sens politique qui, aux époques de crise, groupe autour du roi toutes les bonnes villes de France empressées à maintenir Louis XI contre les hommes du Bien public, ou, contre les princes, Charles VIII ! Parties d’un tout bien ordonné, les cités françaises d’où la culture rayonne sur les campagnes qu’elles "urbanisent" à leur image. Les villes allemandes : des égoïsmes furieux, en lutte sans répit contre d’autres égoïsmes.

D’une telle situation, si fiers de leurs fortunes, de leur sens des affaires, de leurs belles réussites, les Allemands souffraient. Ils souffraient de ne former qu’un pays divisé, fait de pièces et de morceaux, sans chef, sans tête : un amalgame confus de villes autonomes et de dynasties plus ou moins puissants.

Auteur: Febvre Lucien

Info: Un destin : Martin Luther, PUF, 1968, pages 64 à 67

[ historique ] [ teutons ] [ renaissance ]

prospective affirmée

Jouant avec 10 coups d’avance, la Chine est le véritable maître du jeu, la Russie est d’ores et déjà consciente du risque de se faire vassaliser par son puissant voisin.

Ce qui conditionne la géopolitique du présent comme des prochaines années, c’est la lutte froide-chaude entre les USA et la Chine + l’accès à l’énergie, à l’eau et à certaines matières premières. Tous les autres conflits sont à la périphérie de ce duel.

LE PASSE-FUTUR

Le passé cosmique étant en partie l’avenir de la terre, il est relativement confortable d’anticiper certains paramètres.

PARAMÈTRE 1 : Le programme des Gestionnaires de la planète Terre se poursuit suivant leur Plan

Les administrateurs non humains terrestres interviennent sur le ‘’jardin’’ comme ils le font depuis des éons : physiquement, génétiquement, et bio-énergétiquement. Entre autres choses, ils gèrent les avancées scientifiques de l’humanité terrestre, les accélérant et les freinant selon les cas.

PARAMÈTRE 2 : Les développements scientifiques et technologiques sont les véritables révolutions.

Ils impactent directement la politique, la sociologie, l’économie et la guerre.

Les principales innovations viendront des biotechnologies et des technologies d’assemblage à l’échelle atomique. Ces dernières vont redécouvrir des matériaux ‘’exotiques’’ : hyper-résistance, inaltérabilité, autoassemblage, supra-conductivité électrique, production endogène d’énergie. A base de carbone, de silicium puis par assemblage avec d’autres éléments. Un immense champ de recherches s’ouvrira…

De nouveaux paradigmes scientifiques vont en émerger, avec des développements sur des palettes de plus en plus diversifiées. Ils vont à terme changer la donne sur la production et le stockage d’énergie, le transport terrestre et spatial, et l’armement. La géopolitique en sera bouleversée, avec la fin de certaines raretés et le développement de l’autonomie énergétique à toutes les échelles.

En sus, la mise en évidence de l’état ‘’epsilon’’ de la matière va ouvrir une nouvelle direction scientifique dont on n’a pas idée en 2022. Entre autres choses, à terme, il deviendra très aisé de contrôler l’esprit humain ordinaire, sans utiliser les médias (presse, télévision, internet) inféodés et contrôlés par les leaders Industriels et politiques humains à l’époque où ces lignes sont écrites.

PARAMÈTRE 3 : La démographie du présent (2022) anticipe de manière très sûre le 21ème siècle.

La stabilisation de la population humaine, sa maîtrise, voire sa réduction s’avère une donnée incontournable bien que largement tabou pour le commun au début du siècle. Elle peut s’opérer contrainte, par crises, ou bien gérée paisiblement dans la durée.

Ici, ce sera probablement par crises, espérons qu’elles seront les moins radicales possibles.

PARAMÈTRE 4 : Résistance et atout ‘’caché’’ des USA face à la Chine

Il serait extrêmement étonnant que les services de renseignements russes et chinois ne soient pas informés de l’AVANCE TECHNOLOGIQUE considérable qu’ont pris les USA sur le reste de la planète, par la rétroconception de technologies exotiques, assistés par certains exogènes eux-mêmes.

Cependant, cette avance a créé une sorte d’élite planétaire qui s’est rapidement et largement affranchie du système ‘’démocratique’’ et de l’état américain lui-même. Ses membres sont actuellement issus de toutes origines terrestres, l’hyper compétence dans un domaine de pointe étant le principal critère d’entrée : mathématiques, physique, etc.

La stratégie politique de cette élite est la discrétion maximum, ce qui implique la non-intervention sur le sol de la planète.

A titre d’exemple, si l’on parle vélocité, les missiles hypersoniques de la Russie vont possiblement à mach 20 (environ 7 km seconde - 400 km minute) ou plus, très certainement en utilisant des technologies MHD comme l’explique JP PETIT. Ils accélèrent grosso modo de manière conventionnelle par échange de quantité de mouvement, en s’appuyant sur le milieu ambiant ou / et avec des fusées. Leur limite est celle de la résistance des matériaux aux forces d’accélération.

Les ARV (Alien Reproduction Véhicules) des black programs s’appuient sur des technologies très différentes, beaucoup plus avancées. Ils peuvent circuler dans l’espace, une zone où la matière est très peu dense et où la MHD ne fonctionnerait pas ou très peu, les accélérations seraient très faibles bien que continues.

Les ARV ont franchi le mur de la lumière depuis la fin des années 1970, ils passent de 0 à 20 000 km / heure quasi instantanément et peuvent prendre des virages à angle droit, ils ne sont plus soumis aux lois réputées universelles de la masse et de l’inertie. On ne peut pas les voir car ils vont trop vite. En outre, un second facteur les rend furtifs : ils changent de dimension. Ils peuvent facilement prendre des passagers, ce qui semble plus compliqué avec les technologies russes de missiles hypervéloces.

Ces ARV sont souvent observés comme des OVNIS de forme triangulaire.

Que l’on parle des technologies MHD ou bien des technologies de rétroconception Z .R, il s’agit de produire des champs magnétiques de très haute intensité, mais dans le second cas ils sont beaucoup plus puissants et complexes.

Il est spéculatif de penser que l’élite interviendra dans les conflits traditionnels terrestres, fussent-ils nucléaires. La grande avance technologique ‘’cachée’’ des black programs pourrait modifier la donne dans la compétition Chine – USA, au moins sur le court terme. Idem sur une organisation secrète chinoise, extrêmement puissante financièrement. J’ai eu plusieurs contacts avec certains de leurs membres, ils sont parfaitement conscients de la présence des Gestionnaires non terrestres et de la structure poly dimensionnelle de la Création.

Les Administrateurs non terrestres de la planète font la démonstration constante de leur interventionnisme au niveau du nucléaire civil et militaire, ceci depuis plus de 60 ans. Il nous faut espérer qu’ils gardent la même politique en cas de conflit nucléaire généralisé imminent.

LE FUTUR

J’avais prévenu, je vais faire le contraire de ce que je recommande comme étant raisonnable.

Une seule raison à cela pour le moment, le souvenir d’une vie future en chine, dans 250 ans. Cette réminiscence a commencé spontanément en 2019, lors d’une balade en voiture dans ce que je nomme maintenant ‘’la vallée du souvenir’’. En effet c’est quelque part ici qu’il y a la grotte du souvenir, un lieu secret où certains reviennent chercher la pierre qu’ils y ont déposée lors d’une incarnation passée.

Les Voyages dans le futur et dans le passé m’ont tout de suite étonné. Je dois dire qu’à chaque nouvelle exploration de ce type, je comprends encore moins ce qu’est le temps, à part qu’il est subjectif et dépend à la fois de l’état de conscience et de la position vibratoire où l’on se trouve.

Cette émergence mémorielle a débuté exactement comme celles relatives aux vies passées sur terre. Puis elle apporte son flot de détails de manière continue, comme pour les autres incarnations. Je vais le redire mais oui, moi aussi je n’y comprends rien. Les bidules spiritualeux du genre : ‘’toutes les incarnations se passent en même temps’’ ne me conviennent pas du tout.

Et NON, mon incarnation du 23ème siècle n’est pas un futur possible. Cette théorie me semble plus un jeu de l’esprit qu’autre chose, une simple discussion de salon, mais vous connaissez mon côté tranchant.

A ce moment la Chine est l’état le plus avancé au monde, à presque tous les points de vue. Bien que le monde humain terrestre de 2370 soit plus multipolaire qu’en 2022, il reste rassemblé autour d’un point central économique, scientifique et culturel : la Chine.

Mauvaise nouvelle pour les égocentristes des démocraties à l’occidentale : la Chine n’est pas une démocratie suivant leur modèle. En deux mots, elle a géré la question des populations, des croyances religieuses scélérates et violentes, de la délinquance et de la pauvreté. Depuis environ 250 ans, c’est le centre du monde terrestre. Je suis l’un d’entre eux, chinois par ma mère, occidental par mon père qui est natif d’un pays européen nordique, mais je ressemble parfaitement à un chinois, enfin si l’on en croit mon souci de conformité des jeunes années de ce moi du futur. Lui et moi sommes la même personne avec deux costumes différents.

Avant la seconde moitié de ce 23ème siècle, le crédit social a évolué vers une forme de reconnaissance entièrement basée sur l’utilité de l’individu envers la collectivité. Autour de moi, personne ne conteste ce système qui nous parait à la fois juste et logique.

Il n’y a pas eu de guerre nucléaire généralisée, juste des explosions d’armes nucléaires tactiques de puissance "modérée", dans des conflits dont les enjeux étaient l’énergie, au 21ème et au 22ème siècle. Je ne m’intéresse pas plus à l’histoire du 21ème siècle qu’une personne de 2030 se soucie de ce qui s’est passé au 17ème siècle, ici ou là. C’est juste de la culture générale non impliquante.

Comme les souvenirs reviennent régulièrement, la scène s’étoffe de plus en plus. Ma vie personnelle d’alors, je pense que chacun s’en fiche, alors parlons de mon action principale : je vais participer à la préparation de l’intégration de l’humanité dans le groupe cosmique local.

Non, la "révélation" généralisée ne semble pas être pour demain.

Auteur: Auburn Marc

Info: Post FB du 21 août 2022 - Voyage, mémoire et géopolitique du 21ème siècle

[ voyage astral ] [ futurologie ] [ ufologie ]