science

La physique coupera les ailes d'un Ange,

Viendra à bout de tous les mystères par ses règles et théorèmes,

Videra l'air hanté, et la mine peuplée de gnomes,

Effilochera un arc-en-ciel

Auteur: Keats John

Info: Le poète blâme Newton d'avoir détruit la poésie de l'air irisé

[ anti-poésie ]

anti-poésie

La parole ainsi mise en position devient information. Elle s’informe sur elle-même, afin d’assurer sa propre démarche par des théories informatiques. Le Dis-positif, déploiement partout régnant de la technique moderne, se rend disponible la langue formalisée, genre de l’information par la force de laquelle l’être humain se voit formé au déploiement technique et calculateur, c’est-à-dire installé en lui, abandonnant peu à peu la “langue naturelle”. […] Car la “langue naturelle”, dont on doit encore parler, est d’emblée mise en jeu comme la langue non encore formalisée, mais promise à la formalisation.

Auteur: Heidegger Martin

Info: Acheminement vers la parole. Paris : Éditions Gallimard, "Tel". 1976, p 252

[ langage instrumentalisé ] [ pouvoir sémantique ] [ carcan onomasiologique ] [ limitation ]

anti-poésie

Frege mit au point une écriture symbolique nouvelle, qu’il baptisa "idéographie", avec l’objectif affiché qu’aucun signe ne pût posséder plusieurs sens. Ce faisant, l’arithmétique devint une extension, ou un point d’application, de la logique élevée au rang de discipline universelle : "Le langage par formules de l’arithmétique est une idéographie puisqu’il exprime immédiatement la chose sans passer par les sons"*. D’où le corollaire suivant : les sujets et les prédicats sont évacués et laissent place à la fonction et à son argument ; ainsi "Socrate est mortel" devient f(Socrate) dont le résultat, binaire, est soit vrai soit faux. S’ensuivent la définition d’opérateurs logiques (comme le conditionnel ou la négation) puis l’introduction de quantificateurs (universel et existentiel) qui dépouillent la langue de toutes ses scories pour édifier un calcul propositionnel fondé sur une syntaxe rigoureuse. L’ambition de Frege fut ainsi d’édifier un symbolisme parfait et d’en dégager les lois internes, que l’auteur nomme "fondamentales", qui dictent les procédés de transformation, de déduction et d’inférence des propositions. Son objectif fut de parvenir à une sémantique fondée sur l’univocité : à chaque proposition une seule et unique référence. C’est bien là que réside la raison d’être de son entreprise : en effet, si Frege se lance dans ce gigantesque projet de l’idéographie, c’est bien pour pallier les lacunes du langage : "[…] le langage se révèle défectueux lorsqu’il s’agit de prévenir les fautes de pensée. Il ne satisfait pas à la condition ici primordiale, celle d’univocité"**. D’où la nécessité, ajoute le philosophe un peu plus loin, de recourir à "un ensemble de signes, purifiés de toute ambiguïté, et dont la forme strictement logique ne laisse pas échapper le contenu".

Auteur: Rappin Baptiste

Info: Sur https://journals.openedition.org/. Référence : Frege Friedrich "Écrits logiques et philosophiques". Paris : Éditions du Seuil, "Essais". 1971. *p. 68 **p 64

[ onomasiologie booléenne ] [ anti-métaphore ] [ anti-polysémie ] [ impasse ]

homme-machine

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Auteur: Internet

Info: Sur guithub : https://huggingface.co/blog/rlhf, Nathan Lambert, Louis Castricato guest , Leandro von Werra, Alex Havrilla guest. Le 9 décembre 2022 *Reinforcement Learning from Human Feedback ... **Courbe de perte ? (loss function) À la base, une fonction de perte est très simple : c'est une méthode permettant d'évaluer dans quelle mesure votre algorithme modélise votre ensemble de données. Si vos prédictions sont totalement erronées, votre fonction de perte affichera un chiffre élevé. Si elles sont assez bonnes, elle affichera un chiffre plus bas.  C'est une pénalité pour  mauvaise prédiction. En d'autres termes, la perte (loss) est un nombre qui indique à quel point la prédiction du modèle est mauvaise sur un seul exemple. Si la prédiction du modèle est parfaite, la perte est nulle ; elle affichera le chiffre zéro.

[ apprentissage automatique ] [ idiome consensuel ] [ anti-poésie ] [ objectivation linguistique ] [ polysémie contextualisée ] [ mathématisation ]