analyse scientifique

Les phénomènes de la nature sont très souvent enveloppés de tant de circonstances étranges avec un si grand nombre de causes perturbatrices qui y mêlent leur influence, qu'il est très difficile de les reconnaître. Nous ne pouvons y arriver qu'en multipliant les observations ou les expériences, de sorte que les effets étranges finissent par se détruire mutuellement.

Auteur: Laplace Pierre-Simon

Info: A Philosophical Essays on Probabilities. Chapitre IX (p. 73) Dover Publications, Inc. New York, New York, États-Unis. 1951

[ extrême focalisation ] [ mathématisation ]

abstraction

Nous pouvons nous rendre compte de l'influence inattendue que peuvent avoir sur la science physique des parties obscures des mathématiques pures en nous rappelant que Fresnel a obtenu l'une des confirmations les plus curieuses de la théorie (les lois de la polarisation circulaire par réflexion) en interprétant une expression algébrique qui, selon la signification conventionnelle originale des symboles, impliquait une quantité impossible à calculer.

Auteur: Whewell William

Info: History of Scientific Ideas, Bk. 2, chap. 14, sect. 8.

[ formalisation ] [ mathématisation description ]

synthétisation

Dans mon propre domaine, la cristallographie aux rayons X, nous avions l'habitude d'élaborer la structure des minéraux à l'aide de diverses astuces que nous n'avons jamais pris la peine d'écrire, nous nous contentions de les utiliser. Puis Linus Pauling a débarqué au laboratoire, a vu ce que nous faisions et a rédigé ce que nous appelons aujourd'hui les règles de Pauling. Nous avions tous utilisé les règles de Pauling pendant trois ou quatre ans avant que Pauling ne nous dise en quoi elles consistaient.

Auteur: Bernal John Desmond

Info: The Extension of Man (1972), 116

[ modélisation ] [ pragmatisme abstractisé ] [ mathématisation ]

modélisation

En réalité, chaque fois que l'énergie est transmise d'un corps à un autre dans un temps donné, il doit y avoir un milieu ou une substance dans lequel l'énergie passe après avoir quitté un corps et avant d'atteindre l'autre... et si nous admettons cet intermédiaire comme une hypothèse, je pense qu'il devrait occuper une place prépondérante dans nos recherches, et que nous devrions nous efforcer de construire une représentation mentale de tous les détails de son action. Voilà ce que j'ai constamment cherché à faire dans ce traité.

Auteur: Maxwell James Clerk

Info: Traité d'électricité et de magnétisme (1873), Vol. 2, 438

[ focalisation ] [ medium vecteur ] [ mathématisation ]

science

Tout au contraire [d’Aristote], renonçant à saisir le sens du mouvement, Galilée le considère comme un état (il n’a donc plus besoin d’explication) et le déploie dans un système abstrait de coordonnées spatio-temporelles dépourvues de toute organisation hiérarchique. Le biais par lequel s’opère la fermeture épistémique du concept de corps (qui se trouve réduit à son centre de gravité et défini désormais par la notion de "point matériel") n’est donc pas tant un processus d’abstraction qui ne retiendrait que certains caractères de l’objet empirique et en rejetterait d’autres, qu’un processus de construction, par lequel Galilée définit un "corps idéel". Il y a ainsi identité de nature entre le concept et son objet puisque celui-ci est aussi un concept, alors que dans la connaissance philosophique le concept n’est que le moyen par lequel l’objet est connu : essentiellement transitif, il demeure ainsi ontologiquement ouvert. L’univers galiléen est donc un univers d’objets-concepts qui se meuvent eux-mêmes dans un espace-temps conçu. La géométrisation de l’espace entraîne la déchéance de toute distinction qualitative.

Auteur: Borella Jean

Info: Dans "Histoire et théorie du symbole", éd. L'Harmattan, Paris, 2015, pages 103-104

[ réalisme-idéalisme ] [ méthode ] [ résumé ] [ mathématisation ]

homme-machine

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Auteur: Internet

Info: Sur guithub : https://huggingface.co/blog/rlhf, Nathan Lambert, Louis Castricato guest , Leandro von Werra, Alex Havrilla guest. Le 9 décembre 2022 *Reinforcement Learning from Human Feedback ... **Courbe de perte ? (loss function) À la base, une fonction de perte est très simple : c'est une méthode permettant d'évaluer dans quelle mesure votre algorithme modélise votre ensemble de données. Si vos prédictions sont totalement erronées, votre fonction de perte affichera un chiffre élevé. Si elles sont assez bonnes, elle affichera un chiffre plus bas.  C'est une pénalité pour  mauvaise prédiction. En d'autres termes, la perte (loss) est un nombre qui indique à quel point la prédiction du modèle est mauvaise sur un seul exemple. Si la prédiction du modèle est parfaite, la perte est nulle ; elle affichera le chiffre zéro.

[ apprentissage automatique ] [ idiome consensuel ] [ anti-poésie ] [ objectivation linguistique ] [ polysémie contextualisée ] [ mathématisation ]