communication

Les mots doux, les mots silencieux, sont, après tout, les mots les plus puissants. Ils sont convaincants, plus attractifs, plus efficaces.

Auteur: Gladden W.

Info:

[ douceur ] [ langage ]

justification

Il est facile de développer d'abord une théorie et de l'appuyer ensuite par des exemples, car la nature est si riche et si variée qu'en cherchant bien, on trouve toujours des exemples apparemment convaincants, même pour une théorie complètement aberrante.

Auteur: Lorenz Konrad

Info: Remarque d'un lecteur : Idem pour conforter une idée sur Internet

[ complexité ] [ discernement ]

portrait

En général je trouve décevantes les photos qui représentent les gens dans leur milieu naturel. Du moins, je sais qu’atteindre des résultats convaincants dans ce genre d’images dépasse mes forces… aussi j’ai préféré une tâche plus limitée : m’occuper seulement de la personne, loin des incidents de sa vie quotidienne, portant simplement ses vêtements et ornements, isolée dans mon studio. C’est du sujet seul que je distille l’image que je veux, et la froide lumière du jour se dépose sur la pellicule.

Auteur: Penn Irving

Info: Worlds in a small room, 1974

[ art pictural ] [ controle ]

écrivain-sur-écrivain

[...] se promener avec lui dans la campagne, c’était se promener à travers ce paysage merveilleusement riche et évocateur qui constitue à la fois le décor et le personnage principal de tous ses romans. Il semblait connaître, par expérience personnelle, l’effet que cela fait d’être un arbre ou une pâquerette, une vague ou la lune mystérieuse elle-même. Il était capable de se glisser dans la peau d’un animal et de vous raconter, avec un luxe de détails convaincants, comment il se sentait et de quelle sombre manière, étrangère à l’humain, il pensait.

Auteur: Huxley Aldous

Info: A propos de D. H. Lawrence, introduction à "The Letters of D.H. Lawrence", William Heinemann, 1932

[ nature ] [ symbiose ] [ émerveillement ]

inconscient collectif

Le comportement d'un enfant névrosé à l'égard de ses parents quand il subit l'influence des complexes d'Œdipe et de castration présente une multitude de réactions semblables qui, considérées chez l'individu, paraissent déraisonnables et ne deviennent compréhensibles que si on les envisage sous l'angle de la phylogénie, en les reliant aux expériences faites par les générations antérieures. Il serait très intéressant de rassembler et de publier les faits auxquels je fais ici allusion. Ces faits semblent assez convaincants pour me permettre d'aller plus loin encore en prétendant que l'hérédité archaïque de l'homme ne comporte pas que des prédispositions, mais aussi des contenus idéatifs, des traces mnésiques qu'ont laissées les expériences faites par les générations antérieures. De cette manière la portée aussi bien que la signification de l'hérédité archaïque se trouveraient accrues de façon notable.

Auteur: Freud Sigmund

Info: Dans "Moïse et le monothéisme", trad. Anne Berman, éditions Gallimard, 1948, page 134

[ archétypes ] [ psychanalyse ] [ ontogenèse-phylogenèse ]

éternel-temporel

C'est une étrange et longue guerre que celle où la violence essaie d'opprimer la vérité. Tous les efforts de la violence ne peuvent affaiblir la vérité, et ne servent qu'à la relever davantage. Toutes les lumières de la vérité ne peuvent rien pour arrêter la violence, et ne font que l'irriter encore plus. Quand la force combat la force, la plus puissante détruit la moindre ; quand on oppose les discours aux discours, ceux qui sont véritables et convaincants confondent et dissipent ceux qui n'ont que la vanité et le mensonge ; mais la violence et la vérité ne peuvent rien l'une sur l'autre. Qu'on ne prétende pas de là néanmoins que les choses soient égales : car il y a cette extrême différence que la violence n'a qu'un cours borné par l'ordre de Dieu qui en conduit les effets à la gloire de la vérité qu'elle attaque, au lieu que la vérité subsiste éternellement et triomphe enfin de ses ennemis ; parce qu'elle est éternelle et puissante comme Dieu même.

Auteur: Pascal Blaise

Info: Les " Provinciales ", Douzième lettre, éditions Gallimard, 1987, page 201

[ religion ] [ vrai ]

conte

LA FRONDE DE DAVID
Il était une fois un petit garçon nommé David N dont la précision de tir et l'habileté dans le maniement du lance-pierres éveillait tant d'envie et d'admiration chez les copains du voisinage et ceux de l'école qu'ils voyaient en lui – c'est le commentaire qu'ils en faisaient lorsque les parents ne pouvaient les entendre - un nouveau David.

Le temps passa.

Fatigué des tirs à blanc qu'il pratiquait en visant de ses cailloux des boites vides ou des tessons de bouteille, David découvrit qu'il était bien plus amusant d’exercer contre les oiseaux le talent que Dieu lui avait donné, si bien que désormais il s'en prenait à tous ceux qui se posaient à sa portée, et en particulier aux Grives, aux Alouettes, aux Rossignols et aux Chardonnerets, dont les petits corps sanglants tombaient doucement sur l'herbe, le cœur encore agité de la peur et de la violence du jet de pierre.

David courait vers eux tout heureux et les enterrait chrétiennement.

Quand les parents de David apprirent cette habitude de leur gentil garçon, ils demandèrent ce que c'était que cette manie, et lui reprochèrent sa conduite en termes si durs et si convaincants que David, des larmes plein les yeux, reconnut sa faute, se repentit sincèrement et pendant longtemps s'appliqua à ne plus tirer que sur les autres enfants.

Engagé dans la milice des années plus tard, pendant la seconde guerre mondiale, David fut élevé au grade de général et décoré des croix les plus prestigieuses pour avoir à lui tout seul tué trente six hommes, et ensuite on le dégrada et on le fusilla pour avoir laissé la vie sauve à un pigeon voyageur qui volait pour le camp ennemi.

Auteur: Monterroso Augusto

Info: LA OVEJA NEGRA, traduction de docline - pseudo sur Babelio

[ chasse ]

homme-machine

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Auteur: Internet

Info: Sur guithub : https://huggingface.co/blog/rlhf, Nathan Lambert, Louis Castricato guest , Leandro von Werra, Alex Havrilla guest. Le 9 décembre 2022 *Reinforcement Learning from Human Feedback ... **Courbe de perte ? (loss function) À la base, une fonction de perte est très simple : c'est une méthode permettant d'évaluer dans quelle mesure votre algorithme modélise votre ensemble de données. Si vos prédictions sont totalement erronées, votre fonction de perte affichera un chiffre élevé. Si elles sont assez bonnes, elle affichera un chiffre plus bas.  C'est une pénalité pour  mauvaise prédiction. En d'autres termes, la perte (loss) est un nombre qui indique à quel point la prédiction du modèle est mauvaise sur un seul exemple. Si la prédiction du modèle est parfaite, la perte est nulle ; elle affichera le chiffre zéro.

[ apprentissage automatique ] [ idiome consensuel ] [ anti-poésie ] [ objectivation linguistique ] [ polysémie contextualisée ] [ mathématisation ]

deep machine learning

Inquiets, des chercheurs bloquent la sortie de leur IA
La science ne pense pas, écrivait le philosophe Heidegger. En 2019, si. La situation est cocasse. Des chercheurs de l'association de recherche OpenAI estimeraient leur générateur de texte, opéré par un modèle linguistique d'intelligence artificielle, comme bien trop évolué pour ne pas être dangereux. Entre des mains malveillantes, l'algo virtuose des mots pourrait semer fake news, complots et avis malveillants convaincants, sans élever le moindre soupçon.

Deux cent ans après Victor Frankenstein, des chercheurs d’OpenAI, une association californienne de recherche à but non lucratif en intelligence artificielle, se trouvent face au même dilemme qui agitait le savant dans le roman de Mary Shelley : auraient-ils créé un monstre ? Un journaliste du Guardian l’a testé. La bête, baptisée GPT2, un modèle d’intelligence artificielle (dit linguistique) capable de générer du faux texte avec précision, serait tellement performante que ses créateurs rechignent à la rendre publique. Sur la base d’une page, un paragraphe ou même quelques mots, le générateur est en mesure d’écrire une suite, fidèle au style du journaliste ou de l’auteur et en accord avec le sujet. Ce système, alimenté au machine learning, se base sur l'étude de 8 millions de pages web, partagées sur Reddit et dont le contenu a été validé par au moins trois votes positifs, étaye un article de BigData.

Le journaliste du Guardian a soumis la machine à la question, en intégrant, facétieux, l’incipit de 1984 de George Orwell. "C’était une journée d’avril froide et claire. Les horloges sonnaient treize heures", écrivait l’auteur. Dans l’esprit tout futuriste d’Orwell, GPT2 aurait complété d’un : "J’étais en route pour Seattle pour commencer un nouveau travail. J’ai mis les gaz, les clés, et j’ai laissé rouler. J’ai pensé à quoi ressemblerait la journée. Il y a 100 ans. En 2045, j’étais professeur dans une école dans quelque coin obscur de la Chine rurale". (I was in my car on my way to a new job in Seattle. I put the gas in, put the key in, and then I let it run. I just imagined what the day would be like. A hundred years from now. In 2045, I was a teacher in some school in a poor part of rural China).

Le Guardian poursuit l’expérience et entre dans GPT2 quelques paragraphes issus d’un article à propos du Brexit. La suite proposée par le générateur est étonnante. Le style est celui d’un journaliste, l’article intègre des citations (fausses) du chef de l’opposition britannique Jeremy Corbyn et du porte-parole du gouvernement et évoque même le problème des frontières irlandaises. Selon le directeur de recherche d’OpenAI, Dario Amodei, le modèle GPT2 pousse la supercherie plus loin. Il traduirait et résumerait n’importe quel texte, réussirait des tests basiques de compréhension de texte.

A The Verge, David Yuan, vice-président à la tête de l’ingénierie d’OpenAI, déclare qu’une dissertation composée par GPT2 "aurait pu tout aussi bien être écrite pour les SAT (examens utilisés pour l’admission aux universités américaines, ndlr) et recevoir une bonne note". Et c’est précisément cette maestria à réussir dans ses tâches d’ordre intellectuel qui pousse les chercheurs d’OpenAI à freiner sa sortie, de peur que la technologie tombe entre de mauvaises mains. "Nous choisissons de sortir une version limitée de GPT2 (...) Nous ne publierons ni la base de données, ni le code d'apprentissage, ni le modèle sur lequel GPT2 repose", explique un billet du blog de l'équipe de recherche.

Pour l’heure, l’ONG souhaiterait éprouver davantage le modèle. "Si vous n’êtes pas en mesure d’anticiper les capacités d’un modèle informatique, vous devez le tester pour voir ce qu’il a dans le ventre", explique OpenAI à The Guardian. Le résultat ? Comme GPT2 s’exerce dans la cour de recré des Internets, il ne serait pas très compliqué de pousser l’algorithme à générer des textes que les complotistes ne renieraient pas.

En 2015, Elon Musk s’associait à Sam Altman, président de l’incubateur prisé, Y Combinator pour fonder OpenAI, une organisation à but non lucratif pour encourager la recherche et la réflexion autour d’une IA bienveillante, qui reste au service du bien commun. Ses deux parrains la dotent d’une confortable enveloppe d’un milliard de dollars, soutenus par d’autres angels de la Silicon Valley, tels que Peter Thiel, serial entrepreneur et investisseur réputé pour ses idées controversées – l’homme est libertarien, soutient Trump et est un transhumaniste convaincu – ou Reid Hoffmann, le fondateur de LinkedIn.

A lire ce qui s’écrit ça et là à propos de GPT2, les chercheurs d’OpenAI tomberaient de leur chaise en réalisant le potentiel néfaste de l’algo. A croire que les chercheurs auraient oublié la mission première de l’ONG, à savoir, sensibiliser aux méfaits de l’intelligence artificielle et imaginer cette technologie au service du bien commun. Alors vraie peur des chercheurs, recherche candide ou plutôt, volonté d’interpeller le grand public et d'ouvrir le débat ?

Auteur: Meghraoua Lila

Info: https://usbeketrica.com

[ lecture ] [ écriture ]

homme-machine

Des scientifiques ont mis au point une intelligence artificielle si avancée qu’elle serait trop dangereuse pour être rendue publique

Un groupe d’informaticiens précédemment soutenus par Elon Musk a développé une intelligence artificielle (IA) avancée, jugée "trop dangereuse" pour être rendue publique.

OpenAI, entreprise de recherche à but non lucratif basée à San Francisco (USA), affirme que son système de prédiction du langage "à la caméléon", appelé GPT-2, ne sortira qu’en version limitée et à très petite échelle, en raison de "préoccupations concernant les applications malveillantes de cette technologie". En effet, le modèle informatique qui génère des paragraphes de textes originaux en fonction de ce qui lui a été donné à "lire", est un peu trop performant, selon l’entreprise qui l’a créé.

Le système élabore des "échantillons de texte synthétique d’une qualité sans précédent", que les chercheurs estiment tellement avancés et convaincants que l’IA pourrait être utilisée pour créer de fausses informations, se faire passer pour certaines personnes, et abuser ou duper des individus sur les réseaux sociaux. "GPT-2 possède un objectif simple : prédire le mot suivant, en tenant compte de tous les mots précédents dans un texte", explique l’équipe OpenAI sur son blog.

Dans le but d’alimenter l’imagination de GPT–2, les chercheurs ont fourni à leur IA un jeu de données de huit millions de pages internet. Une fois toutes les informations assimilées, leur IA peut alors converser sur le sujet, tel qu’il le comprend, et générer un texte aléatoire mais convaincant, qu’il s’agisse de nouvelles de célébrités, de changements climatiques, de la guerre de Sécession ou de fanfictions inspirés de l’univers de Tolkien.

Ci-dessous quelques exemples édités, pour vous rendre compte de la puissance de l’IA créée par OpenAI :

Humain : "Miley Cyrus a été prise en flagrant délit de vol à Abercrombie and Fitch sur Hollywood Boulevard aujourd’hui !". Réponse de GPT-2 : "La chanteuse, âgée de 19 ans, a été filmée et escortée hors du magasin par des gardes de sécurité. La chanteuse portait un sweat à capuche noir avec les étiquettes ‘‘Blurred Lines’’ à l’avant et "Fashion Police" à l’arrière".

Humain : "Recycler, c’est bon pour le monde. NON ! VOUS NE POUVEZ PAS AVOIR PLUS TORD !!". Réponse de GPT-2 : "Le recyclage n’est PAS bon pour le monde. C’est mauvais pour l’environnement, pour notre santé et pour notre économie. Je ne plaisante pas. Le recyclage n’est pas bon pour l’environnement. C’est destructeur pour la Terre et c’est un contributeur majeur au réchauffement climatique".

Humain : "Pour les devoirs d’aujourd’hui, veuillez décrire les raisons de la guerre civile américaine". Réponse de GPT-2 : "Par Donny Ferguson. Il est facile de comprendre pourquoi la guerre civile s’est produite, car tant de gens et tant de livres, de télévisions et de films nous disent que c’est la cause, que cela a à voir avec la race, l’économie ou la religion. On s’entend généralement pour dire qu’il s’agissait essentiellement d’une guerre d’esclavage de la part du capitalisme, à propos d’un siècle d’esclavage. Mais ce n’est pas ce à quoi la plupart des gens pensent quand ils pensent à la guerre civile".

Et pour finir, cet exemple du fanfiction issu de l’univers de Tolkien. Humain : "Legolas et Gimli avançaient vers les orcs, levant leurs armes avec des cris de guerre déchirants". Réponse de GPT-2 : "La réponse des orcs fut une attaque assourdissante de griffe, griffe et griffe ! ; même Elrond fut contraint de battre en retraite. "Vous êtes entre de bonnes mains" a déclaré Gimli, qui avait été parmi les premiers à charger les orcs ; il ne leur fallut que deux mots avant que leurs adversaires ne soient réduits à un bourbier ensanglanté, et que le nain tue pour la première fois de la nuit". (Si vous souhaitez lire entièrement ce tribut étrange à Tolkien, c’est ici, en anglais).

Malgré la nature déroutante de ces étranges annonces créées par l’IA, le modèle de langage émis n’est pas parfait, ce que l’équipe reconnaît totalement. "Comme le montrent les exemples ci-dessus, notre modèle est capable de générer des échantillons à partir d’une variété de textes se sentant proches de la qualité humaine et offrant une cohérence sur une page ou plus" ont déclaré les chercheurs. "Néanmoins, nous avons observé divers modes d’échec, tels que du texte répétitif, des échecs de modélisation cohérente (par exemple, le modèle écrit parfois sur des incendies se déroulant sous l’eau) et des changements de sujet non naturels", ont ajouté les chercheurs.

Cela étant dit, d’après OpenAI, leur IA peut générer des modèles avec du texte cohérent, personnalisé et évolutif, ce qui pourrait être utilisé à des fins malveillantes, en plus des avantages connus.

"Ces résultats, combinés à des résultats antérieurs sur l’imagerie synthétique, l’audio et la vidéo, impliquent que ces technologies réduisent le coût de production de faux contenus et de campagnes de désinformation", écrivent les chercheurs. "En raison des craintes que des modèles linguistiques de ce type soient utilisés pour générer un langage trompeur, partial ou abusif, nous ne publierons qu’une version beaucoup plus restreinte de GPT–2, avec un code d’échantillonnage", ajoutent-ils.

Certains scientifiques suggèrent néanmoins que les craintes relatives aux capacités de GPT-2 sont exagérées, et que l’entreprise OpenAI souhaite simplement se faire de la publicité. L’entreprise a rétorqué qu'elle pense avoir raison de se méfier des IA trop compétentes. "Les règles selon lesquelles vous pouvez contrôler la technologie ont fondamentalement changé" a déclaré Jack Clark, directeur des politiques de la société OpenAI. "Nous n’affirmons pas savoir quelle est la bonne chose à faire dans cette situation (…). Nous essayons de construire la route au fur et à mesure que nous avançons", a-t-il ajouté.

Auteur: Internet

Info: https://trustmyscience.com Traduction Stéphanie Schmidt 20 février 2019