intelligence collective

"Le QI d'un groupe est corrélé à sa proportion de femmes"

En 2010, des scientifiques du MIT (Massachusetts Institute of Technology) et de l'Université de Carnegie Mellon ont en effet cherché à calculer le QI du groupe, c'est à dire sa capacité à résoudre un problème, comme cela se faisait déjà individuellement. Ils en ont conclu que le QI du groupe n'était pas une addition des QI individuels qui le composent mais que celui-ci avait sa propre intelligence, déconnectée de celle de ses membres pris séparément. Ce QI peut être supérieur ou inférieur à cette somme. Ce n'est pas parce que vous avez une assemblée de génies que sa capacité à résoudre un problème donné sera meilleure. C'est un peu comme dans une équipe de football. Si vous n'y mettez que des grands champions, bien souvent cela ne donne pas d'excellents résultats. Les bleus vainqueurs de la Coupe du Monde de Football avaient certains joueurs moins bons individuellement que d'autres mais fonctionnant parfaitement bien entre eux.

Comment ces scientifiques sont-ils arrivés à la conclusion que plus il y a de femmes dans un groupe, plus celui-ci est intelligent ?

Tout simplement parce qu'elles ont une intelligence émotionnelleplus développée qui permet au groupe de mieux réfléchir. Généralement, les femmes communiquent mieux, ont une écoute plus riche, plus bienveillante, une capacité à deviner les émotions des autres, à se mettre à leur place, à comprendre les non-dits. Elles savent aussi respecter le temps de parole de chaque individu. Cela ne sert à rien d'avoir un collectif d'opinions différentes si on ne laisse pas à chacun le temps de s'exprimer. Les scientifiques ont donc estimé que les femmes avaient les qualités nécessaires pour améliorer la bande passante du groupe… Et en ont logiquement conclu que son QI était corrélé à la proportion de femmes. 

Auteur: Internet

Info: https://madame.lefigaro.fr/, Alyette Debray-Mauduy, 10/01/2019, Interview de Emile Servan-Schreiber  à propos de Supercollectif, la Nouvelle Puissance de nos intelligences, par É S S, Editions Fayard décembre 2018, 220 pages

[ équilibre ] [ femmes-hommes ] [ tétravalence ]

sang-froid

Les psychopathes pourraient être les meilleurs traders ? "Recherche : psychopathes pour faire un massacre sur les marchés." Une telle annonce ne paraîtra pas dans les journaux, mais elle pourrait avoir un fond de vérité après qu'une recherche ait indiqué que les meilleurs traders pourraient bien être des " psychopathes fonctionnels."
Une équipe de scientifiques des Usa a montré que ceux avec des émotions altérées sont plus disposée à jouer avec de hauts pics et que les personnes avec des dommages de cerveau pourraient prendre de bonnes décisions financières, rapporte lundi le journal Times.
Dans une étude du comportement des investisseurs, 41 personnes avec des QI normaux ont été invitées à jouer un jeu simple d'investissement. Quinze du groupe avaient souffert de lésions dans les secteurs du cerveau qui affectent des émotions. Le résultat est que ceux avec des dommages de cerveau ont surpassé les autres.
Les scientifiques ont montrés que les émotions ont mené une partie du groupe à éviter des risques même lorsque les avantages de potentiel étaient de loin supérieurs aux pertes, phénomène connu sous le nom d'aversion myope de perte. Un des chercheurs, Antoine Bechara, professeur d'associé de neurologie à l'université d'Iowa, a indiqué que les meilleurs investisseurs du marché boursier pourraient plausiblement s'appeler "des psychopathes fonctionnels." Un camarade de l'auteur, Baba Shiv de Stanford Graduate School of Business dit que beaucoup de chefs de compagnie et d'avocats supérieurs peuvent également montrer qu'ils partagent le même trait.
Les "émotions jouent un rôle adaptatif en accélérant le processus décisionnel" dit Shiv. "Cependant il y a des circonstances dans lesquelles une réponse émotive naturelle doit être empêchée, de sorte qu'une décision délibérée et potentiellement plus sage puisse être prise."
L'étude, publiée en juin dans le journal " Psychological Science" a été entreprise par une équipe de chercheurs d'université de Stanford University, Carnegie Mellon University et de l'université de l'Iowa.

Auteur: Reuters

Info: 19 Sept 2005 Londres

mystère

Le Pentagone a admis qu'il enquêtait sur les ovnis dans le cadre d'une initiative gouvernementale secrète connue sous le nom de "Advanced Aerospace Threat Identification Program (AATIP)".

Le ministère de la Défense affirmait avoir fermé l'AATIP en 2012, mais le porte-parole Christopher Sherwood a déclaré au Post que le ministère continue d'enquêter sur d'éventuelles observations d'Ovnis.

"Le ministère de la Défense est toujours préoccupé par le maintien d'une identification fiable de tous les aéronefs dans notre environnement opérationnel, ainsi que l'identification de toute capacité étrangère qui pourrait constituer une menace pour notre pays", a déclaré Sherwood.

"Le ministère continuera d'enquêter, selon les procédures normales, sur les cas d'aéronefs non identifiés rencontrés par des aviateurs militaires américains afin d'assurer la défense de la patrie et la protection contre les surprises stratégiques des adversaires de notre nation."

Nick Pope, qui a secrètement enquêté sur les OVNI pour le gouvernement britannique dans les années 1990, a qualifié les commentaires de la Défense de "bombe".

Pope, un ancien responsable de la défense britannique devenu auteur, a déclaré : "Les déclarations officielles précédentes étaient ambiguës et laissaient la porte ouverte à la possibilité que l'AATIP s'intéresse simplement aux menaces aéronautiques de la prochaine génération, comme le prétendaient les sceptiques, que ce soit les avions, les missiles ou les drones.
Cette nouvelle admission montre clairement qu'ils ont vraiment étudié ce que le public appelle des Ufos... (...) Cela montre aussi l'influence britannique, car UAP était le terme que nous utilisions au ministère de la Défense afin de nous distancier de tout le bagage de la culture pop qui accompagnait le terme OVNI.

L'existence de l'AATIP a été révélée en 2017, lorsque l'ancien leader de la majorité au Sénat Harry Reid (D-NV) a annoncé avoir organisé le financement annuel de 22 millions $ du programme. Reid avait dit au New York Times que c'était "l'une des bonnes choses que j'ai faites dans mon service au Congrès".

Le New York Times a publié l'article après que le DoD a publié une vidéo de 33 secondes via l'AATIP, mettant en scène un objet aéroporté poursuivi au large de la côte de San Diego par deux avions de la marine en 2004.

Dimanche, nous avons rendu compte d'un éditorial écrit par Christopher Mellon dans The Hill, sur le fait que depuis 2015, "des dizaines d'avions de chasse F-18 de la Marine ont rencontré des phénomènes aériens non identifiés (UAP) - autrefois communément appelés UFO - au large de la côte Est des États-Unis, certains non loin de la capitale nationale. Des rencontres ont été rapportées par d'autres avions militaires et des avions de ligne civils ailleurs aux États-Unis et à l'étranger, y compris des vidéos tournées par des passagers aériens."

Ce qu'étaient ces UAP et qui les pilotait - qu'il s'agisse d'amis, d'ennemis ou de forces inconnues - reste une énigme . Pourtant, un examen attentif des données mène inévitablement à une conclusion possible et troublante : Un adversaire potentiel des États-Unis maîtrise des technologies que nous ne comprenons pas, et possède des capacités que nous ne pouvons pas égaler.

"Il est grand temps que le Congrès recueille les réponses à ces questions et qu'il partage au moins certaines de ses conclusions avec le public." (Dans le journal The Hill)

Alors, de quoi s’agit-il. Que se passe-t'il là-bas ?

Auteur: Internet

Info: https://nypost.com Wed, 05/22/2019 - 22:05

[ Etats-unis ] [ extraterrestres ]

nord-sud

La direction de l'institution américaine Carnegie Mellon University s'est distanciée des tweets offensants d'Uju Anya, professeur au département de langues modernes de l'école, qui décrivent feu la reine Elizabeth II comme une "femme misérable" et une "colonisatrice génocidaire".

Parmi l'afflux des inquiétudes concernant l'état de santé de la reine malade tôt jeudi – quelques heures avant l'annonce officielle de sa mort – Mme Anya, dans un fil de tweets, souhaitait à la reine "une mort atrocement douloureuse comme celle qu'elle a pu causer à des millions de personnes".

"J'ai entendu dire que le monarque en chef d'un empire génocidaire, voleur et violeur est enfin en train de mourir. Que sa douleur soit atroce".

Après que de nombreuses personnes aient signalé ce tweet, Twitter l'a retiré pour avoir enfreint la règle interdisant de "souhaiter ou espérer que quelqu'un subisse un préjudice physique".

Ce qui n'a pas empêché un déluge de critiques, notamment de la part de l'Université Carnegie Mellon, où Mme Anya enseigne la linguistique appliquée.

"Nous ne tolérons pas les messages offensants et répréhensibles publiés par Uju Anya aujourd'hui sur son compte personnel de médias sociaux. La liberté d'expression est au cœur de la mission de l'enseignement supérieur, cependant, les opinions qu'elle a partagées ne représentent absolument pas les valeurs de l'institution, ni les normes de discours que nous cherchons à promouvoir", a tweeté l'Université Carnegie Mellon.

Les tweets ignobles de Mme Anya ont également attiré l'attention du fondateur d'Amazon, Jeff Bezos.

"Est-ce quelqu'un qui travaille pour rendre le monde meilleur ?" a-t'il tweeté. "Je ne pense pas. Wow."

Les commentataires en ligne ne cessent depuis d'envahir la section de commentaires du tweet de l'université, appelant au licenciement de Mme Anya, soulignant qu'un condamnation ne suffirait pas et demandant des mesures de rétorsion contre le professeur.

L'utilisateur de Twitter @DavidWohl par exemple : "Ainsi, cette ignoble fauteuse de haine restera professeur titulaire, et continuera de recevoir son plein salaire sans aucune mesure disciplinaire, ni suspension, ni rien. Au cas où vous envisageriez d'envoyer vos enfants dans cette université dégénérée."

Un autre tweet, @InterestedObs13 indique : "La liberté d'expression est essentielle, mais la méchanceté de ce tweet ne reflète pas l'opinion réfléchie et rationnelle d'un leader pondéré. Colère et rancune comme celles-ci diminuent la légitimité de l'argument et au final la réputation de la personne qui le transmet."

Un autre @kristi_mccall a été plus explicite : "Si vous ne la virez pas, vous l'approuvez."

Et @chefjohnny84 a écrit: "Alors virez-la. Résilier son contrat. Cette femme ne devrait rien apprendre à personne. Elle devrait apprendre l'histoire, pas remplir le monde de haine."

Plus tôt cette année Mme Anya a indiqué à Carnegie Mellon qu'elle était née au Nigeria et avait déménagé aux États-Unis à l'âge de 10 ans., déplorant être en butte à "l'exclusion du système".

"En raison de l'exclusion systémique, ma voix est unique et fondamentale dans le domaine", expliquait Mme Anya dans l'interview de Carnegie Mellon. "Je suis le principal chercheur qui étudie la race et les expériences de la race noire dans l'apprentissage des langues et l'un des rares à examiner l'éducation des langages dans une perspective de justice sociale."

L'attaque de Mme Anya contre la reine Elizabeth correspond à sa profonde animosité, souvent exprimée, suite à la guerre civile nigériane (1967-1970). On estime que deux millions de personnes auraient été tuées par les troupes nigérianes lors d'une tentative du groupe ethnique Igbo de Mme Anya de se séparer du Nigéria à peine sept ans après l'indépendance.

"Si quelqu'un s'attend à ce que j'exprime autre chose que du mépris pour une monarque qui a supervisé le gouvernement qui a parrainé le génocide, a massacré et déplacé la moitié de ma famille avec des conséquences encore visibles aujourd'hui, vous pouvez continuer à rêver", a ajouté Mme Anya sur Twitter suite à la réprimande de Bezos.

La professeur, qui est d'origine Igbo dans l'est du Nigeria, a acquis cette notoriété sur Twitter après avoir incité à la haine ethnique, en particulier contre les populations haoussa et yoruba.

Il y a deux semaines, elle fut stigmatisée par certains Afro-Américains pour son utilisation d'une insulte de rue, "Akata", puisqu'elle affirmait que ce mot qui émane de la langue yoruba et que le peuple yoruba l'utilise pour décrire les Afro-Américains comme des animaux sauvages.

Son affirmation fut immédiatement démystifiée et présentée comme une tentative d'opposer les Afro-Américains aux personnes de l'ethnie Yoruba au Nigeria, à qui elle n'a jamais pardonné de s'être rangé du côté des troupes fédérales pour maintenir l'unité du Nigeria durant la guerre civile.

 

Auteur: Internet

Info: https://gazettengr.com/, 8 sept. 2022

[ polémique ] [ afrique ] [ usa ] [ Angleterre ] [ événement mondial ] [ deuil planétaire ] [ racisme ] [ communautarisme ] [ socio-linguistique ]

progrès

Pourquoi la victoire d’une Intelligence artificielle au poker est plus inquiétante qu’il n’y paraît
Une intelligence artificielle (IA) du nom de Libratus a fait mordre la poussière à 4 des meilleurs joueurs de Poker au monde, à l’issu d’un tournoi de poker de longue haleine, au Rivers Casino, à Pittsburgh, aux États-Unis. Dong Kim, Jason Les, Jimmy Chou et Daniel McAuley ont joué plusieurs jours à raison de 11h par jour, sans monnaie réelle – mais avec un enjeu financier selon leur capacité individuelle à se défaire de l’IA.
Jusqu’ici, il était relativement simple pour un algorithme de prévoir l’issue d’une partie d’échecs ou de Go, car tous les mouvements sont prévisibles à partir de la configuration du plateau de jeu. Mais au poker, il est impossible de connaître la main de ses adversaires ni leur état d’esprit, qui influe grandement leur prise de décision.
Le tournoi qui a opposé 4 joueurs de Poker professionels à l’IA Libratus. (Carnegie Mellon University)
Cette victoire constitue une première mondiale significative ; jusqu’ici, étant donné la grande complexité du poker et des facteurs humains impliqués, les machines qui s’étaient frottées au jeu avaient perdu. Sur les sites de paris en ligne, la victoire des 4 joueurs l’emportait à 4 contre 1.
Une victoire qui étonne même le créateur de l’algorithme
L’algorithme à la base de Libratus repose sur un “deep learning”. Libratus est une version améliorée d’un algorithme antérieur, déjà testé dans des circonstances similaires en 2015 – les joueurs de Poker l’avaient alors emporté.
La victoire confirme la puissance grandissante des algorithmes sur une période très courte. En octobre 2015, le programme alphaGo se débarrassait par 5 parties à 0 du champion européen Fan Hui. En mars 2016, le même programme battait le champion du monde Lee Sedol 4 parties à 1.
Le plus étonnant, selon Noam Brown, le créateur de Libratus, est que contrairement aux intelligences artificielles programmées pour gagner aux échecs, Libratus n’a jamais appris “comment” jouer au Poker. “Nous lui avons donné les règles de base”, et nous lui avons dit “apprends par toi-même”. Durant les pauses du tournoi, alors que les humains dînaient, dormaient ou analysaient les différentes mains de la partie, Brown connectait l’ordinateur au superordinateur de Pittsburg et affinait sa stratégie en rejouant des milliards de possibilités.
“Quand vous jouez contre un humain, vous perdez, vous arrêtez, vous faites une pause. Ici, nous devions donner le meilleur de nous-même 11 heures par jour. La différence est réelle, et émotionnellement, cela est dur à supporter si vous n’êtes pas habitués à perdre”, raconte Les, qui avait joué contre Claudico, une version antérieure de l’algorithme ayant servi de base à Libratus.
Libratus a joué de façon agressive, et n’a pas hésité à faire grimper les paris pour des gains minimes. “Ce n’est pas quelque chose que ferait un humain, en temps normal. Mais cela vous force à devoir donner le meilleur de vous à chaque tour”, évalue Les, qui après la performance de Libratus, a avoué que plus rien ne pourrait l’étonner désormais.
Des raisons de s’inquiéter
“Quand j’ai vu l’IA se lancer dans le bluff en face d’humains, je me suis dit “mais, je ne lui ai jamais appris à faire cela !” C’est une satisfaction pour moi de me dire que j’ai réussi à créer quelque chose capable de cela”, a commenté Noam Brown.
Si le professeur a exprimé un sentiment de “fierté paternelle”, d’autres scientifiques se sont inquiétés des conséquences de l’évolution de l’algorithme ayant donné naissance à Libratus.
Avec cette capacité à traiter l’"imperfection" comme une donnée d’équation, les intelligences artificielles ne jouent plus dans la même cour. On peut sans crainte avancer qu’il sera possible, à l’avenir, d’avoir des robots capables de rivaliser avec les humains sur des enjeux impliquant la décision humaine. Ils pourraient prendre de meilleures décisions dans les transactions financières, ou dresser de meilleures stratégies militaires.
“En fait, le poker est le moindre de nos soucis. Nous avons à présent une machine capable de vous botter les fesses en affaires ou sur le plan militaire", s’inquiète Roman V. Yampolskiy, professeur de sciences informatique de l’université de Louisville.
Au sujet du Deep learning
Le Deep learning dont il est question est une révolution en cela que les intelligence artificielles, qui s’en tenaient à analyser et comparer des données, peuvent maintenant les "comprendre" et apprendre d’elle même ; ce qui la porte à un niveau d’abstraction supérieur. "Par exemple, une IA à qui on donne des photos représentant des museaux, du pelage, des moustaches et des coussinets sous les pattes, est capable d’élaborer le concept de chat. Elle utilise une logique exploratoire qui crée des concepts, elle n’est pas uniquement constituée d’algorithmes préprogrammés", explique Stéphane Mallard, chargé de stratégie et d’innovation dans les salles de marché de la Société Générale.
En 2011, une expérience a été menée dans un jeu télévisé américain, Jeopardy, dans lequel les candidats doivent trouver la question à partir d’une réponse. Une IA développée par IBM, nommée Watson, a gagné haut la main. Or aujourd’hui, d’après Stéphane Mallard, cette IA serait 2 500 fois plus puissante.
Il semble impossible, même pour une IA, de prévoir aujourd’hui jusqu’où ira le développement de ces machines. Mais comme dans les fables tournant autour de l’apprenti-sorcier, il se pourrait que l’erreur ne soit comprise que trop tard.
D’après le producteur, auteur et conférencier Cyrille de Lasteyrie, la rapidité du développement de l’IA, le fait d’ignorer les conséquences du développement de l’IA est dangereux. "En 2005, les entreprises ne prenaient pas Internet au sérieux, et considéraient le phénomène comme un sujet secondaire. Dix ans après, ces mêmes boîtes nous appellent en panique pour mener une transformation digitale profonde et de toute urgence… Je suis convaincu que c’est la même problématique avec l’intelligence artificielle, multipliée par dix. Les conséquences business, organisationnelles, technologiques, humaines ou sociologiques sont énormes", indique t-il dans une interview accordée à Challenges en septembre dernier.

Auteur: Internet

Info: Daniel Trévise, Epoch Times,5 février 2017

[ évolution ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]