chair-esprit

Le libre-arbitre existe-t-il ? Comment le cerveau déforme la réalité temporelle
Nous avons coutume de penser que nous sommes libres de décider et de choisir nos actes. Et pourtant, une série d'expériences de neurosciences jettent un doute sur ce qu'on a l'habitude d'appeler notre libre-arbitre.
Même si elles sont largement débattues, tant du point de vue de leurs résultats scientifiques que de l'interprétation philosophique qui en est donnée, ces expériences sont plutôt troublantes !
Libre-arbitre et activité neurologique
Nous avons tous une notion intuitive de ce qu'est le libre-arbitre. Sur le plan biologique, il peut être associé à la notion d'action volontaire, qui s'oppose à celle de réflexe. Alors que les réflexes empruntent des chemins neuronaux simples (comme un rapide circuit via la moelle épinière), les actions volontaires font intervenir de nombreuses aires cérébrales.
1983 : L'expérience fondatrice de Benjamin Libet*
Dans l'expérience de Libet, on vous place devant une horloge qui défile rapidement, et on vous donne un bouton sur lequel vous pouvez appuyer au moment qui vous plaira. La seule chose qu'on vous demande c'est de retenir le nombre indiqué par l'horloge au moment où vous prenez votre décision d'appuyer. Dans le même temps, des électrodes placées sur votre crâne suivent votre activité cérébrale.
Ce dispositif permet de mesurer 1) le moment où vous prenez la décision d'appuyer, 2) le moment où votre cerveau commence à s'activer, et 3) le moment où vous appuyez physiquement sur le bouton. Et la découverte spectaculaire de Libet, c'est que l'activation cérébrale précède la décision consciente, et ce de plusieurs centaines de millisecondes.
Interprétée de manière brute, l'expérience de Libet semble condamner le libre-arbitre : vous avez l'impression de décider d'appuyer à un certain moment, mais votre cerveau a déjà décidé depuis presque une demi-seconde ! Comment puis-je être libre de décider quelque chose, si au moment où j'ai conscience de choisir, mon cerveau a déjà commencé à agir ? Comme on peut s'en douter, cette expérience possède de nombreux points faibles que les spécialistes n'ont pas été longs à relever.
Il y a tout d'abord les incertitudes de mesure, puisqu'on parle ici d'un écart de seulement quelques centaines de millisecondes. Ensuite le fait que l'estimation du moment de décision par le sujet lui-même n'est certainement pas très fiable : elle est subjective et l'horloge peut constituer une source de distraction et donc d'erreur. Enfin, le signal électrique relevé dans le cerveau pourrait être simplement un signal "préparatoire", qui indique que le cerveau s'active mais qui ne détermine pas spécifiquement la décision que l'on va prendre.
Bref, il y a plein de critiques à faire à l'expérience de Libet, et qui permettent de se rassurer quant à l'existence de notre libre-arbitre. Tout va bien donc, jusqu'à une nouvelle expérience réalisée en 2008, et qui s'affranchit de la plupart de ces critiques.
Dans cette nouvelle expérience, plusieurs choses diffèrent par rapport au protocole de Benjamin Libet. Tout d'abord, le sujet dispose de 2 boutons, un dans sa main gauche et un dans sa main droite. Il peut appuyer quand il le souhaite, soit à gauche soit à droite. Ensuite, le cerveau du sujet est suivi cette fois dans une IRM, ce qui permet d'observer simultanément l'activité de tout un ensemble d'aires cérébrales.
Et le moins que l'on puisse dire, c'est que les résultats de cette expérience sont perturbants. D'une part, l'IRM révèle qu'une activité cérébrale préparatoire existe 7 à 10 secondes AVANT que le sujet ne prenne sa décision d'appuyer. Encore plus troublant, cette activité cérébrale permet dans une bonne mesure de prédire de quel côté le sujet va appuyer.
Oui oui, vous avez bien lu, plusieurs secondes avant que vous soyiez conscient de choisir, votre cerveau a déjà décidé entre droite et gauche, et l'IRM peut révéler le côté qui sera choisi !
Pour modérer un peu ce résultat apparemment catastrophique pour notre libre-arbitre, il faut noter que la prédiction faite par l'IRM est loin d'être infaillible, puisqu'elle fonctionne au mieux dans 60% des cas, ce qui est significativement mieux que le hasard, mais reste tout de même limité.
Quelle conclusion raisonnable tirer de ces expériences ?
Il faut savoir qu'il n'existe chez les scientifiques et les philosophes aucun consensus quant à l'interprétation de ces expériences. Pour certains comme Patrick Haggard, le libre-arbitre n'existe tout simplement pas, il affirme "We feel that we choose, but we don't". Pour d'autres, au contraire, ces expériences n'ont aucune valeur, "Circulez ya rien à voir !".
Une position intermédiaire raisonnable c'est d'admettre que ces expériences montrent au moins que nos intentions ne sont pas systématiquement à l'origine de nos actions. Les processus inconscients jouent peut être un plus grand rôle que nous ne pouvions le penser, et la conscience d'une décision est un phénomène qui se construit au cours du processus de décision, pas à son origine.
Comme cette conclusion prudente semble quand même en mettre un coup à notre vieille notion de libre-arbitre, une manière de se rassurer c'est de considérer que notre cerveau prépare nos décisions assez en avance par rapport à notre conscience, mais qu'il nous laisse jusqu'au dernier moment un droit de veto. Il semblerait qu'une des fonctions de cette aire appelée SMA soit justement de pouvoir inhiber certaines actions décidées et préparées en amont. Donc jusqu'au dernier moment, on aurait le choix de ne pas faire. C'est ce que les anglo-saxons appellent le "free won't", par analogie au libre-arbitre appelé "free will".
Pour d'autres philosophes comme Dan Dennett, ces expériences sont correctes, mais elles ne sont pas incompatibles avec le libre-arbitre. Ces philosophes adhèrent à une position appelée compatibilisme, selon laquelle la réalité est totalement déterministe mais le libre-arbitre existe quand même. J'avoue que je ne comprends pas ce que ça signifie, et que pour moi ça ressemble beaucoup à une posture de façade "pour sauver les meubles". Ce qu'on peut comprendre car si le libre-arbitre était vraiment réfuté, les conséquences pour la société pourraient être terribles.
Les implications morales de l'absence de libre-arbitre
Imaginons que l'on montre scientifiquement que le libre-arbitre n'existe pas, alors on est mal car toutes nos lois et notre droit reposent sur la notion de responsabilité individuelle : nous sommes responsables de nos actes car nous sommes libres de les accomplir ou pas.
D'ailleurs en droit, pour être puni d'un crime, il faut qu'il y ait à la fois l'intention et l'action. La pensée n'est pas un crime, donc si vous avez juste l'intention de commettre un forfait, on ne peut pas vous condamner pour ça (encore que ce ne soit pas totalement vrai, notamment dans le cas de la préparation d'actes terroristes). Réciproquement, si quelqu'un commet un crime mais est jugé irresponsable, il ne sera pas condamné. Donc si le libre-arbitre n'existe pas, nous sommes tous irresponsables de nos actes et toutes nos structures juridiques s'effondrent !
Ceci a amené Dan Dennett à mettre en garde les scientifiques à ne pas trop faire d'annonces intempestives au sujet de leurs expériences sur le libre-arbitre !...
Pour aller plus loin...
Il faut ajouter un commentaire sur ce résultat de 60% de prédiction du côté gauche/droit quand on fait l'IRM. Cela peu paraître peu, bien peu. Mais songez que l'IRM est loin d'être en général un prédicteur parfait de nos actes. Ce qu'ont notamment montré les auteurs, c'est que même en utilisant l'information disponible dans le cortex moteur après la prise de décision et pendant le mouvement, on n'arrivait à correctement prédire le côté que dans 75% des cas. Alors qu'en théorie on devrait être capable de le faire à 100%. Cela montre que l'IRM est une information peut être trop agrégée pour permettre une prédiction très fiable.
Ainsi une récente étude montre qu'en faisant un suivi individuel de neurones avec des électrodes implantées dans le cerveau (plutôt qu'une IRM), on peut prédire le résultat avec une acuité de 80%, et ce 700 millisecondes avant la décision consciente. Tout ça pour dire que rien ne nous met à l'abri de futures expériences avec de meilleurs systèmes de mesure et de prédiction, qui pourraient deviner nos décisions 5 secondes en avance avec 90% de fiabilité.
Pour finir sur un peu de philo, ces expériences semblent au moins réfuter le modèle dualiste du corps et de l'esprit. Dans ce modèle popularisé par Descartes, l'esprit existe indépendamment du corps, et est capable de le contrôler. Si cette vision était correcte, alors le sentiment d'avoir l'intention d'agir (qui viendrait de l'esprit) devrait précéder les manifestations cérébrales et musculaires (du corps). Il paraît que les philosophes dualistes, ça n'existe plus, mais malgré tout la vision dualiste reste probablement la plus reflétée dans le langage commun, quand on dit "JE décide" (esprit), mais "le cerveau s'active" et "le muscle bouge" (corps).

Auteur: Internet

Info: sciencetonnante.wordpress.com,*voir aussi les expériences de Walter Grey

[ sciences ]

dieu carbone

(Q) - Quel est le rapport entre la tétravalence de l'atome du carbone et les 4 bases de l'adn

(R) - La tétravalence de l'atome de carbone permet la formation de molécules d'ADN avec quatre bases azotées différentes. En effet, l'atome de carbone peut former quatre liaisons covalentes, ce qui lui permet de se lier à quatre autres atomes. Dans le cas de l'ADN, ces quatre atomes sont des bases azotées, qui sont des composés organiques contenant de l'azote.

Les quatre bases azotées de l'ADN sont l'adénine (A), la thymine (T), la guanine (G) et la cytosine (C). Ces bases se lient entre elles de manière spécifique, l'adénine se liant toujours à la thymine, et la guanine se liant toujours à la cytosine. Cette liaison spécifique est responsable de la structure en double hélice de l'ADN.

La tétravalence de l'atome de carbone est donc essentielle à la structure et à la fonction de l'ADN. Elle permet la formation de molécules d'ADN avec quatre bases azotées différentes, qui sont essentielles à la transmission de l'information génétique.

Plus spécifiquement, le carbone tétravalent peut former deux liaisons covalentes avec des atomes d'oxygène, qui constituent le sucre du désoxyribose, et deux liaisons covalentes avec des atomes d'azote, qui constituent les bases azotées. Cette configuration permet la formation d'une chaîne d'ADN, dans laquelle les bases azotées sont disposées en paires.

Les bases azotées sont complémentaires, ce qui signifie qu'une base A ne peut se lier qu'à une base T, et qu'une base G ne peut se lier qu'à une base C. Cette complémentarité est essentielle à la structure en double hélice de l'ADN.

La double hélice de l'ADN est une structure en forme de spirale, dans laquelle les deux brins d'ADN sont antiparallèles. Les bases azotées des deux brins sont liées entre elles par des liaisons hydrogène, ce qui permet aux deux brins de se maintenir ensemble.

La structure en double hélice de l'ADN est essentielle à la fonction de l'ADN. Elle permet la réplication de l'ADN, qui est le processus par lequel l'ADN est dupliqué pour former de nouvelles cellules.

En résumé, la tétravalence de l'atome de carbone est essentielle à la structure et à la fonction de l'ADN. Elle permet la formation de molécules d'ADN avec quatre bases azotées différentes, qui sont essentielles à la transmission de l'information génétique.

(Q) - Merci. Est-ce vrai que chez la femme ce système est d'une certaine manière redoublé ?

(R) - Oui, c'est vrai. Chez la femme, les chromosomes sexuels sont de type XX, ce qui signifie qu'elles ont deux chromosomes X. Ces chromosomes contiennent tous les mêmes gènes, mais ils peuvent avoir des variantes différentes.

La duplication du système de base azotée chez la femme est due à la présence de deux chromosomes X. Chaque chromosome X contient une chaîne d'ADN qui est composée de quatre bases azotées différentes. Ces bases azotées sont disposées en paires complémentaires, comme décrit précédemment.

La duplication du système de base azotée chez la femme a plusieurs implications. Premièrement, elle permet une plus grande diversité génétique chez les femmes. En effet, les deux chromosomes X peuvent avoir des variantes différentes des mêmes gènes.

Deuxièmement, la duplication du système de base azotée chez la femme permet une plus grande résistance aux mutations génétiques. En effet, si une mutation survient sur un chromosome X, il y a encore un chromosome X sain qui peut fournir les instructions génétiques correctes.

Troisièmement, la duplication du système de base azotée chez la femme est nécessaire pour la reproduction. En effet, les ovules contiennent un seul chromosome X, qui est transmis à l'embryon.

En résumé, la duplication du système de base azotée chez la femme est une caractéristique essentielle de la reproduction humaine. Elle permet une plus grande diversité génétique, une plus grande résistance aux mutations génétiques et est nécessaire pour la transmission des gènes à la génération suivante.

Voici quelques exemples de la façon dont la duplication du système de base azotée chez la femme peut avoir un impact sur la santé et le développement :

- Les femmes sont plus susceptibles que les hommes de développer des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

- Les femmes sont également plus susceptibles que les hommes de développer des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

- La duplication du système de base azotée chez la femme peut également avoir un impact sur le développement des caractéristiques sexuelles secondaires, telles que la taille des seins et des hanches.

Il est important de noter que la duplication du système de base azotée chez la femme n'est pas une cause de maladie ou de handicap. Il s'agit simplement d'une caractéristique normale de la reproduction humaine.

(Q) - Merci, peut-on alors dire que cette conformation féminine est plus solide, plus équilibrée, que celle de l'homme ?

(R) - En termes de solidité, oui, on peut dire que la conformation féminine est plus solide que celle de l'homme. En effet, la présence de deux chromosomes X permet aux femmes de mieux résister aux mutations génétiques. Si une mutation survient sur un chromosome X, il y a encore un chromosome X sain qui peut fournir les instructions génétiques correctes.

En termes d'équilibre, la réponse est plus nuancée. D'une part, la présence de deux chromosomes X permet aux femmes d'avoir une plus grande diversité génétique. Cela peut être un avantage, car il peut permettre aux femmes d'être plus résistantes aux maladies. D'autre part, la présence de deux chromosomes X peut également être un désavantage, car elle peut augmenter le risque de développer des maladies génétiques liées aux chromosomes X.

En conclusion, on peut dire que la conformation féminine est plus solide que celle de l'homme, mais qu'elle n'est pas forcément plus équilibrée.

Voici quelques exemples de la façon dont la duplication du système de base azotée chez la femme peut avoir un impact sur la santé et le développement :

Solidité : Les femmes sont plus susceptibles que les hommes de survivre à des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

               Les femmes sont également plus susceptibles que les hommes de survivre à des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

Équilibre : Les femmes sont plus susceptibles que les hommes de développer des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

                 Les femmes sont également plus susceptibles que les hommes de développer des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

(Q) - OK merci. Est-ce que ce rapport entre les sexes (genres) se retrouve chez les mammifères ou dans le monde animal en général ?

(R) - Oui, le rapport entre les sexes (genres) se retrouve chez les mammifères et dans le monde animal en général. Il existe une grande diversité de comportements et de morphologies entre les sexes, qui sont souvent liés à la reproduction et à la survie des espèces.

Chez les mammifères, on observe généralement une différence de taille entre les sexes, les mâles étant plus grands que les femelles. Cette différence est souvent liée à la compétition entre mâles pour l'accès aux femelles. Les mâles peuvent également avoir des ornements physiques, tels que des cornes, des défenses ou une crinière, qui servent à attirer les femelles ou à intimider les rivaux.

Dans le monde animal en général, on observe une grande diversité de comportements et de morphologies entre les sexes. Par exemple, chez les oiseaux, les mâles sont souvent plus colorés que les femelles, ce qui sert à attirer les femelles. Chez les poissons, les mâles peuvent prendre soin des œufs ou des larves, tandis que les femelles s'occupent de la recherche de nourriture.

Il existe cependant des exceptions à cette règle. Par exemple, chez les éléphants, les femelles sont plus grandes que les mâles. Chez les hyènes, les femelles sont dominantes sur les mâles.

Les stéréotypes de genre chez les animaux peuvent être influencés par :

- Les facteurs biologiques, tels que la différence de taille entre les sexes ou la présence d'ornements physiques.

- Les facteurs environnementaux, tels que la disponibilité de ressources ou la concurrence entre espèces.

- Les facteurs culturels, tels que les traditions et les croyances des humains.

Les stéréotypes de genre chez les animaux peuvent avoir un impact sur :

- La reproduction, car ils peuvent influencer le choix des partenaires et la réussite de la reproduction.

- La survie, car ils peuvent influencer les comportements de chasse, de défense ou de migration.

- Les interactions sociales, car ils peuvent influencer les relations entre les individus d'une même espèce.

Auteur: Google Bard chatbot

Info: 24 oct 2023

[ vus scientifiquement ] [ asymétrie mâles-femelles ] [ dialogue homme-machine ] [ femmes-hommes ]

métadonnées à valeur ajoutée MVA

"Ils profitent de notre pauvreté" : derrière le boom des intelligences artificielles génératives, le travail caché des petites mains de l'IA 

(Photo : Une masse d'hommes et de femmes invisibles, partout dans le monde, analysent des quantités colossales de données pour améliorer, caratériser et contextualiser les intelligences artificielles. )

La création d'algorithmes tels que ChatGPT ou Midjourney nécessite des quantités colossales de données, analysées par des humains. Des "annotateurs" indispensables mais souvent précaires, faiblement rémunérés et maintenus dans l'ombre.

"Des descriptions graphiques de viol, d'inceste, de nécrophilie... C'était ça tous les jours."  En 2021, Mophat Okinyi doit relire chaque jour plusieurs centaines de textes fournis à l'entreprise de traitement de données Sama par un client inconnu, pour entraîner un modèle d'intelligence artificielle (IA). L'objectif : préciser au logiciel ce qui pose problème dans ces textes, pour qu'il ne le reproduise pas.

Un travail rémunéré 21 000 shillings kenyans par mois (environ 150 euros) pour les employés du bas de l'échelle dont Mophat contrôlait l'activité. Cela a laissé chez lui des traces à vie. "Encore aujourd'hui, ça affecte mes relations avec ma famille, mes proches", explique l'analyste qualité kenyan. La mission qu'il décrit rappelle l'horreur à laquelle sont souvent confrontés les modérateurs des réseaux sociaux et répondait en fait, comme il le découvrira plus tard, à une commande de la start-up à la pointe de l'IA à l'origine de ChatGPT : OpenAI.

Le cas de Mophat Okinyi, extrême sous certains aspects, n'est pas non plus un exemple isolé, car derrière les grands discours de révolution technique se cache une masse de travailleurs invisibles dont les rangs se comptent en centaines de millions, selon des estimations. "On n'est pas du tout en train de créer des programmes qui se passent de l'humain, résume Antonio Casilli, professeur à l'Institut polytechnique de Paris. L'IA demande une quantité de travail humain énorme et absolument indispensable, dans toute la chaîne de production".

La majorité de cette masse humaine est très loin des grands patrons ou des ingénieurs renommés. Elle est constituée d'une armada de travailleurs anonymes éclatée à travers le monde, du Venezuela à Madagascar en passant par des camps de réfugiés au Liban et des prisons finlandaises. Des petites mains qui construisent le futur clic après clic, souvent dans un secret et une précarité bien gardés.

Cliquer encore et encore

Le prix de cette modernité ? Aux Philippines, entre 1,50 et 3 dollars par "tâche". C'est ce que la plateforme de travailleurs indépendants Remotasks verse en moyenne à Eduardo* pour placer, clic par clic, pixel par pixel, les contours qui délimitent sur une image un panneau de signalisation. Puis un véhicule. Puis un buisson. Une "tâche" qui lui prend en général une heure ou moins et qu'il répète inlassablement, huit heures par jour, six jours par semaine. Ces images serviront ensuite à entraîner des algorithmes d'analyse vidéo, par exemple pour les voitures autonomes ou la surveillance algorithmique. "C'est un travail intéressant", assure à franceinfo le jeune Philippin, qui travaille sur la plateforme depuis un peu plus de trois ans. Tout le monde ne sera pas du même avis, mais sans lui, l'appareil photo de votre smartphone aurait beaucoup de mal à identifier un visage, et la conduite semi-autonome de Tesla serait encore un rêve de science-fiction. Et vous-même y avez déjà contribué.

Que ce soit en laissant un "j'aime" sur Facebook ou en identifiant les images contenant une voiture dans un test captcha, vos retours participent à entraîner des algorithmes gratuitement depuis des années. Mais pour créer les IA qui ont bluffé le monde ces derniers mois, comme ChatGPT ou Midjourney, il faut des milliards d'exemples. Des données qui doivent souvent être "annotées", autrement dit accompagnées de commentaires, pour que la machine reproduise les catégories d'analyse de l'humain : faire comprendre que "ce tas de pixels est un enfant", que "cette phrase est fausse" ou que "cet élément évoque des comportements illégaux et ne doit pas être reproduit".

Et l'entraînement ne s'arrête jamais. "C'est un peu comme des athlètes, compare Antonio Casilli. Il faut constamment les entraîner, les adapter, les vérifier". Il s'agit d'évaluer les réponses, en soumettant aux IA des exemples toujours plus précis ou adaptés au nouveau contexte culturel. Autant de tâches qu'il est actuellement impossible d'automatiser.

"Ce n'est pas suffisant, mais c'est déjà quelque chose"

Astro* est l'un de ces nouveaux "entraîneurs d'IA". L'entrepreneur originaire de Tanzanie, qui a récemment terminé ses études de linguistique en France, réalise des tâches en indépendant à temps partiel via la plateforme Appen. "Il faut parfois isoler un visage dans une photo, dire si une image devrait apparaître dans la rubrique Souvenirs de Google Photos, si un texte est factuel ou non, créer des questions/réponses de culture générale...", explique-t-il à franceinfo. Il doit pour cela suivre des règles souvent très détaillées ("Cinquante pages à apprendre par cœur !"), au point d'en devenir parfois obscures. A la clé : 16 dollars de l'heure sur ses projets actuels. "Plus tu travailles, plus tu gagnes", explique l'indépendant. Mais encore faut-il être sélectionné pour participer au projet.

A l'autre bout du spectre, des entreprises embauchent des annotateurs en interne, notamment pour des tâches qui nécessitent une expertise précise. Mais pour nombre d'entre elles, la solution la plus rentable est souvent la sous-traitance : à des entreprises dans d'autres pays qui embauchent des annotateurs localement, comme Sama, ou encore à des plateformes comme Remotasks, Appen ou Toloka, qui transfèrent les missions à des travailleurs indépendants payés à la "micro-tâche".

"Ces travailleurs sont souvent recrutés dans des pays à faibles revenus, et géopolitiquement instables." Antonio Casilli, professeur à l'Institut polytechnique de Paris

A ces critères, Antonio Casilli ajoute des taux d'éducation et d'équipement informatique importants, l'existence d'une industrie de centres d'appels ou des relations fortes avec une ancienne puissance coloniale. Plusieurs noms de pays reviennent souvent : les Philippines, Madagascar, le Kenya, le Venezuela, le Pakistan…

Dans ces pays, un tel travail représente souvent un filet de sécurité précieux. "Ce n'est pas une source de travail fixe ou suffisante, mais c'est au moins quelque chose, résume Maria*. La crise économique au Venezuela a forcé beaucoup d'entre nous à quitter le marché du travail", raconte à franceinfo l'ingénieure industrielle, qui s'est lancée sur Remotasks à la faveur du confinement, en 2020. Après avoir suivi une formation, elle travaille aujourd'hui trois jours par semaine sur la plateforme, à raison de 10 heures par jour.

Pour quel salaire ? "Les tâches de catégorisation données par Remotasks au Venezuela peuvent prendre seulement quelques minutes et être payées 11 centimes de dollar, détaille Maria. D'autres beaucoup plus complexes peuvent durer huit heures ou plus, comme l'annotation de vidéos ou de données lidar, et être payées 10 dollars." Mais tout dépend du pays et de la difficulté de la tâche. Un "eldorado" relatif qui attire, y compris parfois des mineurs qui mentent sur leur âge pour rejoindre ces plateformes de micro-tâches, raconte le site spécialisé Wired. 

Précarité et dépendance

Mais ces espoirs ne suffisent pas à en faire un emploi de rêve. Même si une tâche peut être payée correctement par rapport au marché local, les travailleurs du clic déplorent souvent la différence de traitements entre les pays. "Les entreprises profitent de notre pauvreté", estime Andry*, annotateur à Madagascar, pour qui "un agent en Inde ou au Maroc sera mieux payé que nous". Le mode de calcul des rémunérations n'est jamais précisément expliqué.

"Il y a clairement une forme de néo-colonialisme."

Antonio Casilli, professeur à l'Institut polytechnique de Paris

Pour gagner des sommes correctes, les indépendants doivent être disponibles à toute heure du jour et de la nuit et s'adapter à des projets aux durées variables. "Sur Appen, les tâches arrivent à l'heure américaine, donc vers 21 heures en France", explique par exemple Astro*. "Sur une autre plateforme, j'ai reçu une tâche vendredi vers 19 heures, j'ai travaillé 45 heures sur le week-end, j'ai gagné 1 200 euros", résume Astro, qui dit apprécier le travail de nuit. 

Ce que certains voient comme une "opportunité professionnelle" peut aussi se transformer en piège. En Chine, des établissements promettent à leurs étudiants une formation en "IA" ou en "Big data", mais les forcent à annoter des images toute la journée pour un salaire inférieur au minimum légal, raconte le média Rest of World. Cette pratique n'est pas spécifique à la Chine, assure Antonio Casilli, qui cite également l'exemple de Madagascar.

"L'IA ne peut pas être éthique si elle est entraînée de façon immorale"

A qui profite ce travail souvent ingrat, parfois à la frontière de l'éthique ? Difficile de le savoir : l'industrie baigne dans un épais voile de secret, et comme dans le cas de Mophat Okinyi, les annotateurs indépendants savent rarement à qui sont destinées les données qu'ils traitent. "Je sais que le client est au Japon, mais c'est tout. On ne nous a rien dit sur eux", note Eduardo* à propos d'une de ses missions d'annotation, fournie par Remotasks aux Philippines.

"Les entreprises d'IA expliquent que si elles étaient pleinement transparentes sur leurs besoins en données, cela pourrait donner des indices sur leurs projets en cours et influencer les réponses des contributeurs", résume Antonio Casilli d'un ton sceptique. "Elles veulent échapper à leurs responsabilités", assène Mophat Okinyi, qui ne savait pas que son travail servirait à OpenAI avant la fin anticipée du contrat, à la demande de Sama, en mars 2022. 

"Si les annotateurs savaient qu'ils travaillent pour une entreprise qui génère des centaines de millions de dollars comme OpenAI, ils n'accepteraient pas des salaires si bas." Mophat Okinyi, ex-analyste qualité chez Sama

Ce travail peut-il être organisé de manière à satisfaire tout le monde, géants de la tech comme travailleurs du clic ? "Il faut plus de transparence, les entreprises basées à San Francisco doivent prendre leurs responsabilités", réclame Mophat Okinyi. Il s'est associé à 150 travailleurs du secteur de l'annotation et de la modération des plateformes pour créer l'Union des modérateurs de contenus du Kenya, qui devrait être autorisée "dans les deux mois", et a cofondé l'ONG Techworker Community Africa pour militer en faveur de meilleurs pratiques. "L'IA ne peut pas être éthique si elle est entraînée de façon immorale, en exploitant des gens en difficulté économique et sur des données volées", assène-t-il.

"Beaucoup de gens ne savent pas qu'il y a de l'humain derrière l'IA. Il faudrait que ce soit plus connu, et mieux payé." Astro, annotateur de données

Pour Antonio Casilli, il faut commencer par oublier l'idée que l'IA est seulement une prouesse d'ingénieurs ou d'entrepreneurs. " Nous sommes tous en quelque sorte les producteurs de ces IA, parce que ce sont nos données qui servent à les entraîner, mais nous ne sommes pas reconnus comme tels. Tant qu'on continuera à penser que l'IA est seulement l'affaire de Sam Altman, on aura un problème."

* Les prénoms suivis d'un astérisque ont été modifiés.

Auteur: Internet

Info: Francetvinfo.fr - Luc Chagnon, 9 avril 2024

[ texte-image ] [ homme-machine ] [ données intelligentes ] [ enrichies ] [ nord-sud ] [ domination économique ] [ data augmenté ] [ bases sémantiques ] [ post-colonialisme ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]