covid-19

De façon concrète, dans nos vies, la "smart planet" sans contact - le monde-machine - a franchi des seuils en 2020 :

Bond en avant du commerce électronique et des livraisons à domicile. L’épidémie a augmenté de 183 milliards les dépenses dans l’e-commerce mondial. L’e-commerce représente désormais 13,4 % du commerce de détail en France, contre 9,8 % en 2019. Selon Romain Boisson, patron de Visa France, "l’e-commerce s’est ancré dans les habitudes de consommation des Français et s’impose désormais […] pour tous les commerçants, quelle que soit la taille de leur entreprise". Deliveroo vaut 7 milliards de dollars en bourse. Les grandes sociétés de transport/logistique (DHL, UPS, FedEx, etc.) ont réalisé un chiffre d’affaires de 300 milliards de dollars en 2020. Le chiffre d’affaires d’Amazon a augmenté de 38 % en 2020 pour atteindre 320 milliards d’euros. C’est à l’"Amazon academy" que l’État français, via la Banque publique d’investissement, confie la formation des PME pour leur mettre le pied à l’Internet. Nom du programme : l’Accélérateur du numérique.

Adoption du télétravail. Cinq millions de Français ont télétravaillé pendant le premier confinement et 60 % des salariés veulent continuer après la crise. Moins de locaux, plus de télécommunications. Le nombre d’abonnés à la fibre chez Orange a bondi de 50 % : "Jamais on n’a autant câblé les Français qu’en 2020". Boom des applications de visioconférence et autres "outils collaboratifs" en ligne. Microsoft Teams enregistre un record avec 44 millions d’utilisateurs quotidiens. Les ventes d’ordinateurs connaissent la plus forte croissance annuelle (+ 4,8 %) depuis dix ans dans le monde. Au tribunal administratif de Grenoble, "le tout numérique a amorti la baisse d’activité". De quoi tenir l’objectif des services publics "100 % dématérialisés" fixé par la plan "Action publique 2022".

Invasion du télé-enseignement. Invention des cours "en distanciel" y compris pour les apprentis, grâce au "learning management system". L’école de commerce de Grenoble organise ses "Portes ouvertes online" en janvier 2021. La ministre de l’Enseignement supérieur, Frédérique Vidal, voit dans l’épidémie "une opportunité de façonner l’université numérique de demain". Envol inespéré pour le "e-learning et les ed-tech", le plus profitable des "marchés porteurs" identifiés en février 2020 par le cabinet Roland Berger, avec 6000 milliards de dollars en 2018. Parmi les "verrous à lever", celui-ci déplorait "la complexité́ des processus d’accès au marché́ scolaire qui agit comme une barrière à l’entrée". Voilà un verrou forcé par le virus. Le moindre prétexte renvoie désormais les élèves derrière leur écran, comme l’ont constaté ceux des Yvelines, assignés "en distanciel" pour une chute de neige le 10 février 2021. #Restezchezvous est entré dans les mœurs.

Ruée sur les loisirs en ligne. 36 % de temps d’écran en plus par jour pour les Français, plus une heure de télé supplémentaire. Plus de 2,6 milliards de personnes utilisent quotidiennement Facebook, WhatsApp et Instagram, soit 15 % de plus que fin 201928. Netflix et le jeu vidéo, grands gagnants du confinement. Lequel a "accéléré le processus d’une culture de la sédentarité plus poussée, notamment la place des écrans", alerte David Thivel, membre du conseil scientifique de l’Observatoire national de l’activité́ physique et de la sédentarité́ (il y a des observatoires pour tout). Les Français ont pris en moyenne 3 kg en 2020.

Décollage de la télémédecine. 28 % de téléconsultations en avril 2020, contre 0,1 % avant la pandémie. 19 millions de téléconsultations remboursées par la Sécurité sociale en 2020. Les start up de la santé numérique (dites "healthtech") lèvent 8,2 milliards de dollars au premier trimestre 2020, un record30. Selon Stanislas Niox-Chateau, le patron de Doctolib, "une fois l’épidémie de coronavirus passée, entre 15 % et 20 % des consultations médicales se feront à distance en France".

[...]

Invasion de la monnaie virtuelle. Les Français délaissent le cash par peur de la contamination. Les retraits de liquide ont chuté de 50 % en volume pendant le premier confinement, au profit du paiement "sans contact" (dont l’Autorité bancaire européenne a relevé le plafond à 50 €), qui bondit de 65 %. Les réfractaires ont "sauté le pas, et il n’y aura pas de retour en arrière", selon Pierre-Antoine Vacheron, directeur général de Natixis Payments. Au fait, le nombre de distributeurs de billets diminue en France depuis 2015. Ça va s’accélérer. Avec l’e-commerce et le "click & collect", le consommateur paie désormais en ligne. "Les Français s’y habituent", constate le même expert. Ou plutôt, on y habitue les Français. On s’est vu refuser un chèque au motif qu’il faudrait toucher notre carte d’identité pour l’encaisser. [...]

Effet-cliquet : on ne revient pas en arrière quand les technologies ont imposé de nouvelles habitudes. L’offre a créé la demande. De réunions Zoom en concerts virtuels, de cours sur Internet en achats en ligne, de cyber-démarches administratives en téléconsultations médicales, nous devenons des Smartiens, cette espèce qui ne survit que connectée à la Machinerie générale. Voyez la gratitude des confinés connectés – "comment aurions-nous fait sans Internet ?" - révélant toute honte bue leur dépendance Si notre vie tient à un câble, la sélection technologique élimine ceux qui refusent ou n’ont pas accès à la connexion universelle. Seuls restent les adaptés, les connectés, vaccinés, livrés et monitorés par la Machine. Le petit commerce ne survit pas sans mise en ligne, c’est-à-dire sans supprimer ce qui fait le petit commerce. Il faut choisir : disparaître ou disparaître.

Auteur: PMO Pièces et main-d'oeuvre

Info: Dans "Le règne machinal", éditions Service compris, 2021, pages 65 à 70

[ transition technologique ] [ transformations ] [ conséquences ] [ accélération ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]