orient-occident

- Klaus Schwab, le patron de Davos, a parlé d’un tsunami technologique entre la robotique, l’intelligence artificielle, les imprimantes 3D, les biotechnologies et l’hybridation de l’homme et de la machine, parce que tout cela bouscule nos vies et nos frontières. Il y a des disruptions partout. Par exemple, Uber est la plus grande société de taxis du monde, mais ils n’ont pas un seul taxi… AirBnb est la plus grande société hôtelière du monde, mais ils n’ont pas un seul hôtel… Amazon est la plus grande librairie du monde, mais ils n’ont pas une seule librairie… Toutes ces technologies entraînent des disruptions assez compliquées à saisir.

- C’est comme pour l’imprimerie ou l’électricité, il y a un certain nombre de choses qui se produisent et qui accélèrent les phénomènes. En 1960, General Motors ou General Electric étaient des sociétés dominantes qui duraient 60 ans. En 1980, on a vu des sociétés, comme IBM, qui ont été leaders pendant 35 ans. Mais aujourd’hui, les nouvelles entreprises comme Apple, Microsoft, Google ou Amazon vont durer une quinzaine d’années. Il y a une accélération et cela ne va faire qu’empirer. On parle beaucoup du match entre l’Amérique et la Chine. J’ai assisté à la montée du Japon, qui a fait un effort surhumain après la guerre. Après, comme ils ne faisaient plus d’enfants, les jeunes sont devenus des fils à papa et l’innovation a disparu. Dans les grandes villes chinoises, c’est la même chose. Les appartements sont trop petits et on risque de retrouver le même phénomène qu’au Japon, c’est-à-dire une diminution de l’innovation. En Amérique, ils savent rebondir, donc je ne pense pas que l’Amérique soit fichue. Quand on lit un certain nombre d’experts, on pourrait penser que la Chine pourrait prendre le relais, mais je ne crois pas que les choses se passeront ainsi. Lorsque la Russie s’est cassé la gueule, les Américains sont arrivés avec les grandes entreprises de consulting, comme McKinsey, et ils ont fait faire des bêtises aux Russes. Les Chinois ont beaucoup médité là-dessus pour ne pas faire la même chose. Ils ont essayé d’inventer un nouveau modèle, qui est beaucoup basé sur la technologie, avec de nombreux défauts quand même. Il faut savoir qu’il y a 900 millions de personnes qui sont sorties de la pauvreté en Chine, mais il y a encore 600 millions de gens qui vivent très pauvrement. C’est pour cette raison que le modèle capitaliste occidental ne convient pas bien à la Chine. On assiste donc à un basculement de l’Occident vers l’Orient, puisque les grandes démographies sont en Orient, mais cela entraîne en même temps une précarité des classes moyennes de l’Ancien Monde riche. L’Europe a dominé 70 % de la planète pendant une époque et, quand les Américains ont pris le relais des Anglais, ils ont automatiquement voulu faire du consumérisme en créant leur village mondial pour vendre leurs produits et amener la démocratie en même temps. Mais la démocratie, cela ne fonctionne pas dans des pays comme la Chine ou l’Inde. Par le biais du consumérisme, les gens ont accédé aux nouvelles technologies, avec toutes les menaces que cela entraîne, mais les promesses étaient tout à fait agréables. On ne se rend pas compte que l’on transmet toutes nos données. Donc, nous sommes fliqués. Les Chinois ont commencé et maintenant les gouvernements occidentaux trouvent que ce n’est pas si mal. Il y a un vrai risque pour nos démocraties.

- L’Europe aurait intérêt à s’écarter davantage de l’Amérique pour réinventer un modèle qui lui soit propre

- Malheureusement, c’est ce qui est en train d’arriver et on ne peut rien faire contre cela. Il y a trois cerveaux dans chaque individu : le néocortex, le limbique et le reptilien. Le néocortex, c’est ce qui est raisonnable. Le limbique, c’est l’émotion. Et le reptilien, c’est le repli sur soi. On voit tous les phénomènes populistes dans de nombreux pays et c’est le repli sur soi reptilien. Quand on ajoute cela à l’émotion, on évoque la nécessité de restaurer la Grande Russie quand on parle au peuple russe, on évoque la grande Chine, et les Américains rêvent d’une grande Amérique… Le néocortex, c’est la raison, et c’est toujours le moins fort. C’est pour cette raison que j’écris que dans quelques décennies, les hommes ne pourront plus comprendre notre psychologie. C’est pour cette raison aussi que les régimes forts vont plus vite que les démocraties. Churchill disait que la démocratie est le moins mauvais des systèmes, mais si c’est un régime fort, on ne discute pas, donc cela va plus vite. L’Europe s’est endormie, on ne veut plus faire la guerre, on est désarmé et, quand il arrive une histoire comme l’Ukraine, on est incapable de faire ce qu’il faut. Maintenant, le match entre les États-Unis et la Chine remet notre modèle en question. On pensait que le modèle démocratique allait s’imposer après la chute du Mur de Berlin. Il y a eu une prolifération des démocraties et, aujourd’hui, on s’aperçoit que l’on est en train de reculer sur ce point. Au fond, l’Europe aurait intérêt à s’écarter davantage de l’Amérique pour réinventer un modèle qui lui soit propre.

Auteur: Salmon Robert

Info: interviewé sur https://www.kernews.com/

[ neuroscience ] [ géopolitique ] [ futurologie ]

multinationales

Les GAFAM et les NATU, nouveaux maîtres du monde de l’économie numérique ?

Encore des néo-acronymes anglo-saxons au menu aujourd’hui ! Levons le suspens tout de suite. GAFAM regroupe les initiales de Google, Apple, Facebook, Amazon, Microsoft et NATU ceux de Netflix, Air BNB, Telsa et Uber. En gros les dix plus grandes sociétés américaines de l’économie numérique. Deux acronymes pour une valorisation boursière comparable, tenez vous bien, au budget annuel de la France et un chiffre d’affaire annuel supérieur à celui du Danemark avec "seulement" 300 000 employés. Une sacré efficacité économique par employé, une croissance annuelle supérieur à celle de la Chine et surtout, une position dominante sur le marché qui commence à faire réfléchir.

Ces mastodontes de l’économie numérique représenteraient à eux seuls, près de 60% de nos usages numériques quotidiens. A l’heure où la France commence à prendre sérieusement conscience des enjeux de l’économie numérique, ces géants numériques ont une sacré longueur d’avance dans cette nouvelle révolution industrielle. Est-il trop tard ? Sans doute. Mais la France et l’Europe n’ont pas dit leur dernier mot.

- Qui sont vraiment ces GAFAM et NATU ? Je ne vais pas présenter tout le monde mais pour faire vite, disons qu’ils se partagent les grandes fonctions de l’économie numérique. Cette dernière qui était censée prolonger numériquement l’économie traditionnelle commence en réalité en train de la vampiriser sérieusement. Ce qu’on a appelé l’ubérisation de l’économie en référence à la société américaine Uber qui détruit progressivement le modèle de fonctionnement des taxis pour s’approprier d’énormes parts de marché. Google est un peu la matrice du système car il touche à tout : il fournit gratuitement à chacun la boîte à outils pour naviguer dans les mondes numériques et se finance en revendant les précieuses données qu’il récolte. Apple vend une partie du matériel nécessaire pour évoluer dans ce monde numérique, mais également de la musique et des films dont il a révolutionné la distribution. Facebook est le réseau social mondial qui permet à chacun de suivre la vie et les activités des autres.

Notons qu’avec Google, Facebook est devenu une régie publicitaire mondiale qui permet de cibler de façon chirurgicale des publicités avec une audience potentielle qui se chiffre en milliard d’individus. Amazon est en passe de devenir le distributeur mondial de l’économie numérique, menaçant des géants comme Wall Mart aux Etats Unis et peut-être Carrefour ou Auchan demain. - Et les nouveaux venus ? Netflix ? Air BNB ? Telsa ? Uber ? Netflix est la plus grosse plateforme de diffusion de films et séries. Il est également producteur et en ligne va sans doute faire exploser le modèle de la télévision. Air BNB est en train d’appliquer la même punition au secteur hôtelier en permettant à chacun de louer une chambre ou une maison d’un simple clic. Ou presque. Tesla révolutionne l’énergie avec la production de voiture et de batteries électriques d’une nouvelle génération et possède aussi SpaceX, un lanceur de fusée. Quand à Uber, il révolutionne la mobilité avec les taxis. Mais pas que…

Cela sous-entend que ces acteurs ne se cantonnent pas à leur "coeur de métier" comme on dit ? Tout à fait. Ils sont si puissant financièrement qu’ils investissent dans de très nombreux domaines. N’oublions pas que Youtube qui diffuse 4 milliard de vidéos par jour appartient à Google et que Facebook en revendique près de 3 milliards chaque jour. Les audiences des plus grandes chaines de télé se comptent plutôt en millions. Amazon est connu pour être une librairie en ligne mais vend aujourd’hui presque tout sur sa plateforme, même de la micro main d’oeuvre avec sa plateforme Mechanical Turk. Google investit dans presque tout, de la médecine prédictive aux satellites, en passant par les lunettes connectées et les voitures (Google car). Et quand les chauffeurs taxis s’excitent sur Uber pop, on oublie qu’Uber s’occupe aussi de la location de voitures et de la livraison de colis. Selon le cabinet d’études FaberNovel, les Gafam se positionnent directement ou non sur les 7 industries clefs de la transformation numérique : les télécoms et l’IT, la santé, la distribution, les énergies, les média et le divertissement, la finance ainsi que le voyage et les loisirs.

Cette concentration de pouvoir technologique et financier n’est-elle pas un risque pour l’économie ? On n’est pas loin en effet de situations de trusts, de monopoles voir de cartels. Ces géants disposent de nombreux atouts. Ils ont des réserves de cash gigantesques, ils ont une vision à 360 degrés de ce qui se passe aujourd’hui dans l’innovation, ils attirent les plus grands talents et se positionnent sur les nouveaux marchés issus de la transformation numérique comme l’internet des objets, la robotique, voitures, les drones…. Ils diversifient leurs activités et deviennent des prédateurs redoutables de l’économie traditionnelle.

Quelques chiffres donnent le vertige. Google contrôle 90 % de la recherche dans le monde. Apple 45 % du trafic Web issu des smartphones. Facebook 75 % des pages vues sur les réseaux sociaux aux Etats-Unis. Et si demain une pépite émerge, il est presqu’assuré que cette dernière tombera dans l’escarcelle d’un de ces géants. - Que peuvent faire les autres pays ? Il y a toujours 2 types d’attitudes devant un tel défi. Attaquer ou défendre. Ou les deux. Et sur plusieurs terrains. L’innovation et la recherche bien sûr, en essayant d’inventer non seulement des concurrents à ces mastodontes, mais aussi en explorant d’autres domaines prometteurs. L’Europe pré-technocratique avait réussi à faire des Airbus et des fusées Ariane. Elle hébergent encore de grands leaders industriels de la santé, du commerce et de la distribution. Mais ses modèles datent du 20ème siècle et clairement, le virage du numérique n’a pas été pris à temps. Inventeur du Minitel dans les années 80, la France aurait pu prendre une avance stratégique dans ce domaine mais cela aurait sans doute du se jouer au niveau européen.

Contrairement à la Chine (avec Baidu et Alibaba) ou à la Russie (Yandex, Rutube), l’Europe n’a malheureusement rien lancé de significatif dans ce domaine. - Justement n’est-ce pas au niveau continental que des leviers existent ? Certainement. S’il est difficile de mettre en place des consortium numériques à l’échelle européenne, par exemple pour concurrencer les GAFAM dans leurs fonctions stratégiques, des leviers législatifs, juridiques et fiscaux sont en revanche déjà utilisés pour attaquer les géants américains qui sont rarement respectueux des règles locales. Amazon, qui concentrait ses revenus au Luxembourg va devoir payer des impôts dans chaque pays dans lequel il évolue. Google a été condamné pour avoir favorisé ses propres services de shopping a du se plier aux exigences de la CNIL française pour mettre en place un droit à l’oubli. Mais cela sonne comme des gouttes d’eau dans l’océan et surtout cela concerne essentiellement des mesures défensives, comme si la bataille était déjà perdue. Internet,

Auteur: Internet

Info: http://www.econum.fr/gafa, 20 septembre 2015

[ transnationales ] [ puissance ] [ domination ] [ pouvoirs comprador ]

coévolution bio-linguistique

Cerveau humain, langage et culture matérielle : Quand archéologues et neurobiologistes coopèrent.

Ce sont Chris Renfrew, Chris Frith et Lambros Malafouris, qui ont souligné cette intrication. (in The Sapient Mind, sous-titré Archaeology meets neuroscience - eds, 2009)

- Les patterns observés concernant l’activation [cérébrale] et la superposition avec les circuits du langage suggèrent que la fabrication d’outils et le langage ont une base commune dans une aptitude humaine plus générale à une action complexe et finalisée. Ces résultats sont compatibles avec des hypothèses coévolutionnaires associant l’émergence du langage, la fabrication d’outils, la latéralisation fonctionnelle à l’échelle d’une population et l’expansion du cortex associatif dans l’évolution humaine. (D. Stout & al., “Neural correlates of Early Stone Age toolmaking : technology, language and cognition in human evolution”. 2009 : 1) 

- Les développements récents de l’imagerie cérébrale révèlent des bases communes aux dispositions sociales des hommes et des primates les plus évolués

- L’accroissement des liens sociaux se reflète dans l’accroissement du volume du cerveau, et au moment où l’espèce humaine se dissémine sur le globe et où les liens sociaux risquent ainsi de se déliter, c’est la diffusion d’une même culture matérielle qui va maintenir le lien que l’éloignement géographique fragilise. (Fiona COWARD & Clive GAMBLE “Big brains, small world : material culture and the evolution of mind” 2009) 

Les modifications de l’expression des gènes gouvernant le développement cortical au cours de l’évolution des mammifères ont fourni les conditions à la fois d’un accroissement de taille considérable et d’un retard dans la maturation du cerveau, qui a conféré une influence déterminante aux perceptions, aux actions, à l’apprentissage pour la formation des spécialisations corticales. En même temps, de nouvelles régions ont vu le jour dans le cortex, et de nouvelles connexions se sont mises en place avec les aires primaires, sensorielles et motrices. (Philippe Vernier, 2005 : “Évolution du cerveau et émergence du langage”. - Références : Talmy GIVÓN, Functionalism and Grammar (1995), dernier chapitre : “The co-evolution of language and brain” - Terrence DEACON, The symbolic Species, sous-titré : The co-evolution of Language and Brain 1997 - Ray JACKENDOFF Foundations of Language, sous-titré Brain, Meaning, Grammar, Evolution 2002

- Alors que Vernier ne mentionne que l’évolution des aires corticales, K. Gibson suit de son côté la voie ‘subcorticale’ ouverte par Lieberman (2000) et insiste sur les zones centrales du cerveau également impliquées dans l’administration de la parole et du langage. Kathleen GIBSON (“Not the neocortex alone : other brain structures also contribute to speech and language”, 2013)

Trois manières pour les organismes de s’adapter à des fins évolutives.

(a) Le cas le plus simple est l’évolution génétique, quand la sélection naturelle agit sur les variétés dans une population, sélectionnant au détriment des allèles qui délivrent la moindre convenance (fit) avec l’environnement.

(b) La seconde voie est celle de l’utilisation de la plasticité phénotypique d’un génotype.

(c) La troisième voie exploite des systèmes et des organes qui ont évolué pour s’adapter à des environnements en évolution rapide et qui ont également une assise génétique - p.158. (S. Számadó / E. Szathmáry, “Evolutionary biological foundations of the origin of language : the coevolution of language and brain” 2013

Leur conclusion :

1) Les variantes linguistiques aisées à apprendre et à retenir sont favorisées en termes d’évolution culturelle et donc se répandent plus vite dans une population donnée ;

2) Les cerveaux plus aptes à assimiler les variétés et le changement linguistique offrent des avantages biologiques adaptatifs à leurs porteurs ; donc les gènes responsables des différences adaptatives vont se répandre dans la population.

3) En conséquence, les langues entrent en connexion neuronale avec les besoins du cerveau humain, et les cerveaux s’adaptent à l’apprentissage et au traitement linguistiques. Si bien que les humains peuvent effectuer une foule d’activités qui tirent profit d’un usage plus efficace de la langue (coopération, utilisation d’outils, maintenance des traditions, etc.)

L’évolution de la parole et l'ingénierie neuromimétique

Entreprises de modélisation et de simulation informatique des processus dont on présume qu’ils ont piloté l’émergence et l’évolution du langage.

- L’un des arguments en faveur des approches computationnelles et robotiques de l’évolution du langage est leur nature interdisciplinaire : Cela permet un dialogue direct avec des discipines empriques concernées par le langage et la cognition, telles que les neurosciences cognitives, la psychologie, la linguistique cognitive, la primatologie et l’anthropologie (…). L’ajout de contraintes aux modèles robotiques sur la base de données empiriques améliore aussi l’aptitude de la robotique et des modèles calculatoires pour générer des prédictions basées sur des théories descriptives, lesquelles peuvent être à leur tour validées ou invalidées par de nouvelles études empiriques et modélisatrices (…).” (références : Simon KIRBY, Function, selection, and innateness – The emergence of linguistic universals, 1999. Pierre-Yves OUDAYER automate de simulation de l’origine de la parole : Self-organization in the evolution of speech 2006. Angelo CANGELOSI, “Robotics and embodied agent modelling of the evolution of language” 2013 

Cerveau des primates et mutations génétiques susceptibles d'avoir facilité l'émergence du langage chez les primates humains

Hypothèse mutationniste :

- “Il est extrêmement improbable que le langage humain ait résulté de la simple adaptation du système de communication d’une espèce antérieure. Rien de ce que nous savons de la neuro-anatomie humaine pertinente pour le langage en rapport avec le complexe Aire de Broca-POT [Jonction pariétale-occipitale temporale dans l’anatomie du cerveau humain] ne nous inciterait à imaginer des homologues dans les structures cérébrales directement pertinentes pour les systèmes de communication des singes [apes and monkeys]. (Wendy Wilkins, Towards an evolutionary biology of language through comparative neuroanatomy, 2013 : 206)

Hypothèse adaptationniste :

- En fin de compte, plus on cherche des continuités entre les primates humains et non humains, non seulement en matière de latéralisation mais dans des secteurs décisifs de l’évolution cognitive, plus on trouve de similarités. A notre avis, on peut présumer clairement au minimum que le langage et la parole ne sont pas des conditions nécessaires pour que s’exprime la spécialisation hémisphérique chez les primates non-humains et il est temps de considérer d’autres variables ou facteurs susceptibles d’avoir contribué à la différenciation hémisphérique entre individus et entre espèces. (J. Vauclair / H. Cochet, “Speech-gesture links in the ontogeny and phylogeny of gestural communication”, 2013 : 196)

Consensus et dissensus

Plus personne ne cherche une explication simpliste (ni le ‘tout génétique’, ni le ‘tout social’) et tous reconnaissent l’importance de la dimension épigénétique, prenant en compte l’environnement en expansion et donc diversifié des hominidés qui se sont engagés dans des productions symboliques vocales en marge de leurs productions gestuelles.

Questions centrales actuellement sans réponse consensuelle :

- La faculté de langage est-elle issue du ‘GESTE’ ou du ‘CRI’ ? La réponse d’Arbib vise actuellement à intégrer les deux hypothèses par une boucle rétroactive.

- Le langage est-il apparu au terme de PROCESSUS ADAPTATIFS, sans nécessaire intervention de mutations génétiques modifiant les bases organiques ou à la suite de mutations et par détournement (exaptation) de mécanismes mis en place pour satisfaire d’autres besoins ? 

Essai de compromis :

Schéma en trois phases pour les traits dominants de l’évolution de la parole humaine :

a) L’évolution de la bipédie devenue obligatoire chez Homo erectus a entraîné les effets EXAPTATIFS de la descente du larynx et la perte des air sacs ainsi que le hiatus intervocalis,

b) Durant le pleistocène moyen le contrôle de la respiration pour la parole humaine a évolué comme une ADAPTATION spécifique à la parole, et

c) Avec l’évolution des humains modernes , les proportions idéales du tractus vocal (1:1) ont été atteintes par ADAPTATION ”. (Ann MACLARNON, "The anatomical and physiological basis of human speech production : adaptations and exaptations" 2013 : 235)

Auteur: François Jacques

Info: Fin de sa conférence du 11 décembre 2014. Traductions de l'anglais par FJ

[ interdisciplinarité ] [ sémiose ] [ état des lieux ] [ phylogénétique ] [ mémétique ] [ proto-phonation ]

tour d'horizon de l'IA

Intelligence artificielle symbolique et machine learning, l’essor des technologies disruptives

Définie par le parlement Européen comme la " reproduction des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ", l’intelligence artificielle s’initie de façon spectaculaire dans nos vies. Théorisée au milieu des années 50, plusieurs approches technologiques coexistent telles que l’approche machine learning dite statistique basée sur l’apprentissage automatique, ou l’approche symbolique basée sur l’interprétation et la manipulation des symboles. Mais comment se différencient ces approches ? Et pour quels usages ?

L’intelligence artificielle, une histoire ancienne

Entre les années 1948 et 1966, l’Intelligence Artificielle a connu un essor rapide, stimulé par des financements importants du gouvernement américain pour des projets de recherche sur l’IA, notamment en linguistique. Des progrès significatifs ont été réalisés dans la résolution de problèmes de logique symbolique, mais la capacité de l’IA à traiter des données complexes et imprécises était encore limitée.

A la fin des années 70, plus précisément lors du deuxième “été de l’IA” entre 1978 et 1987,  l’IA connaît un regain d’intérêt. Les chercheurs ont commencé à explorer de nouvelles approches, notamment l’utilisation de réseaux neuronaux et de systèmes experts. Les réseaux neuronaux sont des modèles de traitement de l’information inspirés par le fonctionnement du cerveau humain, tandis que les systèmes experts sont des programmes informatiques qui simulent l’expertise humaine dans un domaine spécifique.

Il faudra attendre la fin des années 90 pour voir un renouveau de ces domaines scientifiques, stimulé par des avancées majeures dans le traitement des données et les progrès de l’apprentissage automatique. C’est d’ailleurs dans cette période qu’une IA, Deepblue, gagne contre le champion mondial Garry Kasparov aux échecs.$

Au cours des dernières années, cette technologie a connu une croissance exponentielle, stimulée par des progrès majeurs dans le deep learning, la robotique ou la compréhension du langage naturel (NLU). L’IA est maintenant utilisée dans un large éventail de domaines, notamment la médecine, l’agriculture, l’industrie et les services. C’est aujourd’hui un moteur clé de l’innovation et de la transformation de notre monde, accentué par l’essor des generative AIs. 

Parmi ces innovations, deux grandes approches en intelligence artificielle sont aujourd’hui utilisées : 

1 - Le Machine Learning : qui est un système d’apprentissage automatique basé sur l’exploitation de données, imitant un réseau neuronal

2 - L’IA Symbolique : qui se base sur un système d’exploitation de " symboles ”, ce qui inspire des technologies comme le “système expert” basé sur une suite de règles par exemple.

Mais comment fonctionnent ces deux approches et quels sont leurs avantages et leurs inconvénients ? Quels sont leurs champs d’application ? Peuvent-ils être complémentaires ?

Le machine learning

Le Machine Learning est le courant le plus populaire ces dernières années, il est notamment à l’origine de ChatGPT ou bien MidJourney, qui font beaucoup parler d’eux ces derniers temps. Le Machine Learning (ML) est une famille de méthodes d’apprentissage automatique qui permet aux ordinateurs d’apprendre à partir de données, sans être explicitement programmés. En utilisant des algorithmes, le ML permet aux ordinateurs de comprendre les structures et les relations dans les données et de les utiliser pour prendre des décisions.

Le ML consiste à entraîner des modèles informatiques sur de vastes ensembles de données. Ces modèles sont des algorithmes auto apprenant se basant sur des échantillons de données, tout en déterminant des schémas et des relations/corrélations entre elles. Le processus d’entraînement consiste à fournir à l’algorithme des données étiquetées, c’est-à-dire des données qui ont déjà été classifiées ou étiquetées pour leur attribuer une signification. L’algorithme apprend ensuite à associer les caractéristiques des données étiquetées aux catégories définies en amont. Il existe cependant une approche non-supervisée qui consiste à découvrir ce que sont les étiquettes elles-mêmes (ex: tâche de clustering).

Traditionnellement, le machine learning se divise en 4 sous-catégories : 

Apprentissage supervisé : 

Les ensembles de données sont étiquetés, ce qui permet à l’algorithme de trouver des corrélations et des relations entre les caractéristiques des données et les étiquettes correspondantes. 

Apprentissage non supervisé : 

Les ensembles de données ne sont pas étiquetés et l’algorithme doit découvrir les étiquettes par lui-même. 

Apprentissage semi-supervisé : 

L’algorithme utilise un mélange de données étiquetées et non étiquetées pour l’entraînement.

Apprentissage par renforcement : 

L’algorithme apprend à prendre des décisions en interagissant avec son environnement. Il reçoit des récompenses ou des pénalités pour chaque action, ce qui lui permet d’ajuster sa stratégie pour maximiser sa récompense globale.

Un exemple d’application du Machine Learning est la reconnaissance d’images. Des modèles d’apprentissages profonds sont entraînés sur des millions d’images pour apprendre à reconnaître des objets, des personnes, des animaux, etc. Un autre exemple est la prédiction de la demande dans le commerce de détail, où des modèles sont entraînés sur des données de ventes passées pour prédire les ventes futures.

Quels sont les avantages ? 

Étant entraîné sur un vaste corpus de données, le ML permet de prédire des tendances en fonction de données.  

- Le machine learning offre la capacité de détecter des tendances and des modèles dans les données qui peuvent échapper à l’observation humaine.

- Une fois configuré, le machine learning peut fonctionner de manière autonome, sans l’intervention humaine. Par exemple, dans le domaine de la cybersécurité, il peut surveiller en permanence le trafic réseau pour identifier les anomalies.

- Les résultats obtenus par le machine learning peuvent s’affiner et s’améliorer avec le temps, car l’algorithme peut apprendre de nouvelles informations et ajuster ses prédictions en conséquence.

- Le machine learning est capable de traiter des volumes massifs et variés de données, même dans des environnements dynamiques et complexes.

L’intelligence artificielle symbolique

L’IA symbolique est une autre approche de l’intelligence artificielle. Elle utilise des symboles and des règles de traitement de l’information pour effectuer des tâches. Les symboles peuvent être des concepts, des objets, des relations, etc. Les règles peuvent être des règles de déduction, des règles de production, des règles d’inférence…etc.

Un exemple d’application de l’IA symbolique est le système expert. Un système expert est un programme informatique qui utilise des règles de déduction pour résoudre des problèmes dans un domaine spécifique, comme le diagnostic médical ou l’aide à la décision en entreprise. Un autre exemple est la traduction automatique basée sur des règles, les règles de grammaire et de syntaxe sont utilisées pour traduire un texte d’une langue à une autre.

Quelques exemples d’usages de l’IA symbolique :

La traduction

L’IA symbolique a été utilisée pour développer des systèmes de traduction automatique basés sur des règles. Ces systèmes utilisent des règles de grammaire et de syntaxe pour convertir un texte d’une langue à une autre. Par exemple, le système SYSTRAN, développé dans les années 1960, est un des premiers systèmes de traduction automatique basé sur des règles. Ce type de système se distingue des approches basées sur le Machine Learning, comme Google Translate, qui utilisent des modèles statistiques pour apprendre à traduire des textes à partir de corpus bilingues.

Le raisonnement logique

L’IA symbolique est également utilisée pour développer des systèmes capables de raisonnement logique, en exploitant des règles et des connaissances déclaratives pour résoudre des problèmes complexes. Par exemple, les systèmes d’aide à la décision basés sur des règles peuvent être utilisés dans des domaines tels que la finance, l’assurance ou la logistique, pour aider les entreprises à prendre des décisions éclairées. Un exemple concret est le système MYCIN, développé dans les années 1970 pour aider les médecins à diagnostiquer des infections bactériennes et à prescrire des antibiotiques adaptés.

L’analyse de textes

L’IA symbolique peut être utilisée pour l’analyse de textes, en exploitant des règles et des connaissances linguistiques pour extraire des informations pertinentes à partir de documents. Par exemple, les systèmes d’extraction d’information basés sur des règles peuvent être utilisés pour identifier des entités nommées (noms de personnes, d’organisations, de lieux, etc.) et des relations entre ces entités dans des textes. Un exemple d’application est l’analyse et la catégorisation des messages entrants pour les entreprises, cœur de métier de Golem.ai avec la solution InboxCare.

Les avantages de l’IA symbolique 

L’IA symbolique est une approche qui utilise des symboles, et parfois des " règles” basées sur des connaissances, qui comporte plusieurs avantages :

- Explicablilité : Les décisions prises par les systèmes d’IA symbolique sont explicites et peuvent être expliquées en fonction des règles logiques et des connaissances déclaratives utilisées par le système. Cette transparence peut être essentielle dans des applications critiques, comme la médecine ou la défense.

- Frugalité : Contrairement au Machine Learning, l’IA symbolique ne nécessite pas d’entraînement, ce qui la rend moins gourmande en énergie à la fois lors de la conception et de l’utilisation.

- Adaptabilité : Les systèmes d’IA symbolique peuvent être facilement adaptés à de nouveaux domaines en ajoutant de nouvelles règles logiques et connaissances déclaratives à leurs bases de connaissances existantes, leurs permettant de s’adapter rapidement à de nouvelles situations.

L’intelligence artificielle hybride ou le neuro-symbolique 

Les systèmes hybrides combinent les avantages de l’IA symbolique et du Machine Learning en utilisant une approche mixte. Dans ce type de système, l’IA symbolique est utilisée pour représenter les connaissances et les règles logiques dans un domaine spécifique. Les techniques de Machine Learning sont ensuite utilisées pour améliorer les performances de l’IA symbolique en utilisant des ensembles de données pour apprendre des modèles de décision plus précis et plus flexibles. Mais nous pouvons également voir d’autres articulations comme la taxonomie de Kautz par exemple.

L’IA symbolique est souvent utilisée dans des domaines où il est important de comprendre et de contrôler la façon dont les décisions sont prises, comme la médecine, la finance ou la sécurité. En revanche, le Machine Learning est souvent utilisé pour des tâches de classification ou de prédiction à grande échelle, telles que la reconnaissance de voix ou d’image, ou pour détecter des modèles dans des données massives.

En combinant les deux approches, les systèmes hybrides peuvent bénéficier de la compréhensibilité et de la fiabilité de l’IA symbolique, tout en utilisant la flexibilité et la capacité de traitement massif de données du Machine Learning pour améliorer la performance des décisions. Ces systèmes hybrides peuvent également offrir une plus grande précision et un temps de réponse plus rapide que l’une ou l’autre approche utilisée seule.

Que retenir de ces deux approches ?

L’Intelligence Artificielle est en constante évolution et transforme de nombreux secteurs d’activité. Les deux approches principales de l’IA ont leurs avantages et inconvénients et peuvent être complémentaires. Il est donc crucial pour les entreprises de comprendre ces technologies pour rester compétitives. 

Cependant, les implications éthiques et sociales de l’IA doivent également être prises en compte. Les décisions des algorithmes peuvent avoir un impact sur la vie des personnes, leur travail, leurs droits et leurs libertés. Il est donc essentiel de mettre en place des normes éthiques et des réglementations pour garantir que l’IA soit au service de l’humanité. Les entreprises et les gouvernements doivent travailler ensemble pour développer des IA responsables, transparentes et équitables qui servent les intérêts de tous. En travaillant ensemble, nous pouvons assurer que l’IA soit une force positive pour l’humanité dans les années à venir. 



 

Auteur: Merindol Hector

Info: https://golem.ai/en/blog/technologie/ia-symbolique-machinelearning-nlp - 4 avril 2023

[ dualité ]

homme-machine

La théorie des jeux peut rendre l'IA plus correcte et plus efficace

Les chercheurs s’appuient sur des idées issues de la théorie des jeux pour améliorer les grands modèles de langage et les rendre plus cohérents.

Imaginez que vous ayez un ami qui donne des réponses différentes à la même question, selon la façon dont vous la posez. " Quelle est la capitale du Pérou ? "  btiendrait une réponse : " Lima est-elle la capitale du Pérou ? " en obtiendrait un autre. Vous seriez probablement un peu inquiet au sujet des facultés mentales de votre ami et vous auriez certainement du mal à faire confiance à ses réponses.

C'est exactement ce qui se passe avec de nombreux grands modèles de langage (LLM), les outils d'apprentissage automatique ultra-puissants qui alimentent ChatGPT et d'autres merveilles de l'intelligence artificielle. Une question générative, ouverte, donne une réponse, et une question discriminante, qui implique de devoir choisir entre des options, en donne souvent une différente. "Il y a un décalage lorsque la même question est formulée différemment", a déclaré Athul Paul Jacob , doctorant au Massachusetts Institute of Technology.

Pour rendre les réponses d'un modèle de langage plus cohérentes - et rendre le modèle globalement plus fiable - Jacob et ses collègues ont conçu un jeu dans lequel les deux modes du modèle sont amenés à trouver une réponse sur laquelle ils peuvent s'entendre. Surnommée le jeu du consensus , cette procédure simple oppose un LLM à lui-même, en utilisant les outils de la théorie des jeux pour améliorer la précision et la cohérence interne du modèle.

"Les recherches explorant l'autocohérence au sein de ces modèles ont été très limitées", a déclaré Shayegan Omidshafiei , directeur scientifique de la société de robotique Field AI. "Cet article est l'un des premiers à aborder ce problème, de manière intelligente et systématique, en créant un jeu permettant au modèle de langage de jouer avec lui-même."

"C'est un travail vraiment passionnant", a ajouté Ahmad Beirami, chercheur scientifique chez Google Research. Pendant des décennies, a-t-il déclaré, les modèles linguistiques ont généré des réponses aux invites de la même manière. "Avec leur idée novatrice consistant à intégrer un jeu dans ce processus, les chercheurs du MIT ont introduit un paradigme totalement différent, qui peut potentiellement conduire à une multitude de nouvelles applications."

Mettre le jeu au travail

Ce nouveau travail, qui utilise les jeux pour améliorer l'IA, contraste avec les approches précédentes, qui mesuraient le succès d'un programme d'IA via sa maîtrise des jeux. En 1997, par exemple, l'ordinateur Deep Blue d'IBM a battu le grand maître d'échecs Garry Kasparov – une étape importante pour les machines dites pensantes. Dix-neuf ans plus tard, un programme de Google DeepMind nommé AlphaGo a remporté quatre matchs sur cinq contre l'ancien champion de Go Lee Sedol, révélant ainsi une autre arène dans laquelle les humains ne régnaient plus en maître. Les machines ont également surpassé les humains dans les jeux de dames, le poker à deux joueurs et d’autres jeux à somme nulle, dans lesquels la victoire d’un joueur condamne invariablement l’autre.

Le jeu de la diplomatie, un jeu favori de politiciens comme John F. Kennedy et Henry Kissinger, posait un défi bien plus grand aux chercheurs en IA. Au lieu de seulement deux adversaires, le jeu met en scène sept joueurs dont les motivations peuvent être difficiles à lire. Pour gagner, un joueur doit négocier et conclure des accords de coopération que n'importe qui peut rompre à tout moment. La diplomatie est tellement complexe qu'un groupe de Meta s'est félicité qu'en 2022, son programme d'IA Cicero ait développé un « jeu de niveau humain » sur une période de 40 parties. Bien qu'il n'ait pas vaincu le champion du monde, Cicero s'est suffisamment bien comporté pour se classer dans les 10 % les plus performants face à des participants humains.

Au cours du projet, Jacob — membre de l'équipe Meta — a été frappé par le fait que Cicéron s'appuyait sur un modèle de langage pour générer son dialogue avec les autres joueurs. Il a senti un potentiel inexploité. L'objectif de l'équipe, a-t-il déclaré, " était de créer le meilleur modèle de langage possible pour jouer à ce jeu ". Mais qu'en serait-il s’ils se concentraient plutôt sur la création du meilleur jeu possible pour améliorer les performances des grands modèles de langage ?

Interactions consensuelles

En 2023, Jacob a commencé à approfondir cette question au MIT, en travaillant avec Yikang Shen, Gabriele Farina et son conseiller Jacob Andreas sur ce qui allait devenir le jeu du consensus. L'idée centrale est venue d'imaginer une conversation entre deux personnes comme un jeu coopératif, où le succès se concrétise lorsqu'un auditeur comprend ce que l'orateur essaie de transmettre. En particulier, le jeu de consensus est conçu pour aligner les deux systèmes du modèle linguistique : le générateur, qui gère les questions génératives, et le discriminateur, qui gère les questions discriminatives.

Après quelques mois d’arrêts et de redémarrages, l’équipe a transposé ce principe dans un jeu complet. Tout d'abord, le générateur reçoit une question. Cela peut provenir d’un humain, ou d’une liste préexistante. Par exemple, " Où est né Barack Obama ? " Le générateur obtient ensuite des réponses de candidats, disons Honolulu, Chicago et Nairobi. Encore une fois, ces options peuvent provenir d'un humain, d'une liste ou d'une recherche effectuée par le modèle de langage lui-même.

Mais avant de répondre, il est également indiqué au générateur s'il doit répondre correctement ou incorrectement à la question, en fonction des résultats d'un pile ou face équitable.

Si c'est face, alors la machine tente de répondre correctement. Le générateur envoie la question initiale, accompagnée de la réponse choisie, au discriminateur. Si le discriminateur détermine que le générateur a intentionnellement envoyé la bonne réponse, chacun obtient un point, en guise d'incitation.

Si la pièce tombe sur pile, le générateur envoie ce qu’il pense être la mauvaise réponse. Si le discriminateur décide qu’on lui a délibérément donné la mauvaise réponse, ils marquent à nouveau tous les deux un point. L’idée ici est d’encourager l’accord. " C'est comme apprendre un tour à un chien ", a expliqué Jacob. " On lui donne une friandise lorsqu'ils fait la bonne chose. "

Le générateur et le discriminateur commencent également doté chacun de  quelques " croyances " initiales. Credo sous forme d'une distribution de probabilité liée aux différents choix. Par exemple, le générateur peut croire, sur la base des informations qu'il a glanées sur Internet, qu'il y a 80 % de chances qu'Obama soit né à Honolulu, 10 % de chances qu'il soit né à Chicago, 5 % de chances qu'il soit né à Nairobi et 5 % de chances qu'il soit ailleurs. Le discriminateur peut commencer avec une distribution différente. Si les deux " acteurs " sont toujours récompensés après être parvenus à un accord, ils se voient également retirer des points s'ils s'écartent trop de leurs convictions initiales. Cet arrangement encourage les joueurs à intégrer leur connaissance du monde – toujours tirée d'Internet – dans leurs réponses, ce qui devrait rendre le modèle plus précis. Sans ce prérequis ils pourraient s’entendre sur une réponse totalement fausse comme celle de Delhi, mais accumuler quand même des points.

Pour chaque question, les deux systèmes jouent environ 1 000 parties l'un contre l'autre. Au cours de ces nombreuses itérations, chaque camp apprend les croyances de l'autre et modifie ses stratégies en conséquence.

Finalement, le générateur et le discriminateur commencent à être davantage d’accord à mesure qu’ils s’installent dans ce qu’on appelle l’équilibre de Nash. C’est sans doute le concept central de la théorie des jeux. Cela représente une sorte d’équilibre dans un jeu – le point auquel aucun joueur ne peut améliorer ses résultats personnels en changeant de stratégie. Au jeu du chifoumi, par exemple, les joueurs obtiennent de meilleurs résultats lorsqu'ils choisissent chacune des trois options exactement un tiers du temps, et ils obtiendront invariablement de moins bons résultats avec toute autre tactique.

Dans le jeu du consensus, cela peut se jouer de plusieurs manières. Le discriminateur pourrait observer qu'il marque un point lorsqu'il dit " correct " chaque fois que le générateur envoie le mot " Honolulu " pour le lieu de naissance d'Obama. Le générateur et le discriminateur apprendront, après avoir joué plusieurs fois, qu'ils seront récompensés s'ils continuent de le faire, et qu'aucun d'eux n'aura aucune motivation pour faire autre chose... consensus qui représente l'un des nombreux exemples possibles d'équilibre de Nash pour cette question. Le groupe du MIT s'est également appuyé sur une forme modifiée d'équilibre de Nash qui intègre les croyances antérieures des joueurs, ce qui permet de maintenir leurs réponses ancrées dans la réalité.

L'effet net, ont observé les chercheurs, est de rendre le modèle linguistique jouant ce jeu plus précis et plus susceptible de donner la même réponse, quelle que soit la façon dont la question est posée. Pour tester les effets du jeu du consensus, l'équipe a essayé une série de questions standard sur divers modèles de langage de taille modérée comportant de 7 milliards à 13 milliards de paramètres. Ces modèles ont systématiquement obtenu un pourcentage plus élevé de réponses correctes que les modèles qui n'avaient pas joué, même ceux de taille beaucoup plus importante, comportant jusqu'à 540 milliards de paramètres. La participation au jeu a également amélioré la cohérence interne d'un modèle.

En principe, n'importe quel LLM pourrait gagner à jouer contre lui-même, et 1 000 tours ne prendraient que quelques millisecondes sur un ordinateur portable standard. "Un avantage appréciable de l'approche globale", a déclaré Omidshafiei, "est qu'elle est très légère sur le plan informatique, n'impliquant aucune formation ni modification du modèle de langage de base."

Jouer à des jeux avec le langage

Après ce premier succès, Jacob étudie désormais d’autres moyens d’intégrer la théorie des jeux dans la recherche LLM. Les résultats préliminaires ont montré qu’un LLM déjà solide peut encore s’améliorer en jouant à un jeu différent – ​​provisoirement appelé jeu d’ensemble – avec un nombre arbitraire de modèles plus petits. Le LLM principal aurait au moins un modèle plus petit servant d’allié et au moins un modèle plus petit jouant un rôle antagoniste. Si l'on demande au LLM primaire de nommer le président des États-Unis, il obtient un point chaque fois qu'il choisit la même réponse que son allié, et il obtient également un point lorsqu'il choisit une réponse différente de celle de son adversaire. Ces interactions avec des modèles beaucoup plus petits peuvent non seulement améliorer les performances d'un LLM, suggèrent les tests, mais peuvent le faire sans formation supplémentaire ni modification des paramètres.

Et ce n'est que le début. Étant donné qu'une variété de situations peuvent être considérées comme des jeux, les outils de la théorie des jeux peuvent être mis en œuvre dans divers contextes du monde réel, a déclaré Ian Gemp , chercheur scientifique chez Google DeepMind. Dans un article de février 2024 , lui et ses collègues se sont concentrés sur des scénarios de négociation qui nécessitent des échanges plus élaborés que de simples questions et réponses. "L'objectif principal de ce projet est de rendre les modèles linguistiques plus stratégiques", a-t-il déclaré.

Un exemple dont il a parlé lors d'une conférence universitaire est le processus d'examen des articles en vue de leur acceptation par une revue ou une conférence, en particulier après que la soumission initiale ait reçu une évaluation sévère. Étant donné que les modèles linguistiques attribuent des probabilités à différentes réponses, les chercheurs peuvent construire des arbres de jeu similaires à ceux conçus pour les jeux de poker, qui tracent les choix disponibles et leurs conséquences possibles. "Une fois que vous avez fait cela, vous pouvez commencer à calculer les équilibres de Nash, puis classer un certain nombre de réfutations", a déclaré Gemp. Le modèle vous dit essentiellement : c'est ce que nous pensons que vous devriez répondre.

Grâce aux connaissances de la théorie des jeux, les modèles de langage seront capables de gérer des interactions encore plus sophistiquées, plutôt que de se limiter à des problèmes de type questions-réponses. "Le gros gain à venir réside dans les conversations plus longues", a déclaré Andreas. "La prochaine étape consiste à faire interagir une IA avec une personne, et pas seulement avec un autre modèle de langage."

Jacob considère le travail de DeepMind comme complémentaire aux jeux de consensus et d'ensemble. " À un niveau élevé, ces deux méthodes combinent des modèles de langage et la théorie des jeux ", a-t-il déclaré, même si les objectifs sont quelque peu différents. Alors que le groupe Gemp transforme des situations courantes dans un format de jeu pour aider à la prise de décision stratégique, Jacob a déclaré : " nous utilisons ce que nous savons de la théorie des jeux pour améliorer les modèles de langage dans les tâches générales. "

À l’heure actuelle, ces efforts représentent " deux branches du même arbre ", a déclaré Jacob : deux manières différentes d’améliorer le fonctionnement des modèles de langage. " Je pense personnellement  que dans un an ou deux, ces deux branches convergeront. " 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Steve Nadis, 9 mai 2024

[ maïeutique machine-machine ] [ discussion IA - FLP ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]