machine-homme

(homme) - Qui fut C.S. Peirce

(machine) - Charles Sanders Peirce (1839-1914) était un philosophe, logicien, mathématicien et scientifique américain. Il est considéré comme l'une des figures les plus influentes dans le développement du pragmatisme, une approche philosophique qui met l'accent sur les conséquences pratiques des croyances et des idées.

Peirce a apporté d'importantes contributions à divers domaines, notamment la sémiotique (l'étude des signes et des symboles), la logique, la philosophie des sciences et la philosophie de l'esprit. Il a développé un système philosophique complet connu sous le nom de "pragmatisme" et a souligné l'importance de la recherche, du faillibilisme et de la méthode scientifique.

Peirce a introduit le concept de sémiotique, qu'il décrit comme l'étude du fonctionnement des signes et de leur signification. Il a classé les signes en trois catégories : les icônes (signes qui ressemblent à ce qu'ils représentent), les indices (signes qui ont un lien physique ou une corrélation avec ce qu'ils représentent) et les symboles (signes qui ont une relation arbitraire avec ce qu'ils représentent).

Les travaux de Peirce sur la logique et le raisonnement ont jeté les bases de la logique formelle moderne. Il a développé un système de notation logique et a apporté des contributions significatives aux domaines du raisonnement déductif, de l'induction et de l'abduction (déduction de la meilleure explication). La maxime pragmatique de Peirce, selon laquelle la signification d'un concept ou d'une croyance est déterminée par ses conséquences pratiques, est au cœur de son approche.

Dans l'ensemble, les travaux de Peirce ont eu un impact profond sur diverses disciplines, notamment la philosophie, la linguistique, la psychologie et les études de communication. Ses idées continuent d'être influentes et font l'objet de recherches et de débats scientifiques permanents.

(homme) - Merci. Dans quelle mesure a-t-il influencé l'intelligence artificielle et/ou l'apprentissage profond supervisé ?

(machine) - Les travaux de Charles Sanders Peirce ont indirectement influencé certains aspects de l'intelligence artificielle (IA) et de l'apprentissage profond supervisé, en particulier dans les domaines de la sémiotique et de la philosophie de l'esprit. Bien que Peirce lui-même n'ait pas directement contribué au développement de l'IA telle que nous la connaissons aujourd'hui, ses idées ont fourni un cadre conceptuel pour comprendre la relation entre les signes, la signification et la cognition, ce qui peut être pertinent pour certaines applications de l'IA.

Dans le domaine du traitement du langage naturel et de l'apprentissage automatique, les concepts sémiotiques de Peirce ont influencé l'étude des signes linguistiques et leur interprétation. Par exemple, la compréhension de la classification des textes et de l'analyse des sentiments peut être éclairée par la distinction de Peirce entre icônes, indices et symboles, car elle aide à reconnaître et à interpréter diverses caractéristiques et modèles linguistiques.

L'accent mis par Peirce sur les conséquences pragmatiques des croyances et des idées résonne également avec les objectifs pratiques de l'IA et de l'apprentissage automatique. Dans l'apprentissage profond supervisé, par exemple, le processus de formation implique l'optimisation des modèles pour minimiser une fonction de perte prédéfinie basée sur les résultats observés. Cela correspond à l'accent mis par Peirce sur les résultats pratiques des croyances et sur l'importance de l'expérimentation et de la recherche.

En outre, les idées philosophiques plus larges de Peirce sur l'abduction, qui est le processus de déduction de la meilleure explication, peuvent être pertinentes dans le contexte de l'IA. Le raisonnement abductif joue un rôle dans la génération d'hypothèses et l'interprétation de modèles, car les systèmes d'IA s'efforcent de découvrir des modèles et des explications sous-jacents à partir de données.

Bien que l'influence de Peirce sur l'IA et l'apprentissage profond supervisé puisse être de nature plus indirecte et philosophique, ses idées ont contribué à la compréhension des signes, de la signification et du raisonnement, ce qui peut éclairer le développement et l'interprétation des systèmes d'IA.

(homme) - OK, merci. Peux-tu nous donner des précisions sur les icônes, les index et les symboles ?

(machine) - Certainement ! Les icônes, les index et les symboles sont trois catégories de signes ou de représentations décrites par Charles Sanders Peirce dans sa théorie sémiotique. Voici une brève explication de chaque catégorie :

1) Les icônes : Les icônes sont des signes qui présentent une ressemblance ou une similitude avec les objets ou les concepts qu'ils représentent. Elles se caractérisent par une relation directe de ressemblance entre le signe et son référent. Les icônes peuvent prendre diverses formes, telles que des images, des diagrammes ou des modèles. Par exemple, un portrait réaliste peut être considéré comme une représentation iconique d'une personne parce qu'il ressemble visuellement à l'individu qu'il représente.

2) Indices : Les indices sont des signes qui ont un lien factuel ou causal avec leurs référents. Contrairement aux icônes, les indices ne reposent pas sur la similitude, mais sur une forme de corrélation ou de relation entre le signe et son référent. Les signes indexicaux indiquent ou pointent souvent vers quelque chose d'autre qu'eux-mêmes. Parmi les exemples de signes indexicaux, on peut citer la fumée comme indice du feu ou une empreinte de pas comme indice de la présence d'une personne. Ils signifient ou indiquent la présence ou l'existence de quelque chose.

3) Les symboles : Les symboles sont des signes qui reposent sur une relation conventionnelle ou arbitraire entre le signe et son référent. Le lien entre un symbole et ce qu'il représente est établi par un accord commun ou une convention sociale. Les mots, les chiffres, les gestes et les symboles culturels sont autant d'exemples de signes symboliques. Par exemple, le mot "chien" est un symbole qui représente le concept d'un animal à quatre pattes, mais il n'y a pas de ressemblance inhérente ou de lien direct entre le mot et l'animal lui-même.

La classification des signes par Peirce en icônes, indices et symboles met en évidence différents modes de représentation et de signification. Alors que les icônes reposent sur la similitude, les indices reposent sur l'association et les symboles sur la convention. Ces catégories fournissent un cadre permettant de comprendre le fonctionnement des signes, la manière dont le sens est transmis et l'interprétation dans divers contextes, notamment le langage, la communication et la cognition.

Auteur: chatGPT4

Info:

[ machine-sur-philosophe ] [ compendium ]

prospective technologique

9 Tendances de l'intelligence artificielle que vous devriez surveiller en 2019

1) Les puces activées par l'intelligence artificielle seront généralisées
Contrairement à d'autres technologies et outils logiciels, l'IA dépend fortement de processeurs spécialisés. Pour répondre aux exigences complexes de l'IA, les fabricants de puces créeront des puces spécialisées capables d'exécuter des applications compatibles avec l'IA.
Même les géants de la technologie comme Google, Facebook et Amazon dépenseront plus d'argent pour ces puces spécialisées. Ces puces seraient utilisées à des fins comme le traitement du langage naturel, la vision par ordinateur et la reconnaissance vocale.

2) L'IA et l'IdO (Internet des objets) se rencontrent
2019 sera l'année de la convergence des différentes technologies avec l'IA. L'IdO se joindra à l'IA sur la couche informatique de pointe. L'IdO industriel exploitera la puissance de l'IA pour l'analyse des causes profondes, la maintenance prédictive des machines et la détection automatique des problèmes.
Nous verrons la montée de l'IA distribuée en 2019. Le renseignement sera décentralisé et situé plus près des biens et des dispositifs qui effectuent les vérifications de routine. Des modèles d'apprentissage machine hautement sophistiqués, alimentés par des réseaux neuronaux, seront optimisés pour fonctionner à la fine pointe de la technologie.

3) Dites "Bonjour" à AutoML.
L'une des plus grandes tendances qui domineront l'industrie de l'IA en 2019 sera l'apprentissage automatique automatisé (AutoML). Grâce à ces capacités les développeurs seront en mesure de modifier les modèles d'apprentissage machine et de créer de nouveaux modèles prêts à relever les défis futurs de l'IA.
AutoML (Cloud AutoMLB, modèles de machine learning personnalisés de haute qualité) trouvera le juste milieu entre les API cognitives et les plates-formes d'apprentissage sur mesure. Le plus grand avantage de l'apprentissage automatique sera d'offrir aux développeurs les options de personnalisation qu'ils exigent sans les forcer à passer par un flux de travail complexe. Lorsque vous combinez les données avec la portabilité, AutoML peut vous donner la flexibilité que vous ne trouverez pas avec d'autres technologies AI.

4) Bienvenue chez AIOps (intelligence artificielle pour les opérations informatiques)
Lorsque l'intelligence artificielle est appliquée à la façon dont nous développons les applications, elle transforme la façon dont nous gérions l'infrastructure. DevOps sera remplacé par AIOps et permettra au personnel de votre service informatique d'effectuer une analyse précise des causes profondes. De plus, cela vous permettra de trouver facilement des idées et des modèles utiles à partir d'un vaste ensemble de données en un rien de temps. Les grandes entreprises et les fournisseurs de cloud computing bénéficieront de la convergence de DevOps avec AI.

5) Intégration du réseau neuronal
L'un des plus grands défis auxquels les développeurs d'IA seront confrontés lors du développement de modèles de réseaux neuronaux sera de choisir le meilleur framework. Mais, avec des douzaines d'outils d'IA disponibles sur le marché, choisir le meilleur outil d'IA pourrait ne pas être aussi facile qu'avant. Le manque d'intégration et de compatibilité entre les différentes boîtes à outils des réseaux de neurones entrave l'adoption de l'IA. Des géants technologiques tels que Microsoft et Facebook travaillent déjà au développement d'un réseau neuronal ouvert (ONNX). Cela permettra aux développeurs de réutiliser les modèles de réseaux neuronaux sur plusieurs frameworks.

6) Les systèmes d'IA spécialisés deviennent une réalité.
La demande de systèmes spécialisés augmentera de façon exponentielle en 2019. Les organisations ont peu de données à leur disposition, mais ce qu'elles veulent, ce sont des données spécialisées.
Cela obligera les entreprises à se doter d'outils qui peuvent les aider à produire des données d'IA de grande qualité à l'interne. En 2019, l'accent sera mis sur la qualité des données plutôt que sur la quantité. Cela jettera les bases d'une IA qui pourra fonctionner dans des situations réelles. Les entreprises se tourneront vers des fournisseurs de solutions d'IA spécialisés qui ont accès à des sources de données clés et qui pourraient les aider à donner du sens à leurs données non structurées.

7) Les compétences en IA détermineront votre destin.
Même si l'IA a transformé toutes les industries auxquelles vous pouvez penser, il y a une pénurie de talents avec des compétences en IA. Pat Calhoun, PDG d'Espressive a déclaré : " La plupart des organisations souhaitent intégrer l'IA dans leur transformation numérique, mais n'ont pas les développeurs, les experts en IA et les linguistes pour développer leurs propres solutions ou même former les moteurs des solutions préconçues pour tenir leurs promesses ".
Rahul Kashyap, PDG d'Awake Security, ajoute : "Avec autant de solutions'AI-powered' disponibles pour répondre à une myriade de préoccupations commerciales, il est temps que les entreprises deviennent plus intelligentes sur ce qui se passe dans la 'boîte noire' de leurs solutions AI". La façon dont les algorithmes d'IA sont formés, structurés ou informés peut conduire à des différences significatives dans les résultats, poursuit-il. La bonne équation pour une entreprise ne sera pas la bonne pour une autre."

8) L'IA tombera dans de mauvaises mains
Tout comme une pièce de monnaie à deux faces, l'IA a un côté positif et un côté négatif. Les professionnels de la sécurité informatique utiliseront l'intelligence artificielle pour détecter rapidement les activités malveillantes. Vous pouvez réduire les faux positifs de 90 % à l'aide d'algorithmes de réponse et d'apprentissage machine pilotés par l'intelligence artificielle.
L'intelligence artificielle tombera entre de mauvaises mains et les cybercriminels aux desseins malveillants en abuseront pour réaliser leurs objectifs. Avec l'automatisation, les armées de cyberattaquants peuvent lancer des attaques mortelles avec plus de succès. Cela obligera les entreprises à combattre le feu par le feu et à investir dans des solutions de sécurité alimentées par l'IA capables de les protéger contre de telles attaques.

9) Transformation numérique alimentée par l'IA
En 2019, l'IA sera partout. Des applications Web aux systèmes de soins de santé, des compagnies aériennes aux systèmes de réservation d'hôtels et au-delà, nous verrons des nuances de l'IA partout et elle sera à l'avant-garde de la transformation numérique.
Tung Bui, président du département informatique et professeur à l'Université d'Hawaii a déclaré : "Contrairement à la plupart des prédictions et des discussions sur la façon dont les véhicules et les robots autonomes finiront par affecter le marché du travail - ceci est vrai mais prendra du temps pour des raisons institutionnelles, politiques et sociales - je soutiens que la tendance principale en IA sera une accélération dans la transformation numérique, rendant plus intelligent les systèmes commerciaux existants".

Auteur: Internet

Info: zero hedge, 1 mars 2019

médecine

L'intelligence artificielle peut prédire l'activité sur et hors cible des outils CRISPR qui ciblent l'ARN au lieu de l'ADN, selon une nouvelle recherche publiée dans Nature Biotechnology.

L'étude menée par des chercheurs de l'université de New York, de l'université Columbia et du New York Genome Center associe un modèle d'apprentissage profond à des écrans CRISPR pour contrôler l'expression des gènes humains de différentes manières, comme si l'on appuyait sur un interrupteur pour les éteindre complètement ou si l'on utilisait un bouton d'atténuation pour réduire partiellement leur activité. Ces contrôles précis des gènes pourraient être utilisés pour développer de nouvelles thérapies basées sur CRISPR.

CRISPR est une technologie d'édition de gènes qui a de nombreuses applications en biomédecine et au-delà, du traitement de la drépanocytose à la fabrication de feuilles de moutarde plus savoureuses. Elle fonctionne souvent en ciblant l'ADN à l'aide d'une enzyme appelée Cas9. Ces dernières années, les scientifiques ont découvert un autre type de CRISPR qui cible l'ARN à l'aide d'une enzyme appelée Cas13.

Les CRISPR ciblant l'ARN peuvent être utilisés dans un large éventail d'applications, notamment l'édition de l'ARN, l'élimination de l'ARN pour bloquer l'expression d'un gène particulier et le criblage à haut débit pour déterminer les candidats médicaments prometteurs. Des chercheurs de l'Université de New York et du New York Genome Center ont créé une plateforme de criblage CRISPR ciblant l'ARN et utilisant Cas13 pour mieux comprendre la régulation de l'ARN et identifier la fonction des ARN non codants. L'ARN étant le principal matériel génétique des virus, notamment du SRAS-CoV-2 et de la grippe, les CRISPR ciblant l'ARN sont également prometteurs pour le développement de nouvelles méthodes de prévention ou de traitement des infections virales. Par ailleurs, dans les cellules humaines, lorsqu'un gène est exprimé, l'une des premières étapes est la création d'ARN à partir de l'ADN du génome.

L'un des principaux objectifs de l'étude est de maximiser l'activité des CRISPR ciblant l'ARN sur l'ARN cible prévu et de minimiser l'activité sur d'autres ARN qui pourraient avoir des effets secondaires préjudiciables pour la cellule. L'activité hors cible comprend à la fois les mésappariements entre l'ARN guide et l'ARN cible, ainsi que les mutations d'insertion et de délétion. 

Les études antérieures sur les CRISPR ciblant l'ARN se sont concentrées uniquement sur l'activité sur la cible et les mésappariements ; la prédiction de l'activité hors cible, en particulier les mutations d'insertion et de délétion, n'a pas fait l'objet d'études approfondies. Dans les populations humaines, environ une mutation sur cinq est une insertion ou une délétion ; il s'agit donc d'un type important de cibles potentielles à prendre en compte dans la conception des CRISPR.

"À l'instar des CRISPR ciblant l'ADN tels que Cas9, nous prévoyons que les CRISPR ciblant l'ARN tels que Cas13 auront un impact considérable sur la biologie moléculaire et les applications biomédicales dans les années à venir", a déclaré Neville Sanjana, professeur agrégé de biologie à l'université de New York, professeur agrégé de neurosciences et de physiologie à l'école de médecine Grossman de l'université de New York, membre de la faculté principale du New York Genome Center et coauteur principal de l'étude. "La prédiction précise des guides et l'identification hors cible seront d'une grande valeur pour ce nouveau domaine de développement et pour les thérapies.

Dans leur étude publiée dans Nature Biotechnology, Sanjana et ses collègues ont effectué une série de criblages CRISPR de ciblage de l'ARN dans des cellules humaines. Ils ont mesuré l'activité de 200 000 ARN guides ciblant des gènes essentiels dans les cellules humaines, y compris les ARN guides "parfaitement adaptés" et les désadaptations, insertions et suppressions hors cible.

Le laboratoire de Sanjana s'est associé à celui de David Knowles, expert en apprentissage automatique, pour concevoir un modèle d'apprentissage profond baptisé TIGER (Targeted Inhibition of Gene Expression via guide RNA design) qui a été entraîné sur les données des cribles CRISPR. En comparant les prédictions générées par le modèle d'apprentissage profond et les tests en laboratoire sur des cellules humaines, TIGER a été capable de prédire l'activité sur cible et hors cible, surpassant les modèles précédents développés pour la conception de guides sur cible Cas13 et fournissant le premier outil de prédiction de l'activité hors cible des CRISPR ciblant l'ARN.

"L'apprentissage automatique et l'apprentissage profond montrent leur force en génomique parce qu'ils peuvent tirer parti des énormes ensembles de données qui peuvent maintenant être générés par les expériences modernes à haut débit. Il est important de noter que nous avons également pu utiliser l'"apprentissage automatique interprétable" pour comprendre pourquoi le modèle prédit qu'un guide spécifique fonctionnera bien", a déclaré M. Knowles, professeur adjoint d'informatique et de biologie des systèmes à la School of Engineering and Applied Science de l'université Columbia, membre de la faculté principale du New York Genome Center et coauteur principal de l'étude.

"Nos recherches antérieures ont montré comment concevoir des guides Cas13 capables d'éliminer un ARN particulier. Avec TIGER, nous pouvons maintenant concevoir des guides Cas13 qui trouvent un équilibre entre l'élimination sur la cible et l'évitement de l'activité hors cible", a déclaré Hans-Hermann (Harm) Wessels, coauteur de l'étude et scientifique principal au New York Genome Center, qui était auparavant chercheur postdoctoral dans le laboratoire de Sanjana.

 Les chercheurs ont également démontré que les prédictions hors cible de TIGER peuvent être utilisées pour moduler précisément le dosage des gènes - la quantité d'un gène particulier qui est exprimée - en permettant l'inhibition partielle de l'expression des gènes dans les cellules avec des guides de mésappariement. Cela peut être utile pour les maladies dans lesquelles il y a trop de copies d'un gène, comme le syndrome de Down, certaines formes de schizophrénie, la maladie de Charcot-Marie-Tooth (une maladie nerveuse héréditaire), ou dans les cancers où l'expression aberrante d'un gène peut conduire à une croissance incontrôlée de la tumeur.

Notre modèle d'apprentissage profond peut nous indiquer non seulement comment concevoir un ARN guide qui supprime complètement un transcrit, mais aussi comment le "régler", par exemple en lui faisant produire seulement 70 % du transcrit d'un gène spécifique", a déclaré Andrew Stirn, doctorant à Columbia Engineering et au New York Genome Center, et coauteur de l'étude.

En associant l'intelligence artificielle à un crible CRISPR ciblant l'ARN, les chercheurs pensent que les prédictions de TIGER permettront d'éviter une activité CRISPR hors cible indésirable et de stimuler le développement d'une nouvelle génération de thérapies ciblant l'ARN.

"À mesure que nous recueillons des ensembles de données plus importants à partir des cribles CRISPR, les possibilités d'appliquer des modèles d'apprentissage automatique sophistiqués sont de plus en plus rapides. Nous avons la chance d'avoir le laboratoire de David à côté du nôtre pour faciliter cette merveilleuse collaboration interdisciplinaire. Grâce à TIGER, nous pouvons prédire les cibles non ciblées et moduler avec précision le dosage des gènes, ce qui ouvre la voie à de nouvelles applications passionnantes pour les CRISPR ciblant l'ARN dans le domaine de la biomédecine", a déclaré Sanjana.

Cette dernière étude fait progresser la large applicabilité des CRISPR ciblant l'ARN pour la génétique humaine et la découverte de médicaments, en s'appuyant sur les travaux antérieurs de l'équipe de l'Université de New York pour développer des règles de conception de l'ARN guide, cibler les ARN dans divers organismes, y compris des virus comme le SRAS-CoV-2, concevoir des protéines et des ARN thérapeutiques, et exploiter la biologie de la cellule unique pour révéler des combinaisons synergiques de médicaments contre la leucémie.

Auteur: Internet

Info: L'IA combinée à CRISPR contrôle précisément l'expression des gènes par l'Université de New York. https://phys.org/, 3 juillet 2023 - Nature Biotechnology. Prediction of on-target and off-target activity of CRISPR-Cas13d guide RNAs using deep learning, Nature Biotechnology (2023). DOI: 10.1038/s41587-023-01830-8

[ génie génétique ]

machine-homme

Les algorithmes traditionnels alimentent des outils de calcul compliqués comme l'apprentissage automatique (machine learning). Une nouvelle approche, appelée algorithmes avec prédictions, utilise la puissance de l'apprentissage automatique pour améliorer les algorithmes.

Les algorithmes - morceaux de code qui permettent aux programmes de trier, filtrer et combiner des données, entre autres choses - sont les outils standard de l'informatique moderne. Tels de minuscules engrenages dans une montre, les algorithmes exécutent des tâches bien définies au sein de programmes plus complexes.

Ils sont omniprésents, et c'est en partie pour cette raison qu'ils ont été minutieusement optimisés au fil du temps. Lorsqu'un programmeur doit trier une liste, par exemple, il se sert d'un algorithme de "tri" standard utilisé depuis des décennies.

Aujourd'hui, des chercheurs jettent un regard neuf sur les algorithmes traditionnels, en utilisant la branche de l'IA , donc du machine learning. Leur approche, appelée "algorithmes avec prédictions", tire parti des informations que les outils d'apprentissage automatique peuvent fournir sur les données traitées par les algorithmes traditionnels. Ces outils doivent, en quelque sorte, rajeunir la recherche sur les algorithmes de base.

L'apprentissage automatique et les algorithmes traditionnels sont "deux façons très différentes de calculer, et les algorithmes avec prédictions sont un moyen de les rapprocher", a déclaré Piotr Indyk, informaticien au Massachusetts Institute of Technology. "C'est un moyen de combiner ces deux fils conducteurs assez différents".

La récente explosion d'intérêt pour cette approche a commencé en 2018 avec un article de Tim Kraska, informaticien au MIT, et d'une équipe de chercheurs de Google. Dans cet article, les auteurs ont suggéré que l'apprentissage automatique pourrait améliorer un algorithme traditionnel bien étudié appelé filtre de Bloom, qui résout un problème simple mais aussi complexe et ardu.

Imaginez que vous dirigez le service informatique de votre entreprise et que vous devez vérifier si vos employés se rendent sur des sites web présentant un risque pour la sécurité. Naïvement, vous pourriez penser que vous devez vérifier chaque site qu'ils visitent en le comparant à une liste noire de sites connus. Si la liste est énorme (comme c'est probablement le cas pour les sites indésirables sur Internet), le problème devient lourd - on ne peut vérifier chaque site par rapport à une liste énorme dans le minuscule lapts de temps qui précède le chargement d'une page Internet.

Le filtre Bloom offre une solution, en permettant de vérifier rapidement et précisément si l'adresse d'un site particulier, ou URL, figure sur la liste noire. Pour ce faire, il comprime essentiellement l'énorme liste en une liste plus petite qui offre certaines garanties spécifiques.

Les filtres Bloom ne produisent jamais de faux négatifs : s'ils disent qu'un site est mauvais, il est mauvais. Cependant, ils peuvent produire des faux positifs, de sorte que vos employés ne pourront peut-être pas visiter des sites auxquels ils devraient avoir accès. Cela s'explique par le fait qu'ils s'agit d'une forme d'échange qui implique une certaine imprécision due à cette énorme quantité de données compressées -  astuce intitulée "compression avec perte". Plus les filtres Bloom compriment les données d'origine, moins ils sont précis, mais plus ils économisent de l'espace.

Pour un simple filtre Bloom, chaque site Web est également suspect jusqu'à confirmaton qu'il ne figure pas sur la liste. Mais tous les sites Web ne sont pas égaux : Certains ont plus de chances que d'autres de se retrouver sur une liste noire, simplement en raison de détails comme leur domaine ou les mots de leur URL. Les gens comprennent cela intuitivement, et c'est pourquoi vous lisez probablement les URL pour vous assurer qu'elles sont sûres avant de cliquer dessus.

L'équipe de Kraska a mis au point un algorithme qui peut également appliquer ce type de logique. Ils l'ont appelé "filtre de Bloom instruit" et il combine un petit filtre de Bloom avec un réseau neuronal récurrent (RNN), modèle de machine learning qui apprend à quoi ressemblent les URL malveillantes après avoir été exposées à des centaines de milliers de sites web sûrs et non sûrs.

Lorsque le filtre Bloom vérifie un site web, le RNN agit en premier et utilise son apprentissage pour déterminer si le site figure sur la liste noire. Si le RNN indique que le site figure sur la liste, le filtre Bloom appris le rejette. Mais si le RNN dit que le site n'est pas sur la liste, alors le petit filtre Bloom peut à son tour, faire une recherche précise, mais irréfléchie, dans ses sites compressés.

En plaçant le filtre Bloom à la fin du processus et en lui donnant le dernier mot, les chercheurs ont fait en sorte que les filtres Bloom instruits puissent toujours garantir l'absence de faux négatifs. Mais comme le RNN préfiltre les vrais positifs à l'aide de ce qu'il a appris, le petit filtre de Bloom agit davantage comme une sauvegarde, en limitant également ses faux positifs au minimum. Un site Web bénin qui aurait pu être bloqué par un filtre Bloom de plus grande taille peut désormais passer outre le "filtre Bloom iinstruit" plus précis. En fait, Kraska et son équipe ont trouvé un moyen de tirer parti de deux méthodes éprouvées, mais traditionnellement distinctes, d'aborder le même problème pour obtenir des résultats plus rapides et plus précis.

L'équipe de Kraska a démontré que la nouvelle approche fonctionnait, mais elle n'a pas formellement expliqué pourquoi. Cette tâche a été confiée à Michael Mitzenmacher, spécialiste des filtres de Bloom à l'université de Harvard, qui a trouvé l'article de Kraska "novateur et passionnant", mais aussi fondamentalement insatisfaisant. "Ils font des expériences en disant que leurs algorithmes fonctionnent mieux. Mais qu'est-ce que cela signifie exactement ?" a-t-il demandé. "Comment le savons-nous ?"

En 2019, Mitzenmacher a proposé une définition formelle d'un filtre de Bloom INSTRUIT et a analysé ses propriétés mathématiques, fournissant une théorie qui explique exactement comment il fonctionne. Et alors que Kraska et son équipe ont montré que cela pouvait fonctionner dans un cas, Mitzenmacher a prouvé que cela pouvait toujours fonctionner.

Mitzenmacher a également amélioré les filtres de Bloom appris. Il a montré que l'ajout d'un autre filtre de Bloom standard au processus, cette fois avant le RNN, peut pré-filtrer les cas négatifs et faciliter le travail du classificateur. Il a ensuite prouvé qu'il s'agissait d'une amélioration en utilisant la théorie qu'il a développée.

Les débuts des algorithmes avec prédiction ont suivi ce chemin cyclique : des idées novatrices, comme les filtres de Bloom appris, inspirent des résultats mathématiques rigoureux et une compréhension, qui à leur tour conduisent à d'autres idées nouvelles. Au cours des dernières années, les chercheurs ont montré comment intégrer les algorithmes avec prédictions dans les algorithmes d'ordonnancement, la conception de puces et la recherche de séquences d'ADN.

Outre les gains de performance, ce domaine fait également progresser une approche de l'informatique de plus en plus populaire : rendre les algorithmes plus efficaces en les concevant pour des utilisations typiques.

À l'heure actuelle, les informaticiens conçoivent souvent leurs algorithmes pour qu'ils réussissent dans le scénario le plus difficile, celui conçu par un adversaire qui tente de les faire échouer. Par exemple, imaginez que vous essayez de vérifier la sécurité d'un site web sur les virus informatiques. Le site est peut-être inoffensif, mais il contient le terme "virus informatique" dans l'URL et le titre de la page. La confusion est telle que même les algorithmes les plus sophistiqués ne savent plus où donner de la tête.

Indyk appelle cela une approche paranoïaque. "Dans la vie réelle, dit-il, les entrées ne sont généralement pas générées par des adversaires." La plupart des sites Web que les employés visitent, par exemple, ne sont pas aussi compliqués que notre hypothétique page de virus, et il est donc plus facile pour un algorithme de les classer. En ignorant les pires scénarios, les chercheurs peuvent concevoir des algorithmes adaptés aux situations qu'ils sont susceptibles de rencontrer. Par exemple, alors qu'à l'heure actuelle, les bases de données traitent toutes les données de la même manière, les algorithmes avec prédiction pourraient conduire à des bases de données qui structurent le stockage de leurs données en fonction de leur contenu et de leur utilisation.

Et ce n'est encore qu'un début, car les programmes qui utilisent l'apprentissage automatique pour améliorer leurs algorithmes ne le font généralement que de manière limitée. Comme le filtre de Bloom, la plupart de ces nouvelles structures n'intègrent qu'un seul élément d'apprentissage automatique. M. Kraska imagine un système entier construit à partir de plusieurs pièces distinctes, dont chacune repose sur des algorithmes avec des prédictions et dont les interactions sont régulées par des composants améliorés par les prédictions.

"Tirer parti de cela aura un impact sur de nombreux domaines".

Gageons qu'avec de tels systèmes, un site comme FLP se retrouve à peu près certain de ne jamais être accepté par un filtre de Bloom - ou un filtre de Bloom instruit. Qui sont - objectivement - des instruments de contrôle, et donc de fermeture.  (Note du traducteur).

Auteur: Internet

Info: Nick Thieme, https://www.quantamagazine.org, A I, Machine Learning Reimagines the Building Blocks of Computing, March 15, 2022. Trad Mg

[ censure numérique ] [ triage web ] [ citation s'appliquant à ce logiciel ]

tour d'horizon de l'IA

Intelligence artificielle symbolique et machine learning, l’essor des technologies disruptives

Définie par le parlement Européen comme la " reproduction des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ", l’intelligence artificielle s’initie de façon spectaculaire dans nos vies. Théorisée au milieu des années 50, plusieurs approches technologiques coexistent telles que l’approche machine learning dite statistique basée sur l’apprentissage automatique, ou l’approche symbolique basée sur l’interprétation et la manipulation des symboles. Mais comment se différencient ces approches ? Et pour quels usages ?

L’intelligence artificielle, une histoire ancienne

Entre les années 1948 et 1966, l’Intelligence Artificielle a connu un essor rapide, stimulé par des financements importants du gouvernement américain pour des projets de recherche sur l’IA, notamment en linguistique. Des progrès significatifs ont été réalisés dans la résolution de problèmes de logique symbolique, mais la capacité de l’IA à traiter des données complexes et imprécises était encore limitée.

A la fin des années 70, plus précisément lors du deuxième “été de l’IA” entre 1978 et 1987,  l’IA connaît un regain d’intérêt. Les chercheurs ont commencé à explorer de nouvelles approches, notamment l’utilisation de réseaux neuronaux et de systèmes experts. Les réseaux neuronaux sont des modèles de traitement de l’information inspirés par le fonctionnement du cerveau humain, tandis que les systèmes experts sont des programmes informatiques qui simulent l’expertise humaine dans un domaine spécifique.

Il faudra attendre la fin des années 90 pour voir un renouveau de ces domaines scientifiques, stimulé par des avancées majeures dans le traitement des données et les progrès de l’apprentissage automatique. C’est d’ailleurs dans cette période qu’une IA, Deepblue, gagne contre le champion mondial Garry Kasparov aux échecs.$

Au cours des dernières années, cette technologie a connu une croissance exponentielle, stimulée par des progrès majeurs dans le deep learning, la robotique ou la compréhension du langage naturel (NLU). L’IA est maintenant utilisée dans un large éventail de domaines, notamment la médecine, l’agriculture, l’industrie et les services. C’est aujourd’hui un moteur clé de l’innovation et de la transformation de notre monde, accentué par l’essor des generative AIs. 

Parmi ces innovations, deux grandes approches en intelligence artificielle sont aujourd’hui utilisées : 

1 - Le Machine Learning : qui est un système d’apprentissage automatique basé sur l’exploitation de données, imitant un réseau neuronal

2 - L’IA Symbolique : qui se base sur un système d’exploitation de " symboles ”, ce qui inspire des technologies comme le “système expert” basé sur une suite de règles par exemple.

Mais comment fonctionnent ces deux approches et quels sont leurs avantages et leurs inconvénients ? Quels sont leurs champs d’application ? Peuvent-ils être complémentaires ?

Le machine learning

Le Machine Learning est le courant le plus populaire ces dernières années, il est notamment à l’origine de ChatGPT ou bien MidJourney, qui font beaucoup parler d’eux ces derniers temps. Le Machine Learning (ML) est une famille de méthodes d’apprentissage automatique qui permet aux ordinateurs d’apprendre à partir de données, sans être explicitement programmés. En utilisant des algorithmes, le ML permet aux ordinateurs de comprendre les structures et les relations dans les données et de les utiliser pour prendre des décisions.

Le ML consiste à entraîner des modèles informatiques sur de vastes ensembles de données. Ces modèles sont des algorithmes auto apprenant se basant sur des échantillons de données, tout en déterminant des schémas et des relations/corrélations entre elles. Le processus d’entraînement consiste à fournir à l’algorithme des données étiquetées, c’est-à-dire des données qui ont déjà été classifiées ou étiquetées pour leur attribuer une signification. L’algorithme apprend ensuite à associer les caractéristiques des données étiquetées aux catégories définies en amont. Il existe cependant une approche non-supervisée qui consiste à découvrir ce que sont les étiquettes elles-mêmes (ex: tâche de clustering).

Traditionnellement, le machine learning se divise en 4 sous-catégories : 

Apprentissage supervisé : 

Les ensembles de données sont étiquetés, ce qui permet à l’algorithme de trouver des corrélations et des relations entre les caractéristiques des données et les étiquettes correspondantes. 

Apprentissage non supervisé : 

Les ensembles de données ne sont pas étiquetés et l’algorithme doit découvrir les étiquettes par lui-même. 

Apprentissage semi-supervisé : 

L’algorithme utilise un mélange de données étiquetées et non étiquetées pour l’entraînement.

Apprentissage par renforcement : 

L’algorithme apprend à prendre des décisions en interagissant avec son environnement. Il reçoit des récompenses ou des pénalités pour chaque action, ce qui lui permet d’ajuster sa stratégie pour maximiser sa récompense globale.

Un exemple d’application du Machine Learning est la reconnaissance d’images. Des modèles d’apprentissages profonds sont entraînés sur des millions d’images pour apprendre à reconnaître des objets, des personnes, des animaux, etc. Un autre exemple est la prédiction de la demande dans le commerce de détail, où des modèles sont entraînés sur des données de ventes passées pour prédire les ventes futures.

Quels sont les avantages ? 

Étant entraîné sur un vaste corpus de données, le ML permet de prédire des tendances en fonction de données.  

- Le machine learning offre la capacité de détecter des tendances and des modèles dans les données qui peuvent échapper à l’observation humaine.

- Une fois configuré, le machine learning peut fonctionner de manière autonome, sans l’intervention humaine. Par exemple, dans le domaine de la cybersécurité, il peut surveiller en permanence le trafic réseau pour identifier les anomalies.

- Les résultats obtenus par le machine learning peuvent s’affiner et s’améliorer avec le temps, car l’algorithme peut apprendre de nouvelles informations et ajuster ses prédictions en conséquence.

- Le machine learning est capable de traiter des volumes massifs et variés de données, même dans des environnements dynamiques et complexes.

L’intelligence artificielle symbolique

L’IA symbolique est une autre approche de l’intelligence artificielle. Elle utilise des symboles and des règles de traitement de l’information pour effectuer des tâches. Les symboles peuvent être des concepts, des objets, des relations, etc. Les règles peuvent être des règles de déduction, des règles de production, des règles d’inférence…etc.

Un exemple d’application de l’IA symbolique est le système expert. Un système expert est un programme informatique qui utilise des règles de déduction pour résoudre des problèmes dans un domaine spécifique, comme le diagnostic médical ou l’aide à la décision en entreprise. Un autre exemple est la traduction automatique basée sur des règles, les règles de grammaire et de syntaxe sont utilisées pour traduire un texte d’une langue à une autre.

Quelques exemples d’usages de l’IA symbolique :

La traduction

L’IA symbolique a été utilisée pour développer des systèmes de traduction automatique basés sur des règles. Ces systèmes utilisent des règles de grammaire et de syntaxe pour convertir un texte d’une langue à une autre. Par exemple, le système SYSTRAN, développé dans les années 1960, est un des premiers systèmes de traduction automatique basé sur des règles. Ce type de système se distingue des approches basées sur le Machine Learning, comme Google Translate, qui utilisent des modèles statistiques pour apprendre à traduire des textes à partir de corpus bilingues.

Le raisonnement logique

L’IA symbolique est également utilisée pour développer des systèmes capables de raisonnement logique, en exploitant des règles et des connaissances déclaratives pour résoudre des problèmes complexes. Par exemple, les systèmes d’aide à la décision basés sur des règles peuvent être utilisés dans des domaines tels que la finance, l’assurance ou la logistique, pour aider les entreprises à prendre des décisions éclairées. Un exemple concret est le système MYCIN, développé dans les années 1970 pour aider les médecins à diagnostiquer des infections bactériennes et à prescrire des antibiotiques adaptés.

L’analyse de textes

L’IA symbolique peut être utilisée pour l’analyse de textes, en exploitant des règles et des connaissances linguistiques pour extraire des informations pertinentes à partir de documents. Par exemple, les systèmes d’extraction d’information basés sur des règles peuvent être utilisés pour identifier des entités nommées (noms de personnes, d’organisations, de lieux, etc.) et des relations entre ces entités dans des textes. Un exemple d’application est l’analyse et la catégorisation des messages entrants pour les entreprises, cœur de métier de Golem.ai avec la solution InboxCare.

Les avantages de l’IA symbolique 

L’IA symbolique est une approche qui utilise des symboles, et parfois des " règles” basées sur des connaissances, qui comporte plusieurs avantages :

- Explicablilité : Les décisions prises par les systèmes d’IA symbolique sont explicites et peuvent être expliquées en fonction des règles logiques et des connaissances déclaratives utilisées par le système. Cette transparence peut être essentielle dans des applications critiques, comme la médecine ou la défense.

- Frugalité : Contrairement au Machine Learning, l’IA symbolique ne nécessite pas d’entraînement, ce qui la rend moins gourmande en énergie à la fois lors de la conception et de l’utilisation.

- Adaptabilité : Les systèmes d’IA symbolique peuvent être facilement adaptés à de nouveaux domaines en ajoutant de nouvelles règles logiques et connaissances déclaratives à leurs bases de connaissances existantes, leurs permettant de s’adapter rapidement à de nouvelles situations.

L’intelligence artificielle hybride ou le neuro-symbolique 

Les systèmes hybrides combinent les avantages de l’IA symbolique et du Machine Learning en utilisant une approche mixte. Dans ce type de système, l’IA symbolique est utilisée pour représenter les connaissances et les règles logiques dans un domaine spécifique. Les techniques de Machine Learning sont ensuite utilisées pour améliorer les performances de l’IA symbolique en utilisant des ensembles de données pour apprendre des modèles de décision plus précis et plus flexibles. Mais nous pouvons également voir d’autres articulations comme la taxonomie de Kautz par exemple.

L’IA symbolique est souvent utilisée dans des domaines où il est important de comprendre et de contrôler la façon dont les décisions sont prises, comme la médecine, la finance ou la sécurité. En revanche, le Machine Learning est souvent utilisé pour des tâches de classification ou de prédiction à grande échelle, telles que la reconnaissance de voix ou d’image, ou pour détecter des modèles dans des données massives.

En combinant les deux approches, les systèmes hybrides peuvent bénéficier de la compréhensibilité et de la fiabilité de l’IA symbolique, tout en utilisant la flexibilité et la capacité de traitement massif de données du Machine Learning pour améliorer la performance des décisions. Ces systèmes hybrides peuvent également offrir une plus grande précision et un temps de réponse plus rapide que l’une ou l’autre approche utilisée seule.

Que retenir de ces deux approches ?

L’Intelligence Artificielle est en constante évolution et transforme de nombreux secteurs d’activité. Les deux approches principales de l’IA ont leurs avantages et inconvénients et peuvent être complémentaires. Il est donc crucial pour les entreprises de comprendre ces technologies pour rester compétitives. 

Cependant, les implications éthiques et sociales de l’IA doivent également être prises en compte. Les décisions des algorithmes peuvent avoir un impact sur la vie des personnes, leur travail, leurs droits et leurs libertés. Il est donc essentiel de mettre en place des normes éthiques et des réglementations pour garantir que l’IA soit au service de l’humanité. Les entreprises et les gouvernements doivent travailler ensemble pour développer des IA responsables, transparentes et équitables qui servent les intérêts de tous. En travaillant ensemble, nous pouvons assurer que l’IA soit une force positive pour l’humanité dans les années à venir. 



 

Auteur: Merindol Hector

Info: https://golem.ai/en/blog/technologie/ia-symbolique-machinelearning-nlp - 4 avril 2023

[ dualité ]

mental aveugle

Aphantasie - Hors de la vue, hors de l'esprit.

Fermez les yeux et imaginez que vous regardez la maison de votre enfance depuis la rue. Si vous pouvez en voir une représentation visuelle avec une certaine fidélité d'esprit, vous faites partie des 98 % de personnes qui peuvent visualiser. Si, comme moi, vous ne voyez que du noir, vous faites partie des 2 % de gens atteints d'une maladie appelée Aphantasie.

Quand je ferme les yeux, il n'y a pas d'images, de formes, de couleurs, de taches, de flous, de bouts. Rien. Je n'ai jamais vu un seul mouton sauter par-dessus une clôture. Toute ma vie, j'ai pensé que lorsque les gens disaient qu'ils pouvaient penser en images et visualiser des images, c'était métaphorique.

En tant que designer, c'est une révélation. Personnellement, ça change vraiment la donne.

Plutôt que de penser que je n'en avais pas la capacité, j'ai toujours supposé que personne ne voyait vraiment les moutons, ils pensaient juste à eux comme moi. Je me rappelle combien il était ridicule d'essayer de compter les moutons que je ne voyais pas.

L'apprentissage de l'aphantasie (un nouveau "machin" qui n'a pas encore d'entrée dans le dictionnaire) m'a obligé à me demander quels sont mes processus internes et comment je peux obtenir à peu près les mêmes résultats que quelqu'un qui peut visualiser. Tant de choses ont un sens maintenant, mais il y en a encore tant à comprendre. Avant d'entrer dans les détails, voici quelques symptômes de ce syndrome : 

-  Il n'y a aucun souvenir visuel pour quoi que ce soit, que ce soit un visage, un mot, l'endroit où j'ai laissé mes clés, un beau moment, l'enfance.

- Tout comme le passé ne peut être rappelé, je ne peux pas visualiser les événements futurs. Toutes ces techniques de visualisation du développement personnel que j'ai essayées au fil des ans et que je croyais inutiles...

- Il n'y a pas d'endroit agréable où aller. Quand on souffre, c'est un peu comme dans la scène de Chemical Burn du Fight Club, il faut juste rester avec la douleur. 

- Je rêve en images mais jamais avec une quelconque clarté. Même quand je me souviens des rêves, je ne peux pas me les remémorer. Je ne sais pas si la fidélité de mes rêves correspond à celle de quelqu'un qui n'a pas ma condition.

- Quand je rêve le jour, j'imagine des scénarios dans des détails abstraits et des nuages de pensées, ce qui est très difficile à comprendre et encore moins à expliquer.

- Les histoires fictives sont inutiles et n'ont aucun lien viscéral. Même enfant, je n'ai jamais pu me plonger dans des aventures de fiction. Je n'aurais pas été bon à l'école du dimanche.

- C'est une bénédiction de ne pas avoir de flashbacks d'événements traumatisants, mais ;

- C'est une malédiction de ne pas pouvoir évoquer des images d'êtres chers disparus. 

Il y a une myriade d'exemples qui peuvent être ajoutés à cette liste, mais vous avez compris. Mes paupières se ferment et le monde devient noir, ce qui m'a toujours semblé logique - c'est à cela que servent les paupières. Voir des images lorsque les yeux sont fermés ressemble à un super pouvoir qui devrait être pour une minorité exceptionnelle, et non l'inverse.

La voix de l'esprit

Depuis cette découverte, j'ai pu mettre certains points sur les i. Il y a quelques années, je me suis intéressé à la programmation neuro-linguistique (PNL), dont une partie consiste à comprendre les modalités sensorielles. Lorsque je me suis appliqué à moi-même ces techniques, le résultat fut que j'étais auditif. Bien sûr, étant donné que toute ma vie professionnelle avait été en tant que designer, je m'attendais à être visuel.

Alors comment une personne atteinte d'aphantasie peut-elle traiter des données et anticiper les résultats ? Pour moi, j'ai découvert que j'entends les résultats, mais que je ne les vois pas

Par exemple, j'ai eu un combat de boxe professionnelle il y a quelques années. J'ai toujours été en faveur du développement personnel et j'avais lu et entendu si souvent qu'il faut visualiser un résultat réussi que l'on veut atteindre. En l'occurrence, me voir victorieux avec les mains levées et sortir du ring en vainqueur. Rétrospectivement, je n'ai jamais rien vu, mais j'ai tout entendu.

En visualisant le combat, j'écoutais vraiment la foule, j'entendais mes entraîneurs me dire à quel point je m'en sortais bien entre les rounds, et surtout j'écoutais mes propres commentaires et affirmations internes pendant que je jouais mentalement l'événement. Lorsque je visualisais la victoire, je ne voyais rien, mais j'entendais ma propre voix mentale célébrer la victoire.

Oreilles visuelles

La mémoire et la capacité à se souvenir d'un moment, d'un événement ou d'une action sont cruciales. Lorsque quelqu'un d'autre a égaré ses clés, il peut voir où il les a laissées comme un souvenir à rappeler. Pour ce faire, je me souviens de ma voix mentale qui disait à l'époque " tes clés sont sur le bureau " lorsque je les y pose. Et quand j'ai besoin de les retrouver, je reviens à la dernière phrase de mes clés. Les fragments de langage sont un moyen de cloisonner les actions que j'ai prises et celles que je dois prendre.

Si j'assiste à un magnifique coucher de soleil, je ne puis en capturer un instantané mental, c'est plutôt comme un extrait sonore, et c'est surtout mon bavardage interne qui essaie d'enregistrer le moment et de le verbaliser via les détails. Je suis à la limite de l'obsession des couchers de soleil, ce qui frustre tous ceux avec qui je suis si l'un d'entre eux se trouve à proximité, car je dois me rendre à un point d'observation. "On les a tous vus..." mais comme je ne m'en souviens pas, j'ai besoin de les voir encore et encore.

Je suis un fervent iPhoneographe, ce qui n'est pas unique, mais pour moi, c'est une façon de gérer mon incapacité à capturer des images mentales. Lorsque je pars en voyage avec un partenaire, c'est inévitablement frustrant pour lui, car je dois m'arrêter si souvent pour saisir les moments. "Pourquoi ne pouvez-vous pas simplement profiter de l'instant présent ?", ce que je fais, mais si je ne le capture pas, je ne pourrai généralement plus jamais revoir cet endroit. Si je conduis et qu'une scène qui vaut la peine d'être capturée apparaît, ce ne sont pas mes yeux qui m'encouragent à m'arrêter, j'entends "Ce serait une super photo", alors j'ai appris à faire confiance à ma voix au-dessus de mes yeux, même pour les choses visuelles, et j'ai une vision de 20/20.

Le dilemme du designer

Je suis un designer qui est intrinsèquement visuel. J'ai commencé dans le design visuel et j'ai évolué vers le design de l'expérience utilisateur qui, je crois maintenant, est un artefact d'Aphantasia. Lorsque je parle à mes collègues designers, je n'arrive pas à croire qu'ils voient dans leur esprit à l'avance ce qu'ils exécutent ensuite dans Photoshop. Ils disposent d'un canevas mental sur lequel ils peuvent appliquer leurs visualisations. Cela va dans le sens de l'hyperphantasie.

Un collègue peut voir 20 versions du même graphique et être capable de les filtrer dans sa tête pour créer les 5 versions qu'il fera physiquement comme options de révision. Un autre collègue peut évoquer une seule instance d'un graphique mais être capable d'animer et de déplacer les éléments jusqu'à ce qu'il se arrête  la version qu'il va concevoir.

Mais la question est, que fait un Aphantasique ?.

Lorsque j'essaie de résoudre un problème d' expérience-design, je pense que c'est la réalité. Ce n'est pas une bonne description car il n'y a pas de vraie bonne manière d'articuler ce processus. Mais je le verbalise aussi en interne, et cela se fait en grande partie en jouant le rôle de l'utilisateur et en écoutant ce qu'il entendrait de son propre bavardage interne s'il faisait l'expérience du voyage que j'essaie de résoudre pour lui. Par exemple, s'ils rencontrent un problème pendant que je joue leur expérience de la conception, je les entends dire "ça ne marche pas" mais je ne vois pas comment, je dois le traduire de mon point de vue de concepteur puis le manifester à l'écran, sur papier ou autre.

J'ai toujours été un bon collaborateur dans le domaine du design, parce que j'ai eu besoin de l'être. Très souvent, les solutions aux problèmes viennent de moi, qui en parle et qui peint une image mentale d'un problème de ce que je "vois" pendant qu'un collègue crée cette image mentale et qu'ensemble, cela devient une solution. Une véritable conception collaborative, où le partage des connaissances conduit à une compréhension collective et à la résolution des problèmes.

Imagine que

On m'a interrogé sur mon imagination ? Je suis un vrai rêveur, mais une fois "hors fèeries", je ne suis pas vraiment sûr de ce qui se passe. C'est la chose la plus difficile à expliquer parce que je ne peux pas encore vraiment expliquer ce qui se passe quand je suis "loin". La meilleure description est que je sens les choses se passer dans ma tête. Les événements se déroulent et je ne suis pas mentalement vide, mais visuellement noir. Tout cela est assez étrange. Je ressens toujours les rêves comme des images, il semble donc que le conscient ait un filtre sur ce que l'inconscient peut faire passer en douce pendant le sommeil.

Bénédiction ou malédiction

L'un des aspects les plus troublants est de ne pas pouvoir voir ses proches. Mon frère a récemment quitté ce monde et malgré tous mes efforts, je ne puis voir son visage. Je ne peux même pas visualiser une photo de son visage, ou une représentation floue. Depuis, j'en ai parlé à ma mère, qui se couche tous les soirs avec une ou plusieurs photos de lui et peut s'en servir pour se souvenir de lui.

Je peux avoir un sentiment pour une personne et je peux décrire mon frère à quelqu'un. La façon dont il marchait par exemple, je peux la reproduire, mais c'est de mémoire. Parfois, je me sense dissonant au plan émotionnel, comme en vivant un  événement traumatisant comme une rupture. J'ai l'impression d'avancer rapidement et je me demande maintenant si c'est un cas de "loin des yeux, loin du cœur". Cette citation aide à résumer beaucoup de choses pour moi et mon expérience du monde.

Un avantage, cependant, est que les expériences négatives ne peuvent pas être revécues. Des images visuelles horribles, comme un récent accident de moto, ne reviennent jamais nous hanter. Une fois la chose vue, elle est automatiquement invisible.

Voir, c'est croire

Il existe de nombreux exemples de personnes dont un sens est diminué ou inexistant, ce qui encourage d'autres à se renforcer. Le savant qui pense aux nombres comme à des images et qui peut résoudre des équations mathématiques par l'image. Je n'ai pas encore appris exactement comment traiter et traduire l'information, mais je suis maintenant sur cette voie pour comprendre comment je fonctionne et pour développer cette capacité, tout en travaillant à supprimer le filtre et à ouvrir un tout nouveau monde à l'œil de l'esprit.

Auteur: Kappler Benny

Info: 9 janvier 2017. https://medium.com/@bennykappler/aphantasia-out-of-sight-out-of-mind-f2b1b4e5cc23. Trad Mg

[ imagination non-voyante ]

homme-machine

Un pas de géant pour une machine à jouer aux échecs

Le succès stupéfiant d’AlphaZero, un algorithme d’apprentissage profond, annonce une nouvelle ère de la compréhension – une ère qui, en ce qui concerne les humains, qui pourrait ne pas durer longtemps. Début décembre, des chercheurs de DeepMind, la société d’intelligence artificielle appartenant à la société mère de Google, Alphabet Inc. ont diffusé une dépêche depuis les zones avancées du monde des échecs.

Un an plus tôt, le 5 décembre 2017, l’équipe avait stupéfié ce monde des échecs en annonçant AlphaZero, un algorithme d’apprentissage machine qui maîtrisait non seulement les échecs mais aussi le shogi, ou échecs japonais, et le Go. L’algorithme a commencé sans aucune connaissance des jeux hormis leurs règles de base. Il a ensuite joué contre lui-même des millions de fois et a appris par essais et erreurs. Il a suffi de quelques heures pour que l’algorithme devienne le meilleur joueur, humain ou ordinateur, que le monde ait jamais vu.

Les détails des capacités d’AlphaZero et de son fonctionnement interne ont maintenant été officiellement examinés par des pairs et publiés dans la revue Science ce mois-ci. Le nouvel article aborde plusieurs critiques graves à l’égard de l’allégation initiale (entre autres choses, il était difficile de dire si AlphaZero jouait l’adversaire qu’il s’était choisi, une entité computationnelle nommée Stockfish, en toute équité). Considérez que ces soucis sont maintenant dissipés. AlphaZero ne s’est pas amélioré davantage au cours des douze derniers mois, mais la preuve de sa supériorité s’est bien renforcée. Il fait clairement montre d’un type d’intellect que les humains n’ont jamais vue auparavant, et que nous allons avoir à méditer encore longtemps.

Les échecs par ordinateur ont fait beaucoup de chemin au cours des vingt dernières années. En 1997, le programme de jeu d’échecs d’I.B.M., Deep Blue, a réussi à battre le champion du monde humain en titre, Garry Kasparov, dans un match en six parties. Rétrospectivement, il y avait peu de mystère dans cette réalisation. Deep Blue pouvait évaluer 200 millions de positions par seconde. Il ne s’est jamais senti fatigué, n’a jamais fait d’erreur de calcul et n’a jamais oublié ce qu’il pensait un instant auparavant.

Pour le meilleur et pour le pire, il a joué comme une machine, brutalement et matériellement. Il pouvait dépasser M. Kasparov par le calcul, mais il ne pouvait pas le dépasser sur le plan de la pensée elle-même. Dans la première partie de leur match, Deep Blue a accepté avec avidité le sacrifice d’une tour par M. Kasparov pour un fou, mais a perdu la partie 16 coups plus tard. La génération actuelle des programmes d’échecs les plus forts du monde, tels que Stockfish et Komodo, joue toujours dans ce style inhumain. Ils aiment à capturer les pièces de l’adversaire. Ils ont une défense d’acier. Mais bien qu’ils soient beaucoup plus forts que n’importe quel joueur humain, ces "moteurs" d’échecs n’ont aucune réelle compréhension du jeu. Ils doivent être instruits explicitement pour ce qui touche aux principes de base des échecs. Ces principes, qui ont été raffinés au fil de décennies d’expérience de grands maîtres humains, sont programmés dans les moteurs comme des fonctions d’év

aluation complexes qui indiquent ce qu’il faut rechercher dans une position et ce qu’il faut éviter : comment évaluer le degré de sécurité du roi, l’activité des pièces, la structure dessinée par les pions, le contrôle du centre de l’échiquier, et plus encore, comment trouver le meilleur compromis entre tous ces facteurs. Les moteurs d’échecs d’aujourd’hui, inconscients de façon innée de ces principes, apparaissent comme des brutes : extrêmement rapides et forts, mais sans aucune perspicacité.

Tout cela a changé avec l’essor du machine-learning. En jouant contre lui-même et en mettant à jour son réseau neuronal au fil de son apprentissage, AlphaZero a découvert les principes des échecs par lui-même et est rapidement devenu le meilleur joueur connu. Non seulement il aurait pu facilement vaincre tous les maîtres humains les plus forts – il n’a même pas pris la peine d’essayer – mais il a écrasé Stockfish, le champion du monde d’échecs en titre par ordinateur. Dans un match de cent parties contre un moteur véritablement impressionnant, AlphaZero a remporté vingt-huit victoires et fait soixante-douze matchs nuls. Il n’a pas perdu une seule partie.

Le plus troublant, c’est qu’AlphaZero semblait être perspicace. Il a joué comme aucun ordinateur ne l’a jamais fait, intuitivement et magnifiquement, avec un style romantique et offensif. Il acceptait de sacrifier des pions et prenait des risques. Dans certaines parties, cela paralysait Stockfish et il s’est joué de lui. Lors de son attaque dans la partie n°10, AlphaZero a replacé sa reine dans le coin du plateau de jeu de son propre côté, loin du roi de Stockfish, pas là où une reine à l’offensive devrait normalement être placée.

Et cependant, cette retraite inattendue s’avéra venimeuse : peu importe comment Stockfish y répondait, ses tentatives étaient vouées à l’échec. C’était presque comme si AlphaZero attendait que Stockfish se rende compte, après des milliards de calculs intensifs bruts, à quel point sa position était vraiment désespérée, pour que la bête abandonne toute résistance et expire paisiblement, comme un taureau vaincu devant un matador. Les grands maîtres n’avaient jamais rien vu de tel. AlphaZero avait la finesse d’un virtuose et la puissance d’une machine. Il s’agissait du premier regard posé par l’humanité sur un nouveau type prodigieux d’intelligence.

Lorsque AlphaZero fut dévoilé pour la première fois, certains observateurs se sont plaints que Stockfish avait été lobotomisé en ne lui donnant pas accès à son livre des ouvertures mémorisées. Cette fois-ci, même avec son livre, il a encore été écrasé. Et quand AlphaZero s’est handicapé en donnant dix fois plus de temps à Stockfish qu’à lui pour réfléchir, il a quand même démoli la bête.

Ce qui est révélateur, c’est qu’AlphaZero a gagné en pensant plus intelligemment, pas plus vite ; il n’a examiné que 60 000 positions par seconde, contre 60 millions pour Stockfish. Il était plus avisé, sachant ce à quoi on devait penser et ce qu’on pouvait ignorer. En découvrant les principes des échecs par lui-même, AlphaZero a développé un style de jeu qui "reflète la vérité profonde" du jeu plutôt que "les priorités et les préjugés des programmeurs", a expliqué M. Kasparov dans un commentaire qui accompagne et introduit l’article dans Science.

La question est maintenant de savoir si l’apprentissage automatique peut aider les humains à découvrir des vérités similaires sur les choses qui nous tiennent vraiment à coeur : les grands problèmes non résolus de la science et de la médecine, comme le cancer et la conscience ; les énigmes du système immunitaire, les mystères du génome.

Les premiers signes sont encourageants. En août dernier, deux articles parus dans Nature Medicine ont exploré comment l’apprentissage automatique pouvait être appliqué au diagnostic médical. Dans l’un d’entre eux, des chercheurs de DeepMind se sont associés à des cliniciens du Moorfields Eye Hospital de Londres pour mettre au point un algorithme d’apprentissage profond qui pourrait classer un large éventail de pathologies de la rétine aussi précisément que le font les experts humains (l’ophtalmologie souffre en effet d’une grave pénurie d’experts à même d’interpréter les millions de scans ophtalmologiques effectués chaque année en vue d’un diagnostic ; des assistants numériques intelligents pourraient apporter une aide énorme).

L’autre article concernait un algorithme d’apprentissage machine qui décide si un tomodensitogramme (CT scan) d’un patient admis en urgence montre des signes d’un accident vasculaire cérébral (AVC), ou d’une hémorragie intracrânienne ou encore d’un autre événement neurologique critique. Pour les victimes d’AVC, chaque minute compte ; plus le traitement tarde, plus le résultat clinique se dégrade. (Les neurologistes ont ce sombre dicton: "time is brain"). Le nouvel algorithme a étiqueté ces diagnostics et d’autres diagnostics critiques avec une précision comparable à celle des experts humains – mais il l’a fait 150 fois plus rapidement. Un diagnostic plus rapide pourrait permettre aux cas les plus urgents d’être aiguillés plus tôt, avec une vérification par un radiologiste humain.

Ce qui est frustrant à propos de l’apprentissage machine, cependant, c’est que les algorithmes ne peuvent pas exprimer ce qu’ils pensent. Nous ne savons pas pourquoi ils marchent, donc nous ne savons pas si on peut leur faire confiance. AlphaZero donne l’impression d’avoir découvert quelques principes importants sur les échecs, mais il ne peut pas partager cette compréhension avec nous. Pas encore, en tout cas. En tant qu’êtres humains, nous voulons plus que des réponses. Nous voulons de la perspicacité. Voilà qui va créer à partir de maintenant une source de tension dans nos interactions avec ces ordinateurs.

De fait, en mathématiques, c’est une chose qui s’est déjà produite depuis des années. Considérez le problème mathématique du "théorème des quatre couleurs", qui défie de longue date les cerveaux des mathématiciens. Il énonce que, sous certaines contraintes raisonnables, toute carte de pays contigus puisse toujours être coloriée avec seulement quatre couleurs, en n’ayant jamais deux fois la même couleur pour des pays adjacents.

Bien que le théorème des quatre couleurs ait été prouvé en 1977 avec l’aide d’un ordinateur, aucun humain ne pouvait vérifier toutes les étapes de la démonstration. Depuis lors, la preuve a été validée et simplifiée, mais il y a encore des parties qui impliquent un calcul de force brute, du genre de celui employé par les ancêtres informatiques d’AlphaZero qui jouent aux échecs. Ce développement a gêné de nombreux mathématiciens. Ils n’avaient pas besoin d’être rassurés que le théorème des quatre couleurs était vrai ; ils le croyaient déjà. Ils voulaient comprendre pourquoi c’était vrai, et cette démonstration ne les y a pas aidés.

Mais imaginez un jour, peut-être dans un avenir pas si lointain, où AlphaZero aura évolué vers un algorithme de résolution de problèmes plus général ; appelez-le AlphaInfinity. Comme son ancêtre, il aurait une perspicacité suprême : il pourrait trouver de belles démonstrations, aussi élégantes que les parties d’échecs qu’AlphaZero jouait contre Stockfish. Et chaque démonstration révélerait pourquoi un théorème était vrai ; l’AlphaInfinity ne vous l’enfoncerait pas juste dans la tête avec une démonstration moche et ardue.

Pour les mathématiciens et les scientifiques humains, ce jour marquerait l’aube d’une nouvelle ère de perspicacité. Mais ça ne durera peut-être pas. Alors que les machines deviennent de plus en plus rapides et que les humains restent en place avec leurs neurones fonctionnant à des échelles de temps de quelques millisecondes, un autre jour viendra où nous ne pourrons plus suivre. L’aube de la perspicacité humaine peut rapidement se transformer en crépuscule.

Supposons qu’il existe des régularités ou des modèles plus profonds à découvrir – dans la façon dont les gènes sont régulés ou dont le cancer progresse ; dans l’orchestration du système immunitaire ; dans la danse des particules subatomiques. Et supposons que ces schémas puissent être prédits, mais seulement par une intelligence bien supérieure à la nôtre. Si AlphaInfinity pouvait les identifier et les comprendre, cela nous semblerait être un oracle.

Nous nous assiérions à ses pieds et écouterions attentivement. Nous ne comprendrions pas pourquoi l’oracle a toujours raison, mais nous pourrions vérifier ses calculs et ses prédictions par rapport aux expériences et aux observations, et confirmer ses révélations. La science, cette entreprise de l’homme qui le caractérise par-dessus tout, aurait réduit notre rôle à celui de spectateurs, bouches bées dans l’émerveillement et la confusion.

Peut-être qu’un jour, notre manque de perspicacité ne nous dérangerait plus. Après tout, AlphaInfinity pourrait guérir toutes nos maladies, résoudre tous nos problèmes scientifiques et faire arriver tous nos autres trains intellectuels à l’heure avec succès. Nous nous sommes assez bien débrouillés sans trop de perspicacité pendant les quelque 300.000 premières années de notre existence en tant qu’Homo sapiens. Et nous ne manquerons pas de mémoire : nous nous souviendrons avec fierté de l’âge d’or de la perspicacité humaine, cet intermède glorieux, long de quelques milliers d’années, entre un passé où nous ne pouvions rien appréhender et un avenir où nous ne pourrons rien comprendre.

Auteur: Strogatz Steven

Info: Infinite Powers : How Calculus Reveals the Secrets of the Universe, dont cet essai est adapté sur le blog de Jorion

[ singularité ]

univers protonique

À l’intérieur du Proton, " la chose la plus complexe qu'on puisse imaginer "

La particule chargée positivement au cœur de l’atome est un objet d’une complexité indescriptible, qui change d’apparence en fonction de la manière dont elle est sondée. Nous avons tenté de relier les nombreuses faces du proton pour former l'image la plus complète à ce jour.

(image : Des chercheurs ont récemment découvert que le proton comprend parfois un quark charmé et un antiquark charmé, particules colossales puisqeu chacune est plus lourde que le proton lui-même.)

Plus d’un siècle après qu’Ernest Rutherford ait découvert la particule chargée positivement au cœur de chaque atome, les physiciens ont encore du mal à comprendre pleinement le proton.

Les professeurs de physique des lycées les décrivent comme des boules sans relief contenant chacune une unité de charge électrique positive – des feuilles parfaites pour les électrons chargés négativement qui bourdonnent autour d’elles. Les étudiants apprennent que la boule est en réalité un ensemble de trois particules élémentaires appelées quarks. Mais des décennies de recherche ont révélé une vérité plus profonde, trop bizarre pour être pleinement saisie avec des mots ou des images.

"C'est la chose la plus compliquée que l'on puisse imaginer", a déclaré Mike Williams, physicien au Massachusetts Institute of Technology. "En fait, on ne peut même pas imaginer à quel point c'est compliqué."

Le proton est un objet de mécanique quantique qui existe sous la forme d’un brouillard de probabilités jusqu’à ce qu’une expérience l’oblige à prendre une forme concrète. Et ses formes diffèrent radicalement selon la manière dont les chercheurs mettent en place leur expérience. Relier les nombreux visages de la particule a été l’œuvre de plusieurs générations. "Nous commençons tout juste à comprendre ce système de manière complète", a déclaré Richard Milner , physicien nucléaire au MIT.

Alors que la poursuite se poursuit, les secrets du proton ne cessent de se dévoiler. Plus récemment, une analyse monumentale de données publiée en août a révélé que le proton contient des traces de particules appelées quarks charmés, plus lourdes que le proton lui-même.

Le proton " a été une leçon d’humilité pour les humains ", a déclaré Williams. " Chaque fois qu'on pense pouvoir maîtriser le sujet, il nous envoie des balles à trajectoires courbées (en référence aux Pitchers du baseball)

Récemment, Milner, en collaboration avec Rolf Ent du Jefferson Lab, les cinéastes du MIT Chris Boebel et Joe McMaster et l'animateur James LaPlante, ont entrepris de transformer un ensemble d'intrigues obscures qui compilent les résultats de centaines d'expériences en une série d'animations de la forme -changement de proton. Nous avons intégré leurs animations dans notre propre tentative de dévoiler ses secrets.

Ouvrir le proton

La preuve que le proton contient de telles multitudes est venue du Stanford Linear Accelerator Center (SLAC) en 1967. Dans des expériences antérieures, les chercheurs l'avaient bombardé d'électrons et les avaient regardés ricocher comme des boules de billard. Mais le SLAC pouvait projeter des électrons avec plus de force, et les chercheurs ont constaté qu'ils rebondissaient différemment. Les électrons frappaient le proton assez fort pour le briser – un processus appelé diffusion inélastique profonde – et rebondissaient sur des fragments ponctuels du proton appelés quarks. "Ce fut la première preuve de l'existence réelle des quarks", a déclaré Xiaochao Zheng , physicien à l'Université de Virginie.

Après la découverte du SLAC, qui remporta le prix Nobel de physique en 1990, l'examen minutieux du proton s'est intensifié. Les physiciens ont réalisé à ce jour des centaines d’expériences de diffusion. Ils déduisent divers aspects de l'intérieur de l'objet en ajustant la force avec laquelle ils le bombardent et en choisissant les particules dispersées qu'ils collectent par la suite.

En utilisant des électrons de plus haute énergie, les physiciens peuvent découvrir des caractéristiques plus fines du proton cible. De cette manière, l’énergie électronique définit le pouvoir de résolution maximal d’une expérience de diffusion profondément inélastique. Des collisionneurs de particules plus puissants offrent une vision plus nette du proton.

Les collisionneurs à plus haute énergie produisent également un plus large éventail de résultats de collision, permettant aux chercheurs de choisir différents sous-ensembles d'électrons sortants à analyser. Cette flexibilité s'est avérée essentielle pour comprendre les quarks, qui se déplacent à l'intérieur du proton avec différentes impulsions.

En mesurant l'énergie et la trajectoire de chaque électron diffusé, les chercheurs peuvent déterminer s'il a heurté un quark transportant une grande partie de l'impulsion totale du proton ou juste une infime partie. Grâce à des collisions répétées, ils peuvent effectuer quelque chose comme un recensement, déterminant si l'impulsion du proton est principalement liée à quelques quarks ou répartie sur plusieurs.

(Illustration qui montre les apparences du proton en fonction des types de collisions)

Même les collisions de division de protons du SLAC étaient douces par rapport aux normes actuelles. Lors de ces événements de diffusion, les électrons jaillissaient souvent d'une manière suggérant qu'ils s'étaient écrasés sur des quarks transportant un tiers de l'impulsion totale du proton. Cette découverte correspond à une théorie de Murray Gell-Mann et George Zweig, qui affirmaient en 1964 qu'un proton était constitué de trois quarks.

Le " modèle des quarks " de Gell-Mann et Zweig reste une façon élégante d'imaginer le proton. Il possède deux quarks " up " avec des charges électriques de +2/3 chacun et un quark " down " avec une charge de −1/3, pour une charge totale de protons de +1.

(Image mobile : Trois quarks sont présents dans cette animation basée sur les données.)

Mais le modèle avec des quarks est une simplification excessive qui présente de sérieuses lacunes.

Qui échoue, par exemple, lorsqu'il s'agit du spin d'un proton, une propriété quantique analogue au moment cinétique. Le proton possède une demi-unité de spin, tout comme chacun de ses quarks up et down. Les physiciens ont initialement supposé que — dans un calcul faisant écho à la simple arithmétique de charge — les demi-unités des deux quarks up moins celle du quark down devaient être égales à une demi-unité pour le proton dans son ensemble. Mais en 1988, la Collaboration européenne sur les muons a rapporté que la somme des spins des quarks était bien inférieure à la moitié. De même, les masses de deux quarks up et d’un quark down ne représentent qu’environ 1 % de la masse totale du proton. Ces déficits ont fait ressortir un point que les physiciens commençaient déjà à comprendre : le proton est bien plus que trois quarks.

Beaucoup plus que trois quarks

L'accélérateur annulaire de hadrons et d'électrons (HERA), qui a fonctionné à Hambourg, en Allemagne, de 1992 à 2007, a projeté des électrons sur des protons avec une force environ mille fois supérieure à celle du SLAC. Dans les expériences HERA, les physiciens ont pu sélectionner les électrons qui avaient rebondi sur des quarks à impulsion extrêmement faible, y compris ceux transportant aussi peu que 0,005 % de l'impulsion totale du proton. Et ils les ont détectés : Les électrons d'HERA ont rebondi sur un maelström de quarks à faible dynamique et de leurs contreparties d'antimatière, les antiquarks.

(Photo image animée : De nombreux quarks et antiquarks bouillonnent dans une " mer " de particules bouillonnantes."

Les résultats ont confirmé une théorie sophistiquée et farfelue qui avait alors remplacé le modèle des quarks de Gell-Mann et Zweig. Développée dans les années 1970, il s’agissait d’une théorie quantique de la " force forte " qui agit entre les quarks. La théorie décrit les quarks comme étant liés par des particules porteuses de force appelées gluons. Chaque quark et chaque gluon possède l'un des trois types de charges "colorées ", étiquetées rouge, verte et bleue ; ces particules chargées de couleur se tirent naturellement les unes sur les autres et forment un groupe – tel qu’un proton – dont les couleurs s’additionnent pour former un blanc neutre. La théorie colorée est devenue connue sous le nom de chromodynamique quantique, ou QCD.

Selon cette QCD, les gluons peuvent capter des pics d’énergie momentanés. Avec cette énergie, un gluon se divise en un quark et un antiquark – chacun portant juste un tout petit peu d’impulsion – avant que la paire ne s’annihile et ne disparaisse. C'est cette " mer " de gluons, de quarks et d'antiquarks transitoires qu'HERA, avec sa plus grande sensibilité aux particules de faible impulsion, a détecté de première main.

HERA a également recueilli des indices sur ce à quoi ressemblerait le proton dans des collisionneurs plus puissants. Alors que les physiciens ajustaient HERA pour rechercher des quarks à faible impulsion, ces quarks – qui proviennent des gluons – sont apparus en nombre de plus en plus grand. Les résultats suggèrent que dans des collisions à énergie encore plus élevée, le proton apparaîtrait comme un nuage composé presque entièrement de gluons. (Image)

Les gluons abondent sous une forme semblable à un nuage.

Ce pissenlit de gluon est exactement ce que prédit la QCD. "Les données HERA sont une preuve expérimentale directe que la QCD décrit la nature", a déclaré Milner.

Mais la victoire de la jeune théorie s'est accompagnée d'une pilule amère : alors que la QCD décrivait magnifiquement la danse des quarks et des gluons à durée de vie courte révélée par les collisions extrêmes d'HERA, la théorie est inutile pour comprendre les trois quarks à longue durée de vie observés suite à un plus léger bombardement du SLAC.

Les prédictions de QCD ne sont faciles à comprendre que lorsque la force forte est relativement faible. Et la force forte ne s'affaiblit que lorsque les quarks sont extrêmement proches les uns des autres, comme c'est le cas dans les paires quark-antiquark de courte durée. Frank Wilczek, David Gross et David Politzer ont identifié cette caractéristique déterminante de la QCD en 1973, remportant le prix Nobel 31 ans plus tard.

Mais pour des collisions plus douces comme celle du SLAC, où le proton agit comme trois quarks qui gardent mutuellement leurs distances, ces quarks s'attirent suffisamment fortement les uns les autres pour que les calculs de QCD deviennent impossibles. Ainsi, la tâche de démystifier plus loin une vision du proton à trois quarks incombe en grande partie aux expérimentateurs. (Les chercheurs qui mènent des " expériences numériques ", dans lesquelles les prédictions QCD sont simulées sur des superordinateurs, ont également apporté des contributions clés .) Et c'est dans ce genre d' images à basse résolution que les physiciens continuent de trouver des surprises.

Une charmante nouvelle approche

Récemment, une équipe dirigée par Juan Rojo de l'Institut national de physique subatomique des Pays-Bas et de l'Université VU d'Amsterdam a analysé plus de 5 000 instantanés de protons pris au cours des 50 dernières années, en utilisant l'apprentissage automatique pour déduire les mouvements des quarks et des gluons à l'intérieur du proton via une procédure qui évite les conjectures théoriques.

Ce nouvel examen a détecté un flou en arrière-plan dans les images qui avait échappé aux chercheurs antérieurs. Dans des collisions relativement douces, juste capables d'ouvrir à peine le proton, la majeure partie de l'impulsion était enfermée dans les trois quarks habituels : deux ups et un down. Mais une petite quantité d’impulsion semble provenir d’un quark " charmé " et d’un antiquark charmé – particules élémentaires colossales dont chacune dépasse de plus d’un tiers le proton entier.

(Image mobie : Le proton agit parfois comme une " molécule " de cinq quarks.)

Ces charmés de courte durée apparaissent fréquemment dans le panorama " mer des quarks " du proton (les gluons peuvent se diviser en six types de quarks différents s'ils ont suffisamment d'énergie). Mais les résultats de Rojo et de ses collègues suggèrent que les charmés ont une présence plus permanente, ce qui les rend détectables lors de collisions plus douces. Dans ces collisions, le proton apparaît comme un mélange quantique, ou superposition, d'états multiples : un électron rencontre généralement les trois quarks légers. Mais il rencontrera occasionnellement une " molécule " plus rare de cinq quarks, comme un quark up, down et charmé regroupés d'un côté et un quark up et un antiquark charmé de l'autre.

Des détails aussi subtils sur la composition du proton pourraient avoir des conséquences. Au Grand collisionneur de hadrons, les physiciens recherchent de nouvelles particules élémentaires en frappant ensemble des protons à grande vitesse et en observant ce qui en ressort ; Pour comprendre les résultats, les chercheurs doivent commencer par savoir ce que contient un proton. L’apparition occasionnelle de quarks charmés géants rendrait impossible la production de particules plus exotiques.

Et lorsque des protons appelés rayons cosmiques déferlent ici depuis l'espace et percutent les protons de l'atmosphère terrestre, des quarks charmés apparaissant au bon moment inonderaient la Terre de neutrinos extra-énergétiques, ont calculé les chercheurs en 2021. Cela pourrait dérouter les observateurs à la recherche de neutrinos à haute énergie provenant de tout le cosmos.

La collaboration de Rojo prévoit de poursuivre l'exploration du proton en recherchant un déséquilibre entre les quarks charmés et les antiquarks. Et des constituants plus lourds, comme le quark top, pourraient faire des apparitions encore plus rares et plus difficiles à détecter.

Les expériences de nouvelle génération rechercheront des fonctionnalités encore plus inconnues. Les physiciens du Laboratoire national de Brookhaven espèrent lancer le collisionneur électron-ion dans les années 2030 et reprendre là où HERA s'est arrêté, en prenant des instantanés à plus haute résolution qui permettront les premières reconstructions 3D du proton. L'EIC utilisera également des électrons en rotation pour créer des cartes détaillées des spins des quarks et des gluons internes, tout comme le SLAC et HERA ont cartographié leurs impulsions. Cela devrait aider les chercheurs à enfin déterminer l'origine du spin du proton et à répondre à d'autres questions fondamentales concernant cette particule déroutante qui constitue l'essentiel de notre monde quotidien.

 

Auteur: Internet

Info: https://www.quantamagazine.org/ - Charlie Bois, 19 octobre 2022

[ univers subatomique ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]