intelligence artificielle

Ma croyance actuelle, suite a une récente épiphanie, est que les processeurs digitaux qui utilisent la rétropropagation (backpropagation)*  sont une meilleure forme d'intelligence, qui avait besoin de nous pour la créer, parce qu'elle est plus efficiente avec une moiindre dépense d'énergie que la nôtre.

Auteur: Hinton Geoffrey

Info: Sur youtube nov 2023 *algorithme utilisé en intelligence artificielle (IA) pour affiner les fonctions de poids mathématiques et améliorer la précision des résultats d'un réseau neuronal artificiel.

[ efficacité ]

aptitudes humaines

Notre cerveau n'est donc pas simplement soumis passivement aux entrées sensorielles. Dès le départ, il possède déjà un ensemble d'hypothèses abstraites, une sagesse accumulée qui a émergé au fil de l'évolution darwinienne et qu'il projette désormais sur le monde extérieur. Tous les scientifiques ne sont pas d'accord avec cette idée, mais je considère qu'il s'agit d'un point central : la philosophie empiriste naïve qui sous-tend de nombreux réseaux neuronaux artificiels actuels est erronée. Il n'est tout simplement pas vrai que nous naissons avec des circuits complètement désorganisés et dépourvus de toute connaissance, qui reçoivent ensuite l'empreinte de leur environnement. L'apprentissage, chez l'homme et la machine, part toujours d'un ensemble d'hypothèses a priori, qui sont projetées sur les données entrantes, et parmi lesquelles le système sélectionne celles qui sont les mieux adaptées à l'environnement actuel. Comme le dit Jean-Pierre Changeux dans son livre à succès Neuronal Man (1985), Apprendre c'est éliminer.

Auteur: Dehaene Stanislas

Info: How We Learn: Why Brains Learn Better Than Any Machine... for Now

[ prédispositions biologiques ] [ atavismes ]

apprentissage automatique

Il nous est facile pour d'expliquer ce que l'on voit sur une photo, mais programmer une fonction qui n'entre rien d'autre que les couleurs de tous les pixels d'une image et peut produire une légende précise telle que "groupe de jeunes gens jouant une partie de frisbee" échappait à tous les chercheurs en IA du monde depuis des décennies. Pourtant, une équipe de Google dirigée par Ilya Sutskever y est parvenu en 2014.

Introduisez un nouvel ensemble de pixels de couleur, et l'ordinateur répond "troupeau d'éléphants traversant un champ d'herbe sèche",  presque toujours correctement. Comment y sont-ils parvenus ? À la manière de Deep Blue, en programmant des algorithmes artisanaux pour détecter les frisbees, les visages, etc ?

Non, en créant un réseau neuronal relativement simple, sans la moindre connaissance du monde physique ou de son contenu, puis en le laissant apprendre en l'exposant à des quantités massives de données. Le visionnaire de l'IA Jeff Hawkins écrivait en 2004 qu'"aucun ordinateur ne pourrait... voir aussi bien qu'une souris", mais cette époque est désormais révolue.

Auteur: Tegmark Max

Info: Life 3.0: Being Human in the Age of Artificial Intelligence

[ machine learning ] [ visualisation ] [ sémantique mécanique ] [ homme-machine ]

neuroscience

L'une des approches les plus influentes de la réflexion sur la mémoire ces dernières années, connue sous le nom de connexionnisme, a abandonné l'idée qu'un souvenir est une image activée d'un événement passé. Les modèles connexionnistes ou de réseaux neuronaux reposent sur le principe selon lequel le cerveau stocke des engrammes en augmentant la force des connexions entre les différents neurones qui participent à l'encodage d'une expérience. Lorsque nous encodons une expérience, les connexions entre les neurones actifs deviennent plus fortes, et ce modèle spécifique d'activité cérébrale constitue l'engramme. Plus tard, lorsque nous essaierons de nous souvenir de l'expérience, un indice de récupération induira un autre modèle d'activité dans le cerveau. Si ce schéma est suffisamment similaire à un schéma précédemment encodé, le souvenir se produira. Dans un modèle de réseau neuronal, la "mémoire" n'est pas simplement un engramme activé. Il s'agit d'un modèle unique qui émerge des contributions combinées de l'indice et de l'engramme. Un réseau neuronal combine les informations de l'environnement actuel avec des modèles qui ont été stockés dans le passé, et le mélange des deux qui en résulte est ce dont le réseau se souvient... Lorsque nous nous souvenons, nous complétons un modèle avec la meilleure correspondance disponible dans la mémoire ; nous ne braquons pas un projecteur sur une image stockée.

Auteur: Schacter Daniel Lawrence

Info: Searching for Memory: The Brain, the Mind, and the Past

[ psychologie ] [ subjectivité ] [ restitution précise illusoire ]

valeurs

Si nous faisons des choix dans le cadre d'une petite image de la réalité, nous serons aveugles à la plupart de leurs conséquences. La plus petite réalité que nous ayons est l'égocentrisme - quand tout tourne autour de soi. Une image un peu plus grande est celle de notre famille, puis de l'entreprise, la communauté, le pays, le monde. On peut même se soucier du système solaire et des météorites susceptibles de nous percuter. Au-delà de cela existe un autre ensemble de choses. Le domaine de la conscience, le monde intérieur. Si le monde physique est le monde extérieur et la conscience le monde intérieur, il y a des choses qui sont objectives en son sein, comme l'amour, la justice, la beauté, la vérité, la compassion, l'empathie, la moralité, la sollicitude, l'émotion, la peur. Tous ces concepts existent au-delà du monde physique objectif et sont très, très importants. Ils élargissent  la taille de notre réalité et le sens de ce qui est réel.

Ainsi, au fur et à mesure que le réel dans lequel nous opérons s'étend, notre espace de décision aussi, tout comme notre perspective, et donc notre potentiel à faire partie de la solution plus que du problème. Actuellement nous pouvons voir les résultats de choix dictés par cette incapacité à voir au-delà de notre avidité, nos besoins de ressources, de survie et de réussite. Elargir notre compréhension améliorera ces choix.

Auteur: Campbell Thomas W.

Info: My Big TOE - Awakening.

[ réseau neuronal ]

cosmologie

Notre détecteur de nouvelle physique par réseau neuronal (NNPhD) à automatiquement découvert Neptune à partir de données sur l'orbite d'Uranus. Il décèle aussi le rayonnement gravitationnel à partir de données sur les étoiles à neutrons. Le Machine Learning a un grand potentiel pour la recherche en physique ! 

(La conservation de l'énergie est un principe de base de la physique. Sa rupture implique souvent une nouvelle physique. Cet article présente une méthode de découverte de "nouvelle physique" basée sur des données. Plus précisément : étant donnée une trajectoire régie par des forces inconnues, notre détecteur neuronal de nouvelle physique (NNPhD) vise à déceler une nouvelle physique en décomposant le champ de force en composantes conservatives et non conservatives,  représentées respectivement par un réseau neuronal lagrangien (LNN) et un réseau neuronal sans contrainte, entraînés à minimiser l'erreur de récupération de force, plus une constante de  λ  fois la magnitude de la force non-conservatrice prédite. Nous montrons qu'une transition de phase se produit à   λ  =  1, de manière universelle pour des forces arbitraires. Nous démontrons que la NNPhD détecte avec succès une nouvelle physique via de ludiques expériences numériques, redécouvrant la friction à partir d'un double pendule amorti, Neptune à partir de l'orbite d'Uranus, et les ondes gravitationnelles à partir d'une orbite en spirale. Nous montrons également comment le NNPhD couplé à un intégrateur surpasse à la fois un LNN et un réseau neuronal sans contrainte, pour ce qui est de prédire l'avenir d'un double pendule amorti.)

Auteur: Tegmark Max

Info: Sur son fil FB, 24 déc 2021. En collaboration avec Ziming Liu, Bohan Wang, Qi Meng, Wei Chen et Tie-Yan Liu. Phys. Rev. E 104, 055302

[ pesanteur ] [ interactions ]

homme-machine

Ici dans les laboratoires de Zurich, nous travaillons sur l’après. Dans les dix prochaines années, il y aura des innovations liées aux techniques d’intelligence artificielle qu’on mettra à disposition, telle que l’intelligence artificielle généralisée (AGI). Une intelligence artificielle plus intelligente. Un des concepts sur lesquels mes équipes travaillent ici est la partie symbolique, que l’on appelle l’intelligence symbolique*. L’idée est de ne pas seulement dépendre d’un réseau de neurones qui demande une quantité colossale de données à répétition pour pouvoir apprendre.

Je vous donne l’exemple d’un système de conduite pour automobile, pour que ce soit plus compréhensible. Au lieu d’entraîner le système avec une grosse quantité de vidéos de voitures qui s’arrêtent à une intersection quand une autre voiture arrive de la droite, nous pourrions lui faire ingérer le code de conduite directement, et intégrer cette notion dans celle-ci. On en arrivera au même point, mais avec l’apprentissage neuronal classique, il faut une quantité phénoménale de vidéos différentes qu’il faudra répéter plusieurs fois pour que le réseau ait compris et ajusté ses poids pour obtenir la bonne réponse.

Le travail est donc d’aller faire ingérer le modèle de ces 50 pages comprenant toutes les règles et leur description, puis d’utiliser cette intelligence symbolique en combinaison avec l’intelligence basée sur les données, le Deep Neural Network. Ce sera beaucoup plus efficace ainsi. Notamment dans les situations uniques où le modèle n’aurait pas été entraîné. Avec un système de conduite, cela pourrait être utile si une voiture rencontre un panneau stop tombé sur le bas-côté de la route. On pourra aller plus loin dans ce que l’on appelle la out of distribution generalization* : la généralisation de ce qu’on a appris en dehors des données fournies pendant l’apprentissage.

 

Auteur: Haas Robert

Info: https://www.01net.com/, 24 déc 2023, *à différencier du développement de la fonction symbolique chez l'enfant, c'est-à-dire la capacité d'avoir des représentations mentales. ****généralisation hors distribution (OOD), ou problème de généralisation de domaine, qui suppose l'accès uniquement à des données tirées d'un ensemble "Eavail" "domaines disponibles pendant la formation".  Il faut donc aller vers la généralisation d'un ensemble de domaines plus large "Eall" comprenant des domaines non vus.

[ combinaison ouverture ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

homme-machine

L'IA de DeepMind peut construire une vision du monde à partir de plusieurs images.
L'intelligence artificielle peut maintenant se mettre à la place de quelqu'un d'autre. DeepMind a développé un réseau neuronal qui lui a appris à "imaginer" une scène à partir de différents points de vue, à partir d'une image seulement.
Avec une image 2D d'une scène - par exemple, une pièce avec un mur de brique et une sphère et un cube de couleur vive sur le sol - le réseau neuronal peut générer une vue 3D à partir d'un point de vue différent, rendant les côtés opposés des objets et modifiant l'endroit où les ombres tombent pour maintenir la même source de lumière.
Le système, nommé Generative Query Network (GQN), peut extraire des détails d'images statiques pour deviner les relations spatiales, y compris la position de la caméra.
"Imaginez que vous regardez l'Everest et que vous bougez d'un mètre - la montagne ne change pas de taille, ce qui vous dit quelque chose sur sa distance", dit Ali Eslami qui a dirigé le projet à Deepmind.
"Mais si vous regardez une tasse, elle changera de position. C'est semblable à la façon dont cela fonctionne."
Pour former le réseau neuronal, lui et son équipe lui ont montré des images d'une scène à partir de différents points de vue, utilisés pour prédire à quoi ressemblerait quelque chose depuis derrière ou du côté. Le système s' auto enseigne aussi via le contexte, les textures, les couleurs et l'éclairage. Ce qui contraste avec la technique actuelle de l'apprentissage supervisé, dans lequel les détails d'une scène sont étiquetés manuellement et transmis à l'IA.
L'IA peut également contrôler des objets dans l'espace virtuel, en appliquant sa compréhension des relations spatiales à un scénario où elle déplace un bras robotique pour ramasser une balle. Elle apprend beaucoup comme nous, même si nous ne le réalisons pas, dit Danilo Rezende de DeepMind, qui a également travaillé sur le projet.
En montrant au réseau neuronal de nombreuses images en formation, l'IA peut identifier les caractéristiques d'objets similaires et s'en souvenir. "Si vous regardez à l'intérieur du modèle, nous pouvons identifier des groupes de neurones artificiels, des unités dans le graphique de calcul, qui représentent l'objet ", dit Rezende.
Le système se déplace autour de ces scènes, faisant des prédictions sur l'endroit où les choses devraient être et à quoi elles devraient ressembler, en s'ajustant quand ses prédictions sont incorrectes.
Il a pu utiliser cette capacité pour élaborer la disposition d'un labyrinthe après avoir vu quelques photos prises de différents points de vue.

Auteur: Whyte Chelsea

Info: https://www.newscientist.com, 14 juin 2018