web sémantique

Comment penser à l'apprentissage non supervisé ? Comment en tirer profit ? Une fois que notre compréhension s'améliorera et que l'apprentissage non supervisé progressera, c'est là que nous acquerrons de nouvelles idées et que nous verrons une explosion totalement inimaginable de nouvelles applications. (...)  

Mais je suis incapable de formuler ce que nous attendons de l'apprentissage non supervisé. On veut quelque chose ; on veut que le modèle comprenne... peu importe ce que cela signifie. (...)

Il existe un argument convaincant comme quoi les grands réseaux neuronaux profonds devraient être capables de représenter de très bonnes solutions aux problèmes de perception. Voilà pourquoi : les neurones humains sont lents, et pourtant les humains peuvent résoudre des problèmes de perception extrêmement rapidement et avec précision. Si l'homme peut résoudre des problèmes utiles en une fraction de seconde, il ne devrait avoir besoin que d'un très petit nombre d'étapes massivement parallèles pour résoudre des problèmes tels que la vision et la reconnaissance vocale.

Auteur: Sutskever Ilya

Info: Rapporté par David Beyer in, The Future of Machine Intelligence 2016

[ traitement automatique du langage ]

apprentissage automatique

Il nous est facile pour d'expliquer ce que l'on voit sur une photo, mais programmer une fonction qui n'entre rien d'autre que les couleurs de tous les pixels d'une image et peut produire une légende précise telle que "groupe de jeunes gens jouant une partie de frisbee" échappait à tous les chercheurs en IA du monde depuis des décennies. Pourtant, une équipe de Google dirigée par Ilya Sutskever y est parvenu en 2014.

Introduisez un nouvel ensemble de pixels de couleur, et l'ordinateur répond "troupeau d'éléphants traversant un champ d'herbe sèche",  presque toujours correctement. Comment y sont-ils parvenus ? À la manière de Deep Blue, en programmant des algorithmes artisanaux pour détecter les frisbees, les visages, etc ?

Non, en créant un réseau neuronal relativement simple, sans la moindre connaissance du monde physique ou de son contenu, puis en le laissant apprendre en l'exposant à des quantités massives de données. Le visionnaire de l'IA Jeff Hawkins écrivait en 2004 qu'"aucun ordinateur ne pourrait... voir aussi bien qu'une souris", mais cette époque est désormais révolue.

Auteur: Tegmark Max

Info: Life 3.0: Being Human in the Age of Artificial Intelligence

[ machine learning ] [ visualisation ] [ sémantique mécanique ] [ homme-machine ]

évolutionnisme

Si une copie efficace est adaptative, ce qui fait que la sélection naturelle devrait favoriser une dépendance de plus en plus grande à l'apprentissage social par rapport à l'apprentissage asocial, alors le tournoi établit également qu'un certain nombre de caractéristiques fortement évocatrices de la culture humaine suivront automatiquement. L'augmentation du nombre de copies entraîne inévitablement : une plus grande diversité comportementale, la conservation des connaissances culturelles pendant de longues périodes, le conformisme et le renouvellement rapide des comportements tels qu' engouements, modes et changements technologiques. Sous condition que les erreurs de copie ou certaines innovations introduisent de nouvelles variantes comportementales, la copie peut simultanément accroître la base de connaissances d'une population et réduire l'éventail des comportements exploités à un noyau de variantes très performantes. Un raisonnement similaire explique l'observation selon laquelle la copie peut conduire à la conservation des connaissances sur de longues périodes tout en étant apte à déclencher un changement rapide de comportement. L'adoption d'un comportement sous-optimal à un faible niveau suffit à conserver de grandes quantités de connaissances culturelles dans les populations qui apprennent par la voie sociale, et ce sur de longues périodes. Un niveau élevé de copie augmente la rétention des connaissances culturelles de plusieurs ordres de grandeur.

Auteur: Laland Kevin Neville

Info: La symphonie inachevée de Darwin : comment la culture a donné naissance à l'esprit humain

[ ouverture ] [ objectivité-subjectivité ] [ mimétisme ]

intelligence artificielle

Notre article "Precision Machine Learning" montre que les réseaux neuronaux surpassent l'interpolation simplex uniquement dans plus de 2 dimensions, en exploitant la modularité. Nous développons des astuces de formation pour un ML de haute précision, utiles pour la science et l'interprétabilité.

Résumé : Nous explorons les considérations particulières impliquées dans l'ajustement des modèles ML aux données demandant une très grande précision, comme c'est souvent le cas pour les applications scientifiques. Nous comparons empiriquement diverses méthodes d'approximation de fonctions et étudions leur évolution en fonction de l'augmentation des paramètres et des données. Nous constatons que les réseaux neuronaux peuvent souvent surpasser les méthodes d'approximation classiques pour les exemples à dimensions élevées, en découvrant et en exploitant automatiquement les structures modulaires qu'ils contiennent. Cependant, les réseaux neuronaux dressés-formés avec des optimiseurs courants sont moins puissants pour les cas à basse dimension, ce qui nous motive à étudier les propriétés uniques des zones de déperdition des réseaux neuronaux et les défis d'optimisation qui se présentent et correspondent dans le régime de haute précision. Pour résoudre le problème de l'optimisation en basse dimension, nous développons des astuces d'entraînement-formation qui nous permettent de faire fonctionner les réseaux neuronaux avec une déperdition extrêmement faibles, proche des limites permises par la précision numérique.

Auteur: Tegmark Max

Info: Écrit avec Eric J. Michaud et Ziming Liu, oct 2022

[ mathématiques appliquées ] [ apprentissage automatique ] [ physique computationnelle ] [ machine-homme ] [ affinements mécaniques ] [ sémantique élargie ]

homme-machine

Mes travaux les plus importants ont porté sur le développement d'une approche logique de la sémantique du langage naturel, connue sous le nom de grammaire de Montague. Cette approche repose sur l'idée que la sémantique des langues naturelles peut être formalisée à l'aide de la logique intensionnelle, une branche de la logique qui s'intéresse aux significations des expressions.

Ma  Grammaire de Montague permet de rendre compte de la sémantique de nombreuses constructions grammaticales du langage naturel, notamment les constructions relatives, les constructions interrogatives, les constructions modales et les constructions quantifiées.

Mes travaux ont eu une influence considérable sur le développement de la linguistique et de la philosophie du langage. Ils ont notamment contribué à la création de la linguistique computationnelle, un domaine qui étudie les aspects formels du langage naturel.

Voici quelques-uns de mes apports les plus importants la sémantique du langage naturel :

- J'ai montré qu'il est possible d'utiliser la logique intensionnelle pour formaliser la sémantique des langues naturelles.

- J'ai développé une approche unifiée de la sémantique du langage naturel, qui permet de rendre compte de la sémantique de nombreuses constructions grammaticales.

- J'ai contribué à la création de la linguistique computationnelle, un domaine qui étudie les aspects formels du langage naturel.

A ce jour mes travaux sont toujours d'actualité et continuent d'être étudiés et développés par les linguistes et les philosophes du langage.

Auteur: Montague Richard

Info: Compil Bard-Mg, janv 2024 *qui s'oppose de manière critique à la théorie grammaticale de Chomsky, dans laquelle la sémantique est considérée comme un composant indépendant de la syntaxe. Montague affirme au contraire que le sens d'une phrase est immédiatement lié à sa construction syntaxique.

[ apprentissage automatique ] [ onomasiologie ]

attention

- Quel est le mécanisme à l'œuvre dans le cerveau  ?

- Les neurones, qui sont les cellules nerveuses, s'envoient de l'information. À force de le faire lors d'une tâche répétée, ils vont renforcer les connexions qui les relient pour former un réseau plus efficace pour cette activité. C'est un mouvement très élégant, comme si les neurones étaient sculptés pour correspondre à une activité. Mais voilà, ce phénomène d'apprentissage ne se produit qu'à force de répétition… Il ne faut pas l'oublier, comme pour apprendre le piano. Et le travail n'est pas terminé : une fois ces réseaux en place, il reste à les utiliser à leur meilleur potentiel, grâce à une bonne concentration.

- Se concentrer, n'est-ce pas tout le problème ?

- Tout à fait, d'où l'inquiétude actuelle concernant l'évolution de notre capacité apparente de concentration. Mettons-nous à la place de notre cerveau : ce n'est pas tous les jours facile pour lui. Il est le théâtre de conflits permanents entre nos réactions automatiques et celles plus volontaires. Si une voiture surgit, elle attire mon attention. Même si je suis concentré sur autre chose, je peux l'éviter ! Il y a là une réorientation automatique de l'attention vers ce qui est bruyant, brillant, coloré…

Mais cet automatisme est aussi la raison pour laquelle je me laisse distraire et déstabiliser par n'importe quel bruit extérieur : la ­télé, un objet qui tombe, quelqu'un qui parle. Cela vaut pour tout un tas de choses du quotidien : un verre invite à boire, une poignée de porte à être ouverte, un portable à être attrapé. Pour rester concentré, il faut enclencher un "frein à main" pour inhiber ces automatismes. C'est l'attention dite "volontaire".

Auteur: Lachaux Jean-Philippe

Info: https://www.leparisien.fr/. Interview de Florence Méréo, 16 mars 2019

[ focalisation ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

homme-machine

Frank Rosenblatt est surtout connu pour son Perceptron, un dispositif électronique construit selon des principes biologiques et doté d'une capacité d'apprentissage. Les perceptrons de Rosenblatt ont d'abord été simulés sur un ordinateur IBM 704 au Cornell Aeronautical Laboratory en 1957. Lorsqu'un triangle était placé devant l'œil du perceptron, celui-ci captait l'image et la transmettait le long d'une succession aléatoire de lignes aux unités de réponse, où l'image était enregistrée.

Il a développé et étendu cette approche dans de nombreux articles et dans un livre intitulé Principles of Neurodynamics : Perceptrons and the Theory of Brain Mechanisms, publié par Spartan Books en 1962. Le Perceptron lui a valu une reconnaissance internationale. Le New York Times l'a qualifié de révolution en titrant "New Navy Device Learns By Doing", et le New Yorker a également admiré l'avancée technologique.

Des recherches sur des dispositifs comparables étaient également menées dans d'autres endroits, comme le SRI, et de nombreux chercheurs attendaient beaucoup de ce qu'ils pourraient faire. L'enthousiasme initial s'est toutefois quelque peu estompé lorsqu'en 1969, Marvin Minsky et Seymour Papert ont publié le livre "Perceptrons", qui contenait une preuve mathématique des limites des perceptrons feed-forward à deux couches, ainsi que des affirmations non prouvées sur la difficulté d'entraîner des perceptrons à plusieurs couches. Le seul résultat prouvé du livre, à savoir que les fonctions linéaires ne peuvent pas modéliser les fonctions non linéaires, était trivial, mais le livre a néanmoins eu un effet prononcé sur le financement de la recherche et, par conséquent, sur la communauté. 

Avec le retour de la recherche sur les réseaux neuronaux dans les années 1980, de nouveaux chercheurs ont recommencé à étudier les travaux de Rosenblatt. Cette nouvelle vague d'études sur les réseaux neuronaux est interprétée par certains chercheurs comme une infirmation des hypothèses présentées dans le livre Perceptrons et une confirmation des attentes de Rosenblatt.

Le Mark I Perceptron, qui est généralement reconnu comme un précurseur de l'intelligence artificielle, se trouve actuellement au Smithsonian Institute à Washington D.C. Le MARK 1 était capable d'apprendre, de reconnaître des lettres et de résoudre des problèmes assez complexes.

Auteur: Internet

Info: Sur https://en.wikipedia.org/wiki/Frank_Rosenblatt

[ historique ] [ acquisition automatique ] [ machine learning ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

origine de la vie

Une IA découvre que plusieurs bases de la vie, notamment sur l'ADN, peuvent émerger naturellement

L'Université de Floride annonce une avancée majeure dans la compréhension de la formation des molécules de la vie. À travers une expérimentation novatrice, des chercheurs ont utilisé le superordinateur HiPerGator pour démontrer que des molécules essentielles à la vie, comme les acides aminés et les bases de l'ADN, peuvent se former naturellement dans des conditions spécifiques.

Le superordinateur HiPerGator, reconnu pour être le plus rapide dans le milieu universitaire américain, a permis de franchir une nouvelle étape dans la recherche moléculaire grâce à ses modèles d'intelligence artificielle et à sa capacité exceptionnelle en unités de traitement graphique (GPU). Ces outils ont rendu possible l'étude des interactions et de l'évolution de vastes ensembles d'atomes et de molécules, une tâche auparavant inenvisageable avec les capacités de calcul disponibles.

Jinze Xue, doctorant à l'Université de Floride, a mené pendant les vacances d'hiver 2023 une expérience de chimie prébiotique. Utilisant plus de 1000 GPU A100, l'expérience a permis d'identifier 12 acides aminés, trois nucléobases, un acide gras et deux dipeptides parmi 22 millions d'atomes. Cette découverte marque un progrès significatif, révélant la formation de molécules complexes qui n'auraient pas été détectables avec des systèmes de calcul moins puissants.

La réussite de cette recherche repose sur l'utilisation de l'apprentissage automatique et de l'intelligence artificielle pour calculer les énergies et les forces agissant sur les systèmes moléculaires. Ces méthodes, selon Adrian Roitberg, professeur au Département de Chimie de l'Université de Floride, fournissent des résultats comparables à ceux de la chimie quantique de haut niveau, mais environ un million de fois plus rapidement.

Erik Deumens, directeur senior pour UFIT Research Computing, souligne la capacité unique de HiPerGator à réaliser de grands calculs, ouvrant la voie à des percées scientifiques majeures. Cette collaboration étroite entre l'université et l'équipe de Ying Zhang, responsable du soutien à l'intelligence artificielle chez UFIT, a permis d'accélérer l'analyse des données, réduisant le temps d'analyse à seulement sept heures, contre trois jours initialement estimés.

Cette recherche illustre le potentiel des simulations informatiques de grande envergure pour découvrir comment les molécules complexes peuvent se former à partir de blocs de construction simples. Elle marque une étape vers la compréhension des origines de la vie sur Terre et démontre l'importance des infrastructures de calcul avancées dans la recherche scientifique contemporaine.

Auteur: Internet

Info: https://www.techno-science.net/ - Adrien le 15/02/2024, Source: Université de Floride