intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

homme-machine

Frank Rosenblatt est surtout connu pour son Perceptron, un dispositif électronique construit selon des principes biologiques et doté d'une capacité d'apprentissage. Les perceptrons de Rosenblatt ont d'abord été simulés sur un ordinateur IBM 704 au Cornell Aeronautical Laboratory en 1957. Lorsqu'un triangle était placé devant l'œil du perceptron, celui-ci captait l'image et la transmettait le long d'une succession aléatoire de lignes aux unités de réponse, où l'image était enregistrée.

Il a développé et étendu cette approche dans de nombreux articles et dans un livre intitulé Principles of Neurodynamics : Perceptrons and the Theory of Brain Mechanisms, publié par Spartan Books en 1962. Le Perceptron lui a valu une reconnaissance internationale. Le New York Times l'a qualifié de révolution en titrant "New Navy Device Learns By Doing", et le New Yorker a également admiré l'avancée technologique.

Des recherches sur des dispositifs comparables étaient également menées dans d'autres endroits, comme le SRI, et de nombreux chercheurs attendaient beaucoup de ce qu'ils pourraient faire. L'enthousiasme initial s'est toutefois quelque peu estompé lorsqu'en 1969, Marvin Minsky et Seymour Papert ont publié le livre "Perceptrons", qui contenait une preuve mathématique des limites des perceptrons feed-forward à deux couches, ainsi que des affirmations non prouvées sur la difficulté d'entraîner des perceptrons à plusieurs couches. Le seul résultat prouvé du livre, à savoir que les fonctions linéaires ne peuvent pas modéliser les fonctions non linéaires, était trivial, mais le livre a néanmoins eu un effet prononcé sur le financement de la recherche et, par conséquent, sur la communauté. 

Avec le retour de la recherche sur les réseaux neuronaux dans les années 1980, de nouveaux chercheurs ont recommencé à étudier les travaux de Rosenblatt. Cette nouvelle vague d'études sur les réseaux neuronaux est interprétée par certains chercheurs comme une infirmation des hypothèses présentées dans le livre Perceptrons et une confirmation des attentes de Rosenblatt.

Le Mark I Perceptron, qui est généralement reconnu comme un précurseur de l'intelligence artificielle, se trouve actuellement au Smithsonian Institute à Washington D.C. Le MARK 1 était capable d'apprendre, de reconnaître des lettres et de résoudre des problèmes assez complexes.

Auteur: Internet

Info: Sur https://en.wikipedia.org/wiki/Frank_Rosenblatt

[ historique ] [ acquisition automatique ] [ machine learning ]

intelligence artificielle

Les réseaux neuronaux profonds (DNN) sont analysés via le cadre théorique du principe du goulot d'étranglement de l'information (IB). Nous montrons d'abord que tout DNN peut être quantifié par l'information mutuelle entre les couches et les variables d'entrée et de sortie. A l'aide de cette représentation, on peut calculer les limites théoriques d'information optimales du DNN et obtenir des limites de généralisation d'échantillons finis. L'avantage de se rapprocher de la limite théorique est quantifiable tant par la généralisation liée que par la simplicité du réseau. Nous soutenons que tant l'architecture optimale, le nombre de couches et les caractéristiques/connexions de chaque couche, sont liés aux points de bifurcation de l'arbitrage du goulet d'étranglement de l'information, à savoir la compression pertinente de la couche d'entrée par rapport à la couche de sortie. Les représentations hiérarchiques du réseau en couches correspondent naturellement aux transitions de phases structurelles le long de la courbe d'information. Nous croyons que cette nouvelle perspective peut mener à de nouvelles limites d'optimalité et à de nouveaux algorithmes d'apprentissage en profondeur.

A) Stade initial : La couche de neurones 1 encode toute l'information qui rentre (input data), y compris toutes les étiquettes (labels, polarités) Les neurones de cette couche étant dans un état quasi aléatoire, avec peu ou pas de relation entre les données et leurs étiquettes.
Ainsi chaque neurone artificiel qui se déclenche transmet un signal à certains neurones de la couche suivante en fonction des variables d'entrée et de sortie. Le processus filtre le bruit et ne retient que les caractéristiques les plus importantes.

B) Phase de montage : à mesure que l'apprentissage en profondeur commence, les neurones des couches (layers) suivantes obtiennent des informations sur l'entrée qui s'adaptent mieux aux étiquettes.

C) Changement de phase: la couche (calque) change soudainement de vitesse et commence à "oublier les informations" de l'input.

D) Phase de compression: les couches supérieures compriment leur représentation des données d'entrée en ne conservant ce qui est le plus pertinent pour les infos de sortie. Elles précisent l'étiquetage.

E) Phase finale : la dernière couche obtient le meilleur équilibre entre précision et compression, ne conservant que ce qui est nécessaire pour définir l'étiquette.

Auteur: Tishby Naftali

Info: Bottleneck Theory of Deep Learning, abstract

[ classification ] [ tri ] [ informatique ] [ discernement ] [ pattern recognition ]

homme-animal

L'étude d’oiseaux montre des grandes différences pour l'apprentissage des chants selon les sexes.
Quand on en vient a l'apprentissage des chants, les oiseaux femelles semblent être plus rapides, mais les mâles peuvent développer leurs propres chansonnettes.
Selon un rapport publié aujourd'hui dans le journal "Nature" les oiseaux cardinaux féminins apprennent le même nombre de chansons que des mâles en moins d'un tiers du temps. Pourtant les mâles peuvent maîtriser les arias sans suivre de cours particuliers et les femelles ne peuvent pas.
Les bébé oiseaux apprennent des chants en écoutant les adultes autour d'eux. Parmi des espèces tempérées, d’habitude seuls les mâles chantent. Le cardinal nordiques (cardinalis cardinalis ) est cependant une exception à cette règle. Ayako Yamaguchi de l'université de la Californie à Davis a ainsi décidé de savoir si les modèles d'acquisition de chants diffèrent entre les sexes chez ces oiseaux. En utilisant des airs de cette espèce enregistrés sur bande, Yamaguchi a donné des cours à 15 femelles et à 11 mâles sur une période d'une année. Elle a constaté que les femelles ont cessé d'apprendre de nouveaux chants après environ 70 jours. Les mâles, en revanche, ont continué à en apprendre jusqu'à environ sept mois. En outre, Yamaguchi a observé que les femelles élevées en isolement chantent rarement . Et quand elles le font, leurs chants ont de faibles qualité acoustique. Mais, rapporte elle, les mâles isolé, "développèrent des types de chant improvisés... semblable aux chants normaux des cardinaux".
Pourquoi il y a t’il de telles différences dans les modèles d’apprentissage ? cela reste peu clair. On pense que puisque les chansons d'adulte cardinaux existent dans plein de dialectes différents de différentes régions géographiques, les oiseaux dispersé juvéniles pourraient débarquer dans une population avec un dialecte étranger. Le modèle masculin, note Yamaguchi, "lui permettant d'assortir ses types de chants avec ceux de ses voisins, même lorsqu'il s'implante dans une population nouvelle." Par contre une femelle préserve son dialecte natal. L'assortiment des chants pourrait être important pour les cardinaux masculins en vue de leur établissement dans de nouveaux territoires, comme chez d'autres espèces" écrit l'auteur, "Mais n'est pas évident pour les femelles, pour des raisons non encore bien identifiées".

Auteur: Wong Kate

Info: Fortean Times Mai 17, 2001

[ mâles-femelles ] [ musique ] [ improvisation ] [ exogamie ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

mâles-femelles

Les chercheurs ajoutent des souris à la liste de créatures qui chantent en présence de leurs compagnes.
Les scientifiques savent depuis des décennies que les souris femelles de laboratoire - ou leurs phéromones - font que les souris masculines réagissent par des vocalisations ultrasoniques. Mais un nouveau papier des chercheurs à l'école d'université de Washington de médecine à St Louis établit pour la première fois que ces expressions de souris mâles sont des chansons. Cette conclusion, ajoute la souris au nombre des créatures qui chantent en présence du sexe opposé, comme les oiseaux, les baleines et quelques insectes.
"Dans la littérature il y a une hiérarchie de différentes définitions pour ce qu'on qualifie de chanson, mais on cherche habituellement deux propriétés principales" dit Timothy E. Holy, assistant professeur de neurobiologie et d’anatomie.
"L'une est qu'il doit y avoir quelques catégories diverses de syllabes/bruits distincts reconnaissable au lieu d’un seul bruit répété à plusieurs reprises. Il doit aussi y avoir quelques motifs et thèmes temporels réguliers qui se reproduisent de temps en temps, comme le motif mélodique d’un air entraînant."
Cette nouvelle étude prouve que la chanson des souris a ces deux qualités, bien qu'on note que la capacité de ces souris de laboratoire d'ouvrer des motifs et des thèmes n'est de loin pas de la même qualité que celle des oiseaux par exemples. "la meilleure analogie pour la souris serait que son chant est comme celui des oiseaux juvéniles, qui proposent ce qu'on pourrai appeler des proto-motifs de thèmes." Il poursuit : "Ce n'est pas encore clair si le chant donne un avantage aux souris mâles pendant la cour, comme chez les oiseaux."
Holy et son co-auteur Zhongsheng Guo, programmeur de son laboratoire, se sont intéressé aux vocalisations des souris par l'intermédiaire des études du laboratoire de Holy au sujet de la réponse donnée par le cerveau de la souris mâle face aux phéromones de la souris femelle. Les phéromones sont les signaux chimiques émis par beaucoup de différentes espèces et sont fréquemment liées au pré coït.
"Etudier ce genre de réponse chez les souris nous permet de modéliser des tâches de plus haut niveau (tel que pattern recognition et apprentissage) dans un cerveau où la neuroanatomie est beaucoup plus simple que chez l'homme".

Auteur: Purdy Michael

Info: 31 Oct. 2005

[ séduction ] [ improvisation ]

xénolinguistique

Gary a hoché la tête et pointé son doigt. - On dirait qu'ils expriment l'idée de "clairement" en changeant la courbure de ces traits au milieu.

- Tout juste, cette modulation peut s'appliquer à plein de verbes, le logogramme* de "voir" peut être modulé de la même façon pour donner "voir clairement", tout comme celui de "lire" et bien d'autres. Et changer la courbure de ces traits n'a aucun équivalent dans leur énonciation ; dans la langue parlée, ils ajoutent un préfixe au verbe afin d'exprimer la facilité et les préfixes utilisés pour "voir" et "entendre" sont différent. Il y a d'autres exemples mais cela vous donne une idée. Essentiellement il s'agit d'une grammaire en deux dimensions.

Il a entrepris de faire les cent pas, l'air pensif. - Y'a t'il quoi que ce soit de comparable dans les systèmes d'écriture humains ?

- Les équations mathématiques, ou les notations qui servent à la musique et à la danse. Ce sont des systèmes très spécialisés, toutefois ; nous ne pourrions pas les utiliser pour enregistrer cette conversation. Mais il ne semble que, si nous le maitrisions assez bien, nous pourrions enregistrer cette conversation dans le système d'écriture heptapode. Je crois qu'îl s'agit d'un langage graphique complet, général.

Gary a froncé les sourcils. - Donc leur écriture constitue une entité séparée de leur langue parlée, non ?

- Oui. D'ailleuirs, il serait plus précis d'appeler leur système d'écriture "Heptapod B" et de réserver "Heptapod A" à leur langue parlée.

- Une petite seconde... Pourquoi utiliser deux langues là ou une seule suffirait ? ça parait inutilement difficile à apprendre. 

- Comme l'orthographe anglaise ? La facilité d'apprentissage n'est pas le moteur principal de l'évolution d'une langue. Pour les heptapodes, l'écrit et l'oral jouent peut-être des rôles culturels et cognitifs si disparates qu'utiliser des langues séparées serait plus logique qu'utiliser des formes distinctes de la même langue.

Il a réfléchi. - Je vois ce que vous voulez dire. Il jugent peut être notre écriture redondante, comme si on on gaspillait un second canal de communication.

- C'est très possible. Découvrir pourquoi ils utilisent une autre langue quand ils écrivent nous apprendra beauoup à leur sujet.

Auteur: Chiang Ted

Info: La tour de Babylone, L'histoire de ta vie. pp 164-165. *Dessin correspondant à une notion ou à une suite de sons, dans les écritures dites à idéogrammes (hiéroglyphes, caractères chinois)

[ science-fiction ] [ dualité sémantique ] [ codages ] [ factuel-téléologique ] [ contextuel-téléonomique ] [ action description ] [ performatif-constatif ]

mutation

L'évolution ne nous a pas préparé à ça: notre cerveau impacté par la lecture sur écran 

Une équipe de chercheurs de l'Université Macquarie, incluant le Professeur Erik Reichle et Dr Lili Yu, s'est penchée sur l'impact de la lecture sur écran par rapport à la lecture traditionnelle sur papier. Leurs découvertes offrent un nouvel éclairage sur les défis auxquels nos cerveaux doivent faire face dans le monde moderne et sur la manière dont la technologie modifie notre capacité d'absorption et de rétention des informations.

La lecture, bien qu'intégrée tardivement dans l'histoire de l'évolution humaine, nécessite une série de processus mentaux complexes. Le développement du langage, initialement oral, n'a pas préparé notre cerveau à la lecture, une compétence qui demande des années de pratique pour être maîtrisée. Dans ce contexte, la transition vers la lecture numérique impose des défis supplémentaires. 

Des études indiquent que lire sur écran réduit notre capacité à comprendre et à mémoriser le texte comparé à la lecture sur papier, un phénomène désigné sous le nom d'effet d'infériorité de l'écran.

Cette baisse de compréhension serait influencée par divers facteurs, tels que le type de texte lu, le temps disponible pour la lecture, et les compétences en lecture du lecteur. De plus, la lecture sur écran s'accompagne souvent de distractions intégrées, telles que les notifications ou les publicités animées, qui sollicitent notre attention et réduisent notre capacité à nous concentrer sur le texte. 

Pour contrer les effets de la lecture numérique et améliorer notre concentration, les chercheurs recommandent de revenir progressivement à la lecture sur papier. Cette pratique nécessite de choisir un livre intéressant, de se placer dans un environnement propice à la lecture, et de minimiser les distractions. Reconstruire notre capacité de concentration sur les textes imprimés est un processus graduel, mais essentiel pour notre développement intellectuel.

La compréhension profonde de ces phénomènes est cruciale, non seulement pour les adultes actuels mais aussi pour les générations futures qui grandissent avec les écrans. Les implications pour l'apprentissage, tant en ligne qu'en classe, sont importantes, surtout pour les lecteurs moins aguerris qui sont les plus affectés par l'effet d'infériorité de l'écran. À mesure que nous avançons dans l'ère numérique, comprendre et s'adapter à ces changements devient essentiel pour préserver notre capacité à apprendre et à nous concentrer efficacement.

Auteur: Internet

Info: https://www.techno-science.net/ - Redbran le 16/02/2024, Source: Trends in Cognitive Sciences

[ adaptation ]

audition

Les langues tonales favorisent l'oreille absolue : Une nouvelle étude conclut que les jeunes musiciens qui parlent le chinois (mandarin) peuvent apprendre à identifier des notes musicales isolément bien mieux que les anglophones. Moins d'un américain sur 10.000 a l'oreille absolue c'est dire qu'ils peut identifier ou produire une note sans référence à une autre note. Cette capacité permet de distinguer des sons qui ne diffèrent que de 6 pour cent dans la fréquence. Il y a cinq ans des chercheurs conduits par Diana Deutsch de l'université de Californie à San Diego ont constaté que les personnes de langues maternelles chinoise et vietnamienne utilisaient fréquemment ce degré de précision pendant une conversation ordinaire. Dans ces langues tonales, le changement de hauteur de note peut complètement modifier la signification des mots. Par exemple, le mot mandarin "ma" signifie la "mère" quand la voyelle reste haute et constante, mais signifie "chanvre" une fois prononcée avec une tonalité montante. Jusqu'ici, on n'avait pas démontré que cette précision linguistique était en rapport avec les dispositions musicales. Pour étudier la question, Deutsch et ses collègues ont comparé 115 étudiants avancés de musique de Rochester de New York, avec 88 étudiants de Pékin. Dans les résultats qui seront présentés lors de la réunion de la société acoustique d'Amérique à San Diego le 17 novembre, les scientifiques ont constaté que ceux qui parlent le mandarin sont plus avantagé pour obtenir l'oreille absolue que ne le sont les anglophones qui ont commencé la formation musicale au même âge. Par exemple, 60 pour cent des étudiants de Pékin qui ont commencé à étudier la musique entre quatre et cinq ans ont l'oreille absolue contre seulement 14 pour cent chez les étudiants américains. Pour les étudiants qui ont commencé leur instruction musicale plus tard cette faculté d'oreille absolue est beaucoup moins évidente, aucun des étudiants de Rochester ayant commencé la musique après son huitième anniversaire n'avait ces capacités. Deutsch suggère que pour les étudiants qui parlent une langue tonale, l'acquisition de l'oreille absolue est comme l'apprentissage d'une deuxième langue, ce qui devient beaucoup plus difficile après "une période critique" du développement psycho-moteur. Pour des étudiants qui parlent une langue non-tonale comme les anglais, l'oreille absolue est plus comme une première langue, pour laquelle la période critique se produit à un âge beaucoup plus jeune.

Auteur: Internet

Info: 8 novembre 2004

[ vibrations ]

origine de la vie

Une IA découvre que plusieurs bases de la vie, notamment sur l'ADN, peuvent émerger naturellement

L'Université de Floride annonce une avancée majeure dans la compréhension de la formation des molécules de la vie. À travers une expérimentation novatrice, des chercheurs ont utilisé le superordinateur HiPerGator pour démontrer que des molécules essentielles à la vie, comme les acides aminés et les bases de l'ADN, peuvent se former naturellement dans des conditions spécifiques.

Le superordinateur HiPerGator, reconnu pour être le plus rapide dans le milieu universitaire américain, a permis de franchir une nouvelle étape dans la recherche moléculaire grâce à ses modèles d'intelligence artificielle et à sa capacité exceptionnelle en unités de traitement graphique (GPU). Ces outils ont rendu possible l'étude des interactions et de l'évolution de vastes ensembles d'atomes et de molécules, une tâche auparavant inenvisageable avec les capacités de calcul disponibles.

Jinze Xue, doctorant à l'Université de Floride, a mené pendant les vacances d'hiver 2023 une expérience de chimie prébiotique. Utilisant plus de 1000 GPU A100, l'expérience a permis d'identifier 12 acides aminés, trois nucléobases, un acide gras et deux dipeptides parmi 22 millions d'atomes. Cette découverte marque un progrès significatif, révélant la formation de molécules complexes qui n'auraient pas été détectables avec des systèmes de calcul moins puissants.

La réussite de cette recherche repose sur l'utilisation de l'apprentissage automatique et de l'intelligence artificielle pour calculer les énergies et les forces agissant sur les systèmes moléculaires. Ces méthodes, selon Adrian Roitberg, professeur au Département de Chimie de l'Université de Floride, fournissent des résultats comparables à ceux de la chimie quantique de haut niveau, mais environ un million de fois plus rapidement.

Erik Deumens, directeur senior pour UFIT Research Computing, souligne la capacité unique de HiPerGator à réaliser de grands calculs, ouvrant la voie à des percées scientifiques majeures. Cette collaboration étroite entre l'université et l'équipe de Ying Zhang, responsable du soutien à l'intelligence artificielle chez UFIT, a permis d'accélérer l'analyse des données, réduisant le temps d'analyse à seulement sept heures, contre trois jours initialement estimés.

Cette recherche illustre le potentiel des simulations informatiques de grande envergure pour découvrir comment les molécules complexes peuvent se former à partir de blocs de construction simples. Elle marque une étape vers la compréhension des origines de la vie sur Terre et démontre l'importance des infrastructures de calcul avancées dans la recherche scientifique contemporaine.

Auteur: Internet

Info: https://www.techno-science.net/ - Adrien le 15/02/2024, Source: Université de Floride