rationnel

Les émotions sont enchevêtrées dans les réseaux neuronaux de la raison.

Auteur: Damasio Antonio R.

Info:

[ irrationnel ] [ intrication ] [ émoi ]

intelligence artificielle

Il se pourrait que les grands réseaux neuronaux d'aujourd'hui soient légèrement conscients. 

Auteur: Sutskever Ilya

Info: sur twitter, 10 févr. 2022

[ objectivité web ]

statistiques

Les nouvelles méthodes semblent toujours meilleures que les anciennes. Les réseaux neuronaux sont meilleurs que la régression logistique binomiale, les machines à vecteurs de support (SVM)* sont meilleures que les réseaux neuronaux, etc.

Auteur: Efron Bradley

Info: *Ensemble de techniques d'apprentissage supervisé destinées à résoudre des problèmes de discrimination et de régression. Ils sont une généralisation des classifieurs linéaires.

[ informatique ] [ progrès ] [ intelligence artificielle ] [ intrication ]

intrications

Les réseaux continus de circuits neuronaux accomplissent leurs fonctions en utilisant de multiples stratégies déterminées indépendamment les unes des autres. Le cerveau se prête bien à la complexité du monde, mais mal à une cartographie claire.

Auteur: Eagleman David

Info:

[ interpénétrations ]

intelligence artificielle

Il faut bien comprendre que lorsqu'on utilise un transformer on ne manipule plus des mots, on manipule en réalité des vecteurs mathématiques qui sont des représentations, émergées d'un espace gigantesque (de l'ordre d'un trillons de tokens*),  du sens de ces mots.

Auteur: Roux Claude

Info: *mots, mais aussi de "bouts de mots", en général leurs radicaux

[ traitement automatique du langage ] [ réseaux neuronaux ] [ non linéarité ] [ mise en relation non séquentielle ] [ sémantique ]

aptitudes humaines

Notre cerveau n'est donc pas simplement soumis passivement aux entrées sensorielles. Dès le départ, il possède déjà un ensemble d'hypothèses abstraites, une sagesse accumulée qui a émergé au fil de l'évolution darwinienne et qu'il projette désormais sur le monde extérieur. Tous les scientifiques ne sont pas d'accord avec cette idée, mais je considère qu'il s'agit d'un point central : la philosophie empiriste naïve qui sous-tend de nombreux réseaux neuronaux artificiels actuels est erronée. Il n'est tout simplement pas vrai que nous naissons avec des circuits complètement désorganisés et dépourvus de toute connaissance, qui reçoivent ensuite l'empreinte de leur environnement. L'apprentissage, chez l'homme et la machine, part toujours d'un ensemble d'hypothèses a priori, qui sont projetées sur les données entrantes, et parmi lesquelles le système sélectionne celles qui sont les mieux adaptées à l'environnement actuel. Comme le dit Jean-Pierre Changeux dans son livre à succès Neuronal Man (1985), Apprendre c'est éliminer.

Auteur: Dehaene Stanislas

Info: How We Learn: Why Brains Learn Better Than Any Machine... for Now

[ prédispositions biologiques ] [ atavismes ]

web sémantique

Comment penser à l'apprentissage non supervisé ? Comment en tirer profit ? Une fois que notre compréhension s'améliorera et que l'apprentissage non supervisé progressera, c'est là que nous acquerrons de nouvelles idées et que nous verrons une explosion totalement inimaginable de nouvelles applications. (...)  

Mais je suis incapable de formuler ce que nous attendons de l'apprentissage non supervisé. On veut quelque chose ; on veut que le modèle comprenne... peu importe ce que cela signifie. (...)

Il existe un argument convaincant comme quoi les grands réseaux neuronaux profonds devraient être capables de représenter de très bonnes solutions aux problèmes de perception. Voilà pourquoi : les neurones humains sont lents, et pourtant les humains peuvent résoudre des problèmes de perception extrêmement rapidement et avec précision. Si l'homme peut résoudre des problèmes utiles en une fraction de seconde, il ne devrait avoir besoin que d'un très petit nombre d'étapes massivement parallèles pour résoudre des problèmes tels que la vision et la reconnaissance vocale.

Auteur: Sutskever Ilya

Info: Rapporté par David Beyer in, The Future of Machine Intelligence 2016

[ traitement automatique du langage ]

intelligence artificielle

Notre article "Precision Machine Learning" montre que les réseaux neuronaux surpassent l'interpolation simplex uniquement dans plus de 2 dimensions, en exploitant la modularité. Nous développons des astuces de formation pour un ML de haute précision, utiles pour la science et l'interprétabilité.

Résumé : Nous explorons les considérations particulières impliquées dans l'ajustement des modèles ML aux données demandant une très grande précision, comme c'est souvent le cas pour les applications scientifiques. Nous comparons empiriquement diverses méthodes d'approximation de fonctions et étudions leur évolution en fonction de l'augmentation des paramètres et des données. Nous constatons que les réseaux neuronaux peuvent souvent surpasser les méthodes d'approximation classiques pour les exemples à dimensions élevées, en découvrant et en exploitant automatiquement les structures modulaires qu'ils contiennent. Cependant, les réseaux neuronaux dressés-formés avec des optimiseurs courants sont moins puissants pour les cas à basse dimension, ce qui nous motive à étudier les propriétés uniques des zones de déperdition des réseaux neuronaux et les défis d'optimisation qui se présentent et correspondent dans le régime de haute précision. Pour résoudre le problème de l'optimisation en basse dimension, nous développons des astuces d'entraînement-formation qui nous permettent de faire fonctionner les réseaux neuronaux avec une déperdition extrêmement faibles, proche des limites permises par la précision numérique.

Auteur: Tegmark Max

Info: Écrit avec Eric J. Michaud et Ziming Liu, oct 2022

[ mathématiques appliquées ] [ apprentissage automatique ] [ physique computationnelle ] [ machine-homme ] [ affinements mécaniques ] [ sémantique élargie ]

neuroscience

L'une des approches les plus influentes de la réflexion sur la mémoire ces dernières années, connue sous le nom de connexionnisme, a abandonné l'idée qu'un souvenir est une image activée d'un événement passé. Les modèles connexionnistes ou de réseaux neuronaux reposent sur le principe selon lequel le cerveau stocke des engrammes en augmentant la force des connexions entre les différents neurones qui participent à l'encodage d'une expérience. Lorsque nous encodons une expérience, les connexions entre les neurones actifs deviennent plus fortes, et ce modèle spécifique d'activité cérébrale constitue l'engramme. Plus tard, lorsque nous essaierons de nous souvenir de l'expérience, un indice de récupération induira un autre modèle d'activité dans le cerveau. Si ce schéma est suffisamment similaire à un schéma précédemment encodé, le souvenir se produira. Dans un modèle de réseau neuronal, la "mémoire" n'est pas simplement un engramme activé. Il s'agit d'un modèle unique qui émerge des contributions combinées de l'indice et de l'engramme. Un réseau neuronal combine les informations de l'environnement actuel avec des modèles qui ont été stockés dans le passé, et le mélange des deux qui en résulte est ce dont le réseau se souvient... Lorsque nous nous souvenons, nous complétons un modèle avec la meilleure correspondance disponible dans la mémoire ; nous ne braquons pas un projecteur sur une image stockée.

Auteur: Schacter Daniel Lawrence

Info: Searching for Memory: The Brain, the Mind, and the Past

[ psychologie ] [ subjectivité ] [ restitution précise illusoire ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]