intelligence artificielle

Il faut bien comprendre que lorsqu'on utilise un transformer on ne manipule plus des mots, on manipule en réalité des vecteurs mathématiques qui sont des représentations, émergées d'un espace gigantesque (de l'ordre d'un trillons de tokens*),  du sens de ces mots.

Auteur: Roux Claude

Info: *mots, mais aussi de "bouts de mots", en général leurs radicaux

[ traitement automatique du langage ] [ réseaux neuronaux ] [ non linéarité ] [ mise en relation non séquentielle ] [ sémantique ]

homme-machine

L'intégration des mots ou vecteurs de mots est un moyen pour les ordinateurs de comprendre la signification des mots dans un texte écrit par des personnes. L'objectif est de représenter les mots comme des listes de nombres, où de petits changements dans les nombres représentent de petits changements dans la signification du mot. Cette technique permet de créer des algorithmes d'intelligence artificielle pour la compréhension du langage naturel. En utilisant les vecteurs de mots, l'algorithme peut comparer les mots en fonction de leur signification, et pas seulement de leur orthographe.

Auteur: Speer Robert

Info: less-stereotyped word vectors. Dans le traitement du langage naturel (NLP), vectorisation des mots concerne la représentation des mots pour l'analyse de texte, càd sous forme d'un vecteur à valeur réelle qui encode la signification du mot de telle sorte que les mots qui sont plus proches dans l'espace vectoriel sont censés avoir une signification similaire. L'intégration des mots peut être obtenue en utilisant un ensemble de techniques de modélisation du langage et d'apprentissage des caractéristiques où les mots ou les phrases du vocabulaire sont mis en correspondance avec des vecteurs de nombres réels.

[ intelligence artificielle ] [ métadonnées outils ] [ mots expressions abrégées ] [ abstraction mécanique ] [ sémantique industrielle ] [ nuances automatiques ]

apprentissage automatique

Cette dicipline du traitement des métadonnées a connu plusieurs périodes de transition depuis le milieu des années 90. De 1995 à 2005, l'accent a été mis sur le langage naturel, la recherche et la récupération d'informations. Les outils de machine learning étaient plus simples que ceux que nous utilisons aujourd'hui ; avec des éléments comme la régression logistique, les SVM (machines à vecteurs de support), les noyaux avec SVM et le PageRank. Google a connu un immense succès grâce à ces technologies, en élaborant des produits phares tels que Google News et le classificateur de spam Gmail via des algorithmes faciles à distribuer pour le classement et la classification de textes - c'est à dire des technologies déjà au point au milieu des années 90.

Auteur: Zadeh Reza

Info:

[ historique ]

FLP non TAL*

Nous inversons le processus de l'intelligence artificielle (IA) et du machine learning via un processus communautaire homme-machine (nourri par l'homme), plutôt que machine-homme...

C'est ainsi que nous travaillons à désambiguer, voire développer/accompagner une sémantique consensuelle qui ne se refuse pas à la complexité. Ceci au travers, si possible, d'une approche collective translangue (avec les intraduisibles), même si la base de données est francophone. 

Processus qui, via quelques règles et grâce aux moyens du numérique, développe une base de données intelligente au sens où auteurs et textes sont paramétrés précisément, tagués et modéré collectivement. Ainsi, par les souples et puissantes possibilité du moteur de recherche toutes sortes d'investigations s'offrent, quasi multi-dimensionelles, statistiques aussi,  mélangeant allègrement objectivité et subjectivité au sein d'un corpus, en évolution constante, sur base de mots et de citations. 

Au final une application très exigeante, qui pourra s'avérer dérangeante parce que très ouverte.

Auteur: Mg

Info: En réponse (négative) à une étude universitaire (via test time) qui interrogeait les entreprises numériques, précisément quant à l'impact écologique du développement de l'intelligence artificielle dans leur fonctionnement. *TAL = traitement automatique du langage

[ mutation numérique ] [ slow thinking ] [ dictionnaire analogique intriqué ] [ sérendipité ]

FLP défini 2

Nous nous proposons de défendre la lecture via une application accompagnatrice des changements d'habitudes amenées par le numérique en la matière.

Au-delà de la collecte de textes aimés et intégré dans sa complexe base de données, FLP, instrument statistique et ludique sur base francophone, invite à jouer avec le juste sens des mots (ici Internet permet de vérifier beaucoup de choses), et surtout de leurs combinaisons.

Nouvelle manière de lire qui "force" à réfléchir, c'est à dire à confronter la subjectivité de ses sensations de lecteur avec  l'objectivité sémantique démultipliée par les possibilités de l'informatique - tout en respectant les règles d'insertion de cette application. C'est un agrégateur à l'opposé du machine learning.

Divertissement qui demande un effort, les Fils de La Pensée, peuvent être appréhendés comme une sorte de dictionnaire communautaire - voire une intelligence collective - en constante évolution et quête de dépassement.

Auteur: Mg

Info: 29 juillet 2021. Non Tal, signifie, qui ne fait pas partie des applications de traitement automatique du langage

[ lecture analytique ] [ non Tal ]

web sémantique

Comment penser à l'apprentissage non supervisé ? Comment en tirer profit ? Une fois que notre compréhension s'améliorera et que l'apprentissage non supervisé progressera, c'est là que nous acquerrons de nouvelles idées et que nous verrons une explosion totalement inimaginable de nouvelles applications. (...)  

Mais je suis incapable de formuler ce que nous attendons de l'apprentissage non supervisé. On veut quelque chose ; on veut que le modèle comprenne... peu importe ce que cela signifie. (...)

Il existe un argument convaincant comme quoi les grands réseaux neuronaux profonds devraient être capables de représenter de très bonnes solutions aux problèmes de perception. Voilà pourquoi : les neurones humains sont lents, et pourtant les humains peuvent résoudre des problèmes de perception extrêmement rapidement et avec précision. Si l'homme peut résoudre des problèmes utiles en une fraction de seconde, il ne devrait avoir besoin que d'un très petit nombre d'étapes massivement parallèles pour résoudre des problèmes tels que la vision et la reconnaissance vocale.

Auteur: Sutskever Ilya

Info: Rapporté par David Beyer in, The Future of Machine Intelligence 2016

[ traitement automatique du langage ]

intelligence artificielle

Ces dernières années, l’engouement pour l’intelligence artificielle (IA) a pris une ampleur sans précédent, avec des avancées remarquables dans les domaines de la reconnaissance vocale, de la vision par ordinateur et du traitement du langage naturel. Dans ce contexte, ChatGPT, un modèle de langage développé par OpenAI, a suscité un grand intérêt de la part des chercheurs, des entreprises et du grand public. Grâce à sa capacité à générer des textes en langage naturel qui peuvent être difficiles à distinguer de ceux écrits par des humains, ChatGPT est devenu un outil polyvalent et puissant pour les applications de l’IA telles que la réponse automatique aux clients, la génération de texte et la traduction automatique. Depuis sa mise à disposition en novembre 2022, pas un jour ne passe sans que ChatGPT ne s’invite dans les conversations et les médias, suscitant son lot de curiosités, d’interrogations et de craintes. L’IA, qui gardait à son évocation une part de science-fiction et de promesses pour un futur encore lointain, est devenue soudain une réalité tangible dont tout un chacun peut se convaincre de la redoutable efficacité. Preuve, s’il en fallait une : le premier paragraphe de cet article n’a pas été écrit par l’auteur de ces lignes ; c’est la transcription sans filtre de la réponse que ChatGPT a donnée à la requête exprimée ainsi: "Écris-moi un paragraphe d’introduction à un article parlant de l’engouement pour ChatGPT".

Auteur: Flandrin Patrick

Info: L'Humanité Magazine, juin 2023

[ réflexivité ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

homme-machine

L'argument de la chambre chinoise de John Searle remet en question l'idée que les ordinateurs puissent véritablement comprendre le langage. Il présente un scénario dans lequel une personne dans une pièce suit des instructions en anglais pour répondre à des symboles chinois, sans réellement comprendre la signification de ces symboles. Selon Searle, cette situation est similaire à la manière dont les ordinateurs traitent l'information : ils manipulent les symboles sur la base de règles prédéfinies, mais ne les comprennent pas vraiment. Il estime que la compréhension nécessite une conscience et une intentionnalité que les machines ne possèdent pas. En substance, l'argument de Searle suggère que les ordinateurs peuvent simuler le traitement du langage, mais qu'ils ne comprennent pas vraiment le sens des symboles qu'ils manipulent. En résumé :

- Un ordinateur programmé pour parler chinois ne comprend pas le chinois. Il ne fait que suivre des règles.

- L'intelligence humaine comprend le chinois.

- L'intelligence artificielle ne peut donc pas être confondue avec l'intelligence humaine.

Ainsi, selon cette triple perspective : celle de chatGPT4, le point de vue "FLP post Peirce", ainsi que les règles de notre application... ce concept de chambre chinoise implique qu'une race organique comme les humains, nécessite une priméité commune, un monde partagé, afin de pouvoir réellement communiquer-traduire avec ses semblables lorsqu'ils parlent un autre idiome. Dit autrement lors d'un échange-transposition, via l'utilisation de mots symboles (qui sont des univers en eux-mêmes), les entités organiques d'une même espèce doivent partager le même univers source - même si cette idée peut apparaitre come un truisme.

Il sera certes possible d'affiner très avant tous les concepts possibles pour une machine, mais il manquera toujours à pareil logiciel hors-sol un certain nombres de compétences-capacités-attributs que possèdent les êtres organiques-grégaires. Dans le désordre : La capacité poétique, le sens du jeu avec les mots (univers eux-mêmes), du contrepied sémantique et de l'humour... Une souplesse d'adaptation tous azimuts en fonction des contextes, humeurs, vitesse du vent, etc...  Et probablement, par dessus tout, la capacité de mentir, de jouer avec les apparences.

Il est certain que lA dominera l'humain dans beaucoup de domaines hyper-complexes - où elle devra être utilisée comme outil spécialisé. Mais, pour ce qui est d'une " prise avec le réel ", d'une capacité à saisir tel ou tel langage corporel dans l'instant, de communiquer-interagir sensuellement avec un chat ou même un végétal... On demande à voir.

Ces problématiques seront probablement analysables avec un surcroit d'acuité le jour d'une rencontre avec des organiques évolués non-humains et non-issus de Gaïa.  Apprenons d'abord à mieux nous intégrer dans cette dernière, probablement par l'usage d'une nouvelle logique, tétravalente... moins dépendante de son langage... preuve en étant apportée par les capacités d'expansion-adaptation des constructions permises par le carbone tétravalent.

Auteur: Mg

Info:

[ machine-homme ] [ chatbot tiercité hors-sol ] [ apprentissage automatique ] [ transposition ] [ xénolinguistique ]