homme-machine

L'intégration des mots ou vecteurs de mots est un moyen pour les ordinateurs de comprendre la signification des mots dans un texte écrit par des personnes. L'objectif est de représenter les mots comme des listes de nombres, où de petits changements dans les nombres représentent de petits changements dans la signification du mot. Cette technique permet de créer des algorithmes d'intelligence artificielle pour la compréhension du langage naturel. En utilisant les vecteurs de mots, l'algorithme peut comparer les mots en fonction de leur signification, et pas seulement de leur orthographe.

Auteur: Speer Robert

Info: less-stereotyped word vectors. Dans le traitement du langage naturel (NLP), vectorisation des mots concerne la représentation des mots pour l'analyse de texte, càd sous forme d'un vecteur à valeur réelle qui encode la signification du mot de telle sorte que les mots qui sont plus proches dans l'espace vectoriel sont censés avoir une signification similaire. L'intégration des mots peut être obtenue en utilisant un ensemble de techniques de modélisation du langage et d'apprentissage des caractéristiques où les mots ou les phrases du vocabulaire sont mis en correspondance avec des vecteurs de nombres réels.

[ intelligence artificielle ] [ métadonnées outils ] [ mots expressions abrégées ] [ abstraction mécanique ] [ sémantique industrielle ] [ nuances automatiques ]

homme-machine

- Peux-tu développer quelque chose concernant la comparaison entre langage humain et programmation informatique, en d'autres termes la différence entre la syntaxe des idiomes et la syntaxe du codage ?

- En général, le langage humain et la programmation informatique peuvent être considérés comme deux langages différents, avec des objectifs et des structures dissembables. Les idiomes humains sont utilisés pour communiquer des idées et des pensées entre individus, alors que les langages de programmation informatique sont utilisés pour donner des instructions à un ordinateur ou à une autre machine.

L'une des principales discordance entre les deux est que le langage humain utilise souvent des expressions idiomatiques et d'autres figures de style qui peuvent être difficiles à interpréter littéralement. Par exemple, l'expression "tourner les coins" est couramment utilisée pour signifier "mourir", ce qui n'a rien à voir avec le sens llittéral de "retourner les extrémités" par exemple. En revanche, les langages de programmation informatique reposent généralement sur une syntaxe et une grammaire très strictes afin que l'ordinateur puisse interpréter et exécuter correctement les instructions données.

Une autre différence réside dans le fait que le langage humain peut être très flexible et adaptable, alors que les langages de programmation sont généralement beaucoup plus limités dans ce qu'ils peuvent accomplir. Un programmeur doit choisir parmi un ensemble prédéfini de commandes et de fonctions qui ont été intégrées dans le langage de programmation qu'il utilise, alors qu'un locuteur de langue humaine peut générer de nouvelles phrases et idées à la volée.

Malgré ces différences, il existe également des similitudes entre le langage humain et les langages de programmation. Tous deux s'appuient sur des règles et des structures systématiques pour véhiculer le sens, et tous deux peuvent être utilisés pour créer des expressions complexes et nuancées de la pensée et du sens. Cependant, les règles et structures spécifiques employées dans chaque langage diffèrent considérablement en raison de leurs objectifs différents et des technologies sous-jacentes.

Auteur: chatGPT4

Info: 3 mai 2023

[ polysémie ] [ instanciation immédiate ] [ mots univers ] [ vectorisation difficile ] [ dialecte mathématisé ] [ précision sémantique ]

pré-sémantique lexicale

Par comparaison à ce qu'il se fait en TAL(N)*, Plongement lexical (word embedding), Fléau de la dimension, et autres Sélection de caractéristiques par vectorisation... disciplines-processus orientées par ce que nous nommerons "objectivité des statistiques", FLP préfère se situer au sein d'une démarche Homme-Machine. Ici les participants "mettent du leur", même si notre notre étiquetage, avec sa petite hiérarchisation "catégorie-tag", peut être analogisée avec certaines "sélection des caractéristiques" développées dans le TAL afin d'affronter le fléau de la dimension. 

Chez FLP nous nous sentons bien plus proches d'une "chair subjective" de la compréhension du sens des mots, en fonction de paramètres plus "a posteriori" qu'"à priori" - dans l'acception kantienne du terme, c'est à dire que la réflexivité, "issue du vécu" de la personne qui insère une entrée, est à la base du processus. 

Processus homme-machine donc, parce que nous pensons que toutes les méthodologies de mathématisation du langage sont principalement issues de logiques soit de marchandisation, soit de fabrication du consentement... Allez, disons le mot, nous considérons que ce furent, et sont encore, des logiques de pouvoir, comme déjà expliqué dans notre profession de foi. Pouvoirs en général trop éloignés des "lignes de fronts" de nos vie. Nous somme pro-décentralisation.

On trouvera au passage un excellent article qui décortique brillamment et catalogue ce qui existe en Sémantique distributionnelle et en linguistique de corpus en ce début de 3e millénaire. Et donc, par comparaison avec toutes les complexités explicitées dans ce compendium en lien, FLP avance avec quelques "idées simples". Nous n'en conserverons qu'une ici.

Celle que nous sommes semblables aux humains d'antan, ceux qui développèrent les premiers langages-symboles "externes", signes-marques organisés utilisés très majoritairement pour établir des listes. Avec FLP nous faisons à peu près la même chose, à la différence que jusqu'à peu, à une époque on on peut avancer que chaque terme-idée-concept humain est devenu un "quasi-esprit". En effet, les dictionnaires, avec maintenant wikipedia, ne listent que des mots-concepts simples, présentant leur définitions, variantes et autres polysémies. Les fameux mots-mondes, presque esprits, sont isolés.

Alors, allant au-delà des grandes possibilités de désambiguation que le web permet, FLP offre la possibilité de lister-indexer-combiner deux mots-idées (souvent leur radicaux suffiront). Avec trois termes - ou plus - c'est aussi possible, mais cette première articulation à deux est très importante. Nous la voulons à petit pas parce qu'il nous parait qu'elle représente par essence un saut important. Donc à explorer avec circonspection.

Ainsi, via une modération communautaire, se développe la base de données FLP. Elle qui intègre des textes en général très ou assez courts, traitants n'importe quel sujet. BD intelligente aussi, au sens où ses paramètres et ceux des auteurs sont affinés, et permettent de combiner beaucoup de recherches différentes (par sexe, diacronies, topologies, etc) grâce à la souple puissance d'Elastic Search.

Auteur: Mg

Info: oct 2022 *Traitement automatique du langage (N) le N est pour naturel

[ citation s'appliquant à ce logiciel ] [ pré-mémétique ? ]

data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]