citation s'appliquant à ce logiciel

FLP se situe quelque part entre Google et le Chatgpt de OpenAI. 

Google étant le grand dictionnaire qui permet de comprendre ou préciser un mot, une expression simple, la vie d'un individu célèbre, l'évolution de la vie, d'un pays... diverses connaissances...

Chatgpt étant la machine sémantique qui a le potentiel de traiter et relier tout ce qui précède - codé par les langages - pour générer/formuler un consensus onomasiologique via un lissage de métadonnées diversément traitées par des processus de machine learning. Tout ceci afin d'expliquer, d'informer, de séquencer, ou d'imposer... une vérité soi-disant objective.

Soi-disant parce que cette forme d'exactitude ne pourra jamais l'être, vu qu'il y a là un "tri des points de vue ou des opinions", articulé autour - et par-, des valeurs/nécessités qui, au-delà de certains consensus scientifiques/logiques difficilement attaquables, ne sont au mieux que le modus operandi d'une espèce humaine pas trop capable de se maitriser et s'auto-réguler en tant qu'émergence consciente et responsable de la matrice Gaïa. 

Mais ce propos va déjà beaucoup trop loin puisque derrière Chatgpt il y a des investisseurs, un pays, une culture, etc... En bref des orientations et des buts à l'endroit desquels une grande méfiance doit être maintenue.

Au milieu de tout ceci le microbe FLP poursuit sa mission "post-homme des cavernes".

Auteur: Mg

Info: 28 janv. 2023. Idée survenue et improvisée lors de la présentation de FLP, littéralement "à l'aveugle", aux soirées du Libre.

[ homme-machine ] [ intelligence artificielle ]

cosmologie

Notre détecteur de nouvelle physique par réseau neuronal (NNPhD) à automatiquement découvert Neptune à partir de données sur l'orbite d'Uranus. Il décèle aussi le rayonnement gravitationnel à partir de données sur les étoiles à neutrons. Le Machine Learning a un grand potentiel pour la recherche en physique ! 

(La conservation de l'énergie est un principe de base de la physique. Sa rupture implique souvent une nouvelle physique. Cet article présente une méthode de découverte de "nouvelle physique" basée sur des données. Plus précisément : étant donnée une trajectoire régie par des forces inconnues, notre détecteur neuronal de nouvelle physique (NNPhD) vise à déceler une nouvelle physique en décomposant le champ de force en composantes conservatives et non conservatives,  représentées respectivement par un réseau neuronal lagrangien (LNN) et un réseau neuronal sans contrainte, entraînés à minimiser l'erreur de récupération de force, plus une constante de  λ  fois la magnitude de la force non-conservatrice prédite. Nous montrons qu'une transition de phase se produit à   λ  =  1, de manière universelle pour des forces arbitraires. Nous démontrons que la NNPhD détecte avec succès une nouvelle physique via de ludiques expériences numériques, redécouvrant la friction à partir d'un double pendule amorti, Neptune à partir de l'orbite d'Uranus, et les ondes gravitationnelles à partir d'une orbite en spirale. Nous montrons également comment le NNPhD couplé à un intégrateur surpasse à la fois un LNN et un réseau neuronal sans contrainte, pour ce qui est de prédire l'avenir d'un double pendule amorti.)

Auteur: Tegmark Max

Info: Sur son fil FB, 24 déc 2021. En collaboration avec Ziming Liu, Bohan Wang, Qi Meng, Wei Chen et Tie-Yan Liu. Phys. Rev. E 104, 055302

[ pesanteur ] [ interactions ]

sémantique automatique

Les sceptiques n’en peuvent mais.

L’intelligence artificielle des textes, dont la réalisation la plus connue est chat GPT, a envahi avec succès nos vies et nos laboratoires.

Cependant, la machine n’a ni intelligence ni éthique. Les avatextes qu’elle produit ne sont pas fondés sur un prédicat de vérité et ne sauraient se revendiquer ni du bien, ni du beau, ni du mal. De plus, en l’absence d’intention de la machine, autre que la stochastique, le lecteur ne saurait engager un parcours interprétatif classique sur les contrefaçons textuelles générées ; et non créés. 

Nos questionnements portent sur la compréhension du mode de fonctionnement des IA, condition pour évaluer les plus-values heuristiques que les traitement deep learning peuvent avoir dans l’analyse des corpus textuels : l’interprétabilité/explicabilité des modèles est la question essentielle et préalable à tout usage scientifique (vs. commercial) de l'IA. En d’autres termes, l’IA, plus que tout autre traitement automatique, " suppose une herméneutique des sorties logicielles " (F. Rastier, La mesure et le grain, Champion, 2011 : 43).  

Nous plaiderons que les modèles convolutionnels (CNN) ont le pouvoir de rendre compte de l'axe syntagmatique, c'est-à-dire qu'ils exhibent les combinaisons saillantes sur la chaine des textes. Tandis que les modèles transformers ont le pouvoir de rendre compte de l’axe paradigmatique, c’est-à-dire qu’ils identifient les sélections ou les " rapports associatifs " (Le Cours, Chapitre V, pp. 170-175 de l'éd 1972) des textes en corpus. Dans les deux cas, et de manière fermement complémentaire, c’est à un effort de co(n)textualisation que nous appelons – le mot en relation syntagmatique avec son co-texte immédiat, le mot en association avec ses coreligionnaires du paradigme en mémoire ou en corpus – pour une sémantique non pas formelle mais une sémantique de corpus.

Auteur: Mayaffre Damon

Info: Descriptions idiolectales et Intelligence artificielle. Que nous dit le deep learning sur les textes ? Résumé introductif de son intervention

[ homme-machine ] [ onomasiologie mécanique ] [ signifiants vectorisés ] [ pensée hors-sol ] [ ouverture ] [ méta-contextualisation ] [ interrogation ]

Préambule pour la chaîne : AI, intelligence artificielle ou bêtise humaine ?

Devant l'hyper complexité, la puissance et la versatilité du monde, l'humanité apparait comme bien peu sage et fragile. Nous autres primates retors et pleins d'astuces sommes embringués dans un processus général d'affaiblissement de la race, dégénérescence commencée dès l'usage du premier outil - la première béquille, stigmate de notre éloignement et de notre différenciation égoïste au sein du système Gaïa. Ou de notre spécialisation.
Ce tropisme anthropomorphe toujours plus techno dépendant a apporté au vingtième siècle des résultats étonnants : surpopulation, démolition des biotopes et de la diversité des espèces animales, pollution, épuisement des ressources, réchauffement climatique...
En début de 3e millénaire, plutôt que réagir vigoureusement, les humains semblent entraînés sur une pente trop inclinée et glissante pour pouvoir stopper cette chute sans gros dégâts.
Dans ce tableau, heureusement, un certain optimisme reste de mise, on espère beaucoup des technosciences pour nous en sortir. Dépendance toujours.
C'est ici, vitesse de l'esprit et du développement des inquiétudes, qu'informatique et intelligence artificielle viennent autant nourrir nos espoirs que nos peurs. Il est avancé d'un côté que l'AI permettra de gérer (résoudre?) nos problèmes. De l'autre on prédit la "singularité", ce moment T où les machines surpasseront l'homme pour prendre le pouvoir. Une troisième tendance, mieux balancée peut-être, prévoit que l'humanité virus sera sous la coupe d'une petite oligarchie sur-argentée, installée dans quelque paradis "prévus pour", un peu comme dans le film Elysium, oligarchie tenant les commandes d'un système big brothérien en regard duquel celui d'Orwell fera figure d'aimable gag.
Voici donc l'état d'esprit du concepteur de cette chaîne - le surplomb. Les extraits, contradictoires parfois, sont disposés de manière à tenter d'informer au mieux, avec les meilleurs spécialistes, pour séparer le bon grain de l'ivraie. D'y voir un peu plus clair. N'hésitez pas à en proposer, à nourrir le débat.
Ou proposer une chaîne à la thématique mieux précisée.

Auteur: Mg

Info: On pourra aussi nourrir sa réflexion en cherchant directement dans la base de données avec des termes comme "homme-machine" et bien sûr "intellige" et "artifici", entre autres exemples.

[ machine learning ]

homme-machine

Frank Rosenblatt est surtout connu pour son Perceptron, un dispositif électronique construit selon des principes biologiques et doté d'une capacité d'apprentissage. Les perceptrons de Rosenblatt ont d'abord été simulés sur un ordinateur IBM 704 au Cornell Aeronautical Laboratory en 1957. Lorsqu'un triangle était placé devant l'œil du perceptron, celui-ci captait l'image et la transmettait le long d'une succession aléatoire de lignes aux unités de réponse, où l'image était enregistrée.

Il a développé et étendu cette approche dans de nombreux articles et dans un livre intitulé Principles of Neurodynamics : Perceptrons and the Theory of Brain Mechanisms, publié par Spartan Books en 1962. Le Perceptron lui a valu une reconnaissance internationale. Le New York Times l'a qualifié de révolution en titrant "New Navy Device Learns By Doing", et le New Yorker a également admiré l'avancée technologique.

Des recherches sur des dispositifs comparables étaient également menées dans d'autres endroits, comme le SRI, et de nombreux chercheurs attendaient beaucoup de ce qu'ils pourraient faire. L'enthousiasme initial s'est toutefois quelque peu estompé lorsqu'en 1969, Marvin Minsky et Seymour Papert ont publié le livre "Perceptrons", qui contenait une preuve mathématique des limites des perceptrons feed-forward à deux couches, ainsi que des affirmations non prouvées sur la difficulté d'entraîner des perceptrons à plusieurs couches. Le seul résultat prouvé du livre, à savoir que les fonctions linéaires ne peuvent pas modéliser les fonctions non linéaires, était trivial, mais le livre a néanmoins eu un effet prononcé sur le financement de la recherche et, par conséquent, sur la communauté. 

Avec le retour de la recherche sur les réseaux neuronaux dans les années 1980, de nouveaux chercheurs ont recommencé à étudier les travaux de Rosenblatt. Cette nouvelle vague d'études sur les réseaux neuronaux est interprétée par certains chercheurs comme une infirmation des hypothèses présentées dans le livre Perceptrons et une confirmation des attentes de Rosenblatt.

Le Mark I Perceptron, qui est généralement reconnu comme un précurseur de l'intelligence artificielle, se trouve actuellement au Smithsonian Institute à Washington D.C. Le MARK 1 était capable d'apprendre, de reconnaître des lettres et de résoudre des problèmes assez complexes.

Auteur: Internet

Info: Sur https://en.wikipedia.org/wiki/Frank_Rosenblatt

[ historique ] [ acquisition automatique ] [ machine learning ]

intelligence artificielle

Les réseaux neuronaux profonds (DNN) sont analysés via le cadre théorique du principe du goulot d'étranglement de l'information (IB). Nous montrons d'abord que tout DNN peut être quantifié par l'information mutuelle entre les couches et les variables d'entrée et de sortie. A l'aide de cette représentation, on peut calculer les limites théoriques d'information optimales du DNN et obtenir des limites de généralisation d'échantillons finis. L'avantage de se rapprocher de la limite théorique est quantifiable tant par la généralisation liée que par la simplicité du réseau. Nous soutenons que tant l'architecture optimale, le nombre de couches et les caractéristiques/connexions de chaque couche, sont liés aux points de bifurcation de l'arbitrage du goulet d'étranglement de l'information, à savoir la compression pertinente de la couche d'entrée par rapport à la couche de sortie. Les représentations hiérarchiques du réseau en couches correspondent naturellement aux transitions de phases structurelles le long de la courbe d'information. Nous croyons que cette nouvelle perspective peut mener à de nouvelles limites d'optimalité et à de nouveaux algorithmes d'apprentissage en profondeur.

A) Stade initial : La couche de neurones 1 encode toute l'information qui rentre (input data), y compris toutes les étiquettes (labels, polarités) Les neurones de cette couche étant dans un état quasi aléatoire, avec peu ou pas de relation entre les données et leurs étiquettes.
Ainsi chaque neurone artificiel qui se déclenche transmet un signal à certains neurones de la couche suivante en fonction des variables d'entrée et de sortie. Le processus filtre le bruit et ne retient que les caractéristiques les plus importantes.

B) Phase de montage : à mesure que l'apprentissage en profondeur commence, les neurones des couches (layers) suivantes obtiennent des informations sur l'entrée qui s'adaptent mieux aux étiquettes.

C) Changement de phase: la couche (calque) change soudainement de vitesse et commence à "oublier les informations" de l'input.

D) Phase de compression: les couches supérieures compriment leur représentation des données d'entrée en ne conservant ce qui est le plus pertinent pour les infos de sortie. Elles précisent l'étiquetage.

E) Phase finale : la dernière couche obtient le meilleur équilibre entre précision et compression, ne conservant que ce qui est nécessaire pour définir l'étiquette.

Auteur: Tishby Naftali

Info: Bottleneck Theory of Deep Learning, abstract

[ classification ] [ tri ] [ informatique ] [ discernement ] [ pattern recognition ]

instinct

Réflexes automatiques
La plupart de nos expériences "venant des tripes", telles qu'aimer instantanément - ou détester de suite par jugement lors de la rencontre d'une personne nouvelle sont bonnes. Des chercheurs de Leeds prétendent que ces sentiments - ou intuitions - sont vrais et que nous devrions les prendre au sérieux.
Selon le team mené par le professeur Gerard Hodgkinson du Centre for Organisational Strategy, Learning and Change at Leeds University Business School, l'intuition est le résultat de la manière dont notre cerveau traite et recherche l'information à un niveau subconscient. C’est donc un vrai phénomène psychologique qui nécessite davantage d'étude pour nous aider à améliorer son potentiel.
On a recensé beaucoup de cas où l'intuition a empêché des catastrophes, tout comme certains cas de rétablissements remarquables lorsque les médecins ont suivi leurs sentiments intuitifs. Pourtant, historiquement, la science a toujours ridiculisé le concept de l'intuition, le mettant dans la même boîte que la parapsychologie, la phrénologie et autres pratiques pseudo scientifiques.
Par l'analyse d'un éventail de documents de recherches examinant ce phénomène, les chercheurs concluent que l’intuition vient de ce que le cerveau, s'appuyant sur des expériences antérieures ainsi que sur des signes externes, prend une décision si rapidement que cette réaction est à un niveau non-conscient. Tout ce dont nous nous rendons compte c'est un sentiment général comme quoi ce quelque chose est exact ou erroné.
"Les gens expérimentent habituellement cette intuition vraie quand ils sont sous une forte pression ou dans une situation de la surcharge d'information ou de danger est aigu, ainsi l'analyse consciente de la situation peut être difficile ou impossible" dit le prof. Hodgkinson.
Il cite ce cas d'un conducteur de formule un qui freina brusquement en arrivant dans une courbe resserrée sans savoir pourquoi – qui, par conséquence a évité la collision avec des voitures arrêtées sur la voie, sauvant probablement sa vie.
"Le conducteur n’a pas pu expliquer pourquoi il a senti qu'il devrait s'arrêter, mais cette intuition fut beaucoup plus forte que son désir de gagner la course," dit le prof Hodgkinson."Il a subi l'analyse de psychologues après, où il lui a été montré la vidéo de l'événement afin de revivre mentalement. Rétrospectivement il s'est rendu compte que la foule, qui normalement l'aurait encouragé, ne le regardait pas mais regardait de l'autre côté de manière statique. C'était la cause. Il ne l'avait pas consciemment traitée, mais il avait vu que quelque chose s'était passé."
Hodgkinson pense que toutes les expériences intuitives se basent sur l'évaluation instantanée de tel ou telle sélection d’informations, externes ou internes - mais sans spéculer quand a savoir si ces décisions intuitives sont nécessairement les bonnes.
"Les humains ont clairement besoin de processus de pensée conscients et non-conscients, mais comment savoir si l’un ou l’autre est intrinsèquement `meilleur 'que l'autre." dit-il.

Auteur: Internet

Info: British Journal of Psychology, 2005, via Fortean TImes

[ vitesse ] [ première impression ]

homme-machine

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Auteur: Internet

Info: Sur guithub : https://huggingface.co/blog/rlhf, Nathan Lambert, Louis Castricato guest , Leandro von Werra, Alex Havrilla guest. Le 9 décembre 2022 *Reinforcement Learning from Human Feedback ... **Courbe de perte ? (loss function) À la base, une fonction de perte est très simple : c'est une méthode permettant d'évaluer dans quelle mesure votre algorithme modélise votre ensemble de données. Si vos prédictions sont totalement erronées, votre fonction de perte affichera un chiffre élevé. Si elles sont assez bonnes, elle affichera un chiffre plus bas.  C'est une pénalité pour  mauvaise prédiction. En d'autres termes, la perte (loss) est un nombre qui indique à quel point la prédiction du modèle est mauvaise sur un seul exemple. Si la prédiction du modèle est parfaite, la perte est nulle ; elle affichera le chiffre zéro.

[ apprentissage automatique ] [ idiome consensuel ] [ anti-poésie ] [ objectivation linguistique ] [ polysémie contextualisée ] [ mathématisation ]

compétition

Face à l’appât du gain, deux intelligences artificielles de Google se révèlent "très agressives"
Le meilleur moyen de savoir si le développement des intelligences artificielles progresse est de les mettre en pratique. Pour cela, la filiale de Google Deepmind a récemment intégré des IA dans des jeux virtuels afin de savoir quel serait leur comportement face à une situation donnée. Entre collaboration et affrontement, cette étude passionnante nous montre de manière primitive que les intelligences artificielles ne reculent devant rien pour arriver à leurs fins.
Après avoir démontré leurs capacités en s’illustrant au jeu de Go, battant récemment les meilleurs joueurs du monde, les IA de Google se sont retrouvées entre elles dans des jeux vidéo, dans le cadre d’une étude baptisée "Multi-agent renforcement learning in séquentiel social dilemnas". D’après les équipes de Deepmind, l’objectif de cette étude est de savoir si, face à l’appât du gain, les intelligences artificielles privilégieraient la collaboration ou l’affrontement. Si les jeux vidéo ressemblent à des versions grossières de Pacman, les résultats nous permettent de tirer quelques conclusions.
Dans le premier jeu baptisé "Gathering", les joueurs doivent récolter le plus de pommes possibles depuis un point central. Chaque joueur dispose d’un pistolet laser afin de pouvoir éliminer temporairement son adversaire le temps de pouvoir récupérer un maximum de pommes. Les IA Deepmind sont en rouge et bleu, les faisceaux laser en jaune et les pommes en vert. Au début de la partie, quand il y a suffisamment de pommes pour les deux joueurs, elles se livrent une bataille pacifique. Toutefois, les IA n’hésitent pas à se servir de leur pistolet laser pour neutraliser leur adversaire quand les pommes se font rares.
En utilisant des formes de Deepmind de plus en plus complexes, les chercheurs ont suggéré que plus l’agent est intelligent et plus il est capable d’apprendre de son environnement, ce qui lui permet d’utiliser des tactiques très agressives pour prendre le dessus. "Ce modèle… montre que certains aspects du comportement humain semblent émerger comme un produit de l’environnement et de l’apprentissage. Des politiques moins agressives émergent de l’apprentissage dans des environnements relativement abondants, avec moins de possibilités d’actions coûteuses. La motivation de la cupidité reflète la tentation de surpasser un rival et de recueillir toutes les pommes soi-même", explique Joel Z Leibo, membre de l’équipe de recherche.
Dans le deuxième jeu baptisé "Wolfpack", trois IA sont présentes : deux loups doivent chasser une proie et la capturer dans un environnement plein d’obstacles, à la manière d’une meute. Contrairement au jeu précédent, Wolfpack encourage la coopération. Si les deux loups sont près de la proie lorsque celle-ci est capturée, alors les deux reçoivent une récompense, indépendamment de celui qui l’a capturée.
"L’idée est que la proie est dangereuse – un loup solitaire peut la surmonter, mais il risque de perdre la carcasse à cause des charognards. Cependant, lorsque les deux loups capturent la proie ensemble, ils peuvent mieux protéger la carcasse contre les charognards, et donc recevoir une récompense plus élevée", explique l’équipe dans leur rapport.
En fonction de leur environnement, les IA ont soit privilégié l’agressivité et l’égoïsme, soit la collaboration pour un plus grand succès personnel. Si Google n’a pas encore publié son étude, les premiers résultats révèlent qu’élaborer des intelligences artificielles ne signifie pas qu’elles estimeraient nos propres intérêts comme priorité absolue.

Auteur: Internet

Info: Dailygeekshow.com nov 2017

[ logiciel expert ]

data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]