data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]

prospective aventurée

Imaginons FLP avec une ambition au-delà de la prétention ; celle d'établir une réflexion collective qui s'inspire de l'eau, même si nous sommes loin d'avoir compris les mystères de cette dernière. L'idée est : la réflexion de base qui anime l'humain reste celle, binaire, d'une survie pulsionnelle, égoïste (sauf à de rares exceptions, comme la défense des enfants et de la tribu). A l'échelon communautaire c'est un peu mieux, mais il faut bien reconnaître que nos système et fonctionnements de primates dépoilés sont loin du compte, il suffit de constater comment les intérêts oligarchiques se maintiennent aisément, parallèlement à des habitudes de "culture des vainqueurs", soi-disant démocratiques, qui amènent trop souvent arrivistes et/ou nantis aux commandes des Etats.

Pour l'eau, la molécule/individu et le petit groupe famille/tribu paraissent ne pas exister en tant que tels. Allons savoir ?... Quoi qu'il en soit les molécules H₂O mises ensemble forment un composé vraiment stable mais néanmoins très réactif, constituant un élément auquel peu d'obstacles résistent, encore moins sur la durée - à l'image du ruisseau qui érode le granit.

L'esprit des hommes - c'est à dire le langage - s'est développé via deux voies principales. Une lente, principalement par l'établissement de listes ; l'autre dans l'instant, réactive et primaire. Deux aspects opposés mais qui, avec temps et sagesse, intriquent cette dualité d'aspect orthogonal, rendant le tout plus plastique et robuste - en apparence du moins.

Tel est l'esprit collectif que les humains développent sans cesse à partir du moment magique où ils réussirent à établir une mémoire collective externe de par les grâces des signes et de l'écriture trans générationnelle. Âme communautaire qui améliore et augmente sans cesse son étendue et sa plasticité, de nos jours principalement via les outils informatiques. Et aujourd'hui avec Internet la terre ressemble à un cerveau, chaque humain/site se comportant un peu comme un neurone. Mais cet esprit collectif est loin d'avoir l'adaptabilité, la cohérence communautaire, la souplesse et la mobilité de l'eau et ses formes (sans parler de ses vertus) telles que nous les connaissons et les conceptualisons : fluidité, omniprésence, adaptation tous azimuts... Capable de se solidifier, s'évaporer, s'infiltrer... Pour réapparaître en pluie, vapeur, neige, sources... Apte aussi à se décomposer par électrolyse.

Voilà donc posé notre modèle logico-mécanique de formes/aptitudes, proposées pas l'eau. Indications pour perfectionner un esprit collectif, c'est à dire capable d'avoir "au-moins" une plasticité similaire à celle d'aqua simplex, capable de partager au maximum des capacités analogues, ces malléabilités et cet esprit de corps montrés par l'eau dans la réalité que nous partageons avec elle.

Mais revenons sur terre. Alliance de la mouvance des idées avec la gravitation des mots et des modes/époques, FLP n'a d'autres règles que celles fixées par le langage issu de la réalité humaine (en attendant mieux), et ses significations/interprétations. Le langage "quasi-esprit" (voir C.S. Peirce) semble se situer dans un autre espace que celui de notre chair, et de l'eau même s'il est clairement une hyperstructure qui en émerge, une survenance (supervénience).

Dès le codage de notre réalité en un univers conceptuel écrit, ces abstractions sémantiques combinées présentent des configurations et des obstacles d'un autre ordre : dogmes, idées fixes, mensonges, bâtons et carottes spirituels... Bagarres quant à la signification ou l'étymologie d'un terme... Malentendus, références biaisées... Ambivalences... Vérités fugaces, certitudes frelatées...

Il est imaginable que nous avons là, avec FLP, une des conditions pour un monde meilleur, plus complexe. La nécessité d'une conscience grégaire agrandie, distanciée... Indispensable si on veut éviter que l'humanité n'explose en vol par manque de recul, de médiation... de méditation. Ou par avidité, abus des flux tendus, et autres miroirs aux alouettes publicitaires, possessions destinées à faire enrager le voisin.

Et puis, n'est que parce que nous pressentons ici une ouverture, un autre espace, l'esprit devrait offrir, tant au niveau de la molécule/individu qu'aux étages communautaires ou civilisationnels, des vertus élargies par comparaison à celles de l'eau. Sauf l'immense respect que nous lui devons.



( Voir, dans les commentaires, l'ajout de 2024, quand à la préséance de l'eau, dipôle, sur la tétravalence du carbone. Tous deux vus comme socles d'un cosmos fondé sur les éléments atomiques - ou non subatomiques. Et ensuite de de la vie émergée de par les grâce de la tétravalence des atomes de carbones excités, passage obligé - semble-t'il, vers le vivant. )

Auteur: Mg

Info: 2021

[ citation s'appliquant à ce logiciel ]