intelligence artificielle

Alors que Chomsky s'est concentré sur une grammaire innée et l'utilisation de la logique, le Deep Learning s'intéresse au sens. Il s'avère que la grammaire n'est que la cerise sur le gâteau. Ce qui compte vraiment, c'est notre intention (l'obectif) : c'est surtout le choix des mots qui détermine ce que nous voulons dire, et le sens associé peut être appris.

Auteur: Bengio Yoshua

Info:

[ homme-machine ] [ sémantique ] [ apprentissage automatique profond ]

homme-machine

Ici dans les laboratoires de Zurich, nous travaillons sur l’après. Dans les dix prochaines années, il y aura des innovations liées aux techniques d’intelligence artificielle qu’on mettra à disposition, telle que l’intelligence artificielle généralisée (AGI). Une intelligence artificielle plus intelligente. Un des concepts sur lesquels mes équipes travaillent ici est la partie symbolique, que l’on appelle l’intelligence symbolique*. L’idée est de ne pas seulement dépendre d’un réseau de neurones qui demande une quantité colossale de données à répétition pour pouvoir apprendre.

Je vous donne l’exemple d’un système de conduite pour automobile, pour que ce soit plus compréhensible. Au lieu d’entraîner le système avec une grosse quantité de vidéos de voitures qui s’arrêtent à une intersection quand une autre voiture arrive de la droite, nous pourrions lui faire ingérer le code de conduite directement, et intégrer cette notion dans celle-ci. On en arrivera au même point, mais avec l’apprentissage neuronal classique, il faut une quantité phénoménale de vidéos différentes qu’il faudra répéter plusieurs fois pour que le réseau ait compris et ajusté ses poids pour obtenir la bonne réponse.

Le travail est donc d’aller faire ingérer le modèle de ces 50 pages comprenant toutes les règles et leur description, puis d’utiliser cette intelligence symbolique en combinaison avec l’intelligence basée sur les données, le Deep Neural Network. Ce sera beaucoup plus efficace ainsi. Notamment dans les situations uniques où le modèle n’aurait pas été entraîné. Avec un système de conduite, cela pourrait être utile si une voiture rencontre un panneau stop tombé sur le bas-côté de la route. On pourra aller plus loin dans ce que l’on appelle la out of distribution generalization* : la généralisation de ce qu’on a appris en dehors des données fournies pendant l’apprentissage.

 

Auteur: Haas Robert

Info: https://www.01net.com/, 24 déc 2023, *à différencier du développement de la fonction symbolique chez l'enfant, c'est-à-dire la capacité d'avoir des représentations mentales. ****généralisation hors distribution (OOD), ou problème de généralisation de domaine, qui suppose l'accès uniquement à des données tirées d'un ensemble "Eavail" "domaines disponibles pendant la formation".  Il faut donc aller vers la généralisation d'un ensemble de domaines plus large "Eall" comprenant des domaines non vus.

[ combinaison ouverture ]

data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]