homme-machine

Une grande partie des progrès réalisés dans le domaine de l'apprentissage automatique - et c'est une opinion impopulaire dans le monde universitaire - est due à l'augmentation de la puissance de calcul et des données. On peut faire l'analogie avec la construction d'une fusée spatiale : Vous avez besoin d'un énorme moteur et de beaucoup de carburant.

Auteur: Ng Andrew Yan-Tak

Info:

[ force brute ] [ bêtise artificielle ] [ puissance aveugle ]

tâtonnement

Fritz Zwicky est également l’inventeur de la "morphologie", une méthode de pensée qu’il a expliquée dans un livre publié à la fin des années 1960. Il s’agit de rechercher la solution d’un problème en essayant toutes les combinaisons possibles. On place toutes les hypothèses dans une boîte à idées que lui nomme "boîte morphologique", on secoue virtuellement très fort et on examine les diverses combinaisons. Par exemple, en associant les termes "Soleil" et "voyage spatial", Zwicky imagine de déplacer le système solaire.

Auteur: Lemire Laurent

Info: Ces savants qui ont eu raison trop tôt

[ force brute ] [ citation s'appliquant à ce logiciel ] [ ratissage ]

Intelligence artificielle

La temporalité algorithmique est inconcevable pour notre entendement. La connaissance du Go par l'humanité s'est accumulée sur des milliers d'années et s'est transmise par la culture orale, les livres et autres proverbes. Pour devenir un joueur de Go de niveau international, il faut dédier son existence à son étude pendant de longues années.

AlphaGo Zero n'a eu besoin que de quelques jours pour absorber cet héritage et balayer les années de travail pour l'acquérir. En sus, l'IA a développé des pratiques nouvelles et parfois contradictoires avec le savoir que nous avions sur l'art de jouer au Go. Force est de constater que le facteur limitant d'AlphaGO est d'avoir été contraint d'étudier à partir de l'Homme. Dès lors qu'AlphaGo Zero n'a joué que contre lui-même, l'IA n'a plus été inhibé dans son apprentissage par le facteur humain.

Auteur: Bertolucci Marius

Info: L'Homme diminué par l'IA

[ vitesse ] [ homme-machine ] [ force brute cybernétique ] [ dépassement ]

data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]

métadonnées

Internet n’est pas assez développé pour former l’IA, mais une solution existe : les fausses données 

Une nouvelle vague de start-up anticipe la crise existentielle à laquelle est confrontée l’industrie de l’intelligence artificielle (IA) : que se passera-t-il lorsqu’on sera à court de données ?

En 2011, Marc Andreessen, dont la société de capital-risque Andreessen Horowitz a depuis investi dans certaines des plus grandes start-up de l’IA, a écrit que " la technologie est en train de manger le monde ". Plus d’une décennie plus tard, c’est exactement ce qui est en train de se produire.

L’IA, et plus particulièrement les grands modèles de langage qui l’alimentent, est un consommateur vorace de données. Cependant, ces données sont limitées et s’épuisent. Les entreprises ont tout exploité dans leurs efforts pour former des IA toujours plus puissantes : transcriptions et sous-titres de vidéos YouTube, messages publics sur Facebook et Instagram, livres et articles de presse protégés par le droit d’auteur (parfois sans autorisation, parfois avec des accords de licence). ChatGPT d’OpenAI, le chatbot qui a contribué à la généralisation de l’IA, a déjà été entraîné sur l’ensemble de l’Internet public, soit environ 300 milliards de mots, y compris l’intégralité de Wikipédia et de Reddit. À un moment donné, il ne restera plus rien.

C’est ce que les chercheurs appellent " heurter le mur des données ". Selon eux, cela risque de se produire dès 2026. La création de données d’entraînement pour l’IA est donc une question à plusieurs milliards de dollars, à laquelle une cohorte émergente de start-up cherche une solution.

Une possibilité : créer des données artificielles

C’est l’approche adoptée par Gretel pour résoudre le problème des données de l’IA. La start-up crée ce que l’on appelle des " données synthétiques ", c’est-à-dire des données générées par l’IA qui imitent fidèlement des informations factuelles, mais qui ne sont pas réelles. Pendant des années, la start-up, aujourd’hui évaluée à 350 millions de dollars, a fourni des données synthétiques à des entreprises travaillant avec des informations personnelles identifiables qui doivent être protégées pour des raisons de confidentialité (les données des patients, par exemple). Cependant, aujourd’hui, son PDG Ali Golshan voit une opportunité de fournir aux entreprises d’IA en manque de données de fausses données fabriquées à partir de zéro, qu’elles peuvent utiliser pour entraîner leurs modèles d’IA.

" Les données synthétiques étaient tout à fait adaptées ", a déclaré Ali Golshan, ancien analyste de renseignements, à propos de la question du mur de données. " Elles résolvaient les deux faces d’une même pièce. Il était possible d’obtenir des données de haute qualité et de les rendre sûres. "

Cette approche " l’IA alimente l’IA " a déjà été adoptée par Anthropic, Meta, Microsoft et Google, qui ont tous utilisé des données synthétiques d’une manière ou d’une autre pour entraîner leurs modèles. Le mois dernier, la start-up Gretel a annoncé qu’elle mettrait ses données synthétiques à la disposition des clients utilisant Databricks, une plateforme d’analyse de données, pour construire des modèles d’IA.

Les limites des données synthétiques

Cependant, les données synthétiques ont leurs limites. Elles peuvent exagérer les biais d’un ensemble de données original et ne pas inclure les valeurs aberrantes, de rares exceptions que l’on ne verrait qu’avec des données réelles. Cela pourrait aggraver la tendance de l’IA à halluciner. Ou encore, les modèles formés sur de fausses données pourraient tout simplement ne rien produire de nouveau. Ali Golshan appelle ça une " spirale de la mort ", mais ce phénomène est plus connu sous le nom d’" effondrement du modèle ". Pour éviter cela, il demande à ses nouveaux clients de fournir à Gretel un morceau de données réelles et de haute qualité. "Des données inutiles et sûres restent des données inutiles ", a déclaré Ali Golshan à Forbes.

Un autre moyen de contourner le mur des données : les gens. Certaines start-up embauchent des armées de personnes pour nettoyer et étiqueter les données existantes afin de les rendre plus utiles pour l’IA ou de créer davantage de nouvelles données.

Le poids lourd de l’étiquetage des données est le mastodonte Scale AI, valorisé à 14 milliards de dollars, qui fournit des données annotées par des humains à des start-up d’IA de premier plan telles qu’OpenAI, Cohere et Character AI. L’entreprise a des activités gigantesques, employant quelque 200 000 travailleurs dans le monde entier par l’intermédiaire d’une filiale appelée Remotasks. Ces travailleurs réalisent plusieurs tâches, comme dessiner des boîtes autour d’objets dans une image, ou comparer différentes réponses à une question et évaluer laquelle est la plus précise.

À une échelle encore plus grande, Toloka, une société basée à Amsterdam, a rassemblé neuf millions d’étiqueteurs humains ou " tuteurs d’IA " à des fins similaires. Surnommés " Tolokers ", ces travailleurs du monde entier annotent également des données, par exemple en étiquetant des informations personnellement identifiables dans un ensemble de données destiné à être utilisé dans un projet communautaire d’IA mené par Hugging Face et ServiceNow. Néanmoins, ils créent également des données à partir de zéro : ils traduisent des informations dans de nouvelles langues, les résument et les transcrivent. 

Toloka travaille également avec des experts tels que des docteurs en physique, des scientifiques, des juristes et des ingénieurs en logiciel afin de créer des données originales spécifiques à un domaine pour les modèles qui ciblent des tâches de niche. La start-up engage par exemple des juristes germanophones pour créer du contenu pouvant être intégré dans des modèles d’IA juridiques. Cependant, c’est un travail considérable que de mobiliser des personnes dans 200 pays, de vérifier que leur travail est précis, authentique et impartial, et de traduire tout jargon académique dans un langage accessible et digeste pour les modèles d’IA.

" Personne n’aime s’occuper des opérations humaines ", a déclaré Olga Megorskaya, PDG de Toloka, à Forbes. " Tout le monde aime construire des modèles d’IA et des entreprises. Mais traiter avec de vrais humains n’est pas une compétence très répandue dans l’industrie de l’IA. "

Ce type de travail pose des problèmes de main-d’œuvre à l’échelle de l’industrie. L’année dernière, les travailleurs de Scale ont fait part à Forbes de leur faible rémunération. Les travailleurs de Toloka contactés dans le cadre de cet article ont formulé des plaintes similaires. La PDG de Toloka, Olga Megorskaya, a déclaré à Forbes qu’elle estimait que la rémunération était juste, et Scale AI a déclaré de la même manière qu’elle s’engageait à payer aux travailleurs un " salaire décent ".

Utiliser moins de données

La solution la plus évidente au problème de la pénurie de données est peut-être la plus évidente : utiliser moins de données pour commencer.

Bien qu’il y ait un besoin urgent de données d’entraînement à l’IA pour alimenter des modèles massifs, certains chercheurs estiment qu’un jour, l’IA avancée pourrait ne plus avoir besoin d’autant de données. Nestor Maslej, chercheur au Human-Centered Artificial Intelligence de l’université de Stanford, pense que l’un des vrais problèmes n’est pas la quantité, mais l’efficacité.

« Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie. »

Alex Ratner, PDG et cofondateur de Snorkel AI

" Si l’on y réfléchit, ces grands modèles de langage, aussi impressionnants soient-ils, voient des millions de fois plus de données qu’un seul être humain n’en verrait dans toute sa vie. Pourtant, les humains peuvent faire certaines choses que ces modèles ne peuvent pas faire ", a déclaré Nestor Maslej. " D’un certain point de vue, il est clair que le cerveau humain fonctionne à un niveau d’efficacité qui n’est pas nécessairement pris en compte par ces modèles. "

Cette percée technique n’a pas encore eu lieu, mais l’industrie de l’IA commence déjà à s’éloigner des modèles massifs. Plutôt que d’essayer de construire de grands modèles de langage capables de rivaliser avec OpenAI ou Anthropic, de nombreuses start-up spécialisées dans l’IA construisent des modèles plus petits et plus spécifiques qui nécessitent moins de données. Mistral AI, par exemple, a récemment lancé Mathstral, une IA conçue pour exceller dans les problèmes mathématiques. Même OpenAI se lance dans le jeu des mini-modèles avec le lancement de GPT-4o mini.

" Nous assistons à une course au volume et les grands fournisseurs de modèles généralistes s’emparent de plus en plus de données et essaient des schémas pour générer de nouvelles données ", a déclaré Alex Ratner, PDG de la société d’étiquetage de données Snorkel AI. " La clé pour qu’un modèle fonctionne vraiment bien pour une tâche donnée est la qualité et la spécificité des données, et non le volume. "

Par conséquent, l’approche de Snorkel AI consiste à aider les entreprises à tirer parti des données dont elles disposent déjà et à les convertir en or pour l’entraînement à l’IA. La start-up, qui a été créée par le laboratoire d’IA de Stanford et qui est maintenant évaluée à un milliard de dollars, fournit un logiciel qui permet au personnel d’une entreprise d’étiqueter plus facilement et rapidement les données.

De cette manière, les modèles d’une entreprise sont conçus pour répondre à ses besoins réels. " Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie ", a déclaré Alex Ratner.

Auteur: Internet

Info: https://www.forbes.fr/, 29 juillet 2024,  Rashi Shrivastava pour Forbes US – traduit par Flora Lucas

[ LLMs ] [ force brute ] [ rationalisation impossible ] [ homme-machine ] [ superflu ] [ gaspillage ]