data élagage

IA : Cette technique oubliée du 18e siècle rend le Deep Learning inutile

Et si le deep learning devenait inutile au développement de l’intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.

Jusqu’à maintenant, le deep learning ou l’apprentissage profond est présenté comme un processus essentiel au développement de l’intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.

Ces chercheurs font partie d’une équipe de l’université de Jyväskylä qui effectue des travaux sur les techniques de développement de l’intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.

Cette technique est plus simple et plus performante que l’apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l’aboutissement de six années de recherche.

Il faut que le deep learning devienne inutile…

Le deep learning s’apparente aux techniques d’intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.

Mais il ne faut pas croire que l’apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.

En effet, la complexité du deep learning se retrouve dans la structure d’un LLM (large miodèle de langage). Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n’est pas maîtrisé, les performances ne seront pas au rendez-vous. L’opacité du mécanisme IA peut même exposer à des risques.

Des modèles IA performants sans deep learning

L’équipe de l’université de Jyväskylä travaille ainsi depuis six ans sur l’amélioration des procédés d’apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L’objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.

Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s’agit d’un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s’appuie principalement sur la combinaison des fonctions et des équations différentielles.

Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n’a pourtant aucun impact négatif sur la performance.

Les mathématiques du 18e siècle pour moderniser l’IA…

L’importance de l’intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l’intelligence artificielle.

En effet, plus le développement de l’IA sera simple et transparent, il sera davantage facile d’envisager son utilisation éthique. L’accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.

Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l’IA. "Le deep learning occupe une place si importante dans la recherche, le développement de l’intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement", explique l’un des auteurs de la recherche.

Auteur: Internet

Info: https://www.lebigdata.fr/, Magloire 12 octobre 2023

[ limitation de la force brute ] [ vectorisation sémantique ] [ émondage taxonomique ]

société de surveillance

Il y a vingt ans [dans les années 1920], le petit bourgeois français refusait de laisser prendre ses empreintes digitales, formalité jusqu'alors réservée aux forçats. Oh! oui, je sais, vous vous dites que ce sont là des bagatelles. Mais en protestant contre ces bagatelles le petit bourgeois engageait sans le savoir un héritage immense, toute une civilisation dont l'évanouissement progressif a passé presque inaperçu, parce que l'Etat Moderne, le Moloch Technique, en posant solidement les bases de sa future tyrannie, restait fidèle à l'ancien vocabulaire libéral, couvrait ou justifiait du vocabulaire libéral ses innombrables usurpations. Au petit bourgeois français, refusant de laisser prendre ses empreintes digitales, l'intellectuel de profession, le parasite intellectuel, toujours complice du pouvoir, même quand il paraît le combattre, ripostait avec dédain que ce préjugé contre la Science risquait de mettre obstacle à une admirable réforme des méthodes d'identification, qu'on ne pouvait sacrifier le Progrès à la crainte ridicule de se salir les doigts. Erreur profonde ! ce n'étaient pas ses doigts que le petit bourgeois français, l'immortel La Brige de Courteline, craignait de salir, c'était sa dignité, c'était son âme. Oh ! peut-être ne s'en doutait-il pas, ou ne s'en doutait-il qu'à demi, peut-être sa révolte était-elle beaucoup moins celle de la prévoyance que celle de l'instinct. N'importe ! On avait beau lui dire : "Que risquez-vous ? Que vous importe d'être instantanément reconnu, grâce au moyen le plus simple et le plus infaillible ? Le criminel seul trouve avantage à se cacher..." Il reconnaissait bien que le raisonnement n'était pas sans valeur, mais il ne se sentait pas convaincu. En ce temps-là, le procédé de M. Bertillon n'était en effet redoutable qu'au criminel, et il en est encore de même maintenant. C'est le mot de criminel dont le sens s'est prodigieusement élargi, jusqu'à désigner tout citoyen peu favorable au Régime, au Système, au Parti, ou à l'homme qui les incarne. Le petit bourgeois français n'avait certainement pas assez d'imagination pour se représenter un monde comme le nôtre si différent du sien, un monde où à chaque carrefour la Police d'Etat guetterait les suspects, filtrerait les passants, ferait du moindre portier d'hôtel, responsable de ses fiches, son auxiliaire bénévole et public. Mais tout en se félicitant de voir la Justice tirer parti, contre les récidivistes de la nouvelle méthode, il pressentait qu'une arme si perfectionnée, aux mains de l'Etat, ne resterait pas longtemps inoffensive pour les simples citoyens. C'était sa dignité qu'il croyait seulement défendre, et il défendait avec elle nos sécurités et nos vies. Depuis vingt ans, combien de millions d'hommes, en Russie, en Italie, en Allemagne, en Espagne, ont été ainsi, grâce aux empreintes digitales, mis dans l'impossibilité non seulement de nuire aux Tyrans, mais de s'en cacher ou de les fuir ? Et ce système ingénieux a encore détruit quelque chose de plus précieux que des millions de vies humaines. L'idée qu'un citoyen qui n'a jamais eu affaire à la Justice de son pays, devrait rester parfaitement libre de dissimuler son identité à qui lui plaît, pour des motifs dont il est seul juge, ou simplement pour son plaisir, que toute indiscrétion d'un policier sur ce chapitre ne saurait être tolérée sans les raisons les plus graves, cette idée ne vient plus à l'esprit de personne. Le jour n'est pas loin peut-être où il semblera aussi naturel de laisser notre clef dans la serrure, afin que la police puisse entrer chez nous nuit et jour, que d'ouvrir notre portefeuille à toute réquisition. Et lorsque l'Etat jugera plus pratique, afin d'épargner le temps de ses innombrables contrôleurs de nous imposer une marque extérieure, pourquoi hésiterions-nous à nous laisser marquer au fer, à la joue ou à la fesse, comme le bétail ? L'épuration des Mal-Pensants, si chère aux régimes totalitaires, en sera grandement facilitée.

Auteur: Bernanos Georges

Info: La France contre les robots

[ mécanisme d'escalade ] [ consentement forcé ] [ flicage ]

partisanerie

Il y a [...] l'intellectuel de gauche et l'intellectuel de droite.

Je voudrais vous donner des formules qui, pour tranchantes qu'elles puissent paraître au premier abord, peuvent tout de même nous servir à éclairer le chemin.

Le terme de sot, de demeuré, qui est un terme assez joli pour lequel j'ai quelques penchants, tout ceci n'exprime qu'approximativement un certain quelque chose pour lequel je dois dire assurément la langue et la tradition, l'élaboration de la littérature anglaise, me paraît nous fournir un signifiant infiniment plus précieux.

Une tradition qui commence à Chaucer, mais qui s'épanouit pleinement dans le théâtre du temps d'Elisabeth ; qu'une tradition dis-je nous permette de centrer autour du terme de fool -- le fool est effectivement un innocent, un demeuré, mais par sa bouche sortent des vérités qui ne sont pas seulement tolérées, que parce que ce fool est quelquefois revêtu, désigné, imparti, des fonctions du bouffon.

Cette sorte d'ombre heureuse, de foolery fondamentale, voilà ce qui fait à mes yeux le prix de l'intellectuel de gauche.

À quoi j'opposerai [...] un terme employé d'une façon conjuguée [...] c'est le terme de knave.

Le knave, c'est-à-dire quelque chose qui se traduit à un certain niveau de son emploi par le valet, est quelque chose qui va plus loin.

Ce n'est pas non plus le cynique, avec ce que cette position comporte d'héroïque.

C'est à proprement parler ce que Stendhal appelle le coquin fieffé, c'est-à-dire après tout Monsieur Tout-le-Monde, mais Monsieur Tout-le-Monde avec plus ou moins de décision.

Et chacun sait qu'une certaine façon même de se présenter qui fait partie de l'idéologie de l'intellectuel de droite est très précisément de se poser pour ce qu'il est effectivement, un knave.

Autrement dit, à ne pas reculer devant les conséquences de ce qu'on appelle le réalisme, c'est-à-dire, quand il le faut, de s'avouer être une canaille.

Le résultat de ceci n'a d'intérêt que si l'on considère les choses au résultat.

Après tout, une canaille vaut bien un sot, au moins pour l'amusement, si le résultat de la constitution des canailles en troupe n'aboutissait infailliblement à une sottise collective.

C'est ce qui rend si désespérante en politique l'idéologie de droite.

Observons que nous sommes sur le plan de l'analyse de l'intellectuel et des groupes articulés comme tels.

Mais ce qu'on ne voit pas assez, c'est que par un curieux effet de chiasme, la foolery, autrement dit ce côté d'ombre heureuse qui donne le style individuel de l'intellectuel de gauche, aboutit elle fort bien à une knavery de groupe, autrement dit, à une canaillerie collective. [...]

Ce qui me fait le plus jouir, je l'avoue, c'est la face de la canaillerie collective.

Autrement dit, cette rouerie innocente, voire cette tranquille impudence qui leur fait exprimer tant de vérités héroïques sans vouloir en payer le prix.

Grâce à quoi ce qui est affirmé comme l'horreur de Mammon à la première page se finit à la dernière dans les ronronnements de tendresse pour le même Mammon.

Ce que j'ai voulu ici souligner, c'est que Freud n'est peut-être point un bon père, mais en tous cas, il n'était ni une canaille, ni un imbécile.

C'est pourquoi nous nous trouvons devant lui devant cette position déconcertante qu'on puisse en dire également ces deux choses déconcertantes dans leur lien et leur opposition : il était humanitaire, qui le contestera à pointer ses écrits, il l'était et il le reste, et nous devons en tenir compte, si discrédité que soit par la canaille de droite ce terme.

Mais d'un autre côté, il n'était point un demeuré, de sorte qu'on peut dire également, et ici nous avons les textes, qu'il n'était pas progressiste.

Auteur: Lacan Jacques

Info: L’éthique de la psychanalyse - 23 mars 1960

[ retour du refoulé ] [ hommage ] [ gauche-droite ] [ bêtise réductrice ]

chair-esprit

Le libre-arbitre existe-t-il ? Comment le cerveau déforme la réalité temporelle
Nous avons coutume de penser que nous sommes libres de décider et de choisir nos actes. Et pourtant, une série d'expériences de neurosciences jettent un doute sur ce qu'on a l'habitude d'appeler notre libre-arbitre.
Même si elles sont largement débattues, tant du point de vue de leurs résultats scientifiques que de l'interprétation philosophique qui en est donnée, ces expériences sont plutôt troublantes !
Libre-arbitre et activité neurologique
Nous avons tous une notion intuitive de ce qu'est le libre-arbitre. Sur le plan biologique, il peut être associé à la notion d'action volontaire, qui s'oppose à celle de réflexe. Alors que les réflexes empruntent des chemins neuronaux simples (comme un rapide circuit via la moelle épinière), les actions volontaires font intervenir de nombreuses aires cérébrales.
1983 : L'expérience fondatrice de Benjamin Libet*
Dans l'expérience de Libet, on vous place devant une horloge qui défile rapidement, et on vous donne un bouton sur lequel vous pouvez appuyer au moment qui vous plaira. La seule chose qu'on vous demande c'est de retenir le nombre indiqué par l'horloge au moment où vous prenez votre décision d'appuyer. Dans le même temps, des électrodes placées sur votre crâne suivent votre activité cérébrale.
Ce dispositif permet de mesurer 1) le moment où vous prenez la décision d'appuyer, 2) le moment où votre cerveau commence à s'activer, et 3) le moment où vous appuyez physiquement sur le bouton. Et la découverte spectaculaire de Libet, c'est que l'activation cérébrale précède la décision consciente, et ce de plusieurs centaines de millisecondes.
Interprétée de manière brute, l'expérience de Libet semble condamner le libre-arbitre : vous avez l'impression de décider d'appuyer à un certain moment, mais votre cerveau a déjà décidé depuis presque une demi-seconde ! Comment puis-je être libre de décider quelque chose, si au moment où j'ai conscience de choisir, mon cerveau a déjà commencé à agir ? Comme on peut s'en douter, cette expérience possède de nombreux points faibles que les spécialistes n'ont pas été longs à relever.
Il y a tout d'abord les incertitudes de mesure, puisqu'on parle ici d'un écart de seulement quelques centaines de millisecondes. Ensuite le fait que l'estimation du moment de décision par le sujet lui-même n'est certainement pas très fiable : elle est subjective et l'horloge peut constituer une source de distraction et donc d'erreur. Enfin, le signal électrique relevé dans le cerveau pourrait être simplement un signal "préparatoire", qui indique que le cerveau s'active mais qui ne détermine pas spécifiquement la décision que l'on va prendre.
Bref, il y a plein de critiques à faire à l'expérience de Libet, et qui permettent de se rassurer quant à l'existence de notre libre-arbitre. Tout va bien donc, jusqu'à une nouvelle expérience réalisée en 2008, et qui s'affranchit de la plupart de ces critiques.
Dans cette nouvelle expérience, plusieurs choses diffèrent par rapport au protocole de Benjamin Libet. Tout d'abord, le sujet dispose de 2 boutons, un dans sa main gauche et un dans sa main droite. Il peut appuyer quand il le souhaite, soit à gauche soit à droite. Ensuite, le cerveau du sujet est suivi cette fois dans une IRM, ce qui permet d'observer simultanément l'activité de tout un ensemble d'aires cérébrales.
Et le moins que l'on puisse dire, c'est que les résultats de cette expérience sont perturbants. D'une part, l'IRM révèle qu'une activité cérébrale préparatoire existe 7 à 10 secondes AVANT que le sujet ne prenne sa décision d'appuyer. Encore plus troublant, cette activité cérébrale permet dans une bonne mesure de prédire de quel côté le sujet va appuyer.
Oui oui, vous avez bien lu, plusieurs secondes avant que vous soyiez conscient de choisir, votre cerveau a déjà décidé entre droite et gauche, et l'IRM peut révéler le côté qui sera choisi !
Pour modérer un peu ce résultat apparemment catastrophique pour notre libre-arbitre, il faut noter que la prédiction faite par l'IRM est loin d'être infaillible, puisqu'elle fonctionne au mieux dans 60% des cas, ce qui est significativement mieux que le hasard, mais reste tout de même limité.
Quelle conclusion raisonnable tirer de ces expériences ?
Il faut savoir qu'il n'existe chez les scientifiques et les philosophes aucun consensus quant à l'interprétation de ces expériences. Pour certains comme Patrick Haggard, le libre-arbitre n'existe tout simplement pas, il affirme "We feel that we choose, but we don't". Pour d'autres, au contraire, ces expériences n'ont aucune valeur, "Circulez ya rien à voir !".
Une position intermédiaire raisonnable c'est d'admettre que ces expériences montrent au moins que nos intentions ne sont pas systématiquement à l'origine de nos actions. Les processus inconscients jouent peut être un plus grand rôle que nous ne pouvions le penser, et la conscience d'une décision est un phénomène qui se construit au cours du processus de décision, pas à son origine.
Comme cette conclusion prudente semble quand même en mettre un coup à notre vieille notion de libre-arbitre, une manière de se rassurer c'est de considérer que notre cerveau prépare nos décisions assez en avance par rapport à notre conscience, mais qu'il nous laisse jusqu'au dernier moment un droit de veto. Il semblerait qu'une des fonctions de cette aire appelée SMA soit justement de pouvoir inhiber certaines actions décidées et préparées en amont. Donc jusqu'au dernier moment, on aurait le choix de ne pas faire. C'est ce que les anglo-saxons appellent le "free won't", par analogie au libre-arbitre appelé "free will".
Pour d'autres philosophes comme Dan Dennett, ces expériences sont correctes, mais elles ne sont pas incompatibles avec le libre-arbitre. Ces philosophes adhèrent à une position appelée compatibilisme, selon laquelle la réalité est totalement déterministe mais le libre-arbitre existe quand même. J'avoue que je ne comprends pas ce que ça signifie, et que pour moi ça ressemble beaucoup à une posture de façade "pour sauver les meubles". Ce qu'on peut comprendre car si le libre-arbitre était vraiment réfuté, les conséquences pour la société pourraient être terribles.
Les implications morales de l'absence de libre-arbitre
Imaginons que l'on montre scientifiquement que le libre-arbitre n'existe pas, alors on est mal car toutes nos lois et notre droit reposent sur la notion de responsabilité individuelle : nous sommes responsables de nos actes car nous sommes libres de les accomplir ou pas.
D'ailleurs en droit, pour être puni d'un crime, il faut qu'il y ait à la fois l'intention et l'action. La pensée n'est pas un crime, donc si vous avez juste l'intention de commettre un forfait, on ne peut pas vous condamner pour ça (encore que ce ne soit pas totalement vrai, notamment dans le cas de la préparation d'actes terroristes). Réciproquement, si quelqu'un commet un crime mais est jugé irresponsable, il ne sera pas condamné. Donc si le libre-arbitre n'existe pas, nous sommes tous irresponsables de nos actes et toutes nos structures juridiques s'effondrent !
Ceci a amené Dan Dennett à mettre en garde les scientifiques à ne pas trop faire d'annonces intempestives au sujet de leurs expériences sur le libre-arbitre !...
Pour aller plus loin...
Il faut ajouter un commentaire sur ce résultat de 60% de prédiction du côté gauche/droit quand on fait l'IRM. Cela peu paraître peu, bien peu. Mais songez que l'IRM est loin d'être en général un prédicteur parfait de nos actes. Ce qu'ont notamment montré les auteurs, c'est que même en utilisant l'information disponible dans le cortex moteur après la prise de décision et pendant le mouvement, on n'arrivait à correctement prédire le côté que dans 75% des cas. Alors qu'en théorie on devrait être capable de le faire à 100%. Cela montre que l'IRM est une information peut être trop agrégée pour permettre une prédiction très fiable.
Ainsi une récente étude montre qu'en faisant un suivi individuel de neurones avec des électrodes implantées dans le cerveau (plutôt qu'une IRM), on peut prédire le résultat avec une acuité de 80%, et ce 700 millisecondes avant la décision consciente. Tout ça pour dire que rien ne nous met à l'abri de futures expériences avec de meilleurs systèmes de mesure et de prédiction, qui pourraient deviner nos décisions 5 secondes en avance avec 90% de fiabilité.
Pour finir sur un peu de philo, ces expériences semblent au moins réfuter le modèle dualiste du corps et de l'esprit. Dans ce modèle popularisé par Descartes, l'esprit existe indépendamment du corps, et est capable de le contrôler. Si cette vision était correcte, alors le sentiment d'avoir l'intention d'agir (qui viendrait de l'esprit) devrait précéder les manifestations cérébrales et musculaires (du corps). Il paraît que les philosophes dualistes, ça n'existe plus, mais malgré tout la vision dualiste reste probablement la plus reflétée dans le langage commun, quand on dit "JE décide" (esprit), mais "le cerveau s'active" et "le muscle bouge" (corps).

Auteur: Internet

Info: sciencetonnante.wordpress.com,*voir aussi les expériences de Walter Grey

[ sciences ]