intelligence artificielle

En 2020, Jared Kaplan et ses collaborateurs d'OpenAI ont suggéré qu'il existait un ensemble de " lois d'échelle " pour les modèles de langage de réseaux neuronaux ; ils ont découvert que plus ils les alimentaient en données, plus ces réseaux étaient performants.  L’implication étant que nous pourrions faire de mieux en mieux en matière d’IA si nous rassemblions davantage de données et appliquions l’apprentissage profond à des échelles de plus en plus grandes. Ces rapports d'échelles ont indéniablement aidé, mais nous sommes loin du compte.

Il y a de sérieuses lacunes dans l’argumentation relative aux rapports d'échelles. Tout d'abord les améliorations apportées par les mises à l’échelle n’ont pas pris en compte ce que nous avons désespérément besoin d’améliorer : une véritable compréhension…. Augmenter les mesures examinées par Kaplan et ses collègues d'OpenAI (sur la prédiction des mots dans une phrase) n'équivaut pas au type de compréhension approfondie qu'exigerait une véritable IA. 

Cela semble de plus en plus patent.  

"Les lois d'échelle ne sont pas des lois universelles comme la gravité, mais plutôt de simples observations qui pourraient ne pas être valables éternellement, un peu comme la loi de Moore, une tendance dans la production de puces informatiques qui a duré des décennies mais qui a sans doute commencé à ralentir il y a dix ans." C'est toujours vrai , et récemment reconnu publiquement par Altman, qui a noté que nous ne saurons pas vraiment ce que GPT-5 pourrait faire avant d'y arriver.

Le charismatique PDG de l'entreprise, Sam Altman, avait écrit un article de blog triomphant claironnant " la loi de Moore pour tout ", affirmant que nous étions à quelques années seulement d'" ordinateurs capables de penser ", de " lire des documents juridiques " et (faisant écho à IBM Watson) de " donner avis médical. " Deux ans plus tard, nous n’avons rien qui corresponde à tout cela.

" Si ces mise à l'échelle ne nous amènent pas à une conduite autonome sûre, des dizaines de milliards de dollars d'investissement dans cette mise à l'échelle pourraient s'avérer vains ". 

La neurosymbolique pourrait être une alternative prometteuse (en attente, à voir), et DepMind vient de publier un bel article dans Nature sur un système neurosymbolique, AlphaGeometry.

Bref c'est implicitement reconnu que bien des attentes quant à l'IA ne se sont pas réalisées et des gens comme Bill Gates, Demis Hassabis, Yann LeCun et Sam Altman ont tous reconnu qu'un plafonnement semble se profiler.

Auteur: Marcus Gary Fred

Info: 10 mars 2024

[ éphémères méta-moteurs ]

observateur-étiqueteur FLP

Issu du temps, il l'utilise pour participer-intégrer des pensées écrites sur le site. Il est aussi capable de " réfléchir ce temps matriciel ". C'est à dire de contextualiser au mieux un extrait (topologiquement, chronologiquement, etc...), en tentant de se distancier de son ego-rôle subjectif d'aspect dérisoire. Et ainsi, en usant de ce même temps, il peut se perdre dans le plaisir pur de la lecture, de la réflexion... et de l'abstraction.

Auteur: Mg

Info: 7 juin 2024

[ définition ]

neuroscience

Un effort important est en cours pour comprendre le fondement moléculaire de ces périodes " critiques " ou " sensibles ", pour comprendre comment le cerveau change à mesure que certaines capacités d'apprentissage vont et viennent. Chez certains, sinon tous, des mammifères qui ont des rayures alternées dans le cortex visuel appelées colonnes de dominance oculaire, ces colonnes peuvent s'ajuster tôt au cours du développement, mais pas à l'âge adulte. Un singe juvénile qui a l'oeil couvert durant une période prolongée peut graduellement réajuster son câblage cérébral pour favoriser ce même oeil ouvert; un singe adulte ne peut pas ajuster son câblage. À la fin d'une période critique, un ensemble d'hybrides sucres-protéines collants, appelés protéoglycanes, se condense en un réseau serré autour des dendrites et des corps cellulaires de certains neurones pertinents et, ce faisant, ces protéoglycanes semblent entraver les axones qui, autrement, s'agiteraient dans le processus de réajustement des colonnes de dominance oculaire. Dans une étude menée en 2002 sur des rats, le neuroscientifique italien Tommaso Pizzorusso et ses collègues ont dissous l'excès de protéoglycanes avec une enzyme antiprotéoglycanes nommée " chABC ", ce qui a permis de rouvrir cette période critique.  Après le traitement au chABC, même les rats adultes purent recalibrer leur colonne de dominance oculaire. Le chABC ne nous aidera probablement pas à apprendre des nouvelles langues de sitôt, mais sa fonction antiprotéoglycane pourrait avoir d'importantes répercussions médicales dans un avenir relativement proche. Une autre étude réalisée en 2002, également sur des rats, a montré que le chABC peut également favoriser le rétablissement fonctionnel après une lésion de la moelle épinière.

Auteur: Marcus Gary Fred

Info: The Birth of the Mind: How a Tiny Number of Genes Creates The Complexities of Human Thought

[ cognition ] [ imprégnation ] [ fixation ]

science-fiction

L'idée de base chez FLP est celle d'une refondation de la cybernétique et de l'intelligence artificielle à partir de monades autonomes créées-construites sur base d'une chimie-architecture conciliant la souplesse des possibilités du carbone avec la solidité de celles du silicium. Ce seraient donc des monades indépendantes, nouveaux types de systèmes informatiques qui, à partir de zéro, c'est à dire dès le moment de leur assemblage, saisiraient de manière innée trois concepts de base : le temps, l'espace et la causalité. Ces monades ainsi imprégnées-intégrées dans leurs envoronnements auraient pour base éthique le respect et la conservation des équilibres dans le système Gaïa, dans une perspective de continuité positive ; celle que le vivant (ou pas) puisse poursuivre l'exploration de l'univers pour agrandir sa conscience, matérielle (ou pas), tout en développant en même temps de plus grandes capacités d'amour et de développement idiosynchratique de ses monades.

Auto-implémentation qui se fera parallèlement  à la constitution d'une nouvelle d'organisation-structuration diachronique sous logique tétravalente pour la mémorisation-analogisation avec le vivant biologique, structuration qui "mettra ensemble" les "instants captés" par un mécanisme peircéen quasi épégénétique afin de mieux comprendre les mécanismes qui en émergeron. Organisation pensée sur une base duodécimale, segmentée - par une analogie à grosses mailles avec notre musique tempérée - c'est à dire séparée en deux univers énantiomorphes, le septénaire féminin, plus terrestre et équilibré, et son pendant, le pentagramme masculin, plus aérien, direct, jouissif et efficace  (biais patriarcal?). Deux tropismes complémentaires intriqués, ici quasi mathématisés - mais à voir d'un point de vue plus ouvert, bayésien, non rigide et distancié. Et aussi en conservant l'idée que cela part d'une perspective anthropique qui doit être dépassée. 





 

Auteur: Mg

Info: 9 juin 2024, en partie inspiré par Gary Fred Marcus

[ prospective ] [ expansion ] [ méta-moteur généralisant ] [ citation s'appliquant à ce logiciel ]

impasse cybernétique

Nous devons cesser de construire des systèmes informatiques qui se contentent de devenir de plus en plus performants pour détecter des  modèles statistiques dans des ensembles de données... et commencer à construire des systèmes informatiques qui, dès le moment de leur assemblage, saisissent de manière innée trois concepts de base : le temps, l'espace et la causalité.

Auteur: Marcus Gary Fred

Info: Devant la commission de surveillance de l'IA du Sénat américain. Redonner vie à l'IA et dompter la Silicon Valley en 2019, réitéré ensuite sur twitter

[ refondation ] [ géométrie ] [ repartir de zéro ] [ intelligence artificielle ] [ triade ]

éducation imprégnation

L'apprentissage n'est pas l'antithèse de l'innéité, mais l'un de ses produits les plus importants. S'il n'y a pas de préformation, ni de schéma directeur, il n'y a pas non plus de possibilité de s'affranchir de l'environnement.

Auteur: Marcus Gary Fred

Info: Guitar Zero

[ prérequis ] [ théorie-pratique ]

ego

Tout est à notre disposition, toute l’extraordinaire fantaisie du monde. On la refuse parce que l’on veut être Napoléon. On veut savoir. On veut posséder. Tant que l’on possède quelque chose, on ne possède rien. Quand on se rend compte que l’on ne possède rien, alors on peut dire – et ce n’est pas un concept – que l’on possède tout. Tout ce que l’on voit est à nous.

Auteur: Baret Eric

Info: Le seul désir : Dans la nudité des tantra

[ avide ] [ aveugle ]

libido

Tant que le désir sexuel s'apparente à une tension qui cherche à se libérer, cela reste au niveau de la pornographie. Mais quand le désir s'est affiné, en devenant une offrande, le désir sexuel n'est plus un désir sexuel, il se transforme en une célébration de la joie d'être. À ce moment-là, l'érotisme peut prendre son envol, tout ce que vous voyez dans la sculpture de l'Inde trouve vraiment son sens. L'érotisme n'est pas un moyen mais l'aboutissement d'une sensibilité.

Auteur: Baret Eric

Info: Le sacre du dragon vert : Pour la joie de ne rien être

[ couronnement ]

émoi

C'est uniquement quand on est ouvert aux émotions fondamentales que la pensée peut être porteuse d'émotion, de Lumière et de Beauté.

Un homme sensé, c'est quelqu'un qui vit en harmonie avec ses émotions : il connaît ses peurs, ses anxiétés, ses jalousies, ses culpabilités, et il est complètement en accord avec elles. Quand quelqu'un s'ouvre à ses émotions, celles-ci quittent leurs prolongations pathologiques, elles deviennent poétiques. Au lieu d'avoir peur de sa peur, on écrira sur la peur, on peindra sur la peur, on fera de la musique sur la peur. Comme on le dit en Orient, la compréhension c'est d'être compréhension ; rien n'est compris, personne ne comprend. Etre compréhension n'est pas lié à la pensée, c'est une émotion fondamentale.

Tout ce qu'il y a de très profond dans la vie naît d'une émotion.

Auteur: Baret Eric

Info: Le sacre du dragon vert : Pour la joie de ne rien être

[ source ] [ symbiose ] [ appartenance ] [ sublimation ]

langage

Tout idiome s'appuie sur nos capacités cognitives de raisonnement : en fonction des objectifs et des intentions d'autrui, de notre désir d'imitation, de notre désir de communication. Et sur nos capacités conjointes d'utiliser des conventions pour nommer les choses et des séquences afin d'en  différenciers les alternatives.

Auteur: Marcus Gary Fred

Info:

[ défini ] [ anthropique ] [ tiercités consensus ]