dubitation

Et même ici, quelque chose en moi (et, je suppose, chez beaucoup d'autres informaticiens !) qui demeure méfiant quant aux parties des mathématiques qui portent l'empreinte évidente de la physique, telles que les équations aux dérivées partielles, la géométrie différentielle, les groupes de Lie, ou tout ce qui est "trop continu". 

Auteur: Aaronson Scott

Info: Quantum Computing since Democritus

[ logique booléenne ]

théorie-pratique

Quel est l'intérêt de parler de questions philosophiques ? Parce que nous allons triturer pas mal ici - je veux dire, des conneries philosophiques. Il y a une réponse standard : la philosophie est un travail de nettoyage intellectuel - la concierge qui vient après que les scientifiques aient mis le bazar, pour tenter de recoller les morceaux. Vu sous cet angle, les philosophes sont assis dans leur fauteuil et attendent que quelque chose de surprenant se produise en science - comme la mécanique quantique, l'inégalité de Bell, le théorème de Gödel - pour ensuite (pour user d'une autre métaphore) débarquer comme des vautours et dire : "Ah, ben voilà le sens de tout ça". A première vue, cela semble plutôt ennuyeux. Mais lorsqu'on s'habitue à ce genre de travail, je pense qu'on s'aperçoit que... ça reste casse-pieds !

Auteur: Aaronson Scott

Info: Quantum Computing since Democritus

intelligence artificielle

Il faut bien comprendre que lorsqu'on utilise un transformer on ne manipule plus des mots, on manipule en réalité des vecteurs mathématiques qui sont des représentations, émergées d'un espace gigantesque (de l'ordre d'un trillons de tokens*),  du sens de ces mots.

Auteur: Roux Claude

Info: *mots, mais aussi de "bouts de mots", en général leurs radicaux

[ traitement automatique du langage ] [ réseaux neuronaux ] [ non linéarité ] [ mise en relation non séquentielle ] [ sémantique ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

machine pensante

Cette IA de Deepmind pourrait révolutionner les maths et " repousser les frontières de la connaissance humaine "

DeepMind vient de frapper un grand coup : le laboratoire d'IA de Google a annoncé en janvier avoir développé AlphaGeometry, une intelligence artificielle révolutionnaire capable de rivaliser avec les médaillés d'or des Olympiades internationales dans la résolution de problèmes de géométrie. Si cela ne vous parle pas, sachez que les médailles Fields - Terence Tao, Maryam Mirzakhani et Grigori Perelman - ont tous les trois été médaillés d'or lors de cette compétition annuelle de mathématiques qui fait s'affronter les meilleurs collégiens et lycéens du monde. Or, AlphaGeometry a résolu avec succès 25 des 30 problèmes de géométrie de l'Olympiade, se rapprochant ainsi du score moyen des médaillés d'or humains. C'est 15 de plus que son prédécesseur. Mais comment les scientifiques de DeepMind ont-ils accompli un tel exploit ?

L'approche neuro-symbolique, la petite révolution de l'IA

AlphaGeometry est le fruit d'une approche neuro-symbolique, combinant un modèle de langage neuronal (MLN) et un moteur de déduction symbolique (MDS).

Les MLN sont des réseaux de neurones artificiels entraînés sur de vastes ensembles de données textuelles. Ils sont capables d'apprendre et de reconnaître des schémas et des structures dans les données textuelles, ce qui leur permet de générer du texte cohérent et de comprendre le langage naturel. Les MDS sont, pour leur part, particulièrement efficaces pour traiter des problèmes qui nécessitent une manipulation formelle des symboles et des règles logiques.

L'approche neuro-symbolique permet de faire travailler ces deux composantes en tandem : dans le cadre d'AlphaGeometry, le MLN prédit des constructions géométriques potentiellement utiles, puis le MDS utilise ces prédictions pour guider la résolution du problème. Cette combinaison offre à l'IA les capacités intuitives des réseaux de neurones et la rigueur logique des moteurs de déduction symbolique, ce qui lui permet de résoudre efficacement des problèmes de géométrie complexes.

Pour surmonter le manque de problèmes mathématiques de niveau Olympiades qui auraient dû servir de données d'entraînement à AlphaGeometry, les chercheurs ont développé une méthode innovante de génération de données synthétiques à grande échelle, permettant au génial bébé de DeepMind de s'entraîner sur un ensemble de 100 millions d'exemples uniques.

(Image : Alphageometry résoud un problème simple...) 

Mission : repousser les frontières de la connaissance

Cette réalisation marque une avancée significative dans le développement de systèmes d'IA capables de raisonner et de résoudre des problèmes mathématiques complexes, rapportent les chercheurs de DeepMind dans un article paru dans Nature en février dernier. Bien que présentant des résultats impressionnants, AlphaGeometry se heurte tout de même à quelques défis, notamment celui de s'adapter à des scénarios mathématiques de plus en plus complexes et à mobiliser ses compétences dans des domaines mathématiques autres que la géométrie. 

Malgré tout, cette avancée ouvre la voie à d'extraordinaires possibilités dans les domaines des mathématiques, des sciences et de l'IA. Ses créateurs ne cachent d'ailleurs pas leur ambition : " Notre objectif à long terme reste de construire des IA capables de transférer leurs compétences et leurs connaissances dans tous les domaines mathématiques en développant la résolution de problèmes et le raisonnement sophistiqués dont dépendront les systèmes d'IA généraux ", assènent Trieu Trinh et Thang Luong, les responsables du projet dans un communiqué. 

Le ton est donné : autrement dit, les systèmes d'IA développés par DeepMind doivent acquérir des capacités de résolution de problèmes sophistiquées et de raisonnement, ce qui implique la capacité à identifier des schémas, à formuler des hypothèses, à déduire des conclusions et à prendre des décisions logiques dans des contextes variés. Le tout en " repoussant les frontières de la connaissance humaine ". Très ambitieux, mais peut-être pas impossible.

Auteur: Internet

Info: https://www.futura-sciences.com/ - mars 2024

[ robot intelligent ] [ historique ]

tour d'horizon de l'IA

Intelligence artificielle symbolique et machine learning, l’essor des technologies disruptives

Définie par le parlement Européen comme la " reproduction des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ", l’intelligence artificielle s’initie de façon spectaculaire dans nos vies. Théorisée au milieu des années 50, plusieurs approches technologiques coexistent telles que l’approche machine learning dite statistique basée sur l’apprentissage automatique, ou l’approche symbolique basée sur l’interprétation et la manipulation des symboles. Mais comment se différencient ces approches ? Et pour quels usages ?

L’intelligence artificielle, une histoire ancienne

Entre les années 1948 et 1966, l’Intelligence Artificielle a connu un essor rapide, stimulé par des financements importants du gouvernement américain pour des projets de recherche sur l’IA, notamment en linguistique. Des progrès significatifs ont été réalisés dans la résolution de problèmes de logique symbolique, mais la capacité de l’IA à traiter des données complexes et imprécises était encore limitée.

A la fin des années 70, plus précisément lors du deuxième “été de l’IA” entre 1978 et 1987,  l’IA connaît un regain d’intérêt. Les chercheurs ont commencé à explorer de nouvelles approches, notamment l’utilisation de réseaux neuronaux et de systèmes experts. Les réseaux neuronaux sont des modèles de traitement de l’information inspirés par le fonctionnement du cerveau humain, tandis que les systèmes experts sont des programmes informatiques qui simulent l’expertise humaine dans un domaine spécifique.

Il faudra attendre la fin des années 90 pour voir un renouveau de ces domaines scientifiques, stimulé par des avancées majeures dans le traitement des données et les progrès de l’apprentissage automatique. C’est d’ailleurs dans cette période qu’une IA, Deepblue, gagne contre le champion mondial Garry Kasparov aux échecs.$

Au cours des dernières années, cette technologie a connu une croissance exponentielle, stimulée par des progrès majeurs dans le deep learning, la robotique ou la compréhension du langage naturel (NLU). L’IA est maintenant utilisée dans un large éventail de domaines, notamment la médecine, l’agriculture, l’industrie et les services. C’est aujourd’hui un moteur clé de l’innovation et de la transformation de notre monde, accentué par l’essor des generative AIs. 

Parmi ces innovations, deux grandes approches en intelligence artificielle sont aujourd’hui utilisées : 

1 - Le Machine Learning : qui est un système d’apprentissage automatique basé sur l’exploitation de données, imitant un réseau neuronal

2 - L’IA Symbolique : qui se base sur un système d’exploitation de " symboles ”, ce qui inspire des technologies comme le “système expert” basé sur une suite de règles par exemple.

Mais comment fonctionnent ces deux approches et quels sont leurs avantages et leurs inconvénients ? Quels sont leurs champs d’application ? Peuvent-ils être complémentaires ?

Le machine learning

Le Machine Learning est le courant le plus populaire ces dernières années, il est notamment à l’origine de ChatGPT ou bien MidJourney, qui font beaucoup parler d’eux ces derniers temps. Le Machine Learning (ML) est une famille de méthodes d’apprentissage automatique qui permet aux ordinateurs d’apprendre à partir de données, sans être explicitement programmés. En utilisant des algorithmes, le ML permet aux ordinateurs de comprendre les structures et les relations dans les données et de les utiliser pour prendre des décisions.

Le ML consiste à entraîner des modèles informatiques sur de vastes ensembles de données. Ces modèles sont des algorithmes auto apprenant se basant sur des échantillons de données, tout en déterminant des schémas et des relations/corrélations entre elles. Le processus d’entraînement consiste à fournir à l’algorithme des données étiquetées, c’est-à-dire des données qui ont déjà été classifiées ou étiquetées pour leur attribuer une signification. L’algorithme apprend ensuite à associer les caractéristiques des données étiquetées aux catégories définies en amont. Il existe cependant une approche non-supervisée qui consiste à découvrir ce que sont les étiquettes elles-mêmes (ex: tâche de clustering).

Traditionnellement, le machine learning se divise en 4 sous-catégories : 

Apprentissage supervisé : 

Les ensembles de données sont étiquetés, ce qui permet à l’algorithme de trouver des corrélations et des relations entre les caractéristiques des données et les étiquettes correspondantes. 

Apprentissage non supervisé : 

Les ensembles de données ne sont pas étiquetés et l’algorithme doit découvrir les étiquettes par lui-même. 

Apprentissage semi-supervisé : 

L’algorithme utilise un mélange de données étiquetées et non étiquetées pour l’entraînement.

Apprentissage par renforcement : 

L’algorithme apprend à prendre des décisions en interagissant avec son environnement. Il reçoit des récompenses ou des pénalités pour chaque action, ce qui lui permet d’ajuster sa stratégie pour maximiser sa récompense globale.

Un exemple d’application du Machine Learning est la reconnaissance d’images. Des modèles d’apprentissages profonds sont entraînés sur des millions d’images pour apprendre à reconnaître des objets, des personnes, des animaux, etc. Un autre exemple est la prédiction de la demande dans le commerce de détail, où des modèles sont entraînés sur des données de ventes passées pour prédire les ventes futures.

Quels sont les avantages ? 

Étant entraîné sur un vaste corpus de données, le ML permet de prédire des tendances en fonction de données.  

- Le machine learning offre la capacité de détecter des tendances and des modèles dans les données qui peuvent échapper à l’observation humaine.

- Une fois configuré, le machine learning peut fonctionner de manière autonome, sans l’intervention humaine. Par exemple, dans le domaine de la cybersécurité, il peut surveiller en permanence le trafic réseau pour identifier les anomalies.

- Les résultats obtenus par le machine learning peuvent s’affiner et s’améliorer avec le temps, car l’algorithme peut apprendre de nouvelles informations et ajuster ses prédictions en conséquence.

- Le machine learning est capable de traiter des volumes massifs et variés de données, même dans des environnements dynamiques et complexes.

L’intelligence artificielle symbolique

L’IA symbolique est une autre approche de l’intelligence artificielle. Elle utilise des symboles and des règles de traitement de l’information pour effectuer des tâches. Les symboles peuvent être des concepts, des objets, des relations, etc. Les règles peuvent être des règles de déduction, des règles de production, des règles d’inférence…etc.

Un exemple d’application de l’IA symbolique est le système expert. Un système expert est un programme informatique qui utilise des règles de déduction pour résoudre des problèmes dans un domaine spécifique, comme le diagnostic médical ou l’aide à la décision en entreprise. Un autre exemple est la traduction automatique basée sur des règles, les règles de grammaire et de syntaxe sont utilisées pour traduire un texte d’une langue à une autre.

Quelques exemples d’usages de l’IA symbolique :

La traduction

L’IA symbolique a été utilisée pour développer des systèmes de traduction automatique basés sur des règles. Ces systèmes utilisent des règles de grammaire et de syntaxe pour convertir un texte d’une langue à une autre. Par exemple, le système SYSTRAN, développé dans les années 1960, est un des premiers systèmes de traduction automatique basé sur des règles. Ce type de système se distingue des approches basées sur le Machine Learning, comme Google Translate, qui utilisent des modèles statistiques pour apprendre à traduire des textes à partir de corpus bilingues.

Le raisonnement logique

L’IA symbolique est également utilisée pour développer des systèmes capables de raisonnement logique, en exploitant des règles et des connaissances déclaratives pour résoudre des problèmes complexes. Par exemple, les systèmes d’aide à la décision basés sur des règles peuvent être utilisés dans des domaines tels que la finance, l’assurance ou la logistique, pour aider les entreprises à prendre des décisions éclairées. Un exemple concret est le système MYCIN, développé dans les années 1970 pour aider les médecins à diagnostiquer des infections bactériennes et à prescrire des antibiotiques adaptés.

L’analyse de textes

L’IA symbolique peut être utilisée pour l’analyse de textes, en exploitant des règles et des connaissances linguistiques pour extraire des informations pertinentes à partir de documents. Par exemple, les systèmes d’extraction d’information basés sur des règles peuvent être utilisés pour identifier des entités nommées (noms de personnes, d’organisations, de lieux, etc.) et des relations entre ces entités dans des textes. Un exemple d’application est l’analyse et la catégorisation des messages entrants pour les entreprises, cœur de métier de Golem.ai avec la solution InboxCare.

Les avantages de l’IA symbolique 

L’IA symbolique est une approche qui utilise des symboles, et parfois des " règles” basées sur des connaissances, qui comporte plusieurs avantages :

- Explicablilité : Les décisions prises par les systèmes d’IA symbolique sont explicites et peuvent être expliquées en fonction des règles logiques et des connaissances déclaratives utilisées par le système. Cette transparence peut être essentielle dans des applications critiques, comme la médecine ou la défense.

- Frugalité : Contrairement au Machine Learning, l’IA symbolique ne nécessite pas d’entraînement, ce qui la rend moins gourmande en énergie à la fois lors de la conception et de l’utilisation.

- Adaptabilité : Les systèmes d’IA symbolique peuvent être facilement adaptés à de nouveaux domaines en ajoutant de nouvelles règles logiques et connaissances déclaratives à leurs bases de connaissances existantes, leurs permettant de s’adapter rapidement à de nouvelles situations.

L’intelligence artificielle hybride ou le neuro-symbolique 

Les systèmes hybrides combinent les avantages de l’IA symbolique et du Machine Learning en utilisant une approche mixte. Dans ce type de système, l’IA symbolique est utilisée pour représenter les connaissances et les règles logiques dans un domaine spécifique. Les techniques de Machine Learning sont ensuite utilisées pour améliorer les performances de l’IA symbolique en utilisant des ensembles de données pour apprendre des modèles de décision plus précis et plus flexibles. Mais nous pouvons également voir d’autres articulations comme la taxonomie de Kautz par exemple.

L’IA symbolique est souvent utilisée dans des domaines où il est important de comprendre et de contrôler la façon dont les décisions sont prises, comme la médecine, la finance ou la sécurité. En revanche, le Machine Learning est souvent utilisé pour des tâches de classification ou de prédiction à grande échelle, telles que la reconnaissance de voix ou d’image, ou pour détecter des modèles dans des données massives.

En combinant les deux approches, les systèmes hybrides peuvent bénéficier de la compréhensibilité et de la fiabilité de l’IA symbolique, tout en utilisant la flexibilité et la capacité de traitement massif de données du Machine Learning pour améliorer la performance des décisions. Ces systèmes hybrides peuvent également offrir une plus grande précision et un temps de réponse plus rapide que l’une ou l’autre approche utilisée seule.

Que retenir de ces deux approches ?

L’Intelligence Artificielle est en constante évolution et transforme de nombreux secteurs d’activité. Les deux approches principales de l’IA ont leurs avantages et inconvénients et peuvent être complémentaires. Il est donc crucial pour les entreprises de comprendre ces technologies pour rester compétitives. 

Cependant, les implications éthiques et sociales de l’IA doivent également être prises en compte. Les décisions des algorithmes peuvent avoir un impact sur la vie des personnes, leur travail, leurs droits et leurs libertés. Il est donc essentiel de mettre en place des normes éthiques et des réglementations pour garantir que l’IA soit au service de l’humanité. Les entreprises et les gouvernements doivent travailler ensemble pour développer des IA responsables, transparentes et équitables qui servent les intérêts de tous. En travaillant ensemble, nous pouvons assurer que l’IA soit une force positive pour l’humanité dans les années à venir. 



 

Auteur: Merindol Hector

Info: https://golem.ai/en/blog/technologie/ia-symbolique-machinelearning-nlp - 4 avril 2023

[ dualité ]

réflexion

AMITIE : La plus belle est celle qui n’exige pas de nous que nous épousions ses haines et ses amours.

BIEN : Notre seul bien est l’homme ; il est notre unique bien, véritablement… en cela que c’est le seul que personne ne peut nous enlever… pas même le destin.

COQUETTERIE : C’est une ombre, mais elle suffit à vêtir les âmes simples.

DISCOURS : Le discours dit autant qu'il cache ; le sot écoute et applaudi pendant que le sage entend les deux.

DISCRETION : C'est le silence qui tient compagnie à la parole.

FRERE : Ne célèbre pas ton frère si cela doit signifier la mort de son ennemi, car seuls les vivants se réconcilient.

Auteur: Aclinou Paul G.

Info:

[ méditation ]

philosophie

Ce n’est pas le moindre paradoxe que de voir la science expérimentale moderne, fréquemment adepte d’un matérialisme mécanique rigoureusement déterministe, ne pas se rendre compte que le choix d’un protocole d’expérimentation n’est possible que si l’on présuppose la liberté de l’expérimentateur.

Le passage du réel au virtuel s’effectue par les outils qu’utilise l’esprit pour se représenter le monde. À cet égard, la mathématisation du réel n’a pu s’imposer que par la notion mathématique de variable, dont le paradigme est le nombre réel : une variable x est un nombre dont je peux choisir librement la valeur. Il n’est donc pas aberrant de dire que toute l’algèbre (et une bonne part de la logique) repose sur la possibilité de choisir librement un élément dans un ensemble. (Que l’on pense aux notions de monoïde libre, de groupe libre, etc.) Si l’on n’accepte pas de conférer au psychisme humain - au point sur un plan méthodologique - cette liberté de choix, on se condamne à d’inextricables contradictions. 



 

Auteur: Thom René

Info: Actualité du déterminisme, 1987, figure dans le recueil " Apologie du logos ", 1990

[ indépendance ] [ subjectivité ]

chronos

Aucun homme sensé ne peut nier qu’il fait la différence entre le passé qui est fixé, défini, alors que le futur est plastique. On peut agir sur lui. Cette différence est fondamentale or elle n’est pas exprimable mathématiquement. Cela est tout à fait étrange. C’est cela qui m’amena à reconnaître le libre arbitre humain. 



 

Auteur: Thom René

Info: Le modèle épistémologique galiléen a-t-il encore de l’avenir ? Rencontre avec des personnes remarquables, 15 décembre 1993,  Collection ICN, 1996, pp. 5-12

[ observateur incarné ]

inconnaissance native

Quiconque prétend s'ériger en juge de la vérité et du savoir s'expose à périr sous les éclats de rire des dieux puisque nous ignorons comment sont réellement les choses et que nous n'en connaissons que la représentation que nous nous en faisons.

Auteur: Backster Grover Cleveland " Cleve " Jr.

Info: L'intelligence émotionnelle des plantes

[ humilité ]