intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

défauts de la théorie newtonienne

1. On remarque constamment l’effort de Newton de présenter son système de pensées comme nécessairement conditionné par l’expérience. On remarque aussi qu’il utilise le moins possible de concepts non directement rattachables aux objets de l’expérience. Et pourtant il pose les concepts : espace absolu, temps absolu ! A notre époque, on lui en fait souvent grief. Mais, justement, dans cette affirmation, Newton se reconnaît particulièrement conséquent avec lui-même. Car il a découvert expérimentalement que les grandeurs géométriques observables (distances des points matériels entre eux) et leur cours dans le temps ne définissent pas complètement les mouvements au point de vue physique. Il a démontré ce fait par la célèbre expérience du seau. Donc il existe, en dehors des masses et de leurs distances variables dans le temps, encore quelque chose de déterminant pour les événements. Ce "quelque chose", il l’imagine comme le rapport à l’ "espace absolu". Il avoue que l’espace doit posséder une espèce de réalité pour que ses lois du mouvement puissent avoir un sens, une réalité de même nature que celle des points matériels et de leurs distances.

Cette connaissance lucide de Newton souligne évidemment sa sagesse mais aussi la faiblesse de sa théorie. Car la construction logique de cette architecture s’imposerait certainement beaucoup mieux sans ce concept obscur. Car alors, dans les lois, nous ne trouverions que des objets (points matériels, distances) dont les relations avec les perceptions resteraient parfaitement transparentes.

2. Introduire des forces directes, agissant à distance et instantanément pour représenter les effets de gravitation, ne concorde pas avec le caractère de la plupart des phénomènes connus par l’expérience quotidienne. Newton répond à cette objection. Il déclare que sa loi de l’action réciproque de la pesanteur n’ambitionne pas d’être une explication définitive, mais plutôt une règle déduite de l’expérience. 

3. Au fait particulièrement remarquable que le poids et l’inertie d’un corps restent déterminés par la même grandeur (la masse), Newton n’offre en sa théorie aucune explication ; mais la singularité du fait ne lui échappe pas.

Auteur: Einstein Albert

Info: "Comment je vois le monde", traduction de l’allemand par Maurice Solovine et Régis Hanrion, Flammarion, 2017, pages 225-226

[ science ]

minéraux

La biominéralisation est le processus physiologique qui permet aux organismes vivants d’élaborer une structure minérale, le biominéral. Un biominéral se distingue de son équivalent purement minéral par la présence de molécules organiques qui lui confèrent des propriétés spécifiques telles qu’une meilleure résistance à la fracture. Parmi les nombreux biominéraux on peut citer quelques exemples comme les os et les dents des animaux, la coquille des mollusques mais aussi le squelette des coraux. En construisant leur squelette, les coraux édifient les récifs coralliens qui sont responsables, avec les coccolithophores et les foraminifères, de la majorité des dépôts calcaires à la surface du globe. Dans la mesure où le biominéral formé chez les coraux est du carbonate de calcium, on parle également de calcification pour décrire le processus.

Les équipes de Physiologie/Biochimie et Ecophysiologie coralliennes du Centre Scientifique de Monaco développent des recherches centrées sur la biominéralisation des coraux et ses interactions avec notre environnement. Le choix de cette thématique est justifié par le rôle majeur joué par la calcification dans le contrôle du climat et dans le modelage des paysages géologiques. La calcification est en effet, avec la respiration et la photosynthèse, l'un des mécanismes qui contrôlent la concentration en gaz carbonique (CO2), important gaz à effet de serre dans notre atmosphère. D'autre part, les squelettes des coraux constituent des enregistrements des conditions physico-chimiques (température, concentration en CO2, nutriments) qui prévalaient au moment de leur dépôt, et à ce titre on les qualifie d'archives environnementales. La lecture de ces archives par les paléoclimatologistes, au même titre que celles incluses dans les glaces polaires et dans les cernes des arbres, devrait permettre une meilleure prévision de l'évolution de notre climat. 

En plus de son intérêt dans le domaine des sciences environnementales, la biominéralisation est également un processus clé dans de nombreux autres domaines : santé humaine (processus d'ostéogenèse, chirurgie orthopédique...), chimie des matériaux (biomatériaux et nanotechnologies). Enfin certains biominéraux présentent une haute valeur économique et culturelle, comme le squelette axial du corail rouge ou les perles des huîtres.

Auteur: Internet

Info: https://www.centrescientifique.mc/fr/article/biologie-marine-fr/biomineralisation

[ spécificité ]

Internet

Si les Etats continuent à confier leur communication et leurs archives confidentielles à Internet ou d’autres formes de mémoire électronique, aucun gouvernement au monde ne pourra plus nourrir des zones de secret, et pas seulement les États-Unis, mais même pas la République de Saint-Marin ou la principauté de Monaco (peut être que seule Andorre sera épargnée).

Essayons de saisir la portée du phénomène. Jadis, au temps d’Orwell, on pouvait concevoir le Pouvoir comme un Big Brother qui contrôlerait chaque mouvement de ses sujets, même et surtout si personne ne s’en rendait compte. […] Mais ce qui, à l’époque d’Orwell, n’était qu’une prophétie s’est avéré. En effet, le Pouvoir peut contrôler chaque mouvement de ses sujets par leur téléphone portable, chaque transaction, chaque hôtel fréquenté, chaque autoroute parcourue grâce aux cartes de crédit, chaque présence dans un supermarché grâce aux télévisions en circuit fermé, etc. Ainsi, le citoyen est devenu la victime totale de l’œil d’un immense Big Brother.

C’est du moins ce que nous pensions jusqu’à hier. Mais aujourd’hui, il est prouvé que même les secrets les plus impénétrables du Pouvoir ne peuvent échapper au contrôle d’un hacker, si bien que le rapport de contrôle cesse d’être unidirectionnel et devient circulaire. Le Pouvoir contrôle chaque citoyen, mais chaque citoyen, ou du moins le hacker, élu comme vengeur du citoyen, peut connaître tous les secrets du Pouvoir.

Et même si la grande masse des citoyens n’est pas en mesure d’examiner et d’évaluer la quantité de matériel que le hacker capture et diffuse, la presse joue désormais un nouveau rôle (elle a déjà commencé à l’interpréter) : au lieu de relayer les nouvelles vraiment importantes – jadis, c’étaient les gouvernements qui décidaient des nouvelles vraiment importantes, en déclarant une guerre, en dévaluant une monnaie, en signant une alliance –, aujourd’hui, c’est elle qui décide en toute autonomie des nouvelles qui doivent devenir importantes et de celles qui peuvent être passées sous silence, allant jusqu’à pactiser (cela est arrivé) avec le pouvoir politique pour savoir quels "secrets" dévoilés il convenait de révéler et ceux qu’il fallait taire.

Auteur: Eco Umberto

Info: "Réflexions sur WikiLeaks", in Construire l’ennemi et autres écrits occasionnels, 2014

[ World Wide Web ] [ médias descendants ]

source

Energie du vide.

Les physiciens pensent désormais qu'il existe une force sous-jacente qui remplit tout l'espace. Ils l'ont appelée "énergie du vide" et elle est plus que simplement omniprésente ; sa puissance est énorme. Les estimations de l'énergie contenue dans chaque petit morceau d'espace apparemment vide varient considérablement. Il est probable que l'espace à l'intérieur d'un pot de mayonnaise contienne suffisamment d'énergie pour faire bouillir instantanément l'océan Pacifique. (En réalité, les scientifiques n'en sont encore qu'aux premiers stades de la compréhension de cette énergie omniprésente. Il existe un écart inquiétant de 100 ordres de grandeur entre les prédictions théoriques de sa puissance et les valeurs mesurées à ce jour. Cet écart est connu sous le nom de "catastrophe du vide").

La solution la plus proche est de refroidir la matière au zéro absolu, à -459,67° Fahrenheit (-273,15° Celsius), où tout mouvement moléculaire s'arrête. Alors et seulement alors, les choses sont à parité avec cette puissance omniprésente. C'est pourquoi on l'appelle aussi l'énergie du point zéro.

L'énergie du point zéro est donc présente lorsque toute autre énergie est absente. Pour que cette énergie de mousse quantique illimitée vous parvienne, il faut créer des conditions inférieures au zéro absolu. Cela signifie faire en sorte que les atomes se déplacent plus lentement qu'"à l'arrêt".

Le cosmos est imprégné d'une énergie qui fait paraître les simples ondes lumineuses et les champs électriques qui nous entourent, en comparaison, comme des simulacres de mauviettes. Cela signifie que cette essence d'Être - cette Nature de toutes choses, ce véritable Soi derrière la conscience et la vie elle-même, ce vide apparent qui semble être la matrice, le chevalet, la toile de fond de toutes nos mésaventures humaines - est une entité incroyablement puissante. Son énergie est inimaginable. Son potentiel illimité. Le fait que nous ne voyions et ne ressentions rien de tout cela ne signifie rien ; nos sens sont architecturalement construits pour percevoir ce qui est utile dans notre vie quotidienne. À quoi servirait-il de percevoir cette source ultra-énergie aveuglante qui imprègne chaque crevasse de la réalité ?

Auteur: Lanza Robert

Info: Beyond biocentrism

[ monde épiphénomène ] [ pré priméité ] [ question ]

couple

Hedwige se blottit contre lui par honte d'être regardée de loin, afin qu'il ne remarque pas, de face, sa taille qui disparaît ou, de profil, son ventre convexe. Mais en la serrant contre lui, il devine ce que son regard n'aurait pas aperçu, il ferme les yeux et dit : 

- Cela commence à se voir, et sérieusement.

- Tant pis, répond Hedwige, prise par la fierté d'être belle et l'orgueil d'être mère.

- Tant mieux.

Hedwige clôt ses paupières, heureuse de sentir ses deux enfants l'un contre l'autre, car Pierre qui lui apparaissait si fort, si Zeus, si foudroyant dans les premiers temps, la vie commune en a fait son enfant.  "C'est un drôle de garçon" dit-elle avec attendrissement, presque avec compassion, le côté incompréhensible de leur compagnon, pour leur mystérieuse manie, car ils en ont tous une, que ce soit le jardinage, le devoir civique, la guérison des maladies, la guerre ou toute autre mission qu'ils croient avoir reçue ; comme ces vieux colonels en retraite qui, pour se donner l'illusion de l'activité, se portent à leur adresse des ordres de mobilisation imaginaires. Chaque mâle se construit ainsi une étrange architecture dont il fait hommage à un dieu, à un demi-dieu, à une folie. Tout autel, si bizarre soit-il, leur est bon pour se mettre l'âme en mouvement et se donner une raison de vivre. Hedwige ne cherchait pas à pénétrer les mobiles de Pierre ; c'était un homme : cette explication suffisait. Le rythme ardent de son mari, cette invariable manie de varier, ce besoin de prendre non une vue des choses mais une même chose sous tous les aspects en sautillant d'un point cardinal à un autre, comme nos paysagistes contemporains qui suivent le soleil en auto avec leurs toiles, cette avidité de tout regarder et de ne rien contempler, de tout faire et de ne rien parfaire, de courir d'occasion en circonstances et de conjoncture en occurrence, tout cela était fatigant, certes et inutile, mais c'était le revers de la médaille d'un époux à tout prendre gentil, tendre, exquis parfois, quoique dénué d'empire sur soi-même.

Auteur: Morand Paul

Info: l'homme pressé (1941, 350 p., Gallimard, p.218, 219)

[ famille ] [ délicatesse ] [ maternité ] [ spécificité masculine ] [ beauté ]

intelligence artificielle

Les réseaux neuronaux profonds (DNN) sont analysés via le cadre théorique du principe du goulot d'étranglement de l'information (IB). Nous montrons d'abord que tout DNN peut être quantifié par l'information mutuelle entre les couches et les variables d'entrée et de sortie. A l'aide de cette représentation, on peut calculer les limites théoriques d'information optimales du DNN et obtenir des limites de généralisation d'échantillons finis. L'avantage de se rapprocher de la limite théorique est quantifiable tant par la généralisation liée que par la simplicité du réseau. Nous soutenons que tant l'architecture optimale, le nombre de couches et les caractéristiques/connexions de chaque couche, sont liés aux points de bifurcation de l'arbitrage du goulet d'étranglement de l'information, à savoir la compression pertinente de la couche d'entrée par rapport à la couche de sortie. Les représentations hiérarchiques du réseau en couches correspondent naturellement aux transitions de phases structurelles le long de la courbe d'information. Nous croyons que cette nouvelle perspective peut mener à de nouvelles limites d'optimalité et à de nouveaux algorithmes d'apprentissage en profondeur.

A) Stade initial : La couche de neurones 1 encode toute l'information qui rentre (input data), y compris toutes les étiquettes (labels, polarités) Les neurones de cette couche étant dans un état quasi aléatoire, avec peu ou pas de relation entre les données et leurs étiquettes.
Ainsi chaque neurone artificiel qui se déclenche transmet un signal à certains neurones de la couche suivante en fonction des variables d'entrée et de sortie. Le processus filtre le bruit et ne retient que les caractéristiques les plus importantes.

B) Phase de montage : à mesure que l'apprentissage en profondeur commence, les neurones des couches (layers) suivantes obtiennent des informations sur l'entrée qui s'adaptent mieux aux étiquettes.

C) Changement de phase: la couche (calque) change soudainement de vitesse et commence à "oublier les informations" de l'input.

D) Phase de compression: les couches supérieures compriment leur représentation des données d'entrée en ne conservant ce qui est le plus pertinent pour les infos de sortie. Elles précisent l'étiquetage.

E) Phase finale : la dernière couche obtient le meilleur équilibre entre précision et compression, ne conservant que ce qui est nécessaire pour définir l'étiquette.

Auteur: Tishby Naftali

Info: Bottleneck Theory of Deep Learning, abstract

[ classification ] [ tri ] [ informatique ] [ discernement ] [ pattern recognition ]

écologie

Nous savions construire des villes adaptées au chaud depuis 2000 ans. Et nous ne savons plus. Le niveau de connaissances s'est effondré de façon parfaitement parallèle à la disponibilité du pétrole au 20ème siècle.

La visite de villes italiennes montre que les romains connaissaient déjà l'essentiel des principes de la construction durable (bétons de chaux non armés, structures pierres, masses thermiques,...), du low-tech (jouer sur les orientations et les ratios de forme), des constructions passives (ventilation douce naturelle, protections solaires,...), ...

Autant de savoirs qui ne sont ni enseignés, ni connus des "meilleures" écoles d'architecture de notre époque.

On remarque en observant l'extension de certaines de ces villes que tant la qualité architecturale que la qualité constructive a commencé à baisser au début du siècle dernier et se sont littéralement effondrés dès les années 1970. La doctrine contemporaine - en Italie comme ailleurs - est de construire en opposition aux règles simples de la physique, puis de laisser aux ingénieurs et aux machines énergétiques le soin de résoudre les problèmes engendrés. Ce qui fonctionne dans un monde - aujourd'hui disparu - de ressources abondantes et d'énergie pas chère.

L'épilogue de cette pratique est l'installation systématique de climatiseurs dans les coeurs urbains historiques qui refroidissent individuellement les habitats, mais réchauffent collectivement les villes (puisqu'elles soutirent de l'électricité qu'elles transforment en chaleur). Ce qui prive désormais l'ensemble des citoyens de froid gratuit - créé à l'époque grâce aux connaissances des méthodes douces - et offre aux privilégiés du froid payant, cher et polluant.

Un petit exemple en images de savoir-faire visibles sur l'annexe de la Basilique de Santa Maria Novella de Florence construit aux environs de 1400... où il fait frais depuis 600 ans sans énergie.

Façades nord plutôt vitrées et lisses avec des protections solaires ventilées.

Façades sud en fort retrait couvertes par des protections solaires maçonnées avec des ratios 1-1 (en Suisse et en passif on utilise des ratios de 2-3 pour aussi privilégier les apports solaires hivernaux).

Façades est-ouest presque pas vitrées.

Ventilations naturelles importantes par les cours, fortes végétalisations des surfaces horizontales et chemins ombragés.

Auteur: Muller Marc

Info:

[ sagesse ] [ adaptation ] [ décorrélation homme nature ] [ appartenance intégration ] [ historique ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

architecture

Si la civilisation française fut durable, c'est à la pierre qu'elle le dut : le bois d'Europe nordique, le stuc italien, la brique anglaise ou flamande, le béton soviétique sont des matériaux fragiles dont la vieillesse sans patine est précoce et dont les ruines informes auront depuis longtemps disparu que nos édifices seront encore debout. Issus des carrières molles ou dures, roches, marbres, monolithes ou agglomérés forment de surprenantes variétés. Lorsqu'il est question d'une de nos villes, lorsqu'on nous parle d'une de nos provinces, nous pensons d'abord à leur visage de pierre. Truffeau des villages troglodytes de la Loire, murs tendres où la renaissance sculpta ses motifs italiens, murs de l'Anjou et de Touraine, verdâtres comme le teint des héroïnes Balzaciennes. Craies ponctuées de noirs silex, riverains de la Seine, plongeant sous la Manche pour reparaître à Douvres. Doux calcaires du Valois et du Soissonnais. Enfin les produits des vieux massifs cristallins, sombres villages de l'Armorique, noirs étables du Massif central, couleur de pierre à aiguiser. Plaques de schiste des toits d'Auvergne. Mica des entablements alpins scintillants au soleil, gâlets roulés des maisons du Rhône, orgues et tables de lave de la Limagne débités en murs d'enceinte, en donjons incurvés, en abbayes verticales. 

L'histoire de notre art ne s'explique que par là, depuis les maladroits alignements d'Armor jusqu'aux pierres de belle hache, débitées à la scie lisse, de cette île de France qui exportait sa chair pour bâtir les cathédrales anglaises ou les résidences américaines. (Les carrières Buttes Chaumont où les voyous d'Eugène Sue ne se nomment-elles pas les carrières d'Amérique ?) Les noms de leurs pierres sont bien de chez nous : le vergelet, la lamarde, le saint-leu, le conflans.

La France, coin de l'Europe. Pierre d'encoignure, pierre d'attente, pierre de touche. La France, ossature et squelette de l'extrême occident. C'est pourquoi notre fonds national est rude, avare, de grain serré, d'un génie enclin à la résistance et à la pétrification. Matériau résistant au feuilletage superficiel des gelées, pierre éprouvée qui a fait son unité, qui a jeté son eau, comme disent les carriers. Chair bien jointoyée et équarrie.

Profitons de la disette actuelle de ciment, de l'absence de cette hideuse boue durcie, de cette substance plastique sans forme, couleur ni nationalité qu'est le béton.

Auteur: Morand Paul

Info: Chroniques 1931-1954 (2001, 651 p., Grasset, p.371)

[ géographie hexagonale ] [ beauté ] [ type de construction ]