hommes-par-femme

J'ai toujours pensé que les grands prophètes, les conquérants, les idéologues, les généraux, les bienfaiteurs de l'humanité devaient être d'abominables machos et des compagnons impossibles.

Auteur: Collange Christiane

Info:

[ célèbres ] [ dominants ]

arôme

Joy de Jean Patou, créé par Henri Alméras. C'était à l'époque, l'un des parfums les plus coûteux, il réclamait plus de dix mille fleurs de jasmin et plus de trois cent roses pour obtenir à peine trente millilitres de fragrances.
Diffusé après la guerre, il devint symbole de revanche et de luxe.

Auteur: Caboni Cristina

Info: Le Parfum des sentiments

[ célèbre ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

apprentissage du langage

[…] la maîtresse d’Helen Keller, Ann Sullivan, s’efforçait d’apprendre à son élève à communiquer à l’aide de signes, alors confondus à des signaux, en tapant d’une manière déterminée selon les cas, dans la paume de l’enfant. Elle voulait ainsi associer à la perception d’un signal la sensation d’un objet. Par exemple, elle plaçait la main droite d’Helen sous un jet d’eau fraîche, pendant que sur l’autre, elle frappait le signal convenu. Dans cette pratique, spontanément behaviouriste, le signe est conçu comme l’index de son référent, qu’il a pour fonction essentielle d’évoquer. On prouvera qu’on a compris ce qu’est un signe si l’on peut user de cet index pour désigner le référent, quand on en a besoin. Tout être capable d’un tel comportement sera réputé savoir "parler". Or, la difficulté étonnante à laquelle se heurta Ann Sullivan, est que la petite Helen, tout en étant à même de communiquer quelques-uns de ses besoins au moyen des signaux que sa maîtresse lui avait appris à utiliser, semblait néanmoins piétiner à la porte d’un monde interdit. Il y avait là pourtant tous les éléments d’une relation de communication : émetteur, récepteur, médium de transmission et code. Plus encore : cet ensemble fonctionnait, mais la petite Helen – elle avait alors six ans – ne savait toujours pas parler.

Le miracle se produisit le 5 avril 1887. Ann Sullivan s’efforçait inlassablement d’épeler le mot tasse dans la main d’Helen, puis lui en donnait une à tenir. "Elle versait ensuite de l’eau dans la tasse, y trempait le doigt de l’enfant, et attendait, espérant qu’Helen réagirait en épelant e-a-u". En vain. Etant descendue au jardin afin de distraire l’enfant, elle s’approcha avec elle d’un puits d’où le jardinier tirait un seau d’eau. Une dernière fois, elle lui mit la tasse dans la main, y fit couler un peu d’eau, et épela water, sur l’autre main, de plus en plus rapidement, cette eau qu’Helen aimait à faire couler sur sa main. Soudain l’enfant lâcha la tasse, et, pétrifiée, laissa une pensée envahir et illuminer son esprit : w-a-t-e-r ! w-a-t-e-r ! cette chose merveilleusement fraîche, cette chose amie, c’était w-a-t-e-r ! Elle venait de comprendre que toute chose a un nom, que toute chose peut être dite ou signifiée, que le signe énonce la chose, ou encore qu’il l’exprime, c’est-à-dire que le rapport qui unit la chose à son index n’est pas celui d’une association entre deux perceptions sensibles […] mais un rapport de représentation, en sorte que le signe w-a-t-e-r s’identifie à la chose merveilleuse tout en en demeurant distinct : il "tient lieu" de la chose. Dans un tel rapport de signification, les deux éléments mis en relation ne sont plus du même ordre. Ils sont bien perçus tous les deux comme deux réalités également sensibles, et de ce point de vue, rien ne permet de les distinguer. Pourtant, dans le rapport de signification, la présence sensible de l’un cesse de valoir pour elle-même, cesse d’être le signal de son existence, qui est ainsi occultée, et se trouve valoir pour l’existence d’un autre, dont elle tient la place. C’est là l’expérience fondamentale de la signification. Les deux éléments sensibles ne sont plus unis par une relation horizontale de juxtaposition, mais par une relation verticale, et purement intellectuelle, de lieutenance.

Auteur: Borella Jean

Info: Dans "Histoire et théorie du symbole", éd. L'Harmattan, Paris, 2015, pages 125-126

[ sourd-muet-aveugle ] [ différence signe-signal ] [ invisible ] [ arrachement sémantique ] [ célèbre anecdote ] [ déclic ]