mémoire

Un résumé saisissant de la théorie de Shannon
Supposez qu'une histoire pour enfant commence par ces mots : Voici mon chat. Il a une fourrure. Il a des griffes... Plutôt ennuyeux, non ? Imaginez maintenant une autre histoire, qui commence ainsi : Voici mon chat. Il porte un chapeau. Il brandit un fusil... Beaucoup mieux. La deuxième histoire paraît plus intéressante et plus riche parce qu'elle raconte des choses improbables - les chats ont généralement une fourrure et des griffes, mais on les voit rarement porter un chapeau et brandir un fusil. En 1948, Claude Shannon du MIT a formalisé ce type d'observation en un système mathématique qui a pris le nom de théorie de l'information. L'une de ses idées clés est que le contenu informatif d'un message croit à mesure que sa prévisibilité, telle que la mesure son destinataire, décroît (mathématiquement, comme le logarithme négatif de sa probabilité).
Le plus surprenant est donc ce qui en apprend le plus.

Auteur: Moravec Hans

Info: Une Vie après la vie, p. 79

[ conservation ] [ sélective ] [ homme-machine ] [ dépaysement ]