désynchronisation

Cinq heures de décalage horaire par rapport à New York et Cayce Pollard se réveille à Camden Town avec les infatigables et terribles démons jaillis de la perturbation du rythme circadien.

Auteur: Gibson William

Info: Pattern recognition

[ jet lag ]

intelligence artificielle

Les réseaux neuronaux profonds (DNN) sont analysés via le cadre théorique du principe du goulot d'étranglement de l'information (IB). Nous montrons d'abord que tout DNN peut être quantifié par l'information mutuelle entre les couches et les variables d'entrée et de sortie. A l'aide de cette représentation, on peut calculer les limites théoriques d'information optimales du DNN et obtenir des limites de généralisation d'échantillons finis. L'avantage de se rapprocher de la limite théorique est quantifiable tant par la généralisation liée que par la simplicité du réseau. Nous soutenons que tant l'architecture optimale, le nombre de couches et les caractéristiques/connexions de chaque couche, sont liés aux points de bifurcation de l'arbitrage du goulet d'étranglement de l'information, à savoir la compression pertinente de la couche d'entrée par rapport à la couche de sortie. Les représentations hiérarchiques du réseau en couches correspondent naturellement aux transitions de phases structurelles le long de la courbe d'information. Nous croyons que cette nouvelle perspective peut mener à de nouvelles limites d'optimalité et à de nouveaux algorithmes d'apprentissage en profondeur.

A) Stade initial : La couche de neurones 1 encode toute l'information qui rentre (input data), y compris toutes les étiquettes (labels, polarités) Les neurones de cette couche étant dans un état quasi aléatoire, avec peu ou pas de relation entre les données et leurs étiquettes.
Ainsi chaque neurone artificiel qui se déclenche transmet un signal à certains neurones de la couche suivante en fonction des variables d'entrée et de sortie. Le processus filtre le bruit et ne retient que les caractéristiques les plus importantes.

B) Phase de montage : à mesure que l'apprentissage en profondeur commence, les neurones des couches (layers) suivantes obtiennent des informations sur l'entrée qui s'adaptent mieux aux étiquettes.

C) Changement de phase: la couche (calque) change soudainement de vitesse et commence à "oublier les informations" de l'input.

D) Phase de compression: les couches supérieures compriment leur représentation des données d'entrée en ne conservant ce qui est le plus pertinent pour les infos de sortie. Elles précisent l'étiquetage.

E) Phase finale : la dernière couche obtient le meilleur équilibre entre précision et compression, ne conservant que ce qui est nécessaire pour définir l'étiquette.

Auteur: Tishby Naftali

Info: Bottleneck Theory of Deep Learning, abstract

[ classification ] [ tri ] [ informatique ] [ discernement ] [ pattern recognition ]

mâles-femelles

Les chercheurs ajoutent des souris à la liste de créatures qui chantent en présence de leurs compagnes.
Les scientifiques savent depuis des décennies que les souris femelles de laboratoire - ou leurs phéromones - font que les souris masculines réagissent par des vocalisations ultrasoniques. Mais un nouveau papier des chercheurs à l'école d'université de Washington de médecine à St Louis établit pour la première fois que ces expressions de souris mâles sont des chansons. Cette conclusion, ajoute la souris au nombre des créatures qui chantent en présence du sexe opposé, comme les oiseaux, les baleines et quelques insectes.
"Dans la littérature il y a une hiérarchie de différentes définitions pour ce qu'on qualifie de chanson, mais on cherche habituellement deux propriétés principales" dit Timothy E. Holy, assistant professeur de neurobiologie et d’anatomie.
"L'une est qu'il doit y avoir quelques catégories diverses de syllabes/bruits distincts reconnaissable au lieu d’un seul bruit répété à plusieurs reprises. Il doit aussi y avoir quelques motifs et thèmes temporels réguliers qui se reproduisent de temps en temps, comme le motif mélodique d’un air entraînant."
Cette nouvelle étude prouve que la chanson des souris a ces deux qualités, bien qu'on note que la capacité de ces souris de laboratoire d'ouvrer des motifs et des thèmes n'est de loin pas de la même qualité que celle des oiseaux par exemples. "la meilleure analogie pour la souris serait que son chant est comme celui des oiseaux juvéniles, qui proposent ce qu'on pourrai appeler des proto-motifs de thèmes." Il poursuit : "Ce n'est pas encore clair si le chant donne un avantage aux souris mâles pendant la cour, comme chez les oiseaux."
Holy et son co-auteur Zhongsheng Guo, programmeur de son laboratoire, se sont intéressé aux vocalisations des souris par l'intermédiaire des études du laboratoire de Holy au sujet de la réponse donnée par le cerveau de la souris mâle face aux phéromones de la souris femelle. Les phéromones sont les signaux chimiques émis par beaucoup de différentes espèces et sont fréquemment liées au pré coït.
"Etudier ce genre de réponse chez les souris nous permet de modéliser des tâches de plus haut niveau (tel que pattern recognition et apprentissage) dans un cerveau où la neuroanatomie est beaucoup plus simple que chez l'homme".

Auteur: Purdy Michael

Info: 31 Oct. 2005

[ séduction ] [ improvisation ]