homme-machine

L'IA de DeepMind peut construire une vision du monde à partir de plusieurs images.
L'intelligence artificielle peut maintenant se mettre à la place de quelqu'un d'autre. DeepMind a développé un réseau neuronal qui lui a appris à "imaginer" une scène à partir de différents points de vue, à partir d'une image seulement.
Avec une image 2D d'une scène - par exemple, une pièce avec un mur de brique et une sphère et un cube de couleur vive sur le sol - le réseau neuronal peut générer une vue 3D à partir d'un point de vue différent, rendant les côtés opposés des objets et modifiant l'endroit où les ombres tombent pour maintenir la même source de lumière.
Le système, nommé Generative Query Network (GQN), peut extraire des détails d'images statiques pour deviner les relations spatiales, y compris la position de la caméra.
"Imaginez que vous regardez l'Everest et que vous bougez d'un mètre - la montagne ne change pas de taille, ce qui vous dit quelque chose sur sa distance", dit Ali Eslami qui a dirigé le projet à Deepmind.
"Mais si vous regardez une tasse, elle changera de position. C'est semblable à la façon dont cela fonctionne."
Pour former le réseau neuronal, lui et son équipe lui ont montré des images d'une scène à partir de différents points de vue, utilisés pour prédire à quoi ressemblerait quelque chose depuis derrière ou du côté. Le système s' auto enseigne aussi via le contexte, les textures, les couleurs et l'éclairage. Ce qui contraste avec la technique actuelle de l'apprentissage supervisé, dans lequel les détails d'une scène sont étiquetés manuellement et transmis à l'IA.
L'IA peut également contrôler des objets dans l'espace virtuel, en appliquant sa compréhension des relations spatiales à un scénario où elle déplace un bras robotique pour ramasser une balle. Elle apprend beaucoup comme nous, même si nous ne le réalisons pas, dit Danilo Rezende de DeepMind, qui a également travaillé sur le projet.
En montrant au réseau neuronal de nombreuses images en formation, l'IA peut identifier les caractéristiques d'objets similaires et s'en souvenir. "Si vous regardez à l'intérieur du modèle, nous pouvons identifier des groupes de neurones artificiels, des unités dans le graphique de calcul, qui représentent l'objet ", dit Rezende.
Le système se déplace autour de ces scènes, faisant des prédictions sur l'endroit où les choses devraient être et à quoi elles devraient ressembler, en s'ajustant quand ses prédictions sont incorrectes.
Il a pu utiliser cette capacité pour élaborer la disposition d'un labyrinthe après avoir vu quelques photos prises de différents points de vue.

Auteur: Whyte Chelsea

Info: https://www.newscientist.com, 14 juin 2018

cognition

Les couleurs et les sons

Leonard Bernstein a affirmé : " Un compositeur de symphonie a devant lui toutes les notes de l'arc en ciel". Plus qu’une transdisciplinarité, l’association de la musique et de la couleur est un énomène qui a toujours existé. Les expériences multisensorielles dans l’art sont nombreuses. Voyons ici comment mettre à profit ce lien son/couleur dans l’apprentissage des enfants, notamment en ce qui concerne la lecture et l’écriture.

Chromesthésie

Derrière ce nom compliqué, se cache la capacité à percevoir différemment le son et à le ressentir "visuellement". Cette particularité ne concerne que peu de personnes et fait référence de manière plus large à l’expérience singulière de la synesthésie, terme signifiant en grec ensemble et sens. Autrement dit, certains individus goûtent une couleur, voient un son ou bien sentent un mot. 

Entre autres synesthètes célèbres, l’on trouve Vincent Van Gogh, Duke Ellington, Jean Sibelius ou encore Wagner avec son œuvre d’art totale le Gesamtkunstwerk. Goethe quant à lui a déclaré que "la couleur et le son ont la même source […] mais coulent dans des conditions différentes". Ainsi, textures, formes et couleurs apparaissent dans le champ de perception du synesthète lors de la stimulation par la musique ou les notes. En 1842 Franz Liszt aurait à ce sujet interloqué les musiciens de l’orchestre de Weimar lors d’une répétition en leur demandant de jouer "un peu plus bleu […] et "moins rose".

Faciliter l'apprentissage par les sons et les couleurs

Ce phénomène neurologique étrange et individuel nous emmène au potentiel pédagogique contenu dans l’association des sons et des couleurs. Comment faciliter les apprentissages des enfants si ce n’est par l’aspect multisensoriel et ludique des vibrations et de la couleur ? Lorsque par exemple à travers la lecture les enfants ne reconnaissent pas toutes les voyelles dans un texte, les couleurs auxquelles ils sont très réceptifs les aident. En effet, plus ils rencontrent les graphies d’un son coloré, plus ils s’en imprègnent facilement.  D’autre part, ils parviennent à déchiffrer les sons non appris grâce aux couleurs. Les enfants allophones apprennent de plus les couleurs comme premiers mots. 

Le principe pédagogique pour s’approprier la correspondance entre les graphèmes et la couleur est le suivant : le son est inclus dans le nom de la couleur : jAUne, rOUge nOIr, marrON etc. Créer un arc-en-ciel de sons complexes représente un outil efficace pour les plus petits ou les enfants en difficulté car il repose sur un moyen mnémotechnique simple. Ce dernier contribue à faciliter le décodage et l’encodage des associations graphèmes phonèmes. Le son audible par l’oreille associé à une couleur perceptible par l’œil ancre mentalement la phonétique.

Il est aussi possible de trouver une correspondance entre timbres des instruments de musique et couleurs ; ainsi les enfants peuvent manipuler et moduler les sons et jouer à reconnaître les couleurs de leur choix.  Lorsque les sens sont associés et que les gestes se joignent à la parole et à l’écoute des sons, cela concourt à l’apprentissage tant de la lecture que de l’écriture. Composer et lire des syllabes en couleurs constitue un véritable tremplin sensoriel pour développer les capacités de l’enfant.

Auteur: Alcais Claire

Info: https://icm-association.fr/le-blog/collectivites-locales/les-couleurs-et-les-sons. 19 avril 2022

[ éducation ] [ pédagogie ] [ ondes ] [ double perception ] [ septénaires ]