Legos

Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste

L'idée centrale du projet Legos est de croiser des expertises avancées sur les technologies de contrôle sonore par le geste avec des problématiques liées aux neurosciences et aux sciences cognitives de l'audition, concernant en particulier les apprentissages sensori-moteurs. Nous pensons en effet que ces aspects sont insuffisamment intégrés aux développements des systèmes sonores interactifs. Une meilleure compréhension des mécanismes d'apprentissage du couplage geste/son pour la réalisation d'une action est nécessaire pour proposer des méthodologies efficaces pour leur évaluation et optimisation. Cela permettra de dépasser de manière significative les limites auxquelles sont confrontés les systèmes sonores interactifs actuels basés sur le geste, souvent développés de manière empirique.

L'objectif du projet Legos est d'étudier de manière systématique l'évaluation de la qualité du couplage geste-son dans des systèmes sonores basés sur une interface gestuelle. Pour cela, nous évaluerons l'apprentissage sensori-moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs. Il s'agit donc à la fois de développer, d'évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation. Le projet permettra d'apporter un nouvel éclairage sur la perception des sons dans un processus actif engageant une action de l'auditeur.

Le projet s'appuie sur des méthodes expérimentales, considérant les trois éclairages suivants :

Contrôle sonore
Ce premier point correspond à un cas d'apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d'une interface gestuelle, comme dans le cas des instruments de musique numérique. L'apprentissage sensori-moteur est évalué au niveau de la qualité du son produit.

Apprentissage de geste avec retour sonore
Ce deuxième point correspond à l'apprentissage sensori-moteur dans le cas où la finalité est d'effectuer un geste donné
en s'aidant d'un retour sonore. L'apprentissage sensori-moteur est dans ce cas observé au niveau de la qualité/performance du geste reproduit.

Design sonore interactif
Ce troisième point correspond à l'apprentissage sensori-moteur dans le cas d'interfaces tangibles, où la finalité est la
manipulation correcte d'un objet. Dans ce dernier cas, l'apprentissage sensori-moteur est jugé à travers la manipulation de l'objet interactif pour répondre à un usage donné.

Détails du projet

Participants