EarToy

Avatars sonores et interactions musicales temps réel

L'objectif du projet EarToy est l'étude de l'interaction audition/corps/espace dans les dispositifs de reproduction sonore dits immersifs. Le projet EarToy consiste à exploiter les technologies de restitution audio 3D et de capture du mouvement, et à explorer le potentiel de la modalité d'interaction audition/corps/espace à travers des scénarios s'appliquant, en particulier, au domaine du jeu musical.

Il s'agit de promouvoir les applications interactives accordant la primauté à la modalité sensorielle auditive, et de développer de nouveaux paradigmes d'interaction avec un contenu sonore. La conception de tels environnements interactifs, centrés sur la modalité auditive, soulève des questions scientifiques intéressantes dans le domaine de la cognition spatiale auditive et présente un potentiel d'applications innovantes dans le domaine musical.

Il est proposé de travailler sur le concept d'avatar sonore, manifestation auditive de la présence de l'utilisateur dans le monde virtuel. Un des objectifs du projet EarToy est d'élaborer un répertoire de modes d'interaction sur la base de règles de mise à jour du monde sonore en fonction des mouvements de l'utilisateur. Cette phase s'appuiera sur la constitution d'outils d'édition de l'interaction permettant de décrire sous forme symbolique les règles d'association entre une classe de gestes et les procédés d'articulation, de transformation et de spatialisation d'un corpus sonore. La pertinence au niveau perceptif et cognitif de ce répertoire d'interactions sera évaluée expérimentalement.

Les concepts et techniques développés seront évalués dans le cadre de deux applications pilotes : le mixage mobile et l'accès interactif à la musique.

Détails du projet

Participants