Analyse et reconnaissance du geste
Ce projet de recherche répond à un intérêt accru pour les systèmes musicaux interactifs basés sur un contrôle gestuel. Les applications concernent non seulement la musique mais le spectacle vivant dans son ensemble, tels la danse ou le théâtre. Il s’agit de recherches à caractère fortement interdisciplinaire intégrant les sciences de l’ingénieur, la physiologie et la biomécanique, les sciences cognitives et les domaines artistiques. Ces travaux s’effectuent en synergie avec nos développements sur les interfaces gestuelles.
Description des travaux/Objectifs
Un premier axe de recherche est dédié à l’étude du geste instrumental et de sa relation à la fois avec l’écriture musicale et les caractéristiques du signal sonore. Des mesures ont par exemple été effectuées en collaboration avec McGill University sur des violonistes et trompettistes. Dans le cadre des instruments à cordes, les mouvements de l’archet, du violon ainsi que du corps entier de l’instrumentiste peuvent être mesurés en utilisant de la captation optique 3D. Nous développons également des dispositifs de captation complémentaires, compatibles avec l’utilisation scénique ou des contextes pédagogiques.
L’ensemble de ces méthodes nous permet de mesurer et de modéliser les gestes d’instrumentistes. Diverses problématiques sont abordées comme le contrôle moteur et l’apprentissage dans le cas d’un geste expert, la caractérisation de modes de jeu en considérant à la fois les paramètres sonores et gestuels, ainsi que la modélisation de phénomènes de coarticulation gestuelle similaires à ceux de la parole.
Un deuxième axe concerne le développement de systèmes d’analyse et de reconnaissance du geste. Nous favorisons des approches générales permettant d’appliquer nos résultats aussi bien à la musique qu’à la danse ou qu’aux installations interactives. De tels systèmes peuvent être, par exemple, intégrés dans le contexte d’un spectacle vivant pour la synchronisation et l’interaction entre le mouvement des interprètes et divers processus sonores ou visuels. La reconnaissance est basée sur diverses caractéristiques temporelles du mouvement, captées soit par vidéo soit par un ensemble de capteurs embarqués sur le corps. Les outils issus de ces recherches, comme le « suivi de geste », permettent de reconnaître et caractériser précisément divers éléments gestuels de haut niveau définis par les artistes eux-mêmes.
Équipe Ircam : Interaction son musique mouvement.
