Interaction Son Musique Mouvement
L’équipe mène des recherches et des développements sur les systèmes interactifs dédiés à la musique et au spectacle vivant.

Résidence de recherche artistique à l’Ircam, expérience avec 40 Raspberry Pi connectés et synchronisés via le réseau à l'Espace de projection
Nos travaux concernent toute la chaîne du processus interactif, comprenant la captation et l’analyse des gestes et sons, les outils de gestion de l’interaction, génération et synchronisation, ainsi que des techniques de synthèse et traitement sonore temps réel. Ces recherches, et leurs développements informatiques associés, sont généralement réalisés dans le cadre de projets interdisciplinaires, intégrant scientifiques, artistes, pédagogues, designers et trouvent des applications dans des projets de création artistique, de pédagogie musicale, d'apprentissage du mouvement, ou encore dans des domaines médicaux tels que la rééducation guidée par le son et la musique.
Frederic Bevilacqua
Responsable d'équipe
Benjamin Matuszewski
Chercheur
Diemo Schwarz
Chercheur
Jerome Nika
Chercheur
Giorgia CANTISANI
Chercheur invité
Coralie Vincent
Ingénieure
Riccardo Borghesi
Ingénieur
Louise Grebel
Doctorante
Léo Mercier
Doctorant
Ulysse Roussel
Doctorant
Balthazar Bujard
Doctorant
Maël LELIEVRE
Stagiaire
- Modélisation des gestes et des mouvements et apprentissage sensorimoteur : ce thème regroupe le développement de modèles comportementaux ou neuronaux, basés sur des études expérimentales, concernant généralement l’interaction entre son et mouvement, en prenant compte des aspects de perception, allant du jeu d’instrumentistes aux mouvements dansés.
- Synthèse et traitement sonore interactif : ce thème regroupe essentiellement des méthodes de synthèse et traitement sonore basées sur des sons enregistrés ou de large corpus sonores.
- Systèmes interactifs sonores fondés sur les gestes et sonification du mouvement : ce thème concerne le design et le développement d’environnements sonores interactifs utilisant gestes, mouvements et toucher. Des méthodes d’apprentissage machine interactif sont développés spécifiquement pour ces usages. La sonification de mouvement trouvent des applications en santé, notamment pour la rééducation (axe Son-Musique-Santé).
- Composition et design de l’interaction avec des processus musicaux : ce thème concerne la conception de stratégies d’interaction avec la synthèse audio et/ou musicale, ainsi que la personnalisation de cette interaction par les artistes, notamment par la modélisation à partir d’exemples des relations entre des flux de contrôle (audio ou symboliques) et le matériau sonore à synthétiser, en utilisant divers modèles d’apprentissage automatique.
- Interaction musicale collective et systèmes distribués : ce thème aborde les questions d’interactions musicales allant de quelques utilisateurs à des centaines. Il concerne plus particulièrement le développement d’un environnement Web mêlant ordinateurs, micro-ordinateur, smartphones et/ou systèmes embarqués, pour explorer de nouvelles possibilités d’interactions expressives et synchronisées.
Systèmes interactifs sonores, interaction humain-machine, captation du mouvement, modélisation du son et du geste, analyse et synthèse sonore temps réel, modélisation statistique et apprentissage machine intéractif, traitement de signal, systèmes interactifs distribués, sonification du mouvement.
Projets liés
Voir tous les projetsOpenTuning
Individuation créative par le design d'interaction avec des systèmes musicaux génératifs
Dates : mars 2026 à décembre 2029
Inside Artificial Improvisation
Dans la boîte noire de l’improvisation artificielle
Dates : janvier 2026 à décembre 2029
Koral
Jouer de la musique en groupe en utilisant des smartphones
Dates : décembre 2023 à décembre 2024
Logiciels liés
Soundworks
Cadre JavaScript full-stack pour les applications WebAudio et multimédias distribuées.
Logiciel gratuit
Interactions gestuelles
Max Sound Box
Modules d'interaction en temps réel pour Max.
Logiciel gratuit
Design et traitement sonores
Traitement vocal
Gesture & Sound
Modules pour interactions geste-son : VoiceFollower synchronise son et visuels avec une voix préenregistrée ; MotionFollower synchronise son et visuels avec un mouvement préenregistré.
Logiciel gratuit
Traitement vocal
Interactions gestuelles