Interaction Son Musique Mouvement

L’équipe mène des recherches et des développements sur les systèmes interactifs dédiés à la musique et au spectacle vivant.

Résidence de recherche artistique à l’Ircam, expérience avec 40 Raspberry Pi connectés et synchronisés via le réseau à l'Espace de projection

Résidence de recherche artistique à l’Ircam, expérience avec 40 Raspberry Pi connectés et synchronisés via le réseau à l'Espace de projection

Nos travaux concernent toute la chaîne du processus interactif, comprenant la captation et l’analyse des gestes et sons, les outils de gestion de l’interaction, génération et synchronisation, ainsi que des techniques de synthèse et traitement sonore temps réel. Ces recherches, et leurs développements informatiques associés, sont généralement réalisés dans le cadre de projets interdisciplinaires, intégrant scientifiques, artistes, pédagogues, designers et trouvent des applications dans des projets de création artistique, de pédagogie musicale, d'apprentissage du mouvement, ou encore dans des domaines médicaux tels que la rééducation guidée par le son et la musique.

Frederic Bevilacqua

Responsable d'équipe

Diemo Schwarz

Chercheur

Jerome Nika

Chercheur

Giorgia CANTISANI

Chercheur invité

Coralie Vincent

Ingénieure

Louise Grebel

Doctorante

Léo Mercier

Doctorant

  • Modélisation des gestes et des mouvements et apprentissage sensorimoteur : ce thème regroupe le développement de modèles comportementaux ou neuronaux, basés sur des études expérimentales, concernant généralement l’interaction entre son et mouvement, en prenant compte des aspects de perception, allant du jeu d’instrumentistes aux mouvements dansés. 
  • Synthèse et traitement sonore interactif : ce thème regroupe essentiellement des méthodes de synthèse et traitement sonore basées sur des sons enregistrés ou de large corpus sonores. 
  • Systèmes interactifs sonores fondés sur les gestes et sonification du mouvement : ce thème concerne le design et le développement d’environnements sonores interactifs utilisant gestes, mouvements et toucher. Des méthodes d’apprentissage machine interactif sont développés spécifiquement pour ces usages. La sonification de mouvement trouvent des applications en santé, notamment pour la rééducation (axe Son-Musique-Santé).
  • Composition et design de l’interaction avec des processus musicaux : ce thème concerne la conception de stratégies d’interaction avec la synthèse audio et/ou musicale, ainsi que la personnalisation de cette interaction par les artistes, notamment par la modélisation à partir d’exemples des relations entre des flux de contrôle (audio ou symboliques) et le matériau sonore à synthétiser, en utilisant divers modèles d’apprentissage automatique.
  • Interaction musicale collective et systèmes distribués : ce thème aborde les questions d’interactions musicales allant de quelques utilisateurs à des centaines. Il concerne plus particulièrement le développement d’un environnement Web mêlant ordinateurs, micro-ordinateur, smartphones et/ou systèmes embarqués, pour explorer de nouvelles possibilités d’interactions expressives et synchronisées.

Systèmes interactifs sonores, interaction humain-machine, captation du mouvement, modélisation du son et du geste, analyse et synthèse sonore temps réel, modélisation statistique et apprentissage machine intéractif, traitement de signal, systèmes interactifs distribués, sonification du mouvement.

OpenTuning

Individuation créative par le design d'interaction avec des systèmes musicaux génératifs

Dates : mars 2026 à décembre 2029

Inside Artificial Improvisation

Dans la boîte noire de l’improvisation artificielle

Dates : janvier 2026 à décembre 2029

Koral

Jouer de la musique en groupe en utilisant des smartphones

Dates : décembre 2023 à décembre 2024

Logiciels liés

Logiciel

Soundworks

Cadre JavaScript full-stack pour les applications WebAudio et multimédias distribuées.

Logiciel gratuit

Interactions gestuelles

Logiciel

Max Sound Box

Modules d'interaction en temps réel pour Max.

Logiciel gratuit

Design et traitement sonores

Traitement vocal

Logiciel

Gesture & Sound

Modules pour interactions geste-son : VoiceFollower synchronise son et visuels avec une voix préenregistrée ; MotionFollower synchronise son et visuels avec un mouvement préenregistré.

Logiciel gratuit

Traitement vocal

Interactions gestuelles

Avec la tutelle de :

IrcamSorbonne UniversitéCNRSMinistère de la Culture