Interaction son musique mouvement

Cette équipe mène des recherches et des développements sur les systèmes interactifs dédiés à la musique et au spectacle vivant.

Ces travaux concernent toute la chaîne du processus interactif, comprenant la captation et l'analyse multimodale de gestes et sons d'instrumentistes, les outils de synchronisation et de gestion de l'interaction, ainsi que des techniques de synthèse et traitement sonore temps réel. Ces recherches et leurs développements informatiques associés sont généralement réalisés dans le cadre de projets interdisciplinaires, intégrant scientifiques, artistes, pédagogues, designers et trouvent des applications dans des projets de création artistique, de pédagogie musicale ou encore dans des domaines industriels de l'audionumérique.

Principales thématiques

Modélisation et analyse de sons et gestes
Ce thème regroupe les développements théoriques concernant l'analyse de flux sonores et gestuels ou plus généralement de morphologies temporelles multimodales. Ces recherches concernent diverses techniques d'analyse audio, l'étude du jeu d'instrumentistes ou de gestes dansés.

Technologies pour l'interaction multimodale
Ce thème concerne nos outils d'analyse et de reconnaissance multimodale de gestes et son, d'outils et de synchronisation (suivi de geste par exemple) et de visualisation.

Synthèse et traitement sonore interactif
Ce thème regroupe essentiellement des méthodes de synthèse et traitement sonore basées sur des sons enregistrés ou de large corpus sonores.

Systèmes de captation de gestes et instruments augmentés
Ce thème concerne nos développements d'interfaces gestuelles et d'instruments augmentés pour la musique et le spectacle vivant.

Site internet de l'équipe

  • R-IoT : Carte de captation gestuelle à 9 degrés de liberté avec transmission sans fil  © Philippe Barbosa
    R-IoT : Carte de captation gestuelle à 9 degrés de liberté avec transmission sans fil © Philippe Barbosa
  • Raquettes de Tennis connectées  © Philippe Barbosa
    Raquettes de Tennis connectées © Philippe Barbosa
  • MO - Modular Musical Objects  © NoDesign.net
    MO - Modular Musical Objects © NoDesign.net
  • Projet CoSiMa  © Philippe Barbosa
    Projet CoSiMa © Philippe Barbosa
  • Installation Siggraph, 2014  © DR
    Installation Siggraph, 2014 © DR


Domaines de recherche et projets associés

Synthèse concaténative par corpus

Base de données de sons enregistrés, segmentés et indexés par des descripteurs sonores

Projets nationaux et européens

Cosima

Médias collaboratifs situés

EFFICAC(e)

Environnements réactifs pour la compositon musicale assistée par ordinateur

Gemme

Geste musical : modèles et expériences

Interlude

Études numériques sur l'exploration et l'interaction gestuelle expressive avec des contenus musicaux

Legos

Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste

MIM

Enhancing Motion Interaction through Music Performance

Music Bricks

Outils et modules musicaux pour les designers numériques et les créateurs de contenus

Physis

Modélisation, transformation et synthèse de sons pour les mondes virtuels interactifs

RapidMix

Outils et modules musicaux pour les designers numériques et les créateurs de contenus

Same

Sound And Music for Everyone Everyday Everywhere Every way

Sample Orchestrator

Réalisation d'applications sur la gestion et la manipulation par le contenu de banques d’échantillons sonores

Sample Orchestrator 2

Constitution de fonctions nouvelles destinées aux échantillonneurs logiciels de nouvelle génération

SemanticHIFI

Naviguer, écouter, interagir, jouer, partager sur les systèmes HiFi du futur

Skat-VG

Sketching Audio Technologies using Vocalizations and Gestures

Topophonie

Espaces virtuels navigables

Voice4Games

Traitement de la voix pour la production de jeux vidéo

Wave

Web audio : édition/visualisation


Logiciels (Conception & développement)

product

MuBu pour Max

Conteneurs pour les données sonores et de mouvement sous forme d’objets Max.
product

Geste & Son

Deux objets Max pour effectuer le suivi de morphologies temporelles basées sur des modèles de Marko…
product

CataRT Standalone

Système de synthèse concaténative temps réel permettant de jouer des « grains » sonores.

Domaines de compétences

Interactivité, informatique temps réel, interaction homme-machine, traitement du signal, captation du mouvement, modélisation du son et du geste, modélisation statistique et apprentissage automatique, analyse et synthèse sonore temps réel.

Équipe


Responsable d'équipe : Frédéric Bevilacqua
Chercheurs & ingénieurs : Diemo Schwarz, Joseph Larralde, Benjamin Matuszewski, Riccardo Borghesi
Doctorants : Hugo Scurto, Pavlos Antoniadis
Stagiaire : Ward Nijman