Interaction son musique mouvement
Ces travaux concernent toute la chaîne du processus interactif, comprenant la captation et l'analyse multimodale de gestes et sons d'instrumentistes, les outils de synchronisation et de gestion de l'interaction, ainsi que des techniques de synthèse et traitement sonore temps réel. Ces recherches et leurs développements informatiques associés sont généralement réalisés dans le cadre de projets interdisciplinaires, intégrant scientifiques, artistes, pédagogues, designers et trouvent des applications dans des projets de création artistique, de pédagogie musicale ou encore dans des domaines industriels de l'audionumérique.
Principales thématiques
Modélisation et analyse de sons et gestes
Ce thème regroupe les développements théoriques concernant l'analyse de flux sonores et gestuels ou plus généralement de morphologies temporelles multimodales. Ces recherches concernent diverses techniques d'analyse audio, l'étude du jeu d'instrumentistes ou de gestes dansés.
Technologies pour l'interaction multimodale
Ce thème concerne nos outils d'analyse et de reconnaissance multimodale de gestes et son, d'outils et de synchronisation (suivi de geste par exemple) et de visualisation.
Synthèse et traitement sonore interactif
Ce thème regroupe essentiellement des méthodes de synthèse et traitement sonore basées sur des sons enregistrés ou de large corpus sonores.
Systèmes de captation de gestes et instruments augmentés
Ce thème concerne nos développements d'interfaces gestuelles et d'instruments augmentés pour la musique et le spectacle vivant.
Domaines de recherche et projets associés
Analyse et reconnaissance du geste
Étude du geste instrumental et de sa relation à la fois avec l’écriture musicale et les caractéristiques du signal sonore
Instruments augmentés
Instruments acoustiques auxquels sont intégrés des capteurs
Synthèse concaténative par corpus
Base de données de sons enregistrés, segmentés et indexés par des descripteurs sonores
Projets nationaux et européens
Cosima
Médias collaboratifs situés
EFFICAC(e)
Environnements réactifs pour la compositon musicale assistée par ordinateur
Gemme
Geste musical : modèles et expériences
Interlude
Études numériques sur l'exploration et l'interaction gestuelle expressive avec des contenus musicaux
Legos
Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste
MICA
Improvisation Musicale et Action Collective
MIM
Enhancing Motion Interaction through Music Performance
Music Bricks
Outils et modules musicaux pour les designers numériques et les créateurs de contenus
Physis
Modélisation, transformation et synthèse de sons pour les mondes virtuels interactifs
RapidMix
Outils et modules musicaux pour les designers numériques et les créateurs de contenus
Same
Sound And Music for Everyone Everyday Everywhere Every way
Sample Orchestrator
Réalisation d'applications sur la gestion et la manipulation par le contenu de banques d’échantillons sonores
Sample Orchestrator 2
Constitution de fonctions nouvelles destinées aux échantillonneurs logiciels de nouvelle génération
SemanticHIFI
Naviguer, écouter, interagir, jouer, partager sur les systèmes HiFi du futur
Skat-VG
Sketching Audio Technologies using Vocalizations and Gestures
Topophonie
Espaces virtuels navigables
Voice4Games
Traitement de la voix pour la production de jeux vidéo
Wave
Web audio : édition/visualisation
Logiciels (Conception & développement)
MuBu pour Max
Geste & Son
CataRT Standalone
Domaines de compétences
Interactivité, informatique temps réel, interaction homme-machine, traitement du signal, captation du mouvement, modélisation du son et du geste, modélisation statistique et apprentissage automatique, analyse et synthèse sonore temps réel.
Collaborations
Goldsmiths University of London (United Kingdom), Phonotonic (Paris), McGill University (Canada), CNMAT Berkeley (USA), Genova University (Italy), ENSCI (Paris), LIMSI (Université Paris-Sud), ENSAD (Paris), GRAME (Lyon), IC
K Amsterdam, Atelier des Feuillantines (Paris), Association Puce Muse (Rungis), Univers Sons/Ultimate Sound Bank (Paris), Cycling’74 (USA), Da Fact (Paris), Voxler (Paris), No Design (Paris), HKU (Hilversum), UserStudio (Paris), BEK (Norway), IEM (Austria), STEIM (Amsterdam), PSA (France), University Pompeu Fabra (Spain), Nokia Research Center (Finland), TKK (Finland), KTH (Sweden), UCL (United Kingdom), UCSD (USA).
Équipe
Responsable d'équipe : Frédéric Bevilacqua
Chercheurs & ingénieurs : Baptiste Caramiaux, Diemo Schwarz, Benjamin Matuszewski, Riccardo Borghesi, Jean-Philippe Lambert
Doctorants : Hugo Scurto, Pavlos Antoniadis