Espaces acoustiques et cognitifs

L’activité de recherche et de développement de l’équipe Espaces acoustiques et cognitifs est consacrée à la reproduction, à l’analyse/synthèse et à la perception de scènes sonores.

Les disciplines scientifiques de l’équipe sont le traitement du signal et l’acoustique pour l’élaboration de techniques de reproduction audio spatialisée et de méthodes d’analyse/synthèse du champ sonore. Parallèlement, l’équipe consacre un important volet d’études cognitives sur l’intégration multisensorielle pour un développement raisonné de nouvelles médiations sonores basées sur l’interaction corps/audition/espace. Les activités de recherche scientifique décrites ci-dessous s’articulent avec une activité de développement de bibliothèques logicielles. Ces développements consignent le savoir-faire de l’équipe, soutiennent son activité de recherche théorique et expérimentale et sont le vecteur majeur de notre relation avec la création musicale et d’autres secteurs applicatifs.

Les travaux concernant les techniques de spatialisation se concentrent sur les modèles basés sur un formalisme physique du champ sonore. L’objectif principal est le développement d’un cadre formel d’analyse/synthèse du champ sonore exploitant des réponses impulsionnelles spatialisées (SRIR pour Spatial Room Impulse Response). Les SRIRs sont généralement mesurées par des réseaux sphériques comportant plusieurs dizaines de transducteurs (microphones et/ou haut-parleurs). L’application principale concerne le développement de réverbérateurs à convolution exploitant ces SRIRs à haute résolution spatiale afin de reproduire fidèlement la complexité du champ sonore.

La technique de spatialisation binaurale sur casque retient également notre attention. L’évolution des pratiques d’écoute et la démocratisation des applications interactives tendent à privilégier l’écoute sur casque à travers l’usage des smartphones. Grâce à sa capacité d’immersion sonore, l’écoute binaurale devient le premier vecteur d’écoute tridimensionnelle. Basée sur l’exploitation des fonctions de transfert d’oreille (HRTFs) elle reste à ce jour la seule approche assurant une reconstruction exacte et dynamique des indices responsables de la localisation auditive. Elle s’impose comme un outil de référence pour la recherche expérimentale liée à la cognition spatiale en contexte multisensoriel et pour les applications de réalité virtuelle.

Ces techniques de spatialisation audio 3D, associées aux dispositifs de captation des mouvements de l’interprète ou de l’auditeur dans l’espace, constituent une base organologique essentielle pour aborder les questions « d’interaction musicale, sonore et multimédia ». Parallèlement, elles invitent à une réflexion sur les « fondements cognitifs » liés à la sensation d’espace, notamment sur la nécessaire coordination entre les différentes modalités sensorielles pour la perception et la cognition de l’espace. Plus spécifiquement, nous désirons mettre en évidence l’importance des processus d’intégration entre les indices idiothétiques (liés à nos actions motrices) et les indices acoustiques (localisation, distance, réverbération…) utilisés par le système nerveux central pour construire une représentation spatiale de l’environnement perçu.

Sur le plan musical, notre ambition est de fournir des modèles et des outils permettant aux compositeurs d’intégrer la mise en espace des sons depuis le stade de la composition jusqu’à la situation de concert, contribuant ainsi à élever la spatialisation au statut de paramètre d’écriture musicale. Plus généralement, dans le domaine artistique, ces recherches s’appliquent également à la postproduction, aux installations sonores interactives et à la danse à travers les enjeux de l’interaction son/espace/corps.

L’intégration de fonctions de spatialisation sonore dans les environnements de réalité virtuelle ouvre également des perspectives d’applications scientifiques pour la recherche en neurosciences, les dispositifs à visée thérapeutique ou les simulateurs dans le domaine des transports.

  • Studio 1  © Laurent Ardhuin, UPMC
    Studio 1 © Laurent Ardhuin, UPMC
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • © Philippe Barbosa
    © Philippe Barbosa
  • Projet VERVE  © Cyril Fresillon, CNRS
    Projet VERVE © Cyril Fresillon, CNRS
  • Projet VERVE  © Cyril Fresillon, CNRS
    Projet VERVE © Cyril Fresillon, CNRS
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • L'Espace de projection équipé de la WFS  © Philippe Migeat
    L'Espace de projection équipé de la WFS © Philippe Migeat
  • L'Espace de projection équipé de la WFS  © Philippe Migeat
    L'Espace de projection équipé de la WFS © Philippe Migeat


Projets nationaux et européens

Rasputin

Rasputin

Audioself

Contribution des interactions auditives et vestibulaires pour la perception du corps propre

BiLi

Binaural Listening

Cosima

Médias collaboratifs situés

EFFICAC(e)

Environnements réactifs pour la compositon musicale assistée par ordinateur

ENTRECORPS

Étude sur des mécanismes de coordination interpersonnelle dans les interactions humaines médiatisées

Legos

Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste

ORPHEUS

Object Based Broadcasting

Rasputin

Rasputin

Verve

Personalised Virtual Reality Scenarios for Groups at Risk of Social Exclusion


Logiciels (Conception & développement)

product

SPAT Revolution

Logiciel de mixage et post-production de contenus audio 3D en temps réel.
product

Spat

Outil dédié au traitement de spatialisation sonore en temps réel.
product

ToscA

Plugin Spat permettant d'envoyer/recevoir les paramètres d’automation via le ré…
product

Panoramix

Panoramix est une station de travail pour la postproductionde contenus audio 3D
product

ADMix Tools

Cette suite logicielle permet l'enregistrement et la reproduction de contenus en format objet.

Équipe


Responsable d'équipe : Olivier Warusfel
Chercheurs & ingénieurs : Markus Noisternig, Thibaut Carpentier, Isabelle Viaud-Delmon
Doctorants : Franck Zagala, Pierre Massé, Vincent Martin
Chercheuse invitée : Marine Taffou

Collaborations

ARI-ÖAW (Autriche),  Bayerischer Rundfunk (Allemagne), BBC (Royaume-Unie), B<>COM (France), Ben Gurion University (Israël), Conservatoire national supérieur de musique et de danse de Paris (France), CNES (France),  elehantcandy (Pays-Bas), France Télévisions (France), Fraunhofer ISS (Allemagne), Hôpital de la Salpêtrière (France), HEGP (France), Hôpital universitaire de Zürich (Allemagne), IRBA (France), IRT (Allemagne), L-Acoustics (France), Joanneum Research (Autriche), LAM (France), McGill University (Canada), Orange-Labs (France), RWTH (Allemagne), Radio France (France), RPI (États-Unis)


Publications