Espaces acoustiques et cognitifs

L'objet de recherche de l'équipe Espaces acoustiques et cognitifs se développe autour de la notion d'Espace, dans sa manifestation ou sa reproduction sonore ainsi que dans sa réalité cognitive.

Les deux axes majeurs sont consacrés respectivement aux techniques de spatialisation et à la cognition auditive spatiale en contexte d'interaction multisensorielle. Plus concrètement, il s'agit de développer des méthodes de capture, de reproduction ou de synthèse des dimensions spatiales d'une scène sonore, à savoir la localisation des sources dans l'espace et la signature acoustique de l'environnement. Parallèlement, il s'agit d'étudier les mécanismes mis en œuvre par le système nerveux central pour interpréter les informations spatiales acoustiques et les intégrer, le cas échéant avec les informations provenant d'autres modalités sensorielles (vision, proprioception).

Nous attendons de cette double démarche un enrichissement mutuel, sachant que l'étude de la cognition spatiale en neuroscience requiert l'intervention de techniques de rendu perfectionnées tandis que ces techniques peuvent être optimisées en considérant les capacités perceptives du sujet auditeur. Les travaux concernant les techniques de spatialisation se concentrent sur les procédés de synthèse basés sur un formalisme physique du champ sonore (binaural, Wave Field Synthesis et Ambisonics).

Les principaux enjeux identifiés sont, d'une part, la maîtrise tridimensionnelle du champ sonore de sorte à autoriser la synthèse de sources virtuelles et d'effet de salle dans l'ensemble de la sphère auditive et, d'autre part, la synthèse haute-résolution de la directivité des sources virtuelles. Bien que cet axe relève principalement du domaine du traitement du signal, l'objectif est également de fournir des outils de contrôle haut-niveau, exploitant des descripteurs appropriés à la composition musicale et exploitables par les environnements de composition tels que ceux développés dans l'équipe Représentations musicales.

Ces techniques de spatialisation audio 3D, associées aux dispositifs de captation des mouvements de l'interprète ou de l'auditeur dans l'espace, constituent une base organologique essentielle pour aborder les questions « d'interaction musicale, sonore et multimédia ». Parallèlement, elles invitent à une réflexion sur les « fondements cognitifs » liés à la sensation d'espace, notamment sur la nécessaire coordination entre les différentes modalités sensorielles pour la perception et la cognition de l'espace. Plus spécifiquement, nous désirons mettre en évidence l'importance des processus d'intégration entre les indices idiothétiques (liés à nos actions motrices) et les indices acoustiques (localisation, distance, réverbération...) utilisés par le système nerveux central pour construire une représentation spatiale de l'environnement perçu.

Sur le plan musical, l'ambition est de fournir des modèles et des outils permettant aux compositeurs d'intégrer la mise en espace des sons depuis le stade de la composition jusqu'à la situation de concert, contribuant ainsi à élever la spatialisation au statut de paramètre d'écriture musicale.

Dans le domaine artistique, ces recherches s'appliquent également à la postproduction, aux installations sonores interactives et à la danse à travers les enjeux de l'interaction son/espace/corps. L'intégration de fonctions de spatialisation sonore dans les environnements de réalité virtuelle ouvre les perspectives d'applications scientifiques pour la recherche en neurosciences, les dispositifs à visée thérapeutique ou les simulateurs pour le domaine des transports.

Principales thématiques

Reproduction de champs sonores ; Analyse, transformation de champs sonore, réverbération hybride ; Analyse et synthèse du rayonnement des sources sonores ; Contrôle de la spatialisation ; Perception et cognition auditives spatiales ; Logiciels Spatialisateur, ToscA, Panoramix.

  • Studio 1  © Laurent Ardhuin, UPMC
    Studio 1 © Laurent Ardhuin, UPMC
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • © Philippe Barbosa
    © Philippe Barbosa
  • Projet VERVE  © Cyril Fresillon, CNRS
    Projet VERVE © Cyril Fresillon, CNRS
  • Projet VERVE  © Cyril Fresillon, CNRS
    Projet VERVE © Cyril Fresillon, CNRS
  • Studio 1  © Philippe Barbosa
    Studio 1 © Philippe Barbosa
  • L'Espace de projection équipé de la WFS  © Philippe Migeat
    L'Espace de projection équipé de la WFS © Philippe Migeat
  • L'Espace de projection équipé de la WFS  © Philippe Migeat
    L'Espace de projection équipé de la WFS © Philippe Migeat


Projets nationaux et européens

Audioself

Contribution des interactions auditives et vestibulaires pour la perception du corps propre

BiLi

Binaural Listening

Cosima

Médias collaboratifs situés

EFFICAC(e)

Environnements réactifs pour la compositon musicale assistée par ordinateur

HC2

Human Computer Confluence Research in Action

Legos

Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste

ORPHEUS

Object Based Broadcasting

Reva

Réalité virtuelle et acouphène

Same

Sound And Music for Everyone Everyday Everywhere Every way

Sample Orchestrator 2

Constitution de fonctions nouvelles destinées aux échantillonneurs logiciels de nouvelle génération

SemanticHIFI

Naviguer, écouter, interagir, jouer, partager sur les systèmes HiFi du futur

Verve

Personalised Virtual Reality Scenarios for Groups at Risk of Social Exclusion


Logiciels (Conception & développement)

product

Spat

Outil dédié au traitement de spatialisation sonore en temps réel.
product

ToscA

Plugin Spat permettant d'envoyer/recevoir les paramètres d’automation via le réseau.
product

Panoramix

Panoramix est une station de travail pour la postproductionde contenus audio 3D

Domaines de compétences

Traitement du signal, acoustique physique, perception et cognition spatiale, réalité virtuelle et augmentée.

Collaborations

B-COM (France),  Bayerischer Rundfunk (Allemagne), BBC (Royaume-Unie), Ben Gurion Univ. (Tel Aviv, Israël), Cnsmdp (France), CNES (France), Flux:: (France), France Télévisions (France), Hôpital de la Salpêtrière (France), HEGP (France), Hôpital Universitaire de Zürich (Allemagne),  Inria (Sophia Antipolis, France), IRBA (France), Joanneum Research (Graz, Autriche), Limsi (France), Radio France (France), Orange-Labs (France), ITA RWTH (Danemark), Trinity College Dublin (Irlande),IRT(France), ElephantCandy (Pays-Bas),Fraunhofer ISS (Allemagne).