Physis

Modélisation, transformation et synthèse de sons pour les mondes virtuels interactifs

Physis est un projet de recherche industriel centré sur la modélisation, la transformation et la synthèse des sons diégétiques pour les mondes virtuels interactifs (jeux vidéo, simulateurs, serious games) et la réalité augmentée. Par sons diégétiques, nous entendons tous les sons générés par des objets identifiables dans la scène virtuelle (par exemple les bruits d’armes, de liquides, de feu, d’eau, de tissus, etc.) et leurs interactions possibles : impacts physiques, frottements, glissements, roulements...

Description des travaux/Objectifs

Physis considère la production de contenu sonore interactif dans son ensemble et de façon systémique. Il couvre en effet la totalité des étapes nécessaires à la réussite d’un tel challenge : depuis la recherche fondamentale indispensable pour une bonne modélisation des phénomènes sonores, jusqu’à la production de code embarquable dans des consoles de jeu ou du matériel spécifique. Physis prévoit également la création d’outils utilisables par des sound designers, l’analyse et la transformation de fichiers sonores, la création de contrôles sémantiques et physiques de haut niveau ainsi que leur mise en situation interactive. Les principaux résultats du projet ont conduit à  :

  • des avancées significatives dans la modélisation des propriétés acoustiques des sons du corpus ciblé ;
  • des modèles de synthèse et de nouvelles stratégies destinés à créer et transformer les sons de façon interactive avec des commandes sémantiques et/ou physiques ;
  • des démonstrateurs technologiques qui mettent en avant ces innovations.

L’émergence récente de jeux vidéo complexes et des univers virtuels, comme « Second Life », a fait apparaître les limites des moteurs son actuels, qui utilisent des sons préenregistrés alors que l’image de synthèse est, elle, calculée en temps réel. Par ailleurs, l’utilisation de modèles physiques permet un comportement graphique plus réaliste, plus complexe et plus varié, mais ces derniers n’ont qu’une faible incidence sur les comportements sonores basés sur des fichiers préenregistrés. Or, la montée en puissance du matériel a rendu possible la simulation précise des propriétés audio et acoustiques des bruits quotidiens basés sur des paramètres physiques.

De plus, de nouvelles interfaces sont maintenant incluses dans les smartphones, tablettes, consoles de jeux vidéo et sont en train de permettre une révolution dans la façon dont nous accédons à l’information numérique. Ces dispositifs ont sous-exploités d’un point de vue sonore car la lecture de sons préenregistrés ne permet pas une interaction correcte avec ce type d’interface. La synthèse audio en temps réel est ainsi parfaitement adaptée à ces nouvelles interfaces et aux usages qui en découlent.

En conclusion, Physis a permis de créer une base scientifique et technologique solide pour répondre à l’ensemble de ces nouveaux besoins.

Détails du projet

Programme
ANR
Type de programme
programme Contenus et interactions
Début
1 avril 2012
Fin
30 avril 2015
Statut
  • logo audiogaming
  • logo LMA
  • logo
  • logo Ircam