CROSSMOD

Cross-modal perceptual interaction and rendering: a New Generation of Audiovisual Virtual Environments

L'objet du projet est d'exploiter les propriétés perceptives multisensorielles afin d'optimiser la qualité et l'interactivité des applications de réalité virtuelle. En l'état actuel, les deux principaux canaux sensoriels exploités dans les EV3D sont les canaux visuel et auditif. Les recherches récentes menées dans chacun de ces domaines ont montré l'intérêt de l'intégration de règles perceptives pour une meilleure efficacité de restitution.

Cependant, nos canaux sensoriels ne fonctionnent pas de manière séparée. Différentes études ont mis en évidence des phénomènes d'intégration sensorielle dans lesquels une modalité sensorielle peut être affectée par une autre, notamment en termes de congruence spatiale ou temporelle.

L'idée directrice du projet est d'exploiter les propriétés de résolution, de masquage ou de hiérarchie entre les dimensions perceptives pour conduire la synthèse de la scène sonore ou visuelle.

Détails du projet

Participants