En tant que directeur de recherche Ircam et responsable de l’équipe Perception & design sonores du Laboratoire STMS, Nicolas Misdariis a non seulement codirigé la thèse de Claire Richards, au cours de laquelle elle a mis au point son harnais multimodal, mais il accueille aujourd’hui la résidence en recherche artistique d’Alberto Gatti. Il nous en esquisse les enjeux, et ce qu’il en attend.
Comment avez-vous suivi le travail de Claire Richards et la mise au point du harnais multimodal ?
J’ai codirigé la thèse de Claire, avec Roland Cahen, et c’est dans le cadre de ce doctorat qu’elle a développé une première version du harnais. Cette codirection reflète la multidisciplinarité de ses travaux de recherche, qui se trouvent à la croisée des chemins, relevant à la fois du design, des sciences et techniques du son, mais aussi de la perception et du design sonores (l’intitulé exact de notre équipe au sein de STMS). Dès le départ, nous avions ouvert la question d’une application pratique de cette recherche, qu’elle soit industrielle ou artistique. Au cours de la dernière année de thèse de Claire, nous avons accueilli au sein de l’équipe une première collaboration artistique avec Alberto Gatti.
Quel genre d’applications industrielles ?
Nous avons imaginé que cela pourrait s’inscrire dans le cadre d’une Interface Humain-Machine (IHM). Avec le compositeur et designer sonore Andrea Cera, qui a déjà œuvré à des collaborations entre l’Ircam, notre équipe de recherche et le constructeur automobile Renault, nous avions en effet identifié la possibilité de diffuser des informations issues de l’ordinateur de bord d’un véhicule, via le siège du conducteur par exemple.
Cela a d’ailleurs abouti à l’intégration d’un démonstrateur d’IHM mixte, mi-sonore mi-haptique, dans une « démo-car » (un prototype préfigurant ce que pourrait être l’avenir de l’automobile) appelée Symbioz, pour laquelle nous avons fait des tests très poussés. L’idée est de compléter les informations visuelles fournies par le véhicule (concernant l’état du véhicule – clignotant, radars de recul, attache de ceinture – ou son environnement – feux tricolores, limitation de vitesse, température extérieure) par des informations audio-haptiques. Dit simplement : une IHM multimodale. Cela pourrait permettre de rendre l’IHM moins intrusive pour les autres passagers du véhicule – des constructeurs commencent d’ailleurs à y songer sérieusement.
Dans le contexte d’un mode de conduite autonome, lorsque l’attention visuelle ou auditive du conducteur est déjà accaparée par de la musique ou de la vidéo, par exemple, l’haptique pourrait aussi faire passer efficacement certaines informations.
De là, on songe également à un projet concernant l’aviation…
Votre équipe Perception & design sonores a-t-elle déjà porté de tels projets industriels ?
Oui, mais pas spécifiquement sur le sujet du multimodal, exception faite de la chercheuse Aurélie Frère, qui a soutenu à l’Ircam en 2011 une thèse en collaboration avec l’industrie automobile. Sa thèse se penchait sur la perception multimodale (auditive et vibratoire) d’un moteur diesel, aux fins de diagnostic, de mitigation et d’amélioration de l’impact de ce type de sources sonores sur l’expérience utilisateur.
En termes d’application mi-industrielle, mi-artistique, ne pourrait-on pas aussi songer au cinéma ?
Tout à fait ! Ça existe d’ailleurs déjà dans certaines salles, dont les sièges sont équipés d’actuateurs et de vibreurs – c’est ce que les distributeurs appellent la « 4D ». Ce n’est pas exactement le même principe que notre harnais multimodal mais celui-ci pourrait toutefois être transposé à une diffusion audiovisuelle. Cependant, on se heurterait alors à la problématique de la production cinématographique : il faudrait en effet adjoindre au signal audiovisuel un canal vibratoire. Et ce d’un bout à l’autre de la chaîne : du tournage à la post-production, et jusqu’à la diffusion, avec un matériel spécifique proposé aux spectateurs. Un processus lourd, donc, et difficile à envisager aujourd’hui.
Restent donc les applications artistiques : qu’est-ce qui vous a séduit dans le projet d’Alberto ?
Nous avons reçu un grand nombre de propositions, mais le comité de sélection s’est prononcé pour celle d’Alberto, de par ses qualités propres, bien sûr, mais aussi parce que cela permettait de poursuivre le travail engagé au cours de la thèse de Claire. La proposition d’Alberto comprenait également une exploration du geste instrumental et de sa transmission via le dispositif multimodal, ce qui permettait de faire avancer en parallèle les travaux de l’équipe Interaction son musique mouvement. La résidence en recherche artistique d’Alberto est co-suivie et co-coordonnée par Frédéric Bevilacqua et moi-même.
Qu’en attendez-vous scientifiquement ?
À la fin de la thèse de Claire, l’exploration compositionnelle du dispositif par Alberto avait abouti à trois esquisses. Un travail très prometteur du point de vue artistique, mais aussi pour nous scientifiquement, notamment pour évaluer la viabilité de l’interface informatique que nous étions en train de développer. Les recherches de Claire comprenaient en effet déjà une partie de développement d’interface, car sans outil de pilotage, de conception, de composition et de création, le dispositif est inutilisable. Au fil des expériences (artistiques) auxquelles il se livrera, Alberto pourra nous apporter une contribution précieuse à cet égard.
Je suis également impatient de voir ce que donnera une autre idée forte d’Alberto : explorer la communication entre instrumentiste et auditeur. Dans les derniers mois avant la soutenance de Claire, nous avions déjà fait l’expérience de diffuser, via le harnais, le son capté par un microphone de contact placé sur le corps d’un violoncelle. C’était absolument saisissant ! On peut véritablement « ressentir » le corps de l’instrument avec son propre corps.
Propos recueillis par Jérémie Szpirglas