Jouer de la musique avec son smartphone
Norbert Schnell, de l’équipe Interaction son musique mouvement de l’Ircam, tient son téléphone par la tranche. Il lui imprime deux brèves secousses vers le bas, une autre latéralement, puis recommence: l’appareil émet les sons de percussions caractéristiques qui débutent la chanson We will rock you, du groupe Queen. Le chercheur touche l’écran, effectue d’autres mouvements: il joue la suite du morceau, toujours en contrôlant le rythme et les enchaînements. « C’est une démonstration de principe de ce que nous essayons de faire, explique-t-il. Utiliser les objets connectés tels que nos téléphones pour permettre à tout un chacun de jouer de la musique. »
Depuis une dizaine d’années, l’équipe Interaction son musique mouvement, dirigée par Frédéric Bevilacqua étudie des dispositifs qui permettent de produire de la musique en se fondant sur la captation des mouvements. Des danseurs et des instrumentistes professionnels ont été les premiers cobayes. Pour enregistrer leurs gestes, les chercheurs ont d’abord utilisé des caméras. Puis, rapidement, ils ont mis au point un capteur électronique, de plus en plus petit et sensible au fil des améliorations. Aujourd’hui, l’appareil intègre, sur quelques centimètres carrés, un accéléromètre, un gyroscope (qui mesure les mouvements de rotation) et un magnétomètre (qui indique la position par rapport à l’horizontale), un émetteur WiFi et une batterie pour alimenter l’ensemble.
Ce capteur a été utilisé pour la fabrication d’«instruments augmentés». Fixé sur l’archet d’un violon, ou sur le poignet de l’instrumentiste, il permet à ce dernier de moduler les sons qu’il produit avec son instrument, ou d’en ajouter, en réalisant des mouvements spécifiques. Mais sa petite taille et sa robustesse ont aussi permis de l’employer dans des situations nettement moins conventionnelles, en particulier afin que des néophytes fassent eux-mêmes de la musique.
« Dans un concert, ou une performance live, la musique numérique change complètement la manière dont nous regardons les musiciens, précise Norbert Schnell. Je crois que la poésie d’une performance musicale numérique n’est donc pas seulement dans ce que l’on voit et dans ce que l’on entend, mais dans ce que l’on touche et ce que l’on fait dans l’action. ».
L’équipe a testé l’idée en situation réelle en 2011 avec un jeu de ballon, Urban Musical Game, dans le cadre du festival Futur en Seine, à Paris.
Deux équipes de trois à quatre joueurs s’affrontaient dans une version simplifiée du basket-ball (les paniers étant notamment placés au sol), avec un ballon équipé d’un capteur de mouvements. La musique jouée dans des haut-parleurs, composée par l’Italien Andrea Cera, changeait de rythme selon la vivacité du jeu. Deux univers musicaux étaient aussi associés aux deux équipes: leur présence respective dans le résultat sonore dépendait des points marqués par chacune.
L’un des chercheurs de l’Ircam impliqués dans ce projet, Nicolas Rasamimanana, a poursuivi ce travail vers des applications commerciales. Il a fondé une entreprise, Phonotonic, qui vend aujourd’hui des «balles augmentées» et des applications associées. Une autre application est la mise au point de balles de jonglage instrumentées pour le circassien Jérôme Thomas, dans le cadre de la création, le 30 septembre 2015, d’une pièce pour jongleur, six musiciens et électronique du compositeur Henry Fourès (voir ci-dessous).
Pour toutes ces applications, toutefois, il faut fabriquer des objets spécifiques. Or, chacun de nous, ou presque, a aujourd’hui dans la poche un appareil équipé de capteurs de mouvements performants et capable d’émettre du son : un smartphone. Qui plus est, celui-ci est connecté à Internet. Et depuis 2011, le W3C, consortium qui gère le Web, travaille sur la normalisation d’un protocole efficace de traitement du son en temps réel sur Internet : Web Audio API. Ce dernier est déjà présent dans les dernières versions des navigateurs les plus courants. Autant d’éléments qui ont permis à Frédéric Bevilacqua et ses collègues de donner un nouveau tour à leurs travaux, dans le cadre du projet CoSiMa (Collaborative Situated Media).
«Les usages de l’électronique et du numérique dans le domaine musical se sont développés jusqu’à présent avec deux objectifs complémentaires : améliorer l’écoute et la restitution de la musique enregistrée; et produire de la musique différemment, précise Norbert Schnell. Aujourd’hui, nous avons les moyens de marier les deux, en proposant de jouer de la musique déjà enregistrée, mais que l’on modifie très facilement. » Le traitement appliqué à We will rock you en est un exemple. Pour une autre expérience, nommée Mojo Guitar, c’est la partie de guitare d’une chanson de M. (Mathieu Chédid), que l’on joue, avec plus ou moins d’énergie, en secouant plus ou moins rapidement son téléphone. La piste originale a été analysée, découpée et annotée en fonction de l’harmonie. Lorsque l’on secoue le téléphone connecté à la page Web du projet, les segments musicaux correspondant à la partie de la chanson en train de jouer et à l’énergie du mouvement sont renvoyés à celui-ci, et joués.
En février 2015, c’est une expérience nommée Drops qui a été réalisée en public. Fondée sur des sons empruntés à l’application Bloom, des musiciens britanniques Brian Eno et Peter Chilvers, elle consistait à répéter en écho sur les téléphones des autres participants les sons créés par chacun d’entre eux en touchant son écran tactile. Et le 21 juin 2015, dans le cadre du festival ManiFeste de l’Ircam, et à l’occasion de la fête de la musique, les jardins du Palais Royal ont accueilli une « performance live interactive » de la DJ et productrice parisienne Chloé.
«J’ai joué en live ma musique, diffusée par les enceintes qui sonorisaient l’espace, explique celle-ci. Mais j’avais composé et enregistré préalablement quatre boucles sonores, que les participants, connectés à la page Web du projet, pouvaient jouer et moduler à des moments particuliers de la performance, en touchant l’écran de leur téléphone de différentes façons ou en bougeant l’appareil. » Si l’on ajoute que Chloé elle-même pouvait envoyer du son dans les téléphones présents, et contrôler la répartition spatiale de celui-ci, on comprend que l’expérience vécue et co-créée a été légèrement différente pour chaque
participant. Pour Norbert Schnell, le fait que l’on puisse s’approprier une partie des sonorités avec lesquelles Chloé joue, avant ou après qu’elles apparaissent dans sa musique, change complètement l’expérience musicale. Une installation à la Gaîté lyrique pour l’exposition Paris Musique Club à partir du mois d’octobre déclinera le concept.
Bien entendu, ces expériences à la pointe de la recherche et de la technologie ne sont pas encore accessibles à tous : seuls les derniers modèles de téléphones iPhone et Android supportent Web Audio API. Mais la durée de vie limitée à quelques années de ces appareils résoudra assez vite le problème. L’équipe Interaction son musique mouvement, quant à elle, est prête à travailler avec des créateurs, qui imagineront des musiques, mais aussi des dispositifs, des gameplays, tirant parti du sens de l’action du public pour réaliser une démarche artistique et poétique.
Le jongleur Jérôme Thomas devient instrumentiste
Dels dos principis, créé le 30 septembre 2015 dans le cadre du Festival Musica de Strasbourg, a été composé par le français Henry Fourès pour un septuor particulier : l’un des instrumentistes est le jongleur Jérôme Thomas (les autres parties sont plus habituelles : flûte, clarinette, piano, percussions, violon et violoncelle). Son instrument: des balles de jonglage équipées de capteurs de mouvements développés par l’équipe Interactions son musique mouvement de l’Ircam, et connectées par Wi-Fi à un équipement informatique et électronique qui générera les sons. Les auditeurs sont donc, plus encore que dans d’autres concerts, spectateurs. « Quand je jongle, j’écris l’espace visuel dans son essence pure, sans rien y ajouter, précise Jérôme Thomas. Là, je propose au spectateur un transfert de ses oreilles à ses yeux: c’est une responsabilité importante qui nécessite de jongler juste. »
Par Luc Allemand
