Michelle Agnes Magalhaes : La geste du geste
Depuis 2012, la compositrice brésilienne Michelle Agnes Magalhaes est présente à l’Ircam de manière récurrente : en tant que membre des équipes de recherche, pour des recherches doctorale et post-doctorale, puis pour une résidence en recherche artistique en 2018, qu’elle enchaîne avec une résidence Start, et elle est aujourd’hui compositrice invitée de l’institut. Ces dernières années ont été consacrées à un seul et même sujet de recherche – le geste musical – vu successivement sous des angles parfois surprenants, mais toujours riches d’enseignements.
Tout commence fin 2012, lorsqu’elle intègre l’équipe Analyse des pratiques musicales pour se consacrer un sujet très précis : « On entend très souvent les compositeurs utiliser le mot “geste” – moi la première : le geste a toujours été important dans ma musique –, mais je me suis aperçue que c’était chaque fois pour désigner des concepts très différents : éléments thématiques, figures formelles (en Allemagne souvent), geste physique sur l’instrument (en Italie, par exemple). C’est donc un terme qu’on a souvent du mal à cerner. D’autant plus qu’un geste n’est jamais seulement un geste : il s’inscrit dans un contexte dont on ne peut l’extraire. Comprendre sa signification relève donc davantage du processus cognitif. Plus tard, j’ai d’ailleurs collaboré sur ce sujet avec Béatrice Sauvageot, neuroscientifique spécialiste de la dyslexie, qui s’attache notamment au concept de cerveau musicien. »
Ces premières recherches en 2013-2014 s’inscrivent dans le cadre du projet GEMME (pour « Geste musical : modèles et expériences »), et c’est à cette occasion que Michelle Agnes Magalhaes prend connaissance du travail de l’équipe ISMM, et notamment ses technologies de capture du geste.
« S’ouvrait à moi la possibilité d’une approche véritablement pratique de cette matière, se souvient-elle : une manière d’analyser scientifiquement toutes ces données assez complexes de l’activité du musicien. »
Cette analyse s’avère au reste aussi complexe que le concept lui-même : « En travaillant sur la description de geste, on se rend compte que chacun trouve sa propre façon de réaliser un même geste. En regardant les données, on constate que la machine ne comprend pas non plus : dans le détail, on découvre de nombreux petits détails très personnels. »
Capteurs maison vs capteurs des téléphones
Au moment où la compositrice s’engage dans cette voie, l’équipe ISMM développe deux technologies distinctes et néanmoins complémentaires pour la captation du geste : « Voilà un moment que nous travaillions avec un capteur appelé R-IoT développé par Emmanuel Fléty, explique Frédéric Bevilacqua, à la tête de l’équipe ISMM. En gros, c’est une petite carte électronique équipée d’accéléromètres, de gyroscope et d’un émetteur Wi-Fi, qu’on peut placer un peu où on veut. Nous travaillions également à exploiter les capteurs de mouvement embarqués dans les téléphones portables, grâce à une application appelée « Element », qui s’appuie sur des outils Web. Au départ, ce n’était qu’un déclencheur de sons mais, au cours des trois dernières années, grâce à Benjamin Matuszewski notamment, l’application a été complètement réécrite.
Rebaptisée « CoMo Element », c’est désormais pleinement une application de reconnaissance de geste, grâce à la puissance de calcul du téléphone exploitée par une page web ouverte dans le navigateur internet. Les capteurs des téléphones sont aujourd’hui très affûtés. Ça ne rend pas obsolètes les capteurs R-IoT, qui restent meilleurs, mais ceux des téléphones sont suffisamment bons pour ne pas être limitants. Ils permettent en outre davantage d’inclusivité. Lors de nos premières discussions avec Michelle Agnes, nous avons fait le choix du téléphone, qui nous semblait une bonne porte d’entrée, car simple de prise en main par le grand public ou les étudiants. Tout le monde peut se joindre au jeu. »Et tout le monde y sera invité : désireuse de tester le dispositif avec un large panel de personnes, Michelle Agnes Magalhaes et l’équipe ISMM expérimentent avec des performeurs, des musiciens, et des personnes de tout milieu.
Constella(c)tions dans le cadre de Studio 5 en direct (2019)
Un outil de composition et d’interprétation
En parallèle, le désir se fait très vite sentir pour la compositrice de ne pas se contenter d’enregistrer les gestes, mais de développer à partir de ces capteurs un véritable instrument de musique. Et d’écrire pour ce nouvel instrument. « J’avais beaucoup de soucis pour mettre le dispositif en situation pratique, et cela m’a poussée à composer beaucoup de pièces avec, explique Michelle Agnes Magalhaes. » Ce qui implique d’une part une poursuite du travail sur l’outil, pour le rendre plus sensible et plus musical, plus contrôlable en somme, aux fins d’une interprétation, mais aussi d’en faire un outil de composition, c’est-à-dire capable d’agencer les sons, avec une certaine répétabilité des gestes et de leurs résultats – tout en s’adaptant à tous les musiciens.
« Le développement technique et le développement esthétique se sont faits de manière concomitante, dit la compositrice, dans un constant aller-retour entre besoins techniques et compositionnels et intuitions. Il a fallu inventer un répertoire gestuel, avec son vocabulaire et sa syntaxe, qui associe différentes combinaisons de gestes. L’enjeu principal est d’avoir une cohérence entre le geste et sa sonification. C’est un travail purement empirique, qui dépend aussi fortement des matériaux sonores – chaque geste nous donnant un regard sur le matériau et vice-versa. Par exemple, dans certaines pièces, l’orientation (son inclinaison : tête en haut, tête en bas, etc.) déclenche une banque de sons, le geste déclenche un mode de production sonore au sein de cette banque, tandis que son amplitude, assez intuitivement, contrôlera l’énergie sonore déployée. Le geste n’est jamais traité isolément, mais toujours en association avec ce qu’on vise à atteindre, en termes de construction, d’expression, etc. »
« Selon les contextes, précise Frédéric Bevilacqua, on peut régler la sensibilité de certains paramètres : si on s’attache surtout à l’énergie, indépendamment d’une forme précise, l’orientation importe moins. »
Une notation pour tous
De nombreux projets prennent ainsi forme.Certains sont destinés à un public plus professionnel – pour lequel on préfère alors les capteurs R-IoT, plus autonomes, plus souples, plus fins et plus réactifs. « On constate, dans le cas des danseurs et circassiens, une forme de virtuosité du contrôle des capteurs, dit Frédéric Bevilacqua. »
« Nous avons ressenti une forte demande des interprètes de s’emparer du geste, d’autonomiser le geste par rapport à l’instrument, voire d’instrumentaliser l’électronique, renchérit la compositrice : on peut même faciliter ainsi l’accès à des œuvres pour instruments et électronique. »
D’autres s’adressent à un public plus large – lequel utilise alors son propre téléphone, le plus souvent. Naît ainsi une véritable pléiade de pièces – lesquelles s’inscrivent d’ailleurs toutes dans un cycle fort justement intitulé Constella(c)tions. Ce ne sont pas des pièces pour téléphone : le téléphone sert d’outil de contrôle et d’interprétation – et, parfois, de diffusion sonore (via ses propres haut-parleurs, des enceintes Bluetooth ou un autre système), quand les données des capteurs ne sont pas plus simplement collectées par un ordinateur qui les traite pour produire les sons et les diffuser. « Notre question était : est-il possible, par le biais du capteur de mouvement, de faire vivre aux gens l’expérience du musicien ? dit Michelle Agnes Magalhaes. Une expérience qui va de l’apprentissage du geste instrumental à celle d’une grammaire musicale et jusqu’à l’interprétation. »
Surgit alors immédiatement le défi de la transmission du geste, la plus précise et la plus compréhensible possible. Puis la nécessité d’une forme de partition destinée au public/interprète : une partition adaptée, avec une nouvelle notation à la fois abstraite et formelle, poétique et rigoureuse. L’idée étant, là encore, de faire vivre l’expérience de ce que sont les balises formelles – l’équivalent des portées, avec leurs notes, armures et indications de rythmes, qui servent au musicien.
In vivo danse - Camping, Manifeste 2021 © Quentin Chevrier
« On constate que, aussi précise soit la notation d’un geste sur la partition, il n’y a pas une façon unique de le réaliser, dit Michelle Agnes Mahalhaes. Chacun trouve sa propre manière de le faire. C’est aussi ce qui rend ce sujet de la transmission aussi passionnant ! Car l’association geste/son permet également à la personne en train de jouer de vérifier la précision de son geste. Et, exactement comme sur un instrument classique, on constate chez tous ces apprentis musiciens une évolution, un raffinement de leur geste. »
« La prise en main est facile, dit Frédéric Bevilacqua. Mais un travail est nécessaire pour s’approprier la chose et faire sonner la pièce de manière musicale. »
Certaines pièces peuvent se jouer seul : Ex-Tensio, par exemple, consiste en un fichier son que l’on parcourt en fonction des gestes réalisés avec les portables – une œuvre à la fois très réactive et très composée, dont la partition défile sous forme de texte sur l’écran même du téléphone. D’autres s’adressent davantage à un jeu collectif, donnant lieu à d’authentiques polyphonies. D’autres encore permettent de transformer en instruments des objets parfois incongrus : comme d’immenses cordes tendues dans une pièce, que l’on manipule, téléphone en main – les gestes que l’on fait sur la corde provoquent des accélérations sur le téléphone, lequel produit en retour du son.
« Tous les projets nous permettent de tester de nouvelles idées et d’ajouter de nouvelles fonctionnalités à nos outils, conclut Frédéric Bevilacqua. »