REACH 3/4 : Mikhail Malt ou l’incarnation du fantôme de la machine
Mikhail Malt est un pilier de l’Ircam depuis plus de 30 ans. Si on le connaît bien pour son rôle de réalisateur en informatique musicale chargé d’enseignement (RIMce), ses compétences dépassent, et de loin, ces fonctions pédagogiques. À un an et demi de la retraite, il revient à ses premières amours : la recherche, mais aussi l’interprétation et la composition musicales. Le tout dans le cadre de REACH – un projet auquel il ajoute un aspect jusque-là assez délaissé par l’informatique musicale : l’incarnation.
Entretien.
Mikhail Malt
Vous avez fait l’essentiel de votre carrière à l’Ircam dans le département pédagogie, mais vous êtes avant tout un chercheur et un musicien.
J’ai une double formation. Au Brésil, où j’ai grandi, j’ai fait l’école polytechnique de São Paulo, comme ingénieur chimiste. J’ai suivi ensuite un cursus de composition et de direction d’orchestre. La première fois que je suis venu à l’Ircam, c’était en 1990 pour suivre la formation doctorale Musique et Musicologie du xxe siècle créée par Hugues Dufourt avec le concours de l’École normale supérieure – un souvenir inoubliable, pour moi comme pour beaucoup d’autres. J’ai poursuivi au sein de l’Ircam, d’abord en tant que doctorant puis, fin 1991, Gérard Assayag (déjà !) m’a proposé un contrat de compositeur en recherche, au sein de l’équipe Représentations musicales que je retrouve aujourd’hui ! Mon domaine, c’était les modèles mathématiques et la composition assistée par ordinateur (CAO). J’ai même fait une habilitation à diriger des recherches (HDR) sur la représentation dans le cadre de la CAO et de la musicologie computationnelle (analyse assistée par ordinateur). Je n’ai jamais perdu contact avec la recherche, même lorsque j’étais pris par mes autres fonctions. Du reste, mes activités au département pédagogie exigeaient que je me tienne au courant des nouveaux outils développés par les différentes équipes, dont ceux de l’équipe Représentations musicales. Et j’étais en dialogue constant avec les chercheurs. La proposition de Gérard Assayag de rejoindre l’équipe, à plein temps, dans le cadre de REACH m’a donc tout de suite plu – comme une manière de boucler la boucle.
Pourquoi vous a-t-il approché ?
Je crois qu’il m’a invité plutôt pour mon expertise dans le domaine des algorithmes génératifs. De par mon expérience de compositeur et de réalisateur en informatique musicale, mon rôle concerne davantage les applications artistiques de ces outils. En vérité, étant nouveau dans l’équipe, ce fut pour moi un long chemin pour apprivoiser ces instruments. Je connaissais un peu Somax mais, en m’y plongeant plus avant, toute une série de questions se sont posées à moi. L’outil lui-même, cet objet qui génère des sons, en soulevait, et non des moindres. Qu’importe qu’il soit « intelligent » ou pas, le fait est qu’il sait se promener seul dans une pièce de musique – mais ce qui m’a frappé plus encore, c’est que, avec Somax, le temps était comme aboli : toute la pièce est contenue dans un instant.
Un autre aspect qui m’a interrogé, c’est la manière dont Somax réagit aux stimuli extérieurs et, plus encore, la façon dont le manipulateur interagit avec cet objet qui interagit lui-même avec ces stimuli extérieurs. La posture un peu statique, qui consiste à fixer ses paramètres et attendre ses réactions était largement insatisfaisante pour moi.
Dernier enjeu, d’importance également : la composition. Dans le cadre d’une improvisation idiomatique (c’est-à-dire dans un style donné, généralement fourni par le corpus musical dont on le nourrit, ce qui est le but premier de Somax), la génération des divers aspects de la structure musicale (mélodie, basse, rythme…) se fait de manière assez naturelle. Mais dès lors que l’on sort de tout cadre idiomatique, la question de la composition (et donc de l’environnement musical dans lequel évolue l’agent), voire de l’interprétation, s’ajoutent à celle de l’improvisation. Comment dès lors, gérer cette complexité ?
C’est ainsi que m’est apparue la nécessité d’une instrumentalisation de l’outil : la possibilité de le gérer efficacement via des gestes est devenue pour moi une priorité.
L’incarnation s’agissant de l’interprétation d’un discours issu de l’informatique musicale – qui est un enjeu essentiel aujourd’hui, à la fois pour la lisibilité du discours par le public et pour des aspects spectaculaires ou tout simplement expressifs – était-elle déjà une préoccupation avant d’arriver dans l’équipe Représentations musicales, dans le cadre de vos activités de RIM ou au sein du département pédagogie ?
Ma vie musicale n’a pas commencé à l’Ircam. Avant de m’installer en France voilà une trentaine d’années, j’avais une expérience de musicien-interprète au Brésil, en tant que flûtiste et chef de chœurs et d’orchestres de jeunes. L’incarnation du geste instrumental, ce contrôle direct du son, était très importante pour moi à cette époque. Ensuite, l’essentiel de mes recherches et activités concernant la composition assistée par ordinateur (CAO) et la synthèse sonore ainsi que la composition elle-même (qui nourrissait en retour mes recherches), la question de l’incarnation est restée pour moi un peu en retrait, du domaine de l’envie. La CAO est en effet essentiellement une affaire d’algorithmes hors temps qui produisent du matériau. J’ai toutefois réalisé des systèmes vivants, par exemple pour des installations en temps réel animées par des agents virtuels – mais sans action humaine directe sur la production sonore, ou alors via deux ou trois contrôleurs.
Le besoin se faisant sentir, comment avez-vous approché le problème ?
Premier obstacle à franchir : identifier, parmi les paramètres de contrôle des agents Somax, ceux qui sont pertinents pour les gérer en temps réel en termes de génération du discours et d’interaction avec l’improvisateur – rappelons-nous en effet que le contrôleur de Somax n’est qu’un intermédiaire.
Parmi la centaine de paramètres au total, j’en ai identifié 60 à 70 – ce qui est encore beaucoup ! Un effort de synthèse a donc été nécessaire. J’ai fait de nombreux tests en regroupant certains paramètres afin de les gérer tous ensemble : un seul et même geste instrumental permet ainsi potentiellement de modifier en parallèle un bouquet de paramètres – selon des échelles différentes, bien sûr.
Restait ensuite à déterminer quels gestes instrumentaux, de quelle nature, et, surtout, comment les traduire informatiquement…
C’est juste, et j’ai testé plusieurs dispositifs – dans cette histoire, je suis à la fois interprète et luthier ! Étant flûtiste de formation, j’ai par exemple testé des flûtes virtuelles, comme la flûte à bec Ri.corder, mais ça n’a pas donné de bons résultats : aucune n’avait des doigtés naturels de flûte pour les contrôler et la latence était souvent rédhibitoire à cause d’une connexion en Bluetooth.
J’ai évidemment testé les capteurs R-ioT, développés par l’équipe ISMM, qui sont excellents et très complets. Seulement, dans ce cas, c’est le temps nécessaire pour maîtriser et étalonner l’outil, puis développer un patch adapté qui m’a manqué. Nous avions en effet l’échéance du concert avec Joëlle Léandre et Horse Lords le 16 juin 2023.
Et puis j’ai trouvé cette bague qui existe déjà sur le marché. Elle capte deux gestes (accélération verticale et rotation, « tilt » et « roll », comme sur un avion), ce qui me permet de contrôler deux agents. Par ailleurs, établissant une connexion en radiofréquence, sa latence est minimale. Elle est donc assez simple à manipuler et j’ai beaucoup appris en jouant avec, tout simplement – le jeu se consolidant peu à peu au fil des mois.
Comment jouez-vous avec, justement ?
Dans le cadre de Somax, la bague a l’avantage de laisser une main libre pour intervenir directement dans le patch logiciel pour choisir les agents que je contrôle, les corpus qu’ils utilisent, et affiner divers paramètres mais aussi, éventuellement, déclencher d’autres événements (synthèse, etc.) ou même laisser plus de liberté à la machine. D’autre part, j’ai un goût immodéré pour les textures et j’avais besoin d’élaborer plus finement celles que génère de Somax. J’ai donc la main baguée qui « interprète » et l’autre qui « compose » dans un patch que j’ai développé moi-même à partir de la version modulaire de SOMAX2.
Par ailleurs, le patch utilisé change selon le musicien avec lequel je travaille, pour m’adapter à son style. J’ai un patch pour interagir avec Joëlle Léandre, un autre pour Benny Sluchin, etc. J’ai ainsi élaboré un instrument capable de contrôler rapidement et efficacement l’outil, et susceptible d’apporter des réponses instantanées aux propositions du musicien. Je commence même à pouvoir élaborer ce qui s’apparente à des partitions pour faire évoluer le comportement des agents dans le temps. Cependant, je tiens à préciser que, lorsque je me produis avec la bague, j’improvise moi aussi mes gestes, en réaction à ce que fait le musicien.
Somax travaille à partir d’un corpus musical qu’il a « appris » et qu’il parcourt : avez-vous dû en choisir un qui soit adapté à ce jeu avec la bague ?
Tout à fait : j’en ai constitué un spécifiquement. J’ai même composé et enregistré une petite pièce pour percussions dans ce seul but. Et j’y inclus au fur et à mesure de nouveaux sons liés à la relation nouée avec les musiciens avec lesquels je joue.
Anecdote intéressante : pour le concert que nous avons donné avec Joëlle Léandre le 16 juin dernier dans le cadre de ManiFeste, j’ai changé de corpus. Celui que j’ai utilisé était constitué de sons qu’elle n’avait jamais entendus auparavant : elle pensait entendre de la flûte, et c’était de la percussion ! Mais Joëlle aime être surprise et sa capacité d’adaptation, sa souplesse pour se couler dans le flot du moment m’ont, comme à chaque fois, abasourdi. En l’occurrence, c’était très intéressant, car elle n’a rien laissé paraître : de temps en temps, l’improvisation plonge ses protagonistes dans un état second.
Quelles ont été les premières réactions des musiciens avec lesquels vous avez improvisé ?
La première fois que j’ai utilisé la bague, c’était au cours d’une de nos nombreuses sessions de travail avec Joëlle Léandre (on s’est vus, avec Gérard, Marco et Manuel Poletti, toutes les deux ou trois semaines pendant six mois : tous ces essais, ces discussions, ces engueulades créent une complicité qui rejaillira sur l’improvisation). Je ne lui ai rien dit – simplement que je voulais tester un truc nouveau.
Sa première réaction a été le courroux… et l’humour ! Tout simplement parce que le naturel est revenu au galop : sans réfléchir, parce que c’était dans ma mémoire musculaire, je suis tout de suite allé vers une gestique de chef d’orchestre. Joëlle s’est arrêtée immédiatement, hérissée par ces gestes qu’elle percevait comme comminatoires. Depuis, j’essaie de travailler pour détacher mes mouvements d’un imaginaire lié à la direction, ou même à la percussion. Je ne veux toutefois pas avoir à cacher ce geste car il dit quelque chose de la musique qui se fait. Mais il ne faut pas non plus qu’il devienne un obstacle à l’interaction avec le musicien.
Joëlle s’y est-elle faite ?
Oui, passée cette première fois, je crois qu’elle a bien aimé. Parce que c’était la première fois dans nos échanges que la machine, ou l’un de nous, réagissait si rapidement à ce qu’elle proposait. Somax peut être très réactif, mais il faut qu’il sache à quoi réagir, c’est-à-dire à quel aspect (mélodique, rythmique, harmonique), et ce doit être l’aspect le plus saillant, le plus pertinent. Sans la bague, l’interaction peut être beaucoup plus floue. La bague permet de donner une réponse instantanée et Joëlle a bien senti ce retour : son geste était perçu et rendu. De mon côté, j’ai le sentiment qu’elle ne réagissait pas de la même manière lorsqu’elle jouait avec moi, avec ou sans la bague.
Cependant, pendant le concert, elle était tournée légèrement de côté, pour éviter de se laisser déconcentrer par mes gestes. Elle essayait de regarder ailleurs et de se focaliser sur l’écoute. Mes gestes étaient destinés à interagir avec elle, mais aussi à exprimer une énergie musicale, et je crois qu’elle a tout de même apprécié le contexte : je la voyais de temps en temps me regarder du coin de l’œil.
Avez-vous eu un retour de la part du public au sujet de cette bague ?
Oui. Ça vient indubitablement combler un manque. Car l’appréciation de la musique en tant que spectacle est multimodale. Ce n’est pas forcément conscient, mais le public accorde une grande importance à la vision que leur offrent les musiciens, surtout lorsqu’il est dans le même espace qu’eux. Ce n’est pourtant pas évident. Jouer véritablement d’un contrôleur est extrêmement difficile. C’est un instrument de musique dont on doit tout inventer.
