Maxime Mantovani 1/5 : Associer le geste organologique à l’IA
La démarche compositionnelle de Maxime Mantovani est étroitement liée aux nouvelles technologies. Très tôt, il crée ses propres outils informatiques et développe ses propres lutheries électroacoustiques destinées à contrôler le son de manière personnelle et artistique.
« Il me semble important de faire de la musique électronique avec un instrument qui me permet de la créer et de l’interpréter, revendique-t-il. Je veux que le corps soit impliqué dans la génération du son. Cela vient d’une certaine culture de l’électroacoustique, d’une volonté de manipuler le son au plus près et de l’écouter pour lui-même, pour ce qu’il nous évoque… »
Diplômé du CNSMD de Lyon, sorti de la classe de François Roux, il intègre en 2019 le Cursus de l’Ircam, ce qui lui permet de découvrir d’autres approches de la composition, et notamment certains outils de composition assistée par ordinateur. Pour sa pièce de sortie de Cursus, justement, Existentia, il utilise ainsi un fragment de code en Python, « Audioguide », aboutissement d’une résidence en recherche artistique antérieure, celle de Benjamin Hackbarth, en collaboration avec Philippe Esling. « Audioguide » est un programme d’analyse et de re-synthèse sonore par concaténation, bel exemple de ce que l’on peut alors faire en transfert morphologique – c’est-à-dire générer automatiquement une forme d’onde en fonction d’une source, reproduisant son profil mais en changeant son timbre (par exemple, un violon en entrée, une flûte en sortie).
C’est aussi l’occasion pour le compositeur de rencontrer Philippe Esling et son équipe, donnant naissance à l’envie commune de faire progresser l’outil d’intelligence artificielle : l’objectif de cette résidence est en effet de concevoir une interface, matérielle et logicielle, spécifiquement pensée pour le contrôle en temps réel de modèles d’intelligence artificielle, tout en assurant une reproductibilité et une expressivité forte.
Cela implique donc le développement d’une IA de synthèse audio en temps réel, qui « apprend » comment produire du son en se nourrissant de quantité de formes d’ondes enregistrées.
Mais pas seulement. Puisque l’idée de Maxime Mantovani est de faire le lien entre cet outil de synthèse sonore et les interfaces de contrôle du son qu’il développe depuis longtemps, afin, par exemple, d’être en mesure de véritablement interpréter et improviser lui-même en contrôlant la synthèse sonore en temps réel de manière quasi organique – comme n’importe quel instrument de musique, en vérité.
Il faut donc améliorer et affiner, d’un côté, l’interface de contrôle, et de l’autre, le moteur de synthèse.
Maxime Mantovani dans les studios de l'Ircam
« Concernant l’interface de contrôle, j’ai beaucoup travaillé en collaboration avec Emmanuel Fléty, qui est l’ingénieur prototype de l’Ircam : nous sommes partis de l’outil que j’avais jusque-là développé seul, et nous y avons ajouté des écrans pour visualiser certains paramètres (comme les formes d’ondes des différentes sources), ce qui permet de se passer de l’écran d’ordinateur. Nous avons aussi modifié les cartes internes, afin d’augmenter la puissance, ainsi que la connectique, pour gagner en modularité. »
Côté intelligence artificielle, le travail a porté sur plusieurs sujets. Le premier est celui des données : tous ces sons, organisés par familles et découpés, forment ce que l’on appelle un dataset, dont il faut nourrir la machine, pour qu’elle puisse, après digestion par apprentissage profond, en synthétiser à son tour. Des sons dont il faut bien évidemment soigner la qualité, mais aussi la variété – ce que Maxime Mantovani fait en invitant des musiciens à jouer : à commencer par Henri-Charles Caget, ancien professeur de percussions au CNSMD de Lyon, qui enregistre pour lui quantité de percussions occidentales et extra-européennes, ou le tubiste Victor Auffray au flugabone.
« Des réseaux de neurones conçus par Antoine Caillon apprennent comment ces sons sont construits en analysant les formes d’ondes, créant ce que l’on appelle un modèle pré-entraîné. Après quoi, à l’aide d’un de ces modèles pré-entraînés, la machine pourra, soit l’imiter par transfert morphologique, soit générer du son de manière automatique. C’est un système unique au monde, car il tourne en temps réel, sous Max ! »
Existentia de Maxime Mantovani (enregistré dans le cadre du concert du Cursus) Centre Pompidou, 2020
Dans les prochains épisodes, nous irons à la rencontre des membres de l’équipe de recherche pour découvrir les enjeux du développement de l’intelligence artificielle mise au service de ce nouveau système et nous nous plongerons dans l’une des sessions de musique improvisée de Maxime Mantovani avec des musiciens sur instruments « acoustiques ».
