Ars Electronica 2021 distingue les chercheurs de l’Ircam !
Dans Convergence, Alexander Schubert déconstruit notre perception de l’humain en révélant celles que produit la machine. Sur scène, les sons se transforment constamment et les musiciens interagissent avec leurs homologues générés en vidéo, remodelés par un programme développé à l’Ircam qui associe apprentissage profond et encodeurs automatiques. La fluidité des identités résultant de la modélisation des caractéristiques personnelles est le point de départ d’un questionnement plus large sur les restrictions de nos constructions mentales.
Nous avons rencontré dans le laboratoire de l’Ircam-STMS les deux chercheurs qui ont travaillé avec le compositeur allemand pour cette œuvre, avec la contribution du réalisateur en informatique musicale Benjamin Lévy. Philippe Esling et Antoine Caillon nous répondent d’une seule voix sur cette stimulante collaboration entre arts et sciences.
De gauche à droite, Alexander Schubert, Philippe Esling et Antoine Caillon
Racontez-nous votre rencontre avec Alexander Schubert… Quelle expertise est-il venu chercher dans l’équipe Représentations musicales ?
La rencontre avec Alexander fut l’occasion d’une découverte mutuelle, d’un point de rencontre et d’écoute vide de toute référence. Nous étions de notre côté passionnés par l’approche très contemporaine et rafraîchissante des œuvres d’Alexander (notamment Codec Error). De son côté, Alexander était avide de comprendre ce que pouvait apporter l’intelligence artificielle à son art. Même s’il arrivait avec une idée assez claire de ce que deviendrait Convergence, il n’a pas hésité à remettre en question nos approches au même titre que la sienne. Nous avons ainsi pu passer de longues heures à discuter à un niveau conceptuel comme technique, jusqu’à converger vers une approche pratique lui permettant d’explorer librement les modèles que nous avons développés ces dernières années.
les compositeurs nous proposent souvent des idées qui paraissent de prime abord irréalisables ou saugrenues, mais qui une fois étudiées plus en détail ouvrent la porte vers des concepts fondamentalement nouveaux, et potentiellement révolutionnaires.
Quel est le rôle de l’intelligence artificielle (IA) dans cette création ?
L’IA est omniprésente dans cette œuvre, à tel point qu’elle paraît revêtir à la fois les rôles de compositeur, chef d’orchestre, musicien et auditeur. D’un point de vue purement technique, l’IA est également présente à de nombreux niveaux, tant sur les aspects sonores que visuels. D’une part, l’IA permet ici de générer des sons à partir des souhaits spécifiques d’Alexander (cris, violons bruités), qui sont parsemés à travers la pièce. L’IA transcende ici son rôle de « machine génératrice » car elle est utilisée dans un cadre de transfert de timbre. En cela elle interprète le son qu’elle perçoit pour nous le présenter dans un nouvel espace de sa propre compréhension. Cela permet ainsi de transformer une voix en violon, ou un violoncelle en cri humain.
Avez-vous développé un programme spécifique pour répondre aux attentes du compositeur ?
Grâce à l'œuvre d’Alexander, nous avons dû repenser notre approche de l’utilisation des outils que nous développons. Après de longs échanges lors desquels nous avons confronté sa vision artistique à notre réalité technique, nous avons entrepris la création d’un outil spécifique permettant une unification des modèles d’IA de notre équipe à l’intérieur d’une même interface graphique. Celle-ci nous a permis d’intégrer ces travaux dans un cadre applicatif plus large, et également une exploration directe des limites créatives de chaque modèle. Il fut alors possible d’établir un aller-retour fluide entre science et création. Alexander pouvait ainsi rapidement explorer de nouvelles approches et nous pouvions définir de nouveaux modèles basés sur ses retours d’expériences.
Capture écran : Playground, interface graphique basée sur MAX / MSP permettant une utilisation intuitive de modèle d’IA
Votre collaboration avec Alexander Schubert va se poursuivre la saison prochaine pour une nouvelle création commandée par l’Ircam pour le festival ManiFeste-2022. En tant que chercheur, que vous apportent les collaborations artistiques ?
Nous apprenons énormément de ce type de collaborations, d’une part car l’exploration créative des modèles d’IA amène généralement à les pousser dans leurs retranchements. Ainsi, en scrutant le chemin parcouru par les compositeurs, nous pouvons repenser les méthodes d’interaction et la définition même des modèles que nous concevons. D’autre part, les compositeurs nous proposent souvent des idées qui paraissent de prime abord irréalisables ou saugrenues, mais qui une fois étudiées plus en détail ouvrent la porte vers des concepts fondamentalement nouveaux, et potentiellement révolutionnaires.
Plus d'infos sur le Prix 2021 « Digital Musics & Sound Art » d’Ars Electronica.