Interactions logicielle et matérielle en temps réel : l'IA générative avec RAVE et Diffusion, les agents d'improvisations (inter)réactif avec Dicy2 et Somax2, et l'interaction geste-son avec les capteurs RIoT, Max et MuBu
Le groupe ACIDS, au sein de l’équipe Représentations musicales de l’Ircam, mène des recherches sur les modèles génératifs profonds pour la synthèse musicale et créative, avec l’objectif de fournir de nouveaux outils permettant de modéliser la créativité musicale et d’étendre les possibilités sonores grâce à l'approches d'apprentissage automatique. Ces travaux se concrétisent par des objets temps réel utilisés dans des logiciels comme MaxMSP et Ableton Live, notamment les modèles RAVE, AFTER, FlowSynth et la librairie nn~. Ces outils permettent d’explorer des formes innovantes de création sonore, en développant des instruments et des modèles audio profonds qui intègrent l’intelligence créative artificielle dans la performance musicale.
Parallèlement, dans le cadre du projet ERC REACH (Raising Co-Creativity in Cyber-Human Musicianship), les travaux de l’équipe Représentations musicales se concrétisent par la création de logiciels innovants. Ces outils permettent de concevoir des dispositifs interactifs ou d'explorer de nouvelles façons d'interagir avec les compositrices, compositeurs, musiciennes, musiciens, improvisatrices, improvisateurs. Grâce à l’écoute artificielle et à la synchronisation de signaux musicaux, Dicy2 et Somax2 implémentent des agents intelligents capables d’apprentissage(s) à la volée ou en amont, et d’assurer des interactions musicales immédiates ou pré-définies dans des contextes structurés ou improvisés.
Enfin, le pôle Prototypes & Engineering, en coordination avec l'équipe Interaction Son Musique Mouvement, se distingue par son travail sur les technologies d'interactions gestuelles et sonores en temps réel, surtout pour les arts de la scène. L’un des projets phares est le développement des capteurs sans fil R-IoT qui détectent les gestes grâce à des capteurs de mouvement et d'un microcontrôleur sans fil, permettant de créer des expériences interactives où les gestes des artistes influencent directement le son.
L’équipe Interaction Son Musique Mouvement, dédiée à la recherche de systèmes interactifs, associe entre autres les technologies d'analyses, de synthèse et de traitements sonore en temps réel avec des outils de synchronisation contribuant à l’émergence de nouvelles formes de performances scéniques mêlant musique, danse et multimédia. Ces technologies enrichissent non seulement l’expérience des artistes, mais offrent également au public des spectacles interactifs, où la musique, la danse, l’image et la réalité virtuelle s’entrelacent pour offrir une expérience unique. En 2024, sur la base des résultats des évaluations de fin de formation, 100% des stagiaires de la formation « Composer un environnement interactif et préparer une performance avec des agents génératifs » ont atteint totalement ou majoritairement les objectifs avec un taux de satisfaction de 100%.
Musicien, compositeur, maître de conférences et chercheur doctorant
« La formation d’une semaine sur 'Modèles audio génératifs profonds et IA dans Max et Ableton Live' a été, sans aucun doute, l’une de mes expériences les plus stimulantes sur le plan intellectuel et artistiquement inspirantes à ce jour. La qualité de l’enseignement et des ressources était exemplaire. Je recommande vivement cette formation à d’autres et je reviendrai pour une session future dans d’autres domaines. Merci à Philippe et à toute l’équipe ! »
Technologue créatif
« La formation a été une expérience incroyable – le mélange parfait de créativité, de théorie et d’expertise technique. La diversité des chercheurs et formateurs de l'Ircam, chacun apportant des parcours et des perspectives uniques, l’a rendu exceptionnellement enrichissant. Je me sens désormais encouragé à approfondir mes expérimentations avec machine learning et le son. »
Professeur en composition musicale
« L’expérience musicale constituait un excellent complément à l’instruction technique. »
