Axes de recherche
Le projet scientifique de l’UMR s'organise autour de 3 champs d’interaction :
L’atelier du son
Le son est ici compris comme un phénomène physique (mécanique, acoustique) mais aussi comme une information numérique engageant des techniques mathématiques et informatiques (traitement du signal) pour traiter des flux, des contenus et des scènes sonores, musicales, ou multimédia.
Le signal audionumérique est abordé sous ses deux aspects de source et de champs. En tant que source, nous le caractérisons ou bien nous le synthétisons, avec des contraintes de précision, de finesse et de qualité à même de répondre à l’exigence de la création contemporaine. Nos recherches se focalisent donc sur les spécificités du signal musical et nous amènent à développer des modèles plus précis en les informant par la physique, la biomécanique, la perception et la cognition, ou encore des données musicales symboliques... L’extraction de descriptions plus symboliques, sémantiquement pertinentes, et le contrôle des modèles par des données qualitatives de haut niveau (par exemple, la prosodie dans le cas de la synthèse de la voix chantée) sont deux des objectifs du laboratoire dans ce domaine. En tant que champs, nos études visent à comprendre ses représentations spatiales et les coupler avec les représentations temps/fréquence, à capter ce champ avec une grande résolution, et à le reconstruire de manière réaliste.
Le corps musicien
Le domaine visé est celui de la musique et du son, perçus et produits par des humains qui interagissent avec un environnement, une machine ou d’autres êtres humains. Le sonore ne se réduit plus à une vibration, mais devient un véhicule permettant l’interaction, qui est produit par un corps biologique et qui agit sur les individus et les comportements. Ce domaine est abordé en se positionnant sur quatre problématiques : le geste, la voix, la perception spatiale du son et son intégration multisensorielle, en étudiant les liens entre contenus sonores ou musicaux et valence émotionnelle.
Les dynamiques créatives
Si la musique est un phénomène produit et perçu par un corps qui tire parti des objets physiques et qui organise un monde sonore, elle est aussi pensée, imaginée – ou rêvée – et parfois formalisée avant d’être réalisée. La question de la créativité émerge aujourd’hui comme une problématique scientifique1 et comme un paradigme de travail utile pour la conception de systèmes intelligents. Contrairement à ce que pourrait laisser penser une analyse superficielle des nouvelles directions prises par l’IA2, le défi ne nous semble pas tant être celui de l’imitation que celui du compagnonnage : quelles sont les idées et les outils nécessaires pour inspirer, guider et assister l’artiste dans son processus de création et faire ainsi de la machine un partenaire.
Nous opposons donc ici une approche qui vise à remplacer l’homme en rendant la machine autonome et celle qui vise à augmenter les capacités humaines. On peut alors parler d’intelligence augmentée.
Dans le domaine artistique, la première approche peut éventuellement amener à éclairer les mécanismes qui sont remplacés, mais la seconde ouvre quant à elle des dimensions créatives inédites susceptibles de renouveler profondément la relation science-musique.
S’appuyant sur un de nos atouts majeurs – notre intimité avec la création musicale –, les travaux de STMS visent à éclairer et documenter le processus créatif chez des compositeurs ; à formaliser, analyser, calculer et produire des structures symboliques musicales en interaction avec les visées des créateurs ; à développer de nouveaux outils d’écriture adressant les enjeux contemporains de la notation ; et à appréhender les dispositifs assistant la création collective.
Ces trois champs assurent ainsi une lisibilité de notre recherche et couvrent l’ensemble de nos activités, puisqu’ils adressent le monde sonore et musical dans sa dimension physique et numérique, sa perception et sa production par un sujet humain, en lien avec les enjeux de création et de créativité.
Parmi ces sujets d’étude, mentionnons quelques focus ou objets d’étude que nous souhaitons investiguer avec une attention plus particulière dans les prochaines années :
- La modélisation multiphysique
- Le geste expressif expert
- Les CP&HS (Cyber Physical & Human Systems)
- L’apport des neurosciences, sciences cognitives et les liens avec la santé
- IA et créativité musicale
- Les nouvelles dimensions de la notation musicale
1. Voir les nouvelles conférences internationales « Digital Intelligence (#DI)», « Musical MetaCreation (MUME)» « International Conference on Computational Creativity, (ICCC) » auxquelles STMS participe régulièrement depuis leur fondation, ou encore l’initiative européenne FET « Creative ICT » qui a financé cinq projets en 2016.
2. Comme le projet Magenta développé par Google : « [how to develop] algorithms that can learn how to generate art and music, potentially creating compelling and artistic content on their own ».