Analyse et synthèse des sons
L’analyse de sons comprend les méthodes permettant l’extraction ou la structuration automatique de divers types d’informations provenant du signal, comme la fréquence fondamentale ou les évolutions spectrales déterminant la hauteur et le timbre du son perçu.
Des informations non strictement musicales sont également prises en compte et intéressent des domaines tels que l’acoustique industrielle, le design sonore et le multimédia. On peut citer, en particulier, l’indexation automatique des enregistrements sonores. Les méthodes utilisées reposent sur le traitement du signal, l’analyse statistique, les techniques d’apprentissage et l’apprentissage profond, la reconnaissance des formes mais aussi sur la connaissance de la perception auditive.
Les techniques de transformation et la synthèse des sons sont d’abord conçues pour répondre aux demandes des musiciens pour la création de nouveaux sons et de nouvelles musiques. Un exemple typique en est la synthèse d’un chœur virtuel par un ordinateur sur la scène d’un opéra. Ces travaux trouvent également de nombreuses applications dans des domaines tels que la téléphonie mobile, les jeux vidéo, l’aide à la navigation ou la réalité virtuelle en général. Analyse et synthèse reposent sur la conception, d’une part, de modèles de signaux (modélisation des effets des sons produits en termes de signaux) et, d’autre part, de modèles physiques (modélisation acoustique des causes de production en tant que sources sonores). Ces modèles sont implantés sous la forme de logiciels pour ordinateurs Macintosh, PC (Mac OS x, Windows et Linux), dotés d’interfaces graphiques spécifiquement conçues à l’intention d’utilisateurs professionnels ou non, musiciens, mais aussi ingénieurs du son, acousticiens et amateurs.
Principales thématiques
- Modèles de signaux
- Caractérisation des sons
- Analyse, caractérisation et transformation des enregistrements musicaux
- Analyse, transformation et synthèse de la voix, conversion des locuteurs
- Analyse de scènes sonores
Domaines de compétence
Traitement du signal, statistiques, théorie de l’information, techniques d’apprentissage, analyse numérique, modélisation.
Collaborations
Aalto University (Finlande), Ableton (Allemagne), Acapela Group, Acoustic Research Institute (Autriche), AudioGaming, Arte, Artipolis (Luxembourg), Dualo, Mines Paris Tech, Exalead, ExeQuo, Le Lab Orange (France), Flying Eye (Allemagne), Game Audio Factory, Genesis SA, HHI Berlin (Allemagne), Idol, INESC, ISAE-SUPAERO, ISIR/Sorbonne Université, IUAV (univ. de Venise, Italie), Kantar Media, KTH (Suède), LIMSI, LMA Marseille, LIA (univ. d’Avignon), Laboratoire Parole et Langage - Hôpital La Conception, NuHag (Autriche), OFAI, ParisTech, Queen Mary University of London (Royaume-Unie), SCREAM National Cheng Kung University (Taïwan), Sky Deutschland (Allemagne), Smartlog, Smartsound, Sony Music France, Stupeflix, Ubisoft, UPF/MTG (Espagne), université Huddersfield (Royaume-Uni), université Lumière-Lyon-2, université Paris-8, Univers Sons (UVI), Viddiga, Vizion’R, Voxygen, Yacast.Deutschland (Allemagne).
Domaines de recherche et projets associés
Traitement par Vocodeur de phase
Techniques performantes pour l’analyse et la transformation des sons
Projets nationaux et européens
EVA
EVA
PostGenAI@Paris
PostGenAI@Paris
AI4Media
A European Excellence Centre for Media, Society and Democracy
Aqua-Rius
Analyse de la qualité audio pour représenter, indexer et unifier les signaux
ARS
Analyse et transformation de style de chant
BRUEL
ElaBoRation d’Une méthodologie d’EvaLuation des systèmes d’identification par la voix
DAFNE+
Decentralized platform for fair creative content distribution empowering creators and communities through new digital distribution models based on digital tokens
DeTOX
Lutte contre les vidéos hyper-truquées de personnalités françaises
EVA
EVA
EXOVOICES
Lecture Virtuelle d’Histoires pour Enfants : Aspects Expressifs et Cognitifs de la Voix de Synthèse
FuturePulse
FuturePulse: Multimodal Predictive Analytics and Recommendation Services for the Music Industry
PostGenAI@Paris
PostGenAI@Paris
REVOLT
REvealing human bias with real Time VOcal deep fakes
TheVOICE
Design de voix pour l’industrie créative
Logiciels (Conception & développement)
AudioSculpt
Max Sound Box
The Snail-Absolute Tuning
SuperVP pour Max
Équipe
Responsable d'équipe : Axel Roebel
Chercheur.e.s & ingénieur.e.s : Remi Mignot, Nicolas Obin, Frederic Cornu, Axel Chemla-Romeu-Santos, Guillaume Doras, alice cohenhadria
Chargé(e) de développement : Mahdi Lakbar
Doctorant.e.s : Diego Andrés TORRES-GUARIN, Maximino Linares, Téo Guichoux, Simon ROUARD, Théodor Lemerle, Mathilde ABRASSART
