Description
Date depot: 22 avril 2020
Titre: représentations latentes multimodales pour la modélisation et le design interactif de synthétiseurs
Directeur de thèse:
Mikhail MALT (STMS)
Encadrant :
Gaetan HADJERES (SONY CSL)
Directeur de thèse:
Philippe Joseph Rene ESLING (STMS)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Intelligence artificielle
Resumé:
Cette thèse a pour domaine la synthèse audio-musicale et plus particulièrement la synthèse modulaire. Cette forme de synthèse audio est basée sur la connexion de modules élémentaires de génération et traitement audio. En raison de l’explosion combinatoire des possibilités de connexion de modules (l’ensemble des graphes de connexion de modules), l’exploration de l’espace des branchements possibles est une tâche ardue. Nous proposons ici de répondre à ces limitations par le développement d’espaces continus de représentation de graphes de synthèse, structurés en adéquation avec la perception auditive humaine. Ceci permettrait d’organiser ainsi que de générer de tels graphes de branchement de façon intuitive en se déplaçant dans un espace continu muni d’une métrique et de dimensions alignées avec les caractéristiques perceptives des sons produits.
Ce travail de recherche s’attachera au développement de modèles à la fois contrôlables et analysables, le but final étant le développement de nouveaux outils pour la création musicale. À cet effet, nos travaux trouveront leur inspiration dans les récents développements en apprentissage profond (deep learning) pour la représentation de données structurées (par exemple issues de grammaires formelles ou de graphes), en modèles génératifs conditionnés et en espaces de représentation de signaux audio régularisés par la perception humaine.
Dans cette proposition, nous revenons sur les résultats récents dans le champ des modèles statistiques génératifs puis nous détaillons l’approche proposée ainsi que les outils et théories mis en jeu. Enfin, nous évoquons une application envisagée de ces travaux à l’exploration intuitive des possibilités de synthèse
offertes par des synthétiseurs grands publics dont la programmation ou les plans matériels ne sont pas connus.
Doctorant.e: Bazin Theis