Description
Date depot: 1 janvier 1900
Titre: Apprentissage automatique du couplage geste-son dans des systèmes interactifs
Directeur de thèse:
Frédéric BEVILACQUA (STMS)
Directeur de thèse:
Thierry ARTIÈRES (LIS)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Ces dernières années ont connu un essor considérable du rôle du geste dans les interfaces homme-machine, des systèmes informatiques mobiles aux jeux vidéo, faisant émerger de nouveaux dispositifs interactifs ainsi que de nouveaux usages. De fait, le contrôle gestuel dans des systèmes sonores interactifs s'est fortement développé au cours de ces dix dernières années, tant sur le plan conceptuel que technologique.
Les enjeux de ce projet concernent plusieurs types d’applications. Dans le domaine musical ou plus généralement les nouveaux médias numériques, apparaissent de nouveaux paradigmes de contrôle sonore et d’interaction avec des contenus multimedia. Le succès de jeux musicaux ou de nouveaux types d’instruments de musique électronique qui utilisent des interfaces tangibles est indicateur d’un marché en expansion. De fait, nous assistons à des changements radicaux sur les possibilités d’accéder, de contrôler et de jouer les médias numériques. Dans ces nouveaux usages, l’interaction gestuelle (« embodied interaction ») va jouer un rôle de plus en plus important [Leman 2008]. D’importants travaux de recherche sont effectués dans cette direction par une communauté académique et industrielle dans le domaine des technologies du son et de la musique. En particulier, ce travail de thèse s’inscrit dans le cadre de nos travaux de recherche à l’Ircam sur les nouvelles interfaces gestuelles pour la musique. Par ailleurs, les systèmes interactifs geste-son représentent un domaine de recherche fortement interdisciplinaire et trouvent leur intérêt dans d’autres domaines d’application comme la rééducation sensori-moteur où plusieurs équipes en neurosciences étudient le rôle du feedback sonore dans la boucle action-perception.
Dans le cadre du projet Interlude ANR (Contenu et Interaction) que nous coordonnons, ainsi que du projet européen IST-SAME, nous avons démontré l’intérêt de méthodes d’apprentissage (machine learning) pour l’analyse et la reconnaissance de gestes dans le contexte d’interaction entre gestes et médias numériques [Bloit 2010, Bevilacqua 2010]. En particulier, nos travaux ont permis de proposer de nouveaux paradigmes de contrôle continu et synchronisation temporelle, dépassant les paradigmes dominants basés sur des commandes simples ou déclenchements de sons.
Cependant la réalisation du couplage (ou « mapping ») entre paramètres gestuels et paramètres sonores reste problématique. Nos études récentes sur le couplage geste-son dans divers contextes (instrumental [Rasamimanana 2009] ou dans le cadre d’écoute active [Caramiaux 2011]) ont montré que ce « mapping » devrait être défini de manière dynamique et contextuelle.
Le but de cette thèse est de conceptualiser et réaliser un système interactif où le couplage geste-son est défini par des techniques d’apprentissage. Il s’agira donc de définir des classes de relations geste-son pouvant être apprises à partir d’une série d’exemples et de manière incrémentale. Ce travail pourra s’appuyer sur les modélisations de signaux gestuels et sonores que nous avons récemment développés (basés par exemples sur modèles segmentaux ou hiérarchiques). En premier lieu, le travail consistera à identifier et formaliser des couplages geste-son en poursuivant nos études actuelles sur les sons environnementaux [Caramiaux 2011]. Dans une deuxième étape, il s’agira d’explorer diverses méthodes d’apprentissage, pour définir le couplage geste-son par exemple des méthodes d’« active learning ». Des cadres applicatifs seront définis, comme le contrôle gestuel de la synthèse sonore ou la sonification de geste pour la rééducation, afin de procéder à des phases de validation avec des utilisateurs. Des collaborations avec d’autres équipes de l’Ircam seront également établies. Une collaboration avec le laboratoire Neuromouv, Université Paris-Descartes sur les applications de rééducation sera également envisagée.
{{References}}
-# M. Leman, M. (2008). Embodied music cognition and mediation technology. The MIT Press, Cambridge, Massassuchetts.
-# Bevilacqua, F., Zamborlin, B., Sypniewski, A., Schnell, N., Guédy, F., Rasamimanana, N. « Continuous realtime gesture following and recognition », LNAI 5934, pp. 73–84, 2010
-# Bloit, J. Rasamimanana, N., Bevilacqua, F., 'Modeling and segmentation of audio descriptor profiles with Segmental Models', Pattern Recognition Letters 31 (12), 2010
-# Caramiaux, B., Bevilacqua, F., Schnell, N. Analysing Gesture and Sound Similarities with a HMM-based Divergence Measure. Proceeding of the Sound and Music Computing conference (SMC 2010), Barcelona, Spain, 2010
-# N. Rasamimanana, F. Kaiser, F. Bevilacqua « Perspectives on gesture-sound relationships informed from acoustic instrument studies », Organised Sound, vol. 14, n° 2, 2009
-# B. Caramiaux, P. Susini, O. Houix, T. Bianco, F. Bevilacqua, N. Schnell, N. Misdariis “Gestural Embodiment of Environmental Sounds: an Experimental Study”, Proc. NIME 2011.
Doctorant.e: Francoise Jules