Description
Date depot: 1 janvier 1900
Titre: Système adaptatif et anticipatif d'analyse de gestes en temps réel
Directeur de thèse:
Gérard ASSAYAG (STMS)
Directeur de thèse:
Frédéric BEVILACQUA (STMS)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Ce travail de thèse s’inscrit dans le cadre de nos travaux sur les nouvelles interfaces pour la musique et le spectacle vivant, où nous appliquons des méthodes d’analyse gestuelle basées sur l’apprentissage automatique [Bloit 2010]. Par exemple, un système de reconnaissance et de suivi de gestes a été développé (appelé {gesture follower}) [Bevilacqua 2010]. Il est utilisé actuellement dans le cadre de collaborations artistiques avec des compositeurs et chorégraphes. Ces applications sont en fait fortement liés à des problématiques d'Interface Homme-Machine, et trouvent en fait de nombreuses applications dans le domaine des STIC, comme le contrôle en temps-réel de médias numériques.
Les méthodes d’apprentissages classiques sont souvent mal adaptées aux contraintes liées à nos applications. Par exemple, nous avons établi, dans des cas particuliers, l’intérêt de faire évoluer en temps réel les données d’un interprète vers un autre. Il s’agit donc de généraliser ces travaux vers un système d’apprentissage adaptatif généralisé établi à partir d’un ensemble hétérogène d’enregistrements.
Le but de ce travail est donc de développer un système d’apprentissage et de reconnaissance de gestes adaptatif permettant de dépasser les approches classiques basées sur des bases de données statiques, déterminées préalablement. Il s’agit de proposer et implémenter des systèmes dont l’apprentissage peut s’effectuer en temps réel, soit en modifiant une base de données pré-existantes ou en créant directement la base de donnée en temps réel. Cette problématique est en fait également liée à des notions d’anticipation [Cont 2009, Rasamimanana 2008]. Alors que la plupart des méthodes de reconnaissance sont basées sur un paradigme de calcul réactif, il s’agira de proposer un paradigme de calcul anticipatif où la prédiction est non seulement utilisé pour la prise de décision, mais aussi pour modifier les paramètres de l’état du système [Cont 2009]. Ces méthodes d'apprentissage dites également anticipatives sont inspirées par les études sur la perception et la cognition.
-* Bevilacqua, F., Zamborlin, B., Sypniewski, A., Schnell, N., Guédy, F., Rasamimanana, N. Continuous realtime gesture following and recognition, LNAI 5934, pp. 73–84, 2010
-* Cont Arshia, A coupled duration-focused architecture for realtime music to score alignment. IEEE Transaction on Pattern Analysis and Machine Intelligence. Juin 2010, vol. 32, n° 6, p. 974-987
-* Bloit, J. Rasamimanana, N., Bevilacqua, F., Modeling and segmentation of audio descriptor profiles with Segmental Models, accepted in Pattern Recognition Letters
-* Rasamimanana Nicolas, Bevilacqua Frédéric, Effort-based Analysis of Bowing Movements: Evidence of Anticipation Effects. Journal of New Music Research. 2008, vol. 37, n° 4, p. 339-351
Doctorant.e: Le Tien Anh