Description
Date depot: 30 juillet 2020
Titre: Systèmes interactifs adaptatifs avec retour sonore pour stimuler l’apprentissage et l’exploration du mouvement.
Directeur de thèse:
Frédéric BEVILACQUA (STMS)
Encadrant :
Jules FRANCOISE (LIMSI)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Informatique graphique et géométrique, IHM et réalité virtuelle
Resumé: Ce projet de thèse a pour but de concevoir et d'évaluer de nouveaux systèmes d'interaction par le mouvement avec des dispositifs sonores, en se se focalisant particulièrement sur l'apprentissage et l'exploration. Au-delà des nouveaux instruments de musique, l’association d’un retour sonore à un mouvement peut donner à l'utilisateur des informations sur l'exécution de son action. Ces systèmes de “sonification” trouvent des applications pour l’aide à l’apprentissage de mouvements et à la rééducation, ainsi que dans des contextes pédagogiques, ludiques ou artistiques, puisqu’il est possible d’utiliser les gestes pour interagir avec un environnement sonore ou musical. Quel que soit le contexte d’usage, ces systèmes interactifs nécessitent de considérer des phénomènes d’apprentissage sensori-moteur complexes. Un des enjeux actuels consiste à concevoir des systèmes avec un retour sonore adaptatif, une tâche complexe car elle implique d’intégrer au système plusieurs types d'adaptation, l’adaptation à court terme à l'expertise de l'utilisateur (en facilitant l’exploration du système et de son appropriation) jusqu’à une adaptation à plus long terme prenant en compte l’évolution des caractéristiques personnelles de l’utilisateur. L’objectif général de cette thèse est de concevoir et d’évaluer des systèmes interactifs à retour sonore permettant de prendre en compte ces différents niveaux d’adaptation. Les systèmes devraient donc être capables d'ajuster les différents paramètres du retour sonore à un utilisateur novice ou expert, et de s'adapter progressivement à l'évolution des compétences motrices de l'utilisateur, jusqu'à finalement proposer une interaction personnalisée complexe et expressive. Ce sujet d’étude implique d’une part le développement de modèles s’appuyant sur des techniques d’apprentissage automatique interactif (par exemple l’apprentissage par renforcement implémenté récemment au sein de l'équipe ISMM; d’autre part la validation expérimentale des approches proposées dans des applications sur lesquels l’équipe Interaction Son Musique Mouvement travaille actuellement: la rééducation aidée par retour sonore, et les nouvelles interfaces pour la musique. Cette thèse bénéficiera en particulier des collaborations actives menées dans le cadre du projet ANR ELEMENT sur ces mêmes problématiques (Stimuler l’Apprentissage de Mouvements dans les Interactions Humain-Machine
Résumé dans une autre langue: None
Doctorant.e: Paredes Victor