Description
Date depot: 1 janvier 1900
Titre: Interaction par capteurs gestuels et de mouvements
Directeur de thèse:
Thierry ARTIÈRES (LIS)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
{{Contexte}}
La diffusion grand public et bon marché de capteurs variés tels que des accéléromètres, des occulomètres, ou encore des magnétomètres permet de renouveler et de repenser l’interaction gestuelle, démocratisée ces dernières années par des interfaces « stylo », relativement simples, pour agendas personnels ou tablet pcs. Les domaines d’applications ouverts par la disponibilité de ces capteurs couvrent un large spectre, les jeux, la santé, les interfaces pour handicapés, ou encore des applications en multimédia et en animation.
On peut distinguer différents catégories de capteurs, des capteurs gestuels (qui correspondent à des dispositifs que l’utilisateur, actif, manipule explicitement), des capteurs de mouvement (qui captent les mouvements de l’utilisateur passif), des capteurs physiologiques (e.g. rythme cardiaque), et des capteurs contextuels et applicatifs (niveau sonore, intensité de la frappe sur un clavier). On s’intéresse ici particulièrement aux capteurs gestuels et de mouvements, actifs et passifs.
Parmi les capteurs gestuels récemment utilisés et diffués massivement on trouve tout d’abord les accéléromètres. En 2006 Nintendo a révolutionné le domaine des consoles de jeux en commercialisant son boitier accompagné de manettes WII équipées d’accéléromètres. De nombreux jeux exploitent les possibilités de ce moyen d’interaction. Egalement des équipements à retour de force ou haptiques commencent à être commercialisés à faible coût depuis quelques années.
Dans les capteurs de mouvement passifs on peut citer les occulomètres qui se démocratisent progressivement et permettent de suivre les mouvements des yeux et le focus d’un utilisateur, et les dispositifs de « motion capture » qui permettent de capturer finement l’ensemble des mouvements complexes d’un être humain. Ces derniers dispositifs sont par exemple utilisés pour des applications d’animation d’avatars ou de personnages.
Les applications opérant sur des signaux de mouvements requièrent de traiter des tâches telles que la reconnaissance ou la classification (de classes de gestes), la segmentation (le découpage et l’étiquetage d‘un signal en segments consécutifs), ou la détection d’événements et d’occurrences de gestes particuliers dans un flux continu de mouvements. Par ailleurs, la signification d’un geste est souvent dépendante du contexte, ce qui nécessite pour interpréter les gestes de tenir compte de l’interaction et de son état, à travers des variables le caractérisant. Enfin, certains types d’applications requièrent également la capacité à générer des signaux gestuels réalistes cohérents avec des caractéristiques données.
L’interaction gestuelle à l’aide de capteurs gestuels et de mouvements a été abordée dans de nombreux travaux en interaction homme-machine, par exemple l’interaction directe (par exemple le langage des signes), la manipulation d’interfaces complexes (tableaux électroniques, multitouch et surface computers [7,8]), le contrôle de jeux (utilisant des manettes munies de capteurs), l’apprentissage de gestes (interfaces haptiques), ou encore la reproduction de gestes complexes.
Dans ces travaux on utilise généralement un type de capteur pour une interaction entre un humain et une machine. Hors, depuis peu on assiste au développement et à la commercialisation de nouveaux matériels d’interaction, collaboratifs, tels que les tableaux électroniques et les tables multi-touch. Parallèlement, le suivi de l’interaction multiutilisateurs en contexte (bureau, salle de réunion, domicile, place publique, etc) devient un champ de recherche actif, avec des applications dans des domaines de l’éducation, de l’entreprise ou de la création artistique notamment.
{{Objectifs}}
La thèse vise à explorer deux axes de recherche qui sont complémentaires. Le premier axe concerne la conception d’algorithmes génériques pour le traitement de signaux gestuels multidimensionnels complexes et à leur intégration dans le cadre d’interfaces multi-capteurs.
Les signaux de capteurs gestuels et de mouvement en général ont de nombreuses propriétés en commun. Ce sont des signaux issus de gestes ou de mouvement et par là sont le résultat de commandes musculaires de type action – réaction [4]. Ce sont des signaux réels complexes multidimensionnels dont les différentes dimensions (e.g. les positions des 10 doigts sur une table multitouch) sont fortement corrélées et peuvent être réduites dans un espace d’état obéissant à une dynamique particulière [2]. Ils sont généralement bruités et présentent une variabilité très dépendante du sujet d’observation [6].
Pour traiter de tels signaux gestuels et concevoir des outils de reconnaissance et d’interprétation il est nécessaire de développer des outils capables de prendre en compte les spécificités de ces signaux. De nombreux travaux réalisés dans l’équipe connexionniste du lip6 ont permis de mettre au point des systèmes de modélisation et de reconnaissance de données de ty
Doctorant.e: Radenen Mathieu