Description
Date depot: 1 janvier 1900
Titre: Pilotage d'un modèle 3D du conduit vocal en voix chantée avec des descripteurs visuels extraits d'images échographiques et optiques des articulateurs
Directeur de thèse:
Bruce DENBY (Institut Langevin (EDITE))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Le projet i-Treasures (FP7-ICT-2011-600676), intitulé « Intangible Treasures – Capturing the Intangible Cultural Heritage and Leaning the Rare Know-How of Living Human Treasures » démarre le 1 février 2013. Son objectif est de préserver le patrimoine culturel intangible par le biais des technologies de l’information et de la communication. Plus précisément, le rôle du laboratoire Sigma dans i-Treasures consistera à capturer les mouvements des articulateurs (langue et lèvres notamment) exécutés dans la pratique des chants rares, par exemple les chants corses, et de présenter ces mouvements à un apprenti sous forme d’un « avatar » temps réel du conduit vocal.
L’accomplissement de cet objectif sera obtenu à travers:
-* la réalisation d’un casque d’enregistrement muni d’un petit transducteur ultrasonore situé sous le menton pour capturer les mouvements de la langue, et d’une caméra vidéo pour ceux des lèvres ;
-* le développement d’algorithmes capable d’extraire des descripteurs pertinents des images acquises des articulateurs ;
-* la mise au point d’un modèle générique 3D du conduit vocal, ou « avatar » qui peut être piloté par les descripteurs extraits des images.
La réalisation du casque sera un travail collaboratif impliquant plusieurs partenaires du projet, alors que le développement de l’avatar sera en grande partie assuré par un postdoctorant maitrisant la modélisation par éléments finis pour le milieu médical. Le lien entre les acquisitions physiques et l’interface homme-machine exploité par l’apprenti, à savoir l’extraction de descripteurs capables de contrôler avec efficacité notre « avatar », constitue l’essentiel du sujet de la thèse proposée.
Objectifs de la thèse :
-* Etude de l’état de l’art de la préservation du patrimoine intangible
-* Etude de l’état de l’art des chants rares
-* Etude des technologies utilisées dans les capteurs
-* Mise au point sur l’imagerie médicale, les ultrasons
-* Participation à l’élaboration du casque d’acquisition
-* Participation aux acquisitions avec des artistes
-* Dépouillement des données
-* Elaboration des techniques d’extraction de descriptifs caractéristiques
-* Etat de l’art
-* ACP, SVD, etc.
-* Eigenfeatures
-* Méthodes projectives (DCT, etc.)
-* Evaluation des techniques de « deep learning »
-* Réalisation de techniques nouvelles
-* Interaction avec le modèle 3D
-* Elaboration des méthodes de contrôle de l’avatar
-* Etablissement des critères d’évaluation des résultats
-* Evaluations des différentes techniques
-* Evaluation de la possibilité d’implémenter également une reconnaissance de la parole chanté, sous forme de suites de phonèmes, de mots, etc., en parallèle du pilotage de l’avatar
Doctorant.e: Jaumard-Hakoun Aurore