Description
Date depot: 1 janvier 1900
Titre: Analyse automatique de scènes multimodales par approches discriminatives
Directeur de thèse:
Gael RICHARD (LTCI (IP PARIS))
Directeur de thèse:
Slim ESSID (LTCI (IP PARIS))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
L’objectif premier de cette thèse sera de proposer de nouvelles méthodes
de classification hybrides mieux adaptées à des scénarios réalistes d’analyse
de scènes multi-modales et multi-capteurs, en particulier l’analyse de scènes
de danse enregistrées par des capteurs multiples (réseaux de micros et de
caméras, dispositifs de captures de mouvements, ...) avec l’objectif de les
interpréter et de les restituer virtuellement en 3D. Cela suppose que ces
méthodes permettent d’effectuer l’apprentissage à partir de données de taille
importante, tant en nombre d’exemples, qu’en nombre de descripteurs, et
qu’elles soient donc de plus faible complexité que les méthodes précédentes.
Les directions de travail principales seront les suivantes :
– caractériser les signaux des différents capteurs et étudier leurs structures
de dépendances en vue d’en extraire les descripteurs adéquats
pour les tâches de classification envisagées, notamment la classification
de mouvements de danse ;
– étudier les méthodes hybrides existantes avec l’objectif de faire une
synthèse dans laquelle elles seront comparées et évaluées sur des corpus
communs, ce qui revêt en soi un intérêt majeur, puisque ces dernières
n’ont généralement été utilisées que par leurs auteurs et que leur
potentiel reste largement inexploré ;
– proposer de nouvelles méthodes de classification hybrides exploitant
des SVM à sortie probabilisée pour profiter au mieux de l’efficacité des
algorithmes d’optimisation associés ; on poursuivra d’abord un travail
initié dans le cadre du stage de master de M. Maazaoui sur des modèles
SVM-HMM hybrides appris par une approche segmental K-means [10],
avant d’envisager une extension à des modèles graphiques plus généraux
;
– traiter de façon conjointe le problème de la sélection automatique des
attributs, de manière à retenir les attributs les plus appropriés pour
chaque état caché des classificateurs considérés ; les approches d’apprentissage
de noyaux multiples (MKL) seront ici privilégiées.
Le doctorant pourra profiter du cadre du projet d’excellence européen
REVERIE centré sur les technologies rendant possible l’immersion d’utilisateurs
de réseaux sociaux dans des environnements virtuels en 3D sur Internet.
Les méthodes qui seront développées dans cette thèse pourront être mises
à profit pour les tâches d’analyse de scènes d’activité humaine afférentes
au projet. Cette application pourra être traitée en collaboration avec une
post-doctorante qui a déjà été recrutée sur ce projet.
Le travail sur les modèles SVM-HMM hybrides fait l’objet d’une collaboration
avec un chercheur de l’IRISA (A. Ozerov) dont pourra aussi profiter
le doctorant.
Doctorant.e: Masurelle Aymeric