Informations professionnelles
Statut: Docteur ED
ED: EDITE
Unité de recherche: ISIR (EDITE)
Date de debut de thèse: 1 octobre 2019 Date soutenance de thèse: 15 février 2023 Directrice de thèse: Catherine PELACHAUD (ISIR (EDITE)) Directeur de thèse: Nicolas OBIN (STMS) Sujet de thèse: Modélisation multimodale de l’expressivité et de l’alignement pour l’interaction humain-machine
Date de debut de thèse: 1 octobre 2019 Date soutenance de thèse: 15 février 2023 Directrice de thèse: Catherine PELACHAUD (ISIR (EDITE)) Directeur de thèse: Nicolas OBIN (STMS) Sujet de thèse: Modélisation multimodale de l’expressivité et de l’alignement pour l’interaction humain-machine
Soutenance de thèse
Données générales
Titre : Multimodal Expressive Gesturing With Style
Date : 15 février 2023
Heure: 16:00
Résumé : The central theme of the present manuscript is to leverage virtual agents’ behavioral expressivity by modelling the complex multimodal behavior that humans employ during communication. Concretely, the driving forces of this Thesis are twofold: (1) to exploit speech prosody, visual prosody and language with the aim of synthesizing expressive and human-like behaviors for ECAs; (2) to control the style of the synthesized gestures such that we can generate them with the style of any speaker. With these motivations in mind, we first propose a semantically-aware and speech-driven facial and head gesture synthesis model trained on a corpus that we collected from TEDx talks. Then we propose ZS-MSTM 1.0, an approach that allows the synthesis of stylized upper-body gestures, driven by the content of a source speaker’s speech (audio and text) and corresponding to the style of any target speakers, seen or unseen by our model. ZS-MSTM 1.0 is trained on PATS corpus which includes multimoda
Lieu : SCAI - Seminar Room
Rapporteurs/ Rapporteuses
| Personne | Qualité | Etablissement |
|---|---|---|
| M. Artières Thierry | Professeur des universités | Laboratoire d'Informatique et systèmes, Univ. d'Aix-Marseilles |
| M. Neff Michael | Professeur des universités | University of California Davis (États-Unis) |
Composition du jury
| Personne | Qualité | Etablissement |
|---|---|---|
| Mme. Pelachaud Catherine | Directrice de recherche (HDR) | Institut des Systèmes Intelligents et de Robotique, Sorbonne Université |
| M. Obin Nicolas | Maître de Conférences (HDR) | Sciences et technologies de la musique et du son, Sorbonne Université |
| Mme. Soulier Laure | Maîtresse de Conférences (HDR) | Institut des Systèmes Intelligents et de Robotique, Sorbonne Université |
| Mme. Clavel Chloe | Directrice de recherche (HDR) | Institut National de recherche en informatique et en automatique - Paris centre, INRIA |
| M. Ravenet Brian | Maître de Conférences | Laboratoire Interdisciplinaire des Sciences du Numérique |
| M. Artières Thierry | Professeur des universités | Laboratoire d'Informatique et systèmes, Univ. d'Aix-Marseilles |
| M. Neff Michael | Professeur des universités | University of California Davis (États-Unis) |