Fiche de FARES Mireille

Informations professionnelles


Statut: Docteur ED
ED: EDITE
Unité de recherche: ISIR (EDITE)


Date de debut de thèse: 1 octobre 2019
Date soutenance de thèse: 15 février 2023
Directrice de thèse: Catherine PELACHAUD (ISIR (EDITE))
Directeur de thèse: Nicolas OBIN (STMS)
Sujet de thèse: Modélisation multimodale de l’expressivité et de l’alignement pour l’interaction humain-machine


Soutenance de thèse

Données générales

Titre : Multimodal Expressive Gesturing With Style
Date : 15 février 2023
Heure: 16:00
Résumé : The central theme of the present manuscript is to leverage virtual agents’ behavioral expressivity by modelling the complex multimodal behavior that humans employ during communication. Concretely, the driving forces of this Thesis are twofold: (1) to exploit speech prosody, visual prosody and language with the aim of synthesizing expressive and human-like behaviors for ECAs; (2) to control the style of the synthesized gestures such that we can generate them with the style of any speaker. With these motivations in mind, we first propose a semantically-aware and speech-driven facial and head gesture synthesis model trained on a corpus that we collected from TEDx talks. Then we propose ZS-MSTM 1.0, an approach that allows the synthesis of stylized upper-body gestures, driven by the content of a source speaker’s speech (audio and text) and corresponding to the style of any target speakers, seen or unseen by our model. ZS-MSTM 1.0 is trained on PATS corpus which includes multimoda
Lieu : SCAI - Seminar Room

Rapporteurs/ Rapporteuses

Personne Qualité Etablissement
M. Artières Thierry Professeur des universités Laboratoire d'Informatique et systèmes, Univ. d'Aix-Marseilles
M. Neff Michael Professeur des universités University of California Davis (États-Unis)

Composition du jury

Personne Qualité Etablissement
Mme. Pelachaud Catherine Directrice de recherche (HDR) Institut des Systèmes Intelligents et de Robotique, Sorbonne Université
M. Obin Nicolas Maître de Conférences (HDR) Sciences et technologies de la musique et du son, Sorbonne Université
Mme. Soulier Laure Maîtresse de Conférences (HDR) Institut des Systèmes Intelligents et de Robotique, Sorbonne Université
Mme. Clavel Chloe Directrice de recherche (HDR) Institut National de recherche en informatique et en automatique - Paris centre, INRIA
M. Ravenet Brian Maître de Conférences Laboratoire Interdisciplinaire des Sciences du Numérique
M. Artières Thierry Professeur des universités Laboratoire d'Informatique et systèmes, Univ. d'Aix-Marseilles
M. Neff Michael Professeur des universités University of California Davis (États-Unis)