Description
Date depot: 1 janvier 1900
Titre: Segmentation et structuration de documents videos pour l'indexation
Directeur de thèse:
Titus ZAHARIA (LTCI (EDMH))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Cette thèse s’inscrit dans le cadre des recherches en indexation multimédia conduites au sein du Département ARTEMIS de TELECOM SudParis.
La quantité croissante de contenus visuels (images fixes, vidéos, éléments graphiques 2D/3D) aujourd’hui disponibles sur Internet jette à la communauté scientifique des défis méthodologiques d’envergure pour assurer un accès fiable et précis à l’information. Les approches existantes, fondées dans leur grande majorité sur des méthodes d’indexation textuelle démontrent rapidement leurs limites lorsque confrontées à l’immensité des bases de données distribuées disponibles, au caractère intrinsèquement poly-sémantique des contenus multimédia et aux diverses difficultés d’ordre linguistique. En outre, lorsqu’il s’agit notamment de documents vidéos, les descriptions exploitées par les moteurs de recherche commerciaux actuels (e.g. Youtube, DailyMotion, Google Vidéo) adoptent une approche monolithique et globale, chaque document étant traité dans son ensemble. Cela est sans tenir compte ni de la richesse sémantique et informationnelle spécifique à de tels documents, ni de leur structure spatio-temporelle intrinsèque. La conséquence directe est le niveau de granularité des descriptions qui en résultent, qui n’est pas suffisamment fin pour garantir un accès robuste et précis aux éléments d’information recherchés par l’utilisateur.
A cela, s’ajoute les nouvelles dimensions dites « web2.0 » et « web3.0 » de l’Internet, qui re-modélisent aujourd’hui l’univers de la consommation multimédia et que toute approche moderne d’indexation et de description de contenus multimédia doit considérer. Les utilisateurs finaux deviennent eux même producteurs et diffuseurs de leur propres contenus, bouleversant complètement la chaîne traditionnelle d’une distribution audiovisuelle guidée par de grands acteurs professionnels. Les utilisateurs ne se contentent plus des milliers de pages web renvoyés actuellement par les moteurs de recherche mais souhaitent avoir un accès précis et rapide aux éléments qu’ils recherchent. Dans ce processus, il devient indispensable d’élaborer des méthodes performantes d’extraction des connaissances à partir de masses informationnelles.
Cette thèse s’attaquera donc à ces véritables verrous technologiques, en proposant des solutions automatiques et semi-automatiques pour la détection et l’identification/interprétation sémantique, à partir de documents vidéos, des divers éléments spatio-temporels d’intérêt pour l’utilisateur. Ces éléments peuvent être à la fois des segments temporels (plans, scènes, parties correspondant à des évènements précis), des images clés présentant un intérêt significatif pour une séquence, des objets de forme arbitraire, statique ou en mouvement. Leur détection robuste, avec des mesures de confiance associées, est un élément clé dans le processus d’indexation et sera étudié en profondeur dans ce travail de thèse.
Pour garantir la cohérence et d’efficacité de la représentation descriptive associée, l’ensemble des éléments identifiés seront intégrées dans une approche de description hiérarchique, multi-grannulaire et synchronisée.
Pour l’ensemble des développements qui seront proposés, une attention particulière sera dédiée aux aspects de complexité de calcul, essentiels pour garantir des processus d’annotation et d’échange de descriptions en temps réel. A notre connaissance, cela reste aujourd’hui un problème ouvert.
Les différents contributions et développements proposés dans cette thèse seront intégrés dans une plate-forme d’indexation collaborative, qui sera élaborée, testée et ouverte pour expérimentation à la communauté scientifique ainsi qu’au grand public via un service en ligne qui sera disponible sur le serveur web du département ARTEMIS.
Doctorant.e: Tapu Ruxandra Georgiana