Description
Date depot: 1 janvier 1900
Titre: Rendu Factorisé
Directeur de thèse:
Tamy BOUBEKEUR (LTCI (EDMH))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
{{I. Contexte Scientifique}}
Cette thèse de doctorat s’inscrit dans les thèmes de la synthèse d’image et de la visualisation réaliste de modèles virtuels. Au cours des 40 dernières années, les méthodes de simulation physique du transport lumineux ont connu un essor important, tant au niveau fondamental qu’applicatif. A la pure simulation des lois de la physique de la lumière s’est ajoutée une méthodologie de calcul efficace, souvent intrinsèquement parallèle, alimentant aussi bien les applications de simulations au temps long (architecture, effets spéciaux, animation) que les systèmes interactifs (CAO, cartographie virtuelle, jeux vidéo). Des méthodes complémentaires, ont également permis de mettre en œuvre ce type de simulations en s’appuyant sur des modèles de données numérisés (photographie, réflectance, environnement lumineux, géométrie). Aujourd’hui, la synthèse d’images réalistes s’articulent ainsi autour de deux axes complémentaires : le rendu basé-physique et le rendu basé-image (ou données par extension).
Dans un tout autre contexte, la recherche en traitement d’images et en vision par ordinateur a récemment adopté un ensemble de méthodologies, {basés-exemples} cette fois, qui exploitent une base d’information hautement structurée, souvent construite à l’aide de méthodes d’apprentissage automatique, pour revisiter les problèmes classiques du traitement du signal appliqué aux images et aux vidéos, notamment le filtrage adaptatif, la reconstruction et l’indexation.
L‘objectif de cette thèse est d’aborder la synthèse d’image sous cet angle en exploitant l’une des spécificités de ce thème (et plus généralement de l’informatique graphique) : la présence d’un modèle sous-jacent structuré (maillage de surfaces, fonctions de réflectance, modèle explicite du capteur virtuel). On espère ainsi arriver à une forme de “factorisation” de la simulation lumineuse, permettant de ré-exploiter une grande partie du calcul effectué à un point de l’espace et du temps pour un grand nombre d’autres points, ailleurs dans l’images, mais aussi ailleurs dans la scènes (autre image) voir dans une autre scène 3D, sur un autre ordinateur, à un autre moment. La simulation globale sous-jacente à la synthèse d’image serait ainsi substituée, pour une grande part, par un mécanisme d’indexation et composition, à toutes les étapes du rendu.
En termes de positionnement du sujet, la thèse s’effectuera dans l’esprit de l’équipe d’informatique graphique de Telecom ParisTech où géométrie, vision et rendu sont abordés de concert.
{{II. Contenu Scientifique}}
Cette thèse de doctorat commencera par l’établissement d’un état de l’art des méthodes de synthèse d’image réalistes. On confrontera en particulier les représentations intermédiaires utilisées dans la simulation (structure spatiale hiérarchique, multi-tampon de rendu différé, bases de fonctions pour la représentation du signal lumineux, etc.) avec les représentations utilisées dans les méthodes basé-exemple du traitement d’image et de la vision par ordinateur, notamment les descripteurs locaux, les méthodes d’indexation par vocabulaire visuel, les méthode de filtrage non-local et les méthode de réduction de dimensions.
Dans un second temps, on étudiera la mise en œuvre d’un algorithme de synthèse d’image simple s’appuyant sur une collection d’exemples pour “factoriser” la simulation. Cette base devra être peuplée d’éléments spécifiques à la synthèse d’image, tels que les fonctions de visibilité, les réponses de radiance/irradiance, les carte-G (position-normale-albedo), décomposées en entités locales, compactes, indexable et mélangeables. On développera des opérateurs rapides de recherche et fusion de ces entités et on expérimentera cette synthèse factorisée sur un sous-ensemble des phénomènes d’éclairage global, tels que l’occultation ambiante, le transfert couleur et la dispersion sous-surfacique. Une implémentation temps-réel de l’algorithme est attendue, exploitant les accélérateurs graphiques (GPU) de dernière génération et notamment le parallélisme dynamique.
Enfin, dans un troisième temps, on cherchera à généraliser cette approche en donnant une nouvelle définition de l’équation du rendu. Dans ce cadre, les phénomènes optiques liés aux capteurs (flou de mouvement, profondeur de champs, ajustement de la dynamique) pourront être traités. L’ensemble de la phase expérimentale de la thèse sera soutenue par un démonstrateur logiciel intégrant progressivement les avancées et développé en C++/OpenGL4/GLSL.
{{Quelques Références}}
Quantized Point-Based Global Illumination. Bert Buchholz and Tamy Boubekeur. EGSR 2012
Sketch-Based Shape Retrieval .Mathias Eitz, Ronald Richter, Tamy Boubekeur, Kristian Hildebrand and Marc Alexa. SIGGRAPH 2012
Delta Radiance Transfer. Bradford J. Loos, Derek Nowrouzezahrai, Wojciech Jarosz and Peter-Pike Sloan. I3D 2012
ManyLoDs: Parallel Many-View Level-of-Detail Selection for Real-Time Global Illumination
Matthias H
Doctorant.e: Boughida Malik