Description
Date depot: 1 janvier 1900
Titre: Méthodes par patchs et restauration multi-images
Directeur de thèse:
Yann GOUSSEAU (LTCI (EDMH))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Projet
Les appareils imageurs se sont considérablement développés ces dernières années, en particulier dans le
domaine de la photographie numérique. Une tendance récurrente de ce développement est la miniaturisation
des appareils, et donc des capteurs photoniques. Or cette miniaturisation a un fort impact sur les capacités des
capteurs, en terme de rapport signal/bruit, de plage dynamique ou de résolution. En effet, la quantité de
lumière reçue diminue avec la taille des capteurs et des optiques, conduisant à des situations extrêmes, en
basse lumière, où seuls quelques dizaines de photons sont capturés. D?autre part, des capteurs plus petits
saturent plus facilement, ce qui conduit à une forte réduction de la plage dynamique disponible. L?approche
classique pour pallier ces limitations consiste à appliquer à l?image dégradée des algorithmes de restauration.
Ceci conduit à des artefacts, du flou et une perte de détails. Une alternative pour contourner les limitations des
capteurs consiste à prendre une série d?images, puis à les combiner de manière à diminuer le bruit, augmenter
la gamme dynamique ou la résolution, voire à retrouver des données manquantes. On parle alors de méthodes
de restauration multi-images. L?idée principale commune à ces méthodes est que la redondance de
l?information entre les images permet d?augmenter la fiabilité dans les données mais également de retrouver
des informations qui ne peuvent être acquises simultanément. Ces méthodes soulèvent principalement deux
difficultés : ? La gestion des mouvements (de l?appareil imageur et des éléments de la scène) et des
changements de conditions d?acquisition (sensibilité, flou, illumination, etc.) ? La gestion des données
aberrantes (outliers) dans les séries d?images (reflets, occultations, zones saturées, etc.) Le développement de
cadres génériques permettant d?aborder ces problèmes est un enjeu majeur. Comme développé au paragraphe
suivant, nous pensons qu?un cadre particulièrement adapté est celui des méthodes dites par patchs, qui ont
véritablement révolutionné le domaine de la restauration (et également de l?analyse) d?images ces dernières
années. Comme nous allons le voir, ce cadre permet d?aborder le problème de la fusion d?information en
prenant en compte les deux défis ci-dessus.
Enjeux
Inspirés par des travaux précurseurs dans le domaine de la synthèse de texture [6], Buades et al. [3] ont
proposé l?approche non-locale du débruitage d?images en 2005. Le principe de base de cette approche est
qu?un pixel est efficacement débruité lorsqu?il est remplacé par une agrégation de pixels de l?image ayant un
voisinage semblable au sien. Cette idée simple a totalement renouvelé le paysage de la restauration d?images
et donné lieu à de très nombreux travaux. Les voisinages utilisés pour comparer les pixels sont principalement
des fenêtres carrées, communément appelées des patchs. Parallèlement, plusieurs méthodes ont proposé de
poser le problème de la restauration des images comme un problème d?estimation des patchs dans un
dictionnaire. Ce dictionnaire peut être obtenu par des méthodes parcimonieuses [7] ou être fixé a priori [14,
5]. Très récemment, plusieurs contributions ont montré que le recours à des mélanges de gaussiennes pour
modéliser les patchs conduisait à des résultats état de l?art en débruitage [10] ou plus généralement pour la
résolution de problèmes inverses [15]. Bien que s?étant imposées pour de nombreuses modalités de
restauration (débruitage, déconvolution, inpainting, etc.), les méthodes par patchs ont été relativement peu
appliquées aux problèmes de restauration multi-images. Les méthodes non-locales ont été adaptées au cas du
débruitage multi-images, avec en particulier une application très efficace à la capture d?images de tableaux en
environnement non contrôlé [9]. Dans le domaine de l?HDR, quelques approches ont été proposées pour
exploiter la redondance des patchs dans un contexte de prises de vue multiples [12, 1]. Nous nous proposons
de montrer que les approches par patchs sont les approches à privilégier pour la restauration multi-images.
Ceci nécessite de traiter un certain nombre de problèmes génériques, essentiellement liés à la comparaison des
patchs, que nous détaillons ci-après. Le problème de la comparaison des patchs n?est pas nouveau en soi, et
est un problème central en stéréovision et en estimation de mouvement, entre autres. Il s?agit néanmoins d?une problématique particulièrement active actuellement, qui est renouvelée par le cadre de la restauration
multi-images.
Comparaison de patchs et invariances géométriques L?agrégation des informations entre différentes vues à
partir de la similitude de patchs (et non en fonction de la simple position spatiale) permet naturellement de
prendre en compte à la fois le mouvement de l?appareil photo et les mouvements des objets de la scène [1].
Elle constitue donc une alternative potentiellement bien plus efficace que l?approche classique :
Doctorant.e: Riot Paul