Description
Date depot: 1 janvier 1900
Titre: Intégration d'informations spatiales floues dans un filtre particulaire pour le suivi mono- et multi-objets dans des séquences d'images 2D.
Directrice de thèse:
Isabelle BLOCH (LIP6)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
Dans cette thèse, nous nous intéressons au suivi d’objets par filtrage particulaire dans des séquences d’images 2D. En effet, les méthodes séquentielles de Monte-Carlo, ou filtres particulaires, ont connu un succès grandissant depuis la fin des années 1990 dans la communauté du suivi d’objets, de par leur faculté d’adaptation à ce type de problématique, leur efficacité en termes de performances ainsi que leur mise en œuvre souvent directe.
Dans ce contexte, nous étudions l’intégration d’informations floues dans le filtre particulaire, afin de guider le suivi d’objets en ajoutant des informations spatiales, qui peuvent être de type structurel, de forme, ou encore peuvent correspondre à des contraintes spatiales dans le cas multi-objets. Les informations spatiales floues se sont révélées très efficaces dans de nombreux domaines en traitement d’images (segmentation, reconnaissance...), mais n’ont, à notre connaissance, jamais été utilisées dans le cadre méthodologique du filtrage particulaire.
Nous établissons tout d’abord un modèle général pour la manipulation d’informations spatiales floues. Chaque relation spatiale ou caractéristique de forme est considérée comme une variable linguistique, prenant un petit nombre de valeurs. La sémantique de chacune des valeurs est donnée par un ensemble flou sur le domaine de la variable. Ainsi, par exemple, l’orientation d’un objet peut être décomposée selon un nombre fini d’ensembles flous : « nord », « nord-est », « est »... De manière similaire, le concept flou « forme de bouche » peut prendre des valeurs telles que « ouverte », « fermée », etc.
Les informations spatiales floues ainsi définies sont intégrées au filtre particulaire dans la dynamique de l’état inconnu, décrivant l’objet à suivre, du système. Cette approche permet d’ajouter une couche sémantique à la modélisation du problème de suivi. En intégrant dans l’espace d’état une information spatiale floue, cela permet de mieux guider les particules pendant la phase prédictive. Nous exploitons ensuite le fait que cette donnée n’évolue généralement que graduellement au cours du temps : nous favorisons, par exemple, l’orientation nord-est à perdurer dans le temps, tout en acceptant un changement vers un état voisin, comme le « nord » ou l’ « est ». Ce type de modélisation permet, à la différence des méthodes classiques, d’intégrer au filtre particulaire une information synthétisée des k dernières estimations. Cela a l’avantage d’augmenter la robustesse du suivi face au bruit, en utilisant la trajectoire. De plus, pour prédire l’ensemble flou adéquat, nous utilisons également la vraisemblance afin de mieux gérer les changements brusques de la dynamique des objets. Cette approche a été testée avec succès en utilisant différents concepts flous (distance, orientation, taille...), aussi bien dans des cas synthétiques que dans des conditions réelles.
Nous étudions également l’intégration de contraintes spatiales floues dans le filtre particulaire, dans le cas multi-objets. Ce type d’information permet de représenter des contraintes complexes entre deux, trois ou plus, objets, telles que les relations « est à gauche de », « est perpendiculaire à », « est aligné avec ». A cette contribution, nous ajoutons celle d’un nouveau modèle de filtre particulaire pour le suivi multi-objets, qui est une extension plus robuste de l’échantillonnage partitionné proposé par J. MacCormick et A. Blake, et qui possède en plus les avantages de l’échantillonnage partitionné à branchements, proposé par ces mêmes auteurs.
Enfin, nous proposons de définir des vraisemblances à modèles multiples. Cette notion est adaptée lorsque l’objet change d’apparence au cours du temps. C’est par exemple le cas avec le suivi de lèvres, qui possèdent des caractéristiques de couleur ou de forme différentes selon l’état de la bouche (« fermée » ou « ouverte »). En définissant la vraisemblance par une loi de mélange dont les poids dépendent de l’objet (et/ou de l’image), il est ainsi possible de pondérer les vraisemblances en considérant l’état dans lequel se trouve l’objet. Les poids, qui sont en fait des fonctions définies sur l’objet et l’image, peuvent être appris par un classifieur, tel qu’une machine à vecteurs de support (SVM). Ainsi, en utilisant la séparation effectuée par le SVM entre les différents modèles, nous définissons une probabilité d’appartenance, selon une caractéristique choisie, d’un objet à une classe, ce qui définit nos poids.
Toutes ces contributions ont été évaluées sur des séquences réelles, et les résultats montrent l’apport des approches proposées par rapport à d’autres filtres particulaires récents.
Doctorant.e: Widynski Nicolas