Description
Date depot: 6 avril 2021
Titre: Recherche multimodale de cas pathologiques similaires dans des bases d’images radiologiques
Directrice de thèse:
Florence CLOPPET (LIPADE)
Directeur de thèse:
Camille KURTZ (LIPADE)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé: Le sujet de doctorat proposé fait suite à plusieurs travaux préliminaires concernant respectivement le développement logiciel en Java de la plate-forme iCBMIR destinée à la recherche automatique d'images radiologiques, à l’intégration au sein de cette plate-forme de premiers mécanismes de retour de pertinence et, à leurs applications à des bases d’images radiographiques des tumeurs osseuses [KUR2015]. Ces premiers travaux ont été suivis d’une adaptation des algorithmes de recherche d’images similaires à la recherche de cas similaires dans le cadre d’images d’IRM multi-paramétriques. Encouragés par ces résultats prometteurs, les objectifs de ce doctorat portent sur l’étude de la fusion d’informations extraites des images des différentes séquences IRM ou de modalités d’acquisition différentes, mais aussi d’informations textuelles provenant de compte-rendus radiologiques par exemple. En effet il est important d’étudier les modalités de fusion, les poids affectés à chaque source d’information (descripteurs ou termes sémantiques extraits des images multi-paramétriques ou multimodales, termes sémantiques extrait de rapports). Ces poids peuvent être modulés en fonction de la connaissance extraite après des experts, mais il est également important d’étudier les possibilités d’apprendre ces différents poids, notamment à l’aide de méthodes d’apprentissage supervisées, et notamment des méthodes d’apprentissage profond qui s’avèrent très performantes dans de nombreuses tâches de reconnaissance aussi bien dans le domaine de l’image que dans le domaine textuel.Cependant elles laissent encore actuellement un nombre de questions scientifiques ouvertes concernant l’obtention d’un nombre suffisant d’images étiquetées permettant un bon apprentissage, la possibilité d’appendre des représentations visuelles et textuelles [ZHE2020] et enfin la difficulté à donner une explication argumentée sur le résultat de obtenu. Ces problématiques de data augmentation, de transfer et self-supervised learning à partir de bases d’images non spécifiques [KRI2012], [RUS2015], et d’interprétabilité [RIB2016] du résultat seront au cœur du travail de recherche développé, de manière à obtenir un système interprétable et le plus générique possible dans le cadre de l’imagerie médicale, qui soit utilisable même en présence de cas pathologiques rares.Ces mécanismes d’apprentissage des poids pourront également être introduits dans le développement de nouvelles approches de retour de pertinence basées sur un « effet mémoire » pour déterminer automatiquement les poids affectés aux différentes séquences IRM (ou différentes modalités d’imagerie) lors de la recherche de cas similaires.