Projet de recherche doctoral numero :6849

Description

Date depot: 18 février 2020
Titre: Évaluation des propriétés de compression et de robustesse des réseaux de neurones différentiels.
Directeur de thèse: Christophe CAMBIER (UMMISCO)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini

Resumé: Les réseaux de neurones utilisés en apprentissage automatique restent considérés comme des boîtes noires opaques, dont les prédictions sont difficiles à interpréter malgré leur qualité d’approximateurs universels (Cybenkot. 1989). Depuis 2012, la complexité des architectures s’est accrue de manière spectaculaire. Pour illustrer ce point, prenons l’exemple de la profondeur des réseaux de neurones (nombre de couches cachées). Récemment l’état de l’art en apprentissage profond a connu des avancées notables avec l’introduction des réseaux résiduels qui permettent d’ajouter plus d’un millier de couches cachées tout en améliorant la stabilité de ces systèmes (He et al. 2015). En interprétant les réseaux de neurones comme des systèmes complexes, on se rend compte que ces derniers sont loin d’être bien compris, en effet, les relations entre les différents éléments les constituants ont une énorme influence sur les résultats du processus d’apprentissage. En plus de la profondeur des réseaux, il faut tenir compte du nombre de paramètres dans chaque couche, de la méthode d’optimisation, des fonctions d’activation nonlinéaire appropriées à chaque couche, et de l’architecture (réseaux à convolution, réseaux récurrents, réseaux adverses, etc.). Chaque élément ajoutant une dimension supplémentaire de complexité. Sans compter les données multi modales que l’on cherche à modéliser. Pour ce faire l’apprentissage profond est une science intrinsèquement multidisciplinaire tirant ses racines dans le calcul scientifique, l’informatique, les probabilités, les statistiques, la biologie (neurologie) et l’optimisation (Goodfellow et al. 2016). C’est dans ce cadre pluridisciplinaire que s’insère ce projet de recherche à l’Unité Mixte International (UMMISCO).



Doctorant.e: Sarr Jean-Michel