Description
Date depot: 18 février 2020
Titre: Évaluation des propriétés de compression et de robustesse des réseaux de neurones différentiels.
Directeur de thèse:
Christophe CAMBIER (UMMISCO)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Intelligence artificielle
Resumé:
Les réseaux de neurones utilisés en apprentissage automatique restent considérés comme des
boîtes noires opaques, dont les prédictions sont difficiles à interpréter malgré leur qualité
d’approximateurs universels (Cybenkot. 1989). Depuis 2012, la complexité des architectures s’est
accrue de manière spectaculaire. Pour illustrer ce point, prenons l’exemple de la profondeur des
réseaux de neurones (nombre de couches cachées). Récemment l’état de l’art en apprentissage
profond a connu des avancées notables avec l’introduction des réseaux résiduels qui permettent
d’ajouter plus d’un millier de couches cachées tout en améliorant la stabilité de ces systèmes (He
et al. 2015). En interprétant les réseaux de neurones comme des systèmes complexes, on se rend
compte que ces derniers sont loin d’être bien compris, en effet, les relations entre les différents
éléments les constituants ont une énorme influence sur les résultats du processus
d’apprentissage. En plus de la profondeur des réseaux, il faut tenir compte du nombre de
paramètres dans chaque couche, de la méthode d’optimisation, des fonctions d’activation nonlinéaire
appropriées à chaque couche, et de l’architecture (réseaux à convolution, réseaux
récurrents, réseaux adverses, etc.). Chaque élément ajoutant une dimension supplémentaire de
complexité. Sans compter les données multi modales que l’on cherche à modéliser. Pour ce faire
l’apprentissage profond est une science intrinsèquement multidisciplinaire tirant ses racines dans
le calcul scientifique, l’informatique, les probabilités, les statistiques, la biologie (neurologie) et
l’optimisation (Goodfellow et al. 2016). C’est dans ce cadre pluridisciplinaire que s’insère ce projet
de recherche à l’Unité Mixte International (UMMISCO).
Doctorant.e: Sarr Jean-Michel