Description
Date depot: 1 octobre 2020
Titre: réseaux de neurones binaires
Directeur de thèse:
Lionel TROJMAN (LISITE)
Directeur de thèse:
Eric MOULINES (CMAP)
Domaine scientifique: Sciences pour l'ingénieur
Thématique CNRS : Intelligence artificielle
Resumé:
Les réseaux de neurones profonds sont des modèles d'apprentissage machine non-linéaires, avec beaucoup de paramètres qui manipulent des objets de haute dimension et obtiennent des performances de pointe.
Cependant, entraîner un réseau de neurones sur une unité à capacité de calcul réduite est difficile, en raison de problèmes de mémoire, de temps de calcul ou de besoins en énergie. Une approche naturelle pour rendre plus simple cet entraînement est d'utiliser des réseaux binaires, dont les activations et les opérations utilisent des primitives binaires efficaces. Néanmoins, les réseaux binaires sont par nature discrets, tandis qu'un réseau de neurones standard est optimisé via les outils des fonctions presque partout différentiables. De plus, la diminution du codage des bits de représentation a un effet de dégradation considérable sur la précision.
Les travaux existants ont étudié et considéré les réseaux de neurones binaires comme une caractéristique complémentaire d'un réseau de neurones de précision complète. Dans la méthode teacher-student, l'objectif est de transférer les connaissances d'un modèle teacher à un modèle student plus petit. S'il est
formé_a partir de rien, le modèle student est généralement moins performant que celui teacher. Mais sous la supervision du réseau teacher, le réseau binaire peut préserver la capacité d'apprentissage et donc obtenir des performances proches de celles du réseau teacher.
Par conséquent, la méthode de formation nécessite toujours une arithmétique de pleine précision pour la méthode de descente de gradient, et ne peut donc pas résoudre le problème de mémoire de la formation du réseau.
Ainsi, un des objectifs de cette thèse est de déterminer des techniques efficaces pour entraîner directement ces réseaux de neurones, sans exploiter de contre-partie continue pré-entrainée comme il est fait habituellement. Nous proposons plusieurs pistes de recherche, par exemple de formuler le problème d'entrainement comme un problème d'encodage binaire, d'exploiter les logiques variationnelles booléennes ou encore d'étudier la quantité d'information nécessaire pour entraîner un réseau.
Doctorant.e: Leconte Louis Frédéric