Description
Date depot: 18 juillet 2023
Titre: Accélérations systématiques et portables avec informatique parallèle pour une exécution efficace de l’apprentissage distribué
Directeur de thèse:
Maurizio FILIPPONE (Eurecom)
Encadrant :
Raja APPUSWAMY (Eurecom)
Directeur de thèse:
Chong LI (HUAWEI France)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé: Ce projet de thèse vise en général à contribuer à la création de nouveaux algorithmes, méthodologies et outils logiciels pour accélérer systématiquement l'apprentissage distribué. Plus spécifiquement, il vise à développer des méthodologies avec une approche de modèle passerelle pour détecter les goulots d'étranglement de performance, et de concevoir des algorithmes et des techniques parallèles inspirés des SGBD/HPC pour accélérer le calcul de RN distribués, afin d'améliorer l'efficacité du développement de gigantesques modèles RN sur des clusters massivement parallèles.
Résumé dans une autre langue: This thesis project aims in general to contribute to the creation of new algorithms, methodologies and software tools for systematically accelerating distributed learning. More specifically, it aims to develop methodologies with bridging-model approach to detect performance bottlenecks, and design algorithms and parallel techniques inspired by DBMS/HPC to accelerate distributed neural network computing, in order to enhance the efficiency of development of gigantic NN models on massively-parallel clusters.
Doctorant.e: Wang Ruiwen