Description
Date depot: 10 février 2023
Titre: Communication-Computation Tradeoffs from the Perspective of Sensitivity
Directeur de thèse:
David GESBERT (Eurecom)
Directrice de thèse:
Derya MALAK (Eurecom)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé: The past few years have seen a rising need to speed up computationally-intensive tasks, as well as have witnessed an ever-increasing necessity for new parallel processing techniques that efficiently distribute computations across groups of servers. This necessary transition to distributed computing though, has also introduced a variety of challenges that involve
accuracy, computing scalability, and straggler mitigation. Key among these challenges comes in the form of the crippling communication bottleneck of distributed computing, brought about by the astronomical communication costs often required for implementing computing in a distributed manner. In this thesis, this bottleneck is a central motivation.
The focus of this thesis is on the fundamental limits of distributed computing, accounting for the communication-computation tradeoffs. More specifically, this thesis will focus on developing distributed coding techniques that can exploit the compressibility limits of computation tasks (abstracted by functions) over communication networks, via accounting for the practical concerns including the sensitivity of functions, scalability of computation, and the accuracy of the computation. To tackle the emerging challenges in the next generation of computing systems, this thesis will also concentrate on devising techniques and algorithms for task-oriented communication and learning. Our objective is to provide task-based representations tailored to the specifics of the computations.
Résumé dans une autre langue: Ces dernières années ont vu un besoin croissant d'accélérer les tâches à forte intensité de calcul, ainsi qu'un besoin toujours croissant de nouvelles techniques de traitement parallèle qui répartissent efficacement les calculs entre des groupes de serveurs. Cependant, cette transition nécessaire vers l'informatique distribuée a également introduit une variété de défis qui impliquent précision, évolutivité informatique et atténuation des retardataires. Le principal de ces défis est le goulot d'étranglement paralysant des communications de l'informatique distribuée, provoqué par les coûts de communication astronomiques souvent nécessaires pour mettre en œuvre l'informatique de manière distribuée. Dans cette thèse, ce goulot d'étranglement est une motivation centrale.
Cette thèse se concentre sur les limites fondamentales de l'informatique distribuée, en tenant compte des compromis communication-informatique. Plus précisément, cette thèse se concentrera sur le développement de techniques de codage distribué qui peuvent exploiter les limites de compressibilité des tâches de calcul (abstraites par des fonctions) sur les réseaux de communication, en tenant compte des préoccupations pratiques telles que la sensibilité des fonctions, l'évolutivité du calcul et la précision du calcul. Pour relever les défis émergents dans la prochaine génération de systèmes informatiques, cette thèse se concentrera également sur la conception de techniques et d'algorithmes pour la communication et l'apprentissage axés sur les tâches. Notre objectif est de fournir des représentations basées sur les tâches adaptées aux spécificités des calculs.
Doctorant.e: Tanha Ahmad