Fiche de DUPONT Robin

Titre : Deep Neural Network Compression for Visual Recognition
Date : 6 décembre 2023
Heure: 10:00
Résumé : La miniaturisation des dispositifs électroniques a permis la démocratisation des objets connectés intelligents. Ceux-ci sont utilisés pour des tâches de plus en plus complexes nécessitant des algorithmes élaborés. Les réseaux de neurones sont puissants mais souvent trop volumineux pour ces appareils. Nous proposons deux méthodes de compression centrées sur l'élagage pour réduire la taille de ces réseaux. La première prend en compte un budget cible en utilisant la reparamétrisation des poids et une fonction de perte budgétaire. Cela permet l'élimination du fine-tuning et une optimisation conjointe de la topologie et des poids. La seconde méthode extrait des sous-réseaux efficaces depuis un grand réseau sans entraînement des poids. Elle utilise une technique d'échantillonnage différentiable et un mécanisme de recalibrage des poids pour améliorer les performances et accélérer l'entraînement. Ces méthodes surpassent les techniques existantes, permettant des réseaux légers et efficients.
Lieu : Sorbonne Université (probablement la salle 105 du couloir 25-26)