Fiche de DANCETTE Corentin

Titre : Shortcut Learning in Visual Question Answering
Date : 31 mars 2023
Heure: 15:00
Résumé : Nous étudions l'apprentissage de biais ou raccourcis de raisonnement dans la tâche de Visual Question Answering. Dans cette tâche, l'objectif est de répondre à une question posée à propos d'une image, telle que "Quelle est la couleur du ciel?". Les modèles d'apprentissage profond entrainés pour résoudre cette tâche sont toutefois sujets à l'apprentissage de biais, ou de raccourcis superficiels, qui proviennent des données. Par exemple, un modèle répondra "bleu" à la question précédente sans prêter attention à l'image si la majorité des données d'entrainement contiennent cette réponse. Lors d'une utilisation dans le monde réel, ce comportement provoquera de nombreuses réponses erronées. Dans cette thèse, nous proposons plusieurs stratégies pour réduire l'apprentissage de ces raccourcis superficiels, ainsi qu'une méthode de détection de ces biais afin d'évaluer modèles de manière plus approfondie.
Lieu : Sorbonne Université