Description
Date depot: 1 janvier 1900
Titre: Apprentissage par renforcement hiérarchique et factorisé : algorithmes et données neurophysiologiques
Directeur de thèse:
Olivier SIGAUD (ISIR (EDITE))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
La faculté à apprendre par essais et erreurs est au coeur des capacités adaptatives de nombreux êtres vivants. Cette faculté étudiée dans un premier temps par les psychologues du comportement a fait l'objet de nombreux travaux de modélisation formelle dans le cadre de l'apprentissage par renforcement [Sutton&Barto 1998], avant d'engendrer des recherches très actives en neurosciences.
Ces dernières années, des travaux formels ont permis d'étendre le cadre de l'apprentissage par renforcement au traitement de problèmes de grande taille en combinant une approche hiérarchique, basée sur la décomposition de problèmes en sous-problèmes organisés en niveaux [Jonsson&Barto 2006], et une approche factorisée [Degris 2007], qui permet de ne retenir pour décrire un niveau que les informations qui sont pertinentes à ce niveau [Kozlova 2010]. Parallèlement, des travaux récents en neurosciences computationnelles abordent des questions relatives à l'implémentation neuronale des mécanismes permettant la sélection hiérarchique de comportements appris par renforcement [Collins 2010, Khamassi et al. 2011].
Le projet de thèse se situe au carrefour entre ces deux domaines en plein essor. Le doctorant devra développer de nouveaux algorithmes pour la résolution de problèmes d'apprentissage par renforcement hiérachique et factorisé qui soient compatibles avec l'état des connaissances les plus récentes sur l'implémentation neuronale de ces mécanismes [Jin&Costa 2010, Khamassi et al. in revision].
En particulier, il s'agira de voir si les algorithmes developpés permet de rendre compte de la dynamique d'apprentissage et des activités neurales du cortex préfrontal mieux que les algorithmes classiques d'apprentissage par renforcement.
Doctorant.e: Lesaint Florian