Description
Date depot: 1 janvier 1900
Titre: L'approche par transférabilité : une réponse aux problèmes de passage à la réalité, de généralisation et d'adaptation
Directeur de thèse:
Stéphane DONCIEUX (ISIR (EDITE))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini
Resumé:
De nombreux domaines de recherche contribuent au développement de méthodes automatiques de conception de contrôleurs robotiques, en particulier la robotique évolutionniste. Via de telles méthodes automatiques, le processus d'optimisation peut directement exploiter les spécificités du robot et trouver des comportements simples et originaux qui résolvent la tâche considérée, le tout sans être totalement soumis aux a priori du concepteur.
La question de la localisation de l'étape d'évaluation est encore ouverte : doit-on évaluer les contrôleurs sur le robot ou dans un simulateur ? Dans les deux cas, plusieurs travaux rapportent des résultats probants. Il nous semble néanmoins qu'optimiser directement sur le robot présente de sévères limitations, notamment car une méthode d'optimisation peut nécessiter un grand nombre d'évaluations qui, si elles sont systématiquement menées sur le robot, rend le processus très lent. En optimisant en simulation, les évaluations peuvent {a contrario} être rapides, voire accélérables et parallélisables. Néanmoins, les modèles de simulation utilisés n'étant jamais parfaits, le comportement des meilleures solutions en simulation peut mal se transférer en réalité et correspondre à des comportements peu efficaces sur le robot : il s'agit du problème de passage de la simulation à la réalité ou {reality gap}. Afin d'obtenir une méthode d'optimisation viable en simulation, il est donc nécessaire de prendre en compte un tel problème.
Ce travail de thèse vise à répondre à la question générale suivante : comment optimiser des solutions dans un environnement d'évaluation simplifié (i.e. une simulation) qui soient performantes dans l'environnement d'évaluation complet ciblé ? Cette question ne concerne pas seulement le problème du passage de la simulation à la réalité, mais peut se poser pour tout processus d'optimisation où des solutions sont évaluées sur un système simplifié pour un système complet donné. En plus du problème du passage à la réalité, nous l'étudierons notamment dans le cadre de travaux sur les capacités de généralisation de contrôleurs et sur l'adaptation d'un robot à son environnement à partir de son modèle de soi.
Pour répondre à cette question, nous proposons l'approche par transférabilité qui vise à optimiser essentiellement les solutions dans l'environnement simplifié, tout en cherchant à déterminer quels comportements vont bien se transférer dans l'environnement complet. Pour ce faire, cette approche introduit le concept de fonction de transférabilité qui mesure pour toute solution sa capacité ou non à se transférer. Afin de limiter le nombre d'évaluations effectuées dans l'environnement complet pendant l'optimisation, cette fonction de transférabilité est approchée au cours de l'optimisation via la construction d'un modèle de substitution ({it surrogate model}) à partir de données pertinentes générées en transférant quelques solutions dans l'environnement complet. Les solutions sont alors optimisées par un algorithme évolutionniste multi-objectif en fonction d'un ou plusieurs objectifs de performance dans l'environnement simplifié et du modèle de substitution de la fonction de transférabilité.
Après avoir présenté les intérêts d'utiliser des algorithmes évolutionnistes dans ce cadre d'optimisation boîte noire automatique sur des problèmes souvent multi-objectifs, nous insisterons sur les avantages que peuvent apporter l'intégration de modèles de substitution, notamment en terme de réduction du coût en temps expérimental. L'approche par transférabilité est ensuite présentée et validée dans le cadre de trois problèmes tirés de la robotique évolutionniste sur différents dispositifs expérimentaux robotiques : (1) le passage de la simulation à la réalité, (2) l'optimisation de contrôleurs dotés de capacités de généralisation, (3) l'adaptation d'un robot à son environnement à l'aide d'un modèle de soi. Les résultats obtenus indiquent que l'approche par transférabilité permet de concevoir des méthodes d'optimisation simples et rapide, adaptables à d'autres problèmes en-dehors du domaine robotique.
Doctorant.e: Koos Sylvain