Document Actions
Sujet 2 Master Recherche Informatique 2008 (grilles creuses en apprentissage par renforcement)
Titre :
les grilles creuses en apprentissage par renforcement
Encadrant : Ph .Preux
Description
L'apprentissage par renforcement requiert de représenter une politique. Pour cela, un certain nombre d'approximateurs de fonctions ont été investigués dans le passé sans qu'une réponse définitive quant au choix à effectuer soit disponible aujourd'hui.Le thème du mémoire proposé ici est d'étudier les grilles creuses (sparse grids), dans le cadre de l'apprentissage par renforcement. On s'intéressera en particulier aux algorithmes acteur-critique.
Le stage sera donc constitué des étapes essentielles suivantes :
- étudier les grilles creuses
- comparer ces méthodes avec d'autres approches (en particulier, les maillages et l'algorithme MARS de Friedman)
- étudier leur mise en œuvre dans le cadre de la recherche directe de politique et l'approximation de fonction valeur, dans un contexte hors-ligne et dans un contexte en-ligne.
- réaliser une implantation efficace des grilles creuses
- en réaliser une étude expérimentale
Qualités requises :
- trouver ce sujet passionnant et avoir envie d'y travailler jour et nuit
- aptitude à implanter efficacement et proprement des algorithmes en C, en utilisant la panoplie d'outils d'aide au développement disponible sous Linux (make, autotools, ...)
- maîtriser les concepts et les algorithmes vus en cours d'apprentissage par renforcement (à ce propos, la mise en œuvre intégrale proposée en complément du cours est absolument indispensable)
Poursuite en thèse
La poursuite en thèse dans l'équipe en apprentissage par renforcement est possible.