Apprentissage par renforcement - Institut des Systèmes Intelligents ...

4 Processus décisionnels de Markov en IA 1
présentés au chapitre précédent. En effet, le problème de définir et de calculer des
politiques optimales a été formalisé dans le cadre des MDP depuis la fin des années
50, et l’apprentissage par renforcement peut être perçu comme une simple extension
des algorithmes classiques de programmation dynamique au cas où la dynamique du
processus à contrôler n’est pas connue a priori.
1.2.2. Méthodes directes et indirectes
Les méthodes d’apprentissage par renforcement sont dites indirectes ou directes
selon que l’on maintient ou non un modèle explicite des fonctions de transition et de
récompense du MDP que l’on cherche à contrôler. A ce titre, les méthodes de programmation
dynamique vues au chapitre précédent peuvent être considérées comme
des cas limites de méthodes indirectes, où le modèle maintenu est le modèle exact par
hypothèse.
Lorsque le modèle de la dynamique n’est pas connu initialement, les méthodes
indirectes doivent donc identifier en ligne ce modèle. Dans les cas discrets que nous
considérons, cette identification se fait simplement par maximum de vraisemblance.
D’autre part, il s’agit de rechercher sur la base du modèle courant une fonction de
valeur ou une politique optimale. Il est alors possible d’exploiter les algorithmes classiques
de programmation dynamique.
Les méthodes directes ne passent pas par l’identification d’un modèle de la dynamique
du système : les paramètres cachés p(s ′ |s, a) et r(s, a) ne sont pas estimés
et seule la fonction de valeur est mise à jour itérativement au cours du temps. Le
principal avantage est ici en termes de place mémoire nécessaire et, historiquement,
l’apprentissage par renforcement revendiquait d’être une méthode directe. Ainsi, les
algorithmes les plus classiques de l’apprentissage par renforcement que nous présentons
ci-dessous partagent tous, chacun à sa manière, le même principe général qui est
d’approximer à partir d’expériences une fonction de valeur optimale V sans nécessiter
la connaissance a priori d’un modèle du processus, et sans chercher à estimer ce
modèle à travers les expériences accumulées. Plutôt qu’une fonction V qui associe
une valeur à chaque état, nous verrons que l’on peut aussi chercher à approximer une
fonction Q qui associe une valeur à chaque action réalisée dans chaque état.
1.2.3. Apprentissage temporel, non supervisé et par essais et erreurs
Quelques caractéristiques permettent de distinguer l’apprentissage par renforcement
des autres formes d’apprentissage.
En informatique, on distingue d’une part l’apprentissage dit « supervisé », dans
lequel un « instructeur » indique à l’apprenant quelle réponse il aurait dû fournir dans