Apprentissage par renforcement - Institut des Systèmes Intelligents ...

10 Processus décisionnels de Markov en IA 1
Pour calculer V k+1 (s), il suffit donc de stocker V k (s) et k. Plutôt que de stocker le
nombre k d’expériences réalisées, on utilise généralement une formule d’estimation
encore plus générique :
qui, pour α bien choisi, vérifie :
∀s ∈ S, V k+1 (s) = V k (s) + α[R k+1 (s) − V k (s)] (1.3)
lim
k→∞ V k(s) = V π (s) (1.4)
Nous retrouverons cette méthode d’estimation incrémentale dans les méthodes de
différence temporelle.
1.3.2. Les méthodes de Monte-Carlo
Pour résoudre un problème de planification en utilisant la programmation dynamique
dans le cas où l’on ne connaît pas a priori les fonctions de transition p() et de
récompense r(), l’approche indirecte de type maximum de vraisemblance qui consiste
à estimer les paramètres p() et r() puis à calculer V en résolvant l’équation V = L π V
(avec ici γ = 1) est généralement trop coûteuse, en temps et en espace.
On lui préfère classiquement l’approche dite de Monte-Carlo, qui revient à simuler
un grand nombre de trajectoires issues de chaque état s de S, et à estimer V (s) en
moyennant les coûts observés sur chacune de ces trajectoires. À chaque expérience
réalisée, l’agent mémorise les transitions qu’il a effectuées et les récompenses qu’il a
reçues. Il met alors à jour une estimation de la valeur des états parcourus en associant à
chacun d’eux la part de la récompense reçue qui lui revient. Au fil de ces expériences,
la valeur estimée associée à chaque état converge alors vers la valeur exacte de l’état
pour la politique qu’il suit.
L’apport principal des méthodes de Monte-Carlo réside donc dans la technique qui
permet d’estimer la valeur d’un état sur la base de la réception de plusieurs valeurs
successives de récompense cumulée associées à cet état lors de trajectoires distinctes.
On s’appuie alors sur la méthode d’estimation présentée au paragraphe 1.3.1.
Soit ainsi (s 0 , s 1 , . . . , s N ) une trajectoire générée en suivant la probabilité de transition
inconnue p(), et (r 0 , r 1 , . . . , r N−1 ) les récompenses observées au cours de cette
trajectoire (s N est l’état terminal T de récompense nulle).
Le principe de la méthode de Monte-Carlo est de mettre à jour les N valeurs
V (s k ), k = 0, . . . , N − 1, selon :
V (s k ) ← V (s k ) + α(s k )(r k + r k+1 + · · · + r N−1 − V (s k )) (1.5)