Apprentissage par renforcement - Institut des Systèmes Intelligents ...

26 Processus décisionnels de Markov en IA 1
On a donc là encore U π (x) = R π (x, π(x)) et l’équation de Bellman vérifiée par ρ ∗
et R ∗ devient :
∀s ∈ S, a ∈ A R ∗ (s, a) = r(s, a) − ρ ∗ + ∑ p(s ′ |s, a) max R ∗ (s ′ , b) (1.18)
b
s ′
avec l’assurance que la politique π R ∗(s) = argmax a R ∗ (s, a) a pour gain moyen le
gain optimal ρ ∗ .
Comme pour Q-learning, l’algorithme R-learning est une version stochastique de
la méthode d’itération sur les valeurs pour l’équation (1.18).
Algorithme 1.4 : Le R-learning
/* α n et β n sont des taux d'apprentissage */
Initialiser(R 0 ,ρ 0 )
pour n ← 0 jusqu’à N tot − 1 faire
s n ← ChoixEtat
a n ← ChoixAction
(s ′ n, r n ) ← Simuler(s n , a n )
{ mise à jour de R n et ρ n :}
début
R n+1 ← R n
δ n ← r n − ρ n + max b R n (s ′ n, b) − R n (s n , a n )
R n+1 (s n {, a n ) ← R n (s n , a n ) + α n (s n , a n )δ n
ρn si a
ρ n+1 ←
n ≠ π Rn (s n )
ρ n + β n δ n si a n = π Rn (s n )
fin
retourner R Ntot , ρ Ntot
Bien qu’il n’existe pas de preuve formelle de convergence du R-learning vers une
politique gain-optimale, de nombreuses expérimentations montrent que ρ n approche
efficacement ρ ∗ , avec des taux d’apprentissage α n (s, a) et β n tendant vers 0 selon les
mêmes conditions que pour le Q-learning et pour le même type de compromis entre
exploration et exploitation.
Bien que le R-learning soit moins connu et moins utilisé que le Q-learning, il
semble qu’il présente des propriétés de vitesse de convergence plus intéressantes en
pratique [MAH 96b]. Si peu de résultats théoriques existent à ce sujet, citons toutefois
[GAR 98] où l’on montre qu’en horizon fini, le R-learning est très proche d’une
version parallèle optimisée du Q-learning, expliquant ainsi ses meilleurs résultats expérimentaux.