Apprentissage par renforcement - Institut des Systèmes Intelligents ...

20 Processus décisionnels de Markov en IA 1
On a alors :
m=N−1
∑
zk λ = V (s k ) + λ m−k δ m
m=k
m=N−1
∑
= V (s k ) + δ k + λ λ m−k−1 δ m
m=k+1
= V (s k ) + δ k + λ(z λ k+1 − V (s k+1 ))
= V (s k ) + r k + V (s k+1 ) − V (s k ) + λ(z λ k+1 − V (s k+1 ))
= r k + (λz λ k+1 + (1 − λ)V (s k+1 )).
Dans le cas où λ = 0, il est clair que cela revient à ne considérer qu’un horizon
unitaire, comme dans le cadre de la programmation dynamique. On retrouve donc
TD(0).
Si λ = 1, l’équation (1.14) se réécrit :
m=N−1
∑
V (s k ) ← V (s k ) + α(s k ) δ m , k = 0, . . . , N − 1,
m=k
ce qui est exactement l’équation (1.5) de la méthode de Monte-Carlo.
Pour tout λ, les deux approches de type first-visit ou every-visit peuvent être considérées.
De même, une version on-line de l’algorithme d’apprentissage TD(λ) décrit
par l’équation (1.14) est possible :
V (s l ) ← V (s l ) + α(s l )λ k−l δ k , l = 0, . . . , k (1.15)
dès que la transition (s k , s k+1 , r k ) est simulée et l’erreur δ k calculée.
L’application du TD(λ) pour l’évaluation d’une politique π selon le critère γ-
pondéré entraîne certaines modifications des algorithmes standards (1.14) ou (1.15),
qu’il est nécessaire de citer ici.
Un calcul en tout point semblable au cas γ = 1 conduit à une règle du type :
m=∞
∑
V (s k ) ← V (s k ) + α(s k ) (γλ) m−k δ m . (1.16)
m=k