Apprentissage par renforcement - Institut des Systèmes Intelligents ...

22 Processus décisionnels de Markov en IA 1
DÉFINITION 1.3.– Trace d’éligibilité avec réinitialisation
z 0 (s) = { 0, ∀s ∈ S,
γλzn−1 (s) si s ≠ s
z n (s) =
n ,
1 si s = s n .
La valeur de la trace est donc saturée à 1, comme le montre la figure 1.3.
z(s)
1
dates des visites de l’état s
n
n
Figure 1.3. Trace d’éligibilité avec réinitialisation : on remet la valeur à 1 à chaque visite
La convergence presque sûre de l’algorithme TD(λ) a été montrée pour toute valeur
de λ, en on-line ou off-line, sous les hypothèses classiques de visite en nombre
infini de chaque état s ∈ S, et décroissance des α vers 0 à chaque itération n, telle que
∑
n α n(s) = ∞ et ∑ n α2 n(s) < ∞ [JAA 94, BER 96].
Il est à noter que l’effet du λ est encore mal compris et sa détermination optimale
pour un problème donné reste très empirique.
Une implémentation directe de TD(λ) basée sur la trace d’éligibilité n’est bien
sûr pas efficace dès que la taille de l’espace d’état S devient trop grande. Une première
solution approchée [SUT 98] consiste à forcer à 0 la valeur de toutes les traces
z n (s) < ε, et donc à ne maintenir que les traces des états récemment visités (plus
précisément, on cesse de maintenir un état dont la dernière visite remonte à plus de
log(ε)
log(γλ) transitions).
Une autre méthode approchée [CIC 95] connue sous le nom de truncated temporal
differences, ou TTD(λ), revient à gérer un horizon glissant de taille m mémorisant les
derniers états visités et à mettre à jour sur cette base à chaque itération n la valeur de
l’état visité à l’itération (n − m).