Apprentissage par renforcement - Institut des Systèmes Intelligents ...

14 Processus décisionnels de Markov en IA 1
à son état courant s t , l’état successeur s t+1 et la récompense r t reçue suite à cette
transition. Une preuve de convergence de l’algorithme a été proposée par Dayan et
Sejnowski [DAY 94].
En revanche, il faut noter que, comme TD(0) estime la fonction de valeur de chacun
des états d’un problème, faute d’un modèle des transitions entre les états, l’agent
est incapable d’en déduire quelle politique suivre, car il ne peut réaliser un pas de regard
en avant pour déterminer quelle est l’action qui lui permettra de rejoindre l’état
suivant de plus grande valeur. Ce point explique que l’on préfère avoir recours aux
algorithmes qui travaillent sur une fonction de valeur associée aux couples état-action
plutôt qu’à l’état seul. Ce sont ces algorithmes que nous allons présenter dans ce qui
suit. Nous verrons ensuite l’approche alternative proposée par les architectures acteurcritique,
consistant à travailler directement sur une politique que l’on cherche à améliorer
itérativement au fil de l’expérience.
1.4.2. L’algorithme Sarsa
Comme nous venons de l’expliquer, la forme de l’équation de Bellman V = LV
n’est pas satisfaisante pour en dériver directement un algorithme adaptatif de résolution.
Pour cela, Watkins [WAT 89] a introduit la fonction de valeur Q, dont la donnée
est équivalente à celle de V lorsque l’on connaît la fonction de transition p.
DÉFINITION 1.1.– Fonction de valeur Q
A une politique π fixée de fonction de valeur V π , on associe la nouvelle fonction :
∀s ∈ S, a ∈ A Q π (s, a) = r(s, a) + γ ∑ s ′ p(s ′ |s, a)V π (s ′ ).
L’interprétation de la valeur Q π (s, a) est la suivante : c’est la valeur espérée du
critère pour le processus partant de s, exécutant l’action a, puis suivant la politique π
par la suite. Il est clair que V π (x) = Q π (x, π(x)), et l’équation de Bellman vérifiée
par la fonction Q ∗ devient :
∀s ∈ S, a ∈ A Q ∗ (s, a) = r(s, a) + γ ∑ p(s ′ |s, a) max Q ∗ (s ′ , b).
b
s ′
On a alors :
∀s ∈ S V ∗ (s) = max Q ∗ (s, a),
a
π ∗ (s) = argmax Q ∗ (s, a).
a