Apprentissage par renforcement - Institut des Systèmes Intelligents ...

16 Processus décisionnels de Markov en IA 1
que l’algorithme SARSA effectue les mises à jour en fonction des actions choisies effectivement
alors que l’algorithme Q-learning effectue les mises à jour en fonction des
actions optimales mêmes si ce ne sont pas ces actions optimales que l’agent réalise,
ce qui est plus simple.
Cette simplicité a fait la réputation de l’algorithme Q-learning. Il s’agit sans doute
de l’algorithme d’apprentissage par renforcement le plus connu et le plus utilisé en raison
des preuves formelles de convergence qui ont accompagné sa publication
[WAT 92].
Algorithme 1.1 : Le Q-learning
/* α n est un taux d'apprentissage */
Initialiser(Q 0 )
pour n ← 0 jusqu’à N tot − 1 faire
s n ← ChoixEtat
a n ← ChoixAction
(s ′ n, r n ) ← Simuler(s n , a n )
{ mise à jour de Q n :}
début
Q n+1 ← Q n
δ n ← r n + γ max b Q n (s ′ n, b) − Q n (s n , a n )
Q n+1 (s n , a n ) ← Q n (s n , a n ) + α n (s n , a n )δ n
fin
retourner Q Ntot
Le principe de l’algorithme Q-learning, défini formellement par l’algorithme 1.1,
est de mettre à jour itérativement, à la suite de chaque transition (s n , a n , s n+1 , r n ),
la fonction de valeur courante Q n pour le couple (s n , a n ), où s n représente l’état
courant, a n l’action sélectionnée et réalisée, s ′ n l’état résultant et r n la récompense
immédiate. Cette mise à jour se fait sur la base de l’observation des transitions instantanées
et de leur récompense associée.
Dans cet algorithme, N tot est un paramètre initial fixant le nombre d’itérations.
Le taux d’apprentissage α n (s, a) est propre à chaque couple (s, a), et décroît vers 0 à
chaque passage. La fonction Simuler retourne un nouvel état et la récompense associée
selon la dynamique du système. Le choix de l’état courant et de l’action à exécuter
est effectué par les fonctions ChoixEtat et ChoixAction et sera discuté plus loin.
La fonction Initialiser revient la plupart du temps à initialiser les composantes de
Q 0 à 0, mais il existe des initialisations plus efficaces.
Il est immédiat d’observer que l’algorithme Q-learning est une formulation stochastique
de l’algorithme de value iteration vu au chapitre précédent pour les MDP.