Table des matières - Gilles Daniel

Apprentissage dans les modèles multi-agents 285
sont possibles si les agents prennent en compte leurs anticipations dans le modèle
qu’ils utilisent. Ceci peut exclure une formation constructive des anticipations, et
obliger à se contenter de les définir comme équilibres en points fixes etc.. Voir [HEI 88]
pour une dissertation motivante sur des thèmes connexes.
Quel que soit le niveau d’anticipation retenu, un apprentissage réussi exige un
bon équilibre entre exploitation et exploration. Une fois qu’une stratégie qui semble
suffisamment efficace a été trouvée, faut-il l’exploiter (l’utiliser) Ou faut-il
continuer à explorer, c’est-à-dire à rechercher d’autres stratégies potentiellement
meilleures L’abandon, même temporaire, d’une bonne stratégie est presque
certainement coûteux, au moins à court terme. Mais ne pas explorer implique le
risque de perdre les gains supplémentaires. La détermination du meilleur compromis
est extrêmement difficile même dans le cas de problèmes d’optimisation dynamique
bien posés, pour peu qu’ils soient tant soit peu complexes [WIT 75]. Elle semble
illusoire dans un contexte d’apprentissage multi-agents. Nous verrons cependant
qu’il peut être possible de trouver des compromis satisfaisants.
La recherche en modélisation multi-agents utilise de nombreux formalismes pour
représenter les phénomènes d’apprentissage. La plupart sont du type renforcement :
ils modélisent l’intuition qu’un agent aura tendance à utiliser une action plus
fréquemment si elle a été associée à de bons résultats dans le passé, et moins
fréquemment dans le cas inverse. Un modèle de renforcement suppose que les
agents construisent des règles de comportement du type « Si – Alors » : si cet
événement se produit, alors il faut prendre cette action. L’approche trouve ses
racines dans les modèles expérimentaux simples de prédiction binaire utilisés depuis
plus de cinquante ans en psychologie [BUS 55]. Le cadre expérimental typique
auquel ils se réfèrent comprend en général deux leviers surmontés de deux lampes.
Un signal indique au sujet qu’il doit prendre une décision – appuyer sur l’un ou
l’autre levier. Après qu’il l’ait fait, l’une des deux lampes s’allume. Le sujet reçoit
une récompense s’il a choisi le levier situé en dessous de la lampe qui s’est
allumée 59 .
La situation que nous venons de décrire est très simple car il y a une association
immédiate et directe entre action et récompense. On parlera de renforcement direct.
En réalité, cependant, le renforcement sera le plus souvent séquentiel : les gains
associés à une action ne seront connus que plus tard, possiblement après un délai
59
Supposons que les deux lampes Rouge et Vert s’allument avec des probabilités différentes,
disons, 70% et 30%. La meilleure stratégie est de choisir Rouge à chaque répétition. De très
nombreuses expériences montrent que les sujets humains ne suivent pas cette stratégie mais
tendent à choisir Rouge dans 70% et Vert dans 30% des cas – un résultat connu sous le nom
de probability matching theorem. Ce résultat apparemment irrationnel peut cependant être
interprété comme un compromis entre exploitation, choisir Rouge, et exploration, essayer
Vert, voir ci-dessus.