Table des matières - Gilles Daniel

286 Modélisation et simulation multi-agents pour Sciences de l'Homme et de la Société.
variable. Par ailleurs d’autres facteurs peuvent influencer ces gains, (actions d’autres
agents, chocs exogènes, …). En trois mots, l’agent peut avoir de grandes difficultés
à reconnaître le lien entre son action et ses gains. Ceci crée un problème
d’assignation des gains à l’action, que nous retrouverons plus tard dans ce chapitre.
Parmi les très nombreux modèles de renforcement les plus utilisés en
modélisation multi-agents, un des plus simples est l’algorithme Derivative-Follower
de [GRE 99], dont le champ d’application est restreint aux recherches sur une
dimension. Le Q-Learning de [WAT 89] est approprié aux cas où l’agent cherche à
résoudre au mieux un problème du type programmation dynamique. Directement
inspirés par les travaux en psychologie de [BUS 55] sont les algorithmes de [ROT 95],
[ERE 98]. Une des plus puissantes et plus prometteuses approches est cependant
celle des algorithmes génétiques, possiblement associés avec des systèmes de
classificateurs, qui font l’objet du reste de ce chapitre.
13.3. Systèmes de classificateurs
Les systèmes de classificateurs (CS), [HOL 75], sont des mécanismes de décision
fondés sur un ensemble fixe de règles. Chacune de ces règles rend possible une action
précise (la sortie) lorsque l’information reçue par le CS (l’entrée) satisfait à certaines
conditions prédéfinies. Un CS sera en général utilisé de façon répétée dans un
environnement qui est affecté par les actions réellement effectuées. Typiquement, le CS
reçoit dans chaque période des gains après qu’il ait réalisé une action. Typiquement
aussi, la modification de l’environnement influence les signaux et les gains que le CS
recevra dans le futur. Le CS reçoit un signal de l’environnement, effectue une action
qui modifie l’environnement, réalise un gain qui dépend, directement ou indirectement
de cette modification de l’environnement, reçoit un nouveau signal, et ainsi de suite.
On reconnaît immédiatement que cette structure apparaît appropriée pour décrire de
nombreuses situations socio-économiques, avec une réserve cependant : les agents qui
prennent des actions différentes de période en période en fonction des informations
qu’ils reçoivent, mais ne modifient jamais leur comportement, c’est-à-dire leur façon
d’interpréter une même information et d’y réagir. Le comportement modélisé avec un
CS est mécanique, il n’y a pas d’apprentissage.
Afin qu’un CS puisse être facilement implémenté numériquement, les signaux
d’entrée et de sortie sont typiquement codés comme des chaînes binaires (chaînes de
0 et 1) ou d’entiers. Le codage/décodage de ces chaînes n’est pas essentiel au
fonctionnement du CS. Il s’agit d’une opération technique qui permet d’écrire sous
forme appropriée pour un traitement par ordinateur les entrées et sorties de l’objet
réel ou théorique d’intérêt. Le codage implique une discrétisation de l’espace
d’entrée et de l’espace de sortie. Ces points seront repris dans la section sur les
algorithmes génétiques.