Table des matières - Gilles Daniel

Evaluation et validation de modèles multi-agents. 95
simulations, ce sont tout d’abord les propriétés systémiques (structurelles et
dynamiques) du modèle, les formes qui peuvent apparaître du fait des hypothèses posées
(validation interne) ; ensuite est évaluée la pertinence du modèle vis-à-vis de
situations que l’on souhaite représenter ou prévoir (validation externe). Ces deux étapes
peuvent boucler itérativement entre elles. Elles demandent une certaine forme de
lisibilité dans la description du modèle, afin que les différentes méthodes
d'évaluation puissent être appliquées.
4.3.1. Pré-requis à la validation
Avant même d’entrer dans le détail de la validation des modèles, il apparaît
essentiel que le modèle soit en quelque sorte validable, i.e. qu’il ait été construit en
respectant un certain nombre de critères qui assurent au minimum la reproductibilité
des expériences qui ont été conduites. Une modélisation conduite dans un cadre où les
expériences de simulation ne sont pas reproductibles ne peut pas être considérée
sérieusement. Cela reviendrait à accorder une confiance aveugle en la parole donnée, ce
qui est contraire aux principes de base d'une démarche scientifique. De manière à
s’assurer de la reproductibilité des expériences ou à minima des résultats d’expériences,
il faut donc s’assurer que le modèle est décrit formellement avec les détails suffisants
qui en permettent la réplication. En particulier, il est important de mentionner très
explicitement les points sur lesquels il pourrait y avoir une ambiguïté et donc le risque
d’une implémentation avec des propriétés qui peuvent être très différentes (c’est par
exemple le cas de la méthode de mise à jour, synchrone ou asynchrone, dans les
simulations à temps discret). Comme nous le verrons plus loin, une méthode pour bien
identifier ces points peut être de faire reprogrammer le modèle par une autre personne.
On peut distinguer les expériences qui sont réplicables statistiquement des
expériences réplicables unitairement. Les expériences réalisées dans les sciences
expérimentales sont reproductibles statistiquement au sens où une expérience singulière
ne peut être répliquée exactement mais où statistiquement si l’on se place dans les même
conditions expérimentales les résultats sont similaires. Pour s’assurer de la réplicabilité
unitaire de ces expériences, qui est possible dans le cadre des simulations (l’algorithme
exécuté étant au final déterministe), il faut prendre certaines précautions : le fait de
choisir un langage multi-plateforme (Java ou SmallTalk) dont l’exécution des
programmes ne dépend pas de la machine sur laquelle on l’exécute ; le fait de contrôler
dans la simulation l’ordre d’exécution des différents processus ;et enfin le fait de pouvoir
bloquer la graine du générateur de nombres pseudo-aléatoire (Il est donc important de
spécifier le type de générateur utilisé). Cet ensemble de critères permet de s’assurer que
quiconque peut reproduire exactement la même expérience et ainsi tester ou simplement
visualiser des éléments singuliers du modèle qui sont propres à une expérience
particulière : « pourquoi à l’itération 15, l’agent n°134 décide d’acheter 120 actions de
l’entreprise 28 …». Les simulations multi-agents revêtant parfois cette forme de