Traitement et analyse de séries chronologiques continues de ...

Partie 2 – Chapitre 6 : Test des modèles
Pour un nombre N d’observations, le principe consiste pour chacune des N combinaisons de
N-1 observations parmi N, à caler le modèle avec les N-1 observations et à simuler l’observation
restante avec le modèle calé. La performance globale de calage est ensuite estimée par la
moyenne des N performances. La performance globale de prédiction est estimée à partir des N
valeurs simulées à chaque calage.
Les méthodes internes sont plutôt recommandées dans les cas où un nombre limité
d’observations est disponible. En effet, elles permettent de bien mettre en évidence l’influence
de chacune des observations sur la performance du modèle en calage et en évaluation. Leur
utilisation pour un échantillon de grande taille n’est a priori pas adaptée, d’une part parce que
les temps de calcul risquent de devenir très longs si le modèle testé est complexe et d’autre part
parce que chaque observation a une influence moindre sur le calage du modèle. Cependant, dans
le cas de modèles simples où les temps de calage sont faibles, leur application peut être
intéressante pour la détection d’observations de type outliers ou présentant un comportement
significativement différent du reste des observations.
Il est important de souligner, qu’externes ou internes, ces méthodes de test sont une manière
d’évaluer l’incertitude liée à la représentativité des données (cf. paragraphe 4.3.1). Cette étape
d’évaluation est actuellement appliquée de manière quasi systématique dans les études de
modélisation de la qualité des RUTP (e.g. Dembélé 2010; Mourad et al. 2005; Muschalla et al.
2008; Dotto et al. 2009).
6.1.2 Les critères mathématiques de performance
Pour un jeu d’observations donné (calage ou évaluation), la performance du modèle est
évaluée au moyen de critères mathématiques reflétant l’adéquation entre la simulation optimale
et les observations. Parmi les critères possibles, nous retrouvons l’ensemble des fonctions
objectif présentées dans le paragraphe 4.2.2, avec leurs avantages et leurs inconvénients.
Il semble logique de choisir comme critère de performance le même critère que celui utilisé
pour l’optimisation des paramètres lors du calage. Cependant, il peut ne pas convenir pour une
comparaison des résultats en calage et en évaluation. Par exemple dans le cas où une analyse des
incertitudes est effectuée, le critère d’optimisation est la valeur de la vraisemblance ou de son
logarithme. Or, cette dernière présente le même inconvénient que le critère de la RMSE, dont la
valeur dépend du type de variable simulée et du nombre d’observations utilisées. Dans ce cas, un
autre type de critère peut être adopté, comme par exemple le critère de Nash utilisé dans un
grand nombre d’études de modélisation de la qualité des RUTP (Gamerith et al. 2008; Dotto et
al. 2009; Dembélé et Becouze 2010; Freni et al. 2010a). Suivant l’objectif du modélisateur, il
peut également être pertinent de calculer plusieurs critères de performance. D’une manière
générale Schaefli et Gupta (2007), stipulent, sur la base d’une analyse critique du critère de Nash
et Sutcliffe (1970), qu’il n’existe pas de critères mathématiques convenant de manière
universelle mais que le choix d’un critère approprié et la manière dont il est interprété dépendent
plutôt du contexte et des objectifs du modélisateur.
6.1.3 Vérification des hypothèses sur les résidus
Dans le cas où les incertitudes sur les paramètres ont été prises en compte lors du calage,
que ce soit par la statistique classique ou bayésienne, une autre manière d’évaluer la cohérence
91