Traitement et analyse de séries chronologiques continues de ...

Partie 2 – Chapitre 6 : Test des modèles
Tests d’évaluation externe
L’évaluation externe d’un modèle consiste à partager les observations en deux échantillons.
La comparaison des performances du modèle pour les observations de calage et celles de
l’évaluation permet au modélisateur d’estimer la capacité prédictive du modèle :
- Des performances comparables sur les deux séries d’observation indiquent une
bonne capacité prédictive : le modèle donne des résultats en prédiction à l’image
de ceux obtenus en calage.
- Une performance en évaluation plus faible qu’en calage met en évidence une
difficulté du modèle à prédire de nouvelles observations. Les données utilisées en
évaluation contiennent une part d’information non représentée dans le jeu de
calage que le modèle reproduit de manière trop spécifique.
Les conclusions de ce type de test dépendent de la manière dont sont réparties les données dans
les deux échantillons et de leur contenu informatif. La taille et le contenu informatif du jeu
d’observations disponible doivent être suffisants afin de garantir que l’échantillon de calage est
suffisamment représentatif des processus simulés et de leur variabilité. Pour l’obtention de
performances comparables sur les deux périodes, une répartition optimale de 60 % - 40 % des
données entre calage et évaluation plutôt que le partage traditionnel 50 % - 50 % est préconisée
par Mourad et al. (2005).
Test d’évaluation interne
Dans l’évaluation interne, les observations utilisées pour l’évaluation sont sélectionnées sur
la base de techniques de rééchantillonnage. La plus simple de ces techniques consiste à effectuer
la même opération qu’en évaluation externe, mais un grand nombre de fois en choisissant les
échantillons de calage et d’évaluation par des tirages aléatoires sans remise dans l’échantillon de
départ. La performance du modèle en prédiction est ensuite évaluée à partir des performances de
chaque tirage.
Parmi les méthodes de validation croisée les plus appliquées, Mourad (2005) cite les
techniques de Bootsrap (Efron 1979) et le Jacknife (Caceci 1989). Plus récemment Dembélé
(2010) a utilisé la technique de LOOCV (Leave-One-Out Cross Validation) (Rudemo 1982). Le
principe est présenté Figure 6.1.
i = 1
i = i +1
N 1
C
N
- Calage du modèle pour la i ème combinaison
- Calcul du critère de performance
- Estimation de l’observation restante avec le modèle
non
i = N ?
oui
- Estimation de la performance de calage : moyenne, variance
- Estimation de la performance en prédiction
Figure 6.1. Procédure d’évaluation du pouvoir prédictif d’un modèle par la technique de LOOCV
(Leave-One-Out Cross validation) (Source : Dembélé, 2010)
90