Traitement automatique du signal ECG pour l'aide au diagnostic de ...

CHAPITRE 6. VALIDATION DU MODÈLE 59
La structure décrite à la Figure 3.3 est ensuite utilisée avec comme nombre
de battements de type N à garder Kvalidé et les autres candidats à la validation
(soit K = {500, 1300, 2100, 2900, 3700}). Le sous-échantillonnage est de type
Clustering k-means avec un recentrage à la fin (norme d’ordre 2) et le classifieur
est le LDA pondéré (le cas 4). On obtient les performances en vert à la Figure
6.4. La Table 6.1 reprend le détail de ces performances. Chaque précision de
classe est toujours comprise entre 50 et 97.5%. On peut diviser les observations
en deux groupes : K1 = {1300, 2100, 3700} et K2 = {500, 2900}. Le groupe K1
possède grosso modo des précisions de prN = 75%, prS = 97%, prV = 67% et
prF = 90% pour les classes N, S, V et F respectivement. Celles-ci tournent plutôt
autour de prN = 82%, prS = 55%, prV = 78% et prF = 83% pour le groupe K2.
On peut exprimer l’hypothèse que ces deux groupes résultent de deux minima
locaux du clustering. On observe que les BCR (quelle que soit sa définition)
sont plus faibles pour le groupe K2 à cause de la classe S. Cela confirme que le
problème de convergence du clustering est un élément important.
K= 500 1300 2100 2900 3700
prN 83.60 73.36 76.19 81.80 75.14
prS 59.59 97.22 96.08 50.60 97.00
prV 76.23 66.73 68.93 79.56 67.38
prF 85.05 90.21 90.46 79.64 90.46
BRC 76.12 81.88 82.92 72.90 82.50
BRC 75.39 80.95 82.20 71.56 81.64
Table 6.1 – Précisions pour chaque valeur de K et pour chacune des quatre
classes. La méthode utilisée correspond au cas 4 (ou 40). La validation-croisée
prévoyait des performances maximales en K = 2900, mais on observe que ce n’est
pas le cas. BRC signifie BCR avec la définition en moyenne arithmétique et
BRC signifie BCR avec la définition en moyenne géométrique.
6.3 Discussion
Malheureusement, la validation proposée dans cette partie ne permet pas de
prédire correctement le meilleur K, elle a même tendance à prédire le contraire.
Cette incapacité peut venir de l’hypothèse formulée pour gagner du temps (n’utiliser
que deux caractéristiques lors de la validation). Cette hypothèse était tout
de même nécessaire car elle a permis cette validation en deux semaines (sur PC
récent), autant dire que cela n’aurait pas été possible sans ce raccourci. Plus
fondamentalement, le problème vient du fait de la variablilité des résultats due
au clustering lui-même. En effet, le bénéfice tiré lors de la validation est de loin
inférieur à la perte de performance due à la variabilité du clustering lui-même.
Cette variablilité est liée au risque de tomber dans un minimum local. Il se-