Relier les examens de langues au Cadre ... - ECEP - Ecml.at

la consistance intra-juge consiste à rechercher les informations qui montrent
qu’un juge est cohérent dans son jugement;
la consistance inter-juges consiste à rechercher dans quelle mesure les panélistes
s’accordent les uns avec les autres dans leurs jugements;
la stabilité des résultats est exprimée par l’erreur standard des points de césure;
la précision et la consistance de la classification reposent sur la procédure de
détermination des scores de césure.
7.5. Validation externe
Le principal résultat d’une procédure de détermination des scores de césure est une
règle de décision pour assigner les candidats à un petit nombre de niveaux du CECR
sur la base de leurs performances à un examen. Généralement, la performance au test a
déjà été résumée par un nombre unique, le score au test.
Dans ce guide, l’accent a été mis sur le fait que les procédures permettant de parvenir à
une telle règle de décision sont complexes et chronophages, qu’il y a de nombreux
pièges possibles et que le résultat n’est jamais parfait; notamment en raison de l’erreur
de mesure dans le test et la variance résiduelle dans le jugement des panélistes. Si
toutes les procédures ont été suivies attentivement, si l’examen dispose d’une validité
de contenu adéquate et d’un haut degré de fidélité et si l’erreur standard des scores de
césure est faible, on pourra penser que le travail est accompli et résumer les résultats
par un tableau indiquant l’exactitude des décisions, comme dans la partie gauche du
tableau 7.9, tout en tenant compte des limites.
Selon ce raisonnement, le point faible est qu’un tel résultat dépend totalement des
procédures mises en œuvre par la même personne ou le même groupe de personnes et
des données collectées en une seule occasion sur un seul groupe de candidats et sur une
seule situation d’examen. Cela pourrait être considéré comme étant trop restreint pour
garantir la véracité, c’est-à-dire la validité, d’une affirmation telle que: «si un étudiant
obtient un score de 39 ou plus à mon test, il peut à juste titre être considéré du niveau
B2». En général, la faiblesse réside dans le contraste entre la particularité des
procédures et la généralité des affirmations.
La validation externe vise à fournir des preuves en provenance de sources
indépendantes et qui corroborent les résultats et les conclusions de ses propres
procédures. Parmi l’ensemble des preuves fournies, toutes ne sont pas indépendantes de
la même façon vis-à-vis de l’information que l’on doit utiliser dans la détermination
des scores de césure; de même, parmi l’ensemble des preuves fournies, toutes ne sont
pas convaincantes avec le même poids.
Les preuves pourraient provenir de résultats des mêmes candidats sur un autre
test ou une autre procédure d’évaluation.
87