Relier les examens de langues au Cadre ... - ECEP - Ecml.at

avoir un effet systématique sur les scores de césure proposés; suite à cette information
biaisée, si les panélistes se considèrent eux-mêmes trop stricts, cela pourra conduire à
minimiser les scores de césure. Le Manuel donne quelques pistes qui pourraient
permettre d’éviter – ou du moins de contrôler – l’effet pré-test.
7.3. Validité procédurale de la formation à la standardisation et à
la définition des scores de césure
Au cours du chapitre précédent, nous avons décrit plusieurs procédures pour
familiariser les panélistes au CECR, pour comprendre les spécifications d’un examen,
pour déterminer des critères pertinents et pour définir les scores de césure. Les sessions
de détermination des scores de césure exigent de débuter avec de telles explications et
instructions; les panélistes doivent se sentir en confiance pour réaliser leurs tâches.
L’ensemble de ces procédures peut être considéré comme une étape, un pas
supplémentaire vers les «bonnes pratiques»; si on les ignorait, on se dirigerait vers des
situations risquées. Le respect de telles procédures est une garantie nécessaire pour
obtenir de bons résultats, en un mot: instructions correctes, résultats corrects.
Le problème de la validité est à mettre en relation avec le caractère nécessaire des
procédures. Par exemple, en ce qui concerne la familiarisation (chapitre 3) et la
formation à la standardisation (chapitre 5), s’il n’y a aucune phase préparatoire relative
à la compréhension du CECR, on ne peut pas espérer aboutir à un résultat valide. Par
ailleurs, même si la procédure de formation suggérée est mise en œuvre, rien ne
garantit que le résultat obtenu soit un succès; la phase d’entraînement (formation) est
nécessaire, mais est-elle suffisante? La validation de cet aspect exige que la formation
ait été efficiente: si l’on forme les gens à comprendre quelque chose, on doit aussi
s’assurer qu’ils l’ont réellement compris à l’issue de la formation.
Plusieurs aspects relatifs à cette validité procédurale seront exposés ci-après. Il s’agit
du caractère explicite, du caractère pratique, de la mise en œuvre, du retour
d’information et de la documentation.
Le caractère explicite: il s’agit du degré avec lequel l’objectif de la procédure de
détermination des scores de césure et la procédure elle-même sont clairement et
explicitement articulés. En d’autres termes, le processus est défini dans son intégralité
avant qu’il soit conduit; les étapes sont clairement décrites, les conditions de
déroulement et les résultats attendus après chaque étape sont décrits comme un scénario
immuable.
Le caractère pratique: même si certaines procédures sont compliquées, la préparation
doit être pratique (voir Berk, 1986), ainsi:
la méthode de détermination des scores de césure doit pouvoir être mise en
œuvre sans grande difficulté;
85