Relier les examens de langues au Cadre ... - ECEP - Ecml.at

7.2.4. Considérations psychométriques
Il est primordial que suffisamment d’aspects psychométriques puissent être fournis
concernant l’examen. Le premier aspect concerne les paramètres de l’item, comme la
difficulté (valeur p) et le pouvoir discriminant. Si l’on s’en tient aux indices de la
Théorie Classique des Tests, on doit considérer que ces indices sont dépendants de la
population et que leurs valeurs sont simplement une indication des valeurs qu’ils ont au
niveau de la population parente, sous l’hypothèse que l’échantillon du pré-test est
représentatif de la population cible. Conduire un pré-test uniquement dans un nombre
restreint de centres pour des raisons de commodités (par exemple les centres où les
enseignants sont membres de l’équipe d’élaboration du test) pourrait conduire à de
sérieux biais au niveau des estimations.
Ensuite, la fidélité de l’examen est un aspect important si l’on souhaite le relier
correctement au CECR. En effet, elle a un impact sur la précision et la consistance de la
classification en termes de niveaux du CECR, comme ce sera démontré ci-après. En
estimant la fidélité, il faut avoir à l’esprit que, souvent, le KR20 (ou l’alpha de
Cronbach) est mentionné comme un indice de fidélité. En fait, il ne l’est pas
exactement. Il est un estimateur par défaut de la fidélité. Ainsi, avec des tests
hétérogènes, la fidélité est substantiellement sous-estimée. Le Manuel propose des
façons d’évaluer la fidélité de tests.
7.2.5. Le bon moment pour déterminer les scores de césure
Si l’adossement au CECR relève d’une situation à forts enjeux, le temps est
généralement insuffisant pour collecter les données de l’administration de l’examen,
remettre les résultats, organiser de façon complète une procédure de détermination des
scores de césure et évaluer la validité de cette procédure.
Comme l’utilisation de données réelles de candidats est conseillée, y compris pour les
méthodes de détermination des scores de césure centrées sur les tests (étude d’impact,
retour d’information réaliste; voir le chapitre 6), le laps de temps entre le pré-test et
l’administration finale de l’examen sera probablement le plus adapté pour déterminer
les scores de césure.
Dans cette section, la discussion sera focalisée sur les conséquences de ce qui est
parfois nommé «l’effet pré-test». Cette appellation fait référence à toutes les
différences systématiques entre le pré-test et le véritable examen, différences qui
pourraient moduler les performances des candidats. L’influence principale provient
d’une différence en termes de motivation et de l’ensemble des facteurs directement liés
à la motivation, comme le sérieux de la préparation et l’anxiété. S’il s’agit d’un examen
à fort enjeu et d’un pré-test à faible enjeu, tous ces facteurs pourraient suivre la même
tendance, en l’occurrence diminuer la performance dans le pré-test comparativement à
la situation d’examen. Le cas échéant, la mesure d’impact présentée aux panélistes au
cours de la procédure de détermination des scores de césure sera biaisée et pourrait
84