Relier les examens de langues au Cadre ... - ECEP - Ecml.at

6.2.2. Concepts
En insistant sur le fait que les scores de césure ne peuvent être correctement définis en
se contentant de suivre mécaniquement une méthode donnée, ce chapitre proposera une
discussion de quelques aspects fondamentaux qui sont soulevés par une variété de
méthodes de détermination des scores de césure.
Les méthodes pour établir les points de césure sont parfois divisées en deux sousensembles;
d’une part, celles centrées sur le test et, d’autre part, celles centrées sur le
candidat. La caractéristique importante de ces méthodes centrées sur le candidat tient
au fait que les candidats spécifiques sont reportés dans des catégories (échec ou
réussite, niveau B1, B2 ou en cas limite) par un jugement holistique.
Dans les méthodes centrées sur le test, il est demandé aux panélistes d’effectuer un
jugement sur chaque item. Ces jugements reposent sur les caractéristiques perçues des
items par le panel d’experts. La procédure, dans son ensemble, peut être appliquée sans
aucune donnée empirique de candidats. Pour ces méthodes, la mention «centrée sur le
test» est tout à fait appropriée. Avec la popularité grandissante de la théorie de réponse
à l’item (TRI), des méthodes ont été développées. Pour celles-ci, la distinction entre les
méthodes centrées sur le test et celles centrées sur le candidat est moins claire. Dans ces
méthodes, l’information disponible pour les panélistes est directement issue des
performances d’un groupe de candidats. Généralement, cette information est formalisée
par la mesure de difficulté de l’item. La disponibilité d’une telle information est censée
aider le panel d’experts et le dispenser de la délicate tâche de fournir une estimation de
la difficulté qui repose exclusivement sur les caractéristiques perçues d’un item.
Les méthodes discutées dans ce chapitre pourraient ainsi être catégorisées en trois
groupes. Le premier serait relatif aux méthodes «centrées sur le candidat», le deuxième
serait relatif aux méthodes «centrées sur le test» dans la mesure où elles peuvent être
mises en œuvre sans (ou avec) donnée empirique et le troisième serait relatif aux
méthodes de la «TRI» en ce sens où le panel d’experts utilise un résumé des données
empiriques (classiquement fourni par l’analyse dans le cadre de la TRI).
La qualité de la définition des scores de césure est sujette à de grandes variations.
Quelle que soit la méthode retenue ou la combinaison de plusieurs d’entre elles, nous
ne pouvons pas considérer que les scores de césure ont été correctement définis
uniquement parce que certaines procédures auraient été respectées. Il est nécessaire de
rassembler des preuves évidentes de la qualité des résultats des procédures et d’en faire
part de façon suffisamment détaillée et transparente. Cette question concernant la
validité sera traitée plus longuement dans le dernier chapitre de ce Manuel.
68