Relier les examens de langues au Cadre ... - ECEP - Ecml.at

6.5. La méthode du panier: centrée sur le test
La méthode suppose la comparaison des ressources exigées par un item en termes de
PLD, c’est-à-dire au sens des descripteurs «être capable de» («can do») du CECR. La
question élémentaire posée aux panélistes n’est pas un jugement sur l’item, mais se
centre sur un candidat abstrait ayant les compétences d’un niveau défini. La
formulation élémentaire de la question est la suivante: «A quel niveau du cadre un
candidat peut-il déjà répondre correctement à cet item?».
Les experts du panel doivent mettre chaque item dans un panier correspondant aux
niveaux du CECR. Si un item est placé dans le panier B1, cela signifie qu’une personne
de ce niveau devrait donner une réponse correcte à cet item. On suppose ici que si c’est
le cas, les personnes des niveaux supérieurs devraient également répondre correctement
à l’item. Notez que ce jugement n’implique pas que les personnes de niveaux inférieurs
ne devraient pas fournir une réponse correcte; cela signifie simplement (pour les
membres du panel) qu’une réponse correcte ne devrait pas être exigée pour les
candidats de niveaux inférieurs.
La méthode pour convertir les jugements en score de césure suppose qu’avec la
méthode du panier, le panéliste propose les exigences minimales requises pour chacun
des niveaux. Supposons que pour un test constitué de 50 items, deux items sont placés
dans le panier A1, sept dans le panier A2, 12 dans le panier B1. Pour ce panéliste, ces
21 (= 2+7+12) items devraient être traités correctement par n’importe quel candidat de
niveau B1 ou supérieur. Ce nombre, qui correspond à l’exigence minimale, est
interprété comme le score de césure.
Nous proposons maintenant une courte note technique. Pour un des panélistes, un item
pourrait être jugé comme étant si difficile qu’il ne pourrait pas exiger qu’un candidat du
niveau supérieur le réussisse. Au regard de la procédure, cela signifie que l’item ne
s’ajuste à aucun des paniers envisagés. On peut anticiper de telles situations en ajoutant
un panier supplémentaire qui serait étiqueté «supérieur à C2». Bien entendu, si un test
vise le niveau B1, il n’est pas nécessaire de disposer de paniers pour tous les niveaux.
Les trois paniers de niveaux les plus forts pourraient être nommés B1, B2 et supérieur à
B2.
Il est possible que l’ajustement de l’exigence minimale au point de césure conduise à
des points de césure trop indulgents. Il serait alors raisonnable de penser qu’une
personne d’un niveau donné soit également en mesure de répondre correctement à des
items qui exigent un niveau supérieur. Ce point n’est pas pris en compte dans la
méthode, mais des études comparatives (non encore publiées) indiquent que la méthode
du panier tend à produire des points de césure minorés (indulgents) par rapport à ceux
obtenus avec d’autres méthodes.
71