Relier les examens de langues au Cadre ... - ECEP - Ecml.at

6.3. La méthode du corpus de productions: centrée sur le candidat
La méthode du corpus de productions (Kingston et al., 2001) est peut-être la plus
appropriée pour les jugements holistiques, bien qu’elle puisse être utilisée avec toutes
les combinaisons de types d’items et de tâches. Elle est centrée sur les candidats et
n’utilise pas la TRI. Vous trouverez ci-après un brève liste de ce qui est nécessaire pour
appliquer cette méthode:
une collection de travail d’un échantillon de candidats. Ce travail peut consister
seulement en des réponses à des questions à choix multiples ou en un mélange
de questions à choix multiples, de questions ouvertes et de rédactions, voire en
un portfolio. Une condition d’application nécessaire est que le travail (la
performance au test, le portfolio) soit validé par un score numérique;
l’échantillon n’a pas besoin d’être représentatif d’une population cible du test. Il
doit néanmoins couvrir la plupart de l’étendue des scores possibles,
indépendamment de la fréquence relative de ces scores avant la mise en place de
la procédure pour déterminer les scores de césure;
la tâche des experts du panel est de fournir un jugement holistique sur chaque
échantillon de travail qui leur est présenté. Dans le cadre du CECR, un tel
jugement consistera en l’attribution aux candidats de l’un des niveaux prédéfinis
que l’on vise dans la procédure de définition des points de césure. Supposons
que l’on veuille définir les points de césure pour A1/A2 et A2/B1, le jugement
des membres experts du panel devra catégoriser chaque production de candidat
soit en A1, A2 ou B1 (ou plus);
le type de jugement requis de la part des panélistes est le même que celui
demandé dans la méthode des groupes contrastés ou dans la méthode des cas
limites. La différence essentielle avec ces deux méthodes tient au fait qu’ici,
tous les panélistes évaluent la même collection d’échantillons de production, de
telle sorte que les discussions en groupe entre les tours aient du sens. La
méthode du corpus de productions nécessite deux tours, bien qu’il puisse être
nécessaire d’en ajouter un troisième;
les scores des échantillons de travail des candidats ne sont pas connus des
membres experts du panel;
pour convertir les jugements des panélistes en un score de césure, on doit avoir
recours à une technique particulière, appelée la régression logistique. La raison
est liée à la haute sélection de l’échantillon des travaux utilisés. En effet,
l’application des méthodes usuelles (par exemple rechercher le point central
entre les moyennes dans le cas de la méthode des groupes contrastés) pourrait
conduire à de sévères biais.
69