Relier les examens de langues au Cadre ... - ECEP - Ecml.at

6.6. La méthode du marque-page: centrée sur le test
La méthode est centrée sur le test et est applicable aussi bien pour les items
dichotomiques que les items polytomiques (questions à réponse ouverte).
Les membres experts du panel utilisent le concept du candidat aux compétences
minimales acceptables ou du candidat à la limite de deux niveaux. La procédure doit
être répétée autant de fois qu’il y a de points de césure à fixer (par exemple A1/A2,
A2/B1 et B1/B2 d’un même test). La charge de travail est néanmoins plus légère que
celle exigée par la méthode de Tucker-Angoff. La raison est expliquée au point suivant.
Les items ou les tâches sont présentés aux membres du panel par ordre de difficulté
croissante. Les tâches à réponse ouverte apparaîtront plusieurs fois dans cette liste. Par
exemple, si le score peut être 0, 1 ou 2 points, la tâche apparaîtra à deux reprises, une
fois avec une réponse permettant d’obtenir un point et la seconde fois avec une réponse
permettant d’obtenir deux points. Les items et les tâches sont disposés dans un livret.
Chaque page contient un item (dans le cas d’items dichotomiques) ou une combinaison
d’une tâche à notation partielle pour les questions à réponse ouverte.
Le concept de maîtrise d’une tâche ou d’un item. La maîtrise est ici définie en termes
probabilistes. Si un candidat maîtrise un item, on peut s’attendre à ce qu’il réponde
correctement avec une probabilité associée élevée. La définition exacte de cette
probabilité associée élevée est arbitraire, mais, dans la plupart des cas, est fixée à 2/3,
même si certains autres préfèrent la fixer à 50%, alors que d’autres la fixent à 80%.
Dans la littérature sur les points de césure, le critère de maîtrise se réfère à la
probabilité de réponse. Les membres du panel doivent décider si, pour un item donné,
un candidat à la frontière des niveaux (pour un point de césure défini) maîtrise ou non
cet item. Pour une probabilité de réponse fixée à 2/3, cela signifie qu’ils doivent
décider si la personne répondra correctement dans au moins deux cas sur trois (si la
probabilité de réponse est fixée à 80 %, il faudra considérer une réponse correcte dans
4 cas sur 5). Il est important de s’assurer que les membres du panel aient bien intégré
cette notion de probabilité de réponse et une attention particulière doit être allouée à
cette compréhension au cours de la phase d’entraînement.
Il est demandé aux membres experts du panel de commencer avec le point de césure le
plus bas (par exemple A1/A2), de progresser dans le livret en allant du plus facile vers
le plus difficile et de décider pour chaque item si la probabilité d’une réponse a atteint
le seuil fixé ou si elle est supérieure. Lorsque la réponse est affirmative, cela signifie
que le candidat limite maîtrise l’item, selon le point de vue du panéliste. Parce que les
jugements s’opèrent en premier lieu sur les items les plus faciles, on s’attend à ce que
les réponses soient affirmatives pour quelques items à la suite, mais qu’à partir d’un
item donné, la réponse devienne négative. Supposons que ce soit le cas à l’item 11,
alors un marque-page (ou un symbole similaire) doit être placé à cet endroit.
Immédiatement, le membre du panel doit changer de point de césure en traitant le
suivant (par exemple A2/B1 ici) et continuer son travail de jugement à partir de l’item
où il se trouve.
72