Relier les examens de langues au Cadre ... - ECEP - Ecml.at

l’analyse des données doit pouvoir être réalisée sans calculs laborieux. Cela ne
signifie pas pour autant que les calculs ne sont pas compliqués, mais que le
travail de préparation doit être accompli bien en amont de la session;
les procédures doivent être crédibles et interprétables par des non-techniciens.
La mise en œuvre: cet aspect fait référence à la manière, du point de vue de la rigueur,
dont le panel est sélectionné et formé, à la manière dont les niveaux du CECR sont
intégrés et à celle dont les données de jugement sont effectivement traitées et analysées.
Des informations relatives à ces points doivent être fournies.
Le retour d’information: cet aspect se réfère au niveau de confiance des panélistes à
l’égard de la procédure de détermination des scores de césure et aux résultats qui y sont
liés. Est-ce que les panélistes estiment qu’ils ont trouvé les bons résultats? Des
informations relatives à ces points doivent être collectées et rapportées.
Documentation: cet aspect se réfère à la manière dont la procédure de détermination
des scores de césure est documentée, en particulier à l’égard des objectifs d’évaluation
et de communication.
7.4. Validité interne de la définition des scores de césure
Les questions relatives à la validité interne doivent permettre de se prononcer sur la
précision, au sens de l’exactitude, et sur la consistance du résultat de la procédure de
détermination des scores de césure. Un défaut de consistance peut provenir d’une
faiblesse générale de la méthodologie mise en œuvre ou avoir une origine plus locale
en reposant sur un ou deux juges ou quelques items. Le cas échéant, on pourrait: i) pour
ce qui concerne les panélistes, supprimer certains d’entre eux (ou l’analyse faisant suite
à la procédure de détermination) ou ii) pour ce qui concerne les items, ne retenir qu’un
sous-ensemble d’items et de tâches dans le test, en excluant ceux qui posent problème.
En supprimant des panélistes, on doit prendre garde de ne pas influencer le
résultat relatif aux scores de césure dans une direction souhaitée par
l’organisateur. Si l’on dispose de preuves quant à l’incompréhension des
instructions à suivre par un panéliste, ou s’il les ignore volontairement, on
dispose alors d’une raison valide pour le retirer des données à analyser.
Supprimer des items ou des tâches est un problème bien plus délicat. Lorsque le
premier souhait est d’adosser son examen sur le CECR (par exemple en
appliquant une règle qui associe un échec à l’examen au fait ne pas avoir atteint
le niveau B1/B2), retirer certains items pourrait sérieusement biaiser la validité
de contenu du test.
La suite de cette section traitera des points relatifs à la consistance et à la précision:
86