Relier les examens de langues au Cadre ... - ECEP - Ecml.at

final arrivent aux mêmes niveaux du CECR pour un échantillon ou un item. La
publication de données non biaisées fait partie des preuves qui peuvent être fournies.
Si l’on ne parvient pas à un accord, les coordinateurs doivent discuter avec les
stagiaires de la raison de ce problème incompatible avec leur maîtrise de l’évaluation
des échantillons standards. Les coordinateurs devront se prononcer sur la cause du
problème et faire le nécessaire pour le résoudre.
5.7.3. Analyse des données
Les évaluations des échantillons standards du CECR devraient être analysées
statistiquement afin de (a) confirmer la relation avec les niveaux et (b) calculer la
fiabilité d’un même évaluateur (cohérence) et des évaluateurs entre eux (cohérence).
L’avantage principal est que les évaluateurs dont le comportement n’est pas cohérent
peuvent être identifiés et qu’on peut exclure leurs évaluations de l’analyse.
5.7.4. Documentation
A la fin du stage, il est essentiel que le jeu d’échantillons calibrés soit archivé,
accompagné des comptes rendus du stage. Lors d’un stage ultérieur de formation, il
sera extrêmement utile de pouvoir donner une explication justifiant qu’un échantillon
donné ait été classé à un certain niveau. A cet égard, la documentation qui accompagne
les échantillons représentatifs des DVD peut servir de modèle.
L’enregistrement sonore des débats lors du stage peut être un document utile pour
préparer des notes de ce type sur chaque échantillon calibré. Les coordinateurs peuvent
aussi décider de demander à l’un des stagiaires de l’aider en prenant des notes sur la
raison du classement de certains échantillons à des niveaux donnés. On peut alors
standardiser ces notes et en faire un ensemble cohérent pour la documentation et les
distribuer aux participants à l’issue du stage.
Les utilisateurs du Manuel peuvent se demander:
comment s’assurer de la constitution d’un panel équilibré et représentatif
pour le projet;
quelle taille un panel peut et doit raisonnablement avoir;
quelle stratégie est la plus appropriée au contexte (en termes de ressources,
de planification, d’application, d’analyse);
si le projet a pour but de calibrer des échantillons «locaux» pour une
utilisation ultérieure comme échantillons représentatifs d’un contexte
spécifique;
63