Relier les examens de langues au Cadre ... - ECEP - Ecml.at

en deux ou trois phases (tours) séparées par des phases de discussions, puis de retour de
d’information et de données supplémentaires.
Pendant les sessions entre les phases d’évaluation, deux types d’informations
principales sont fournies. Après la première phase d’évaluation, une information
indiquant le comportement des membres du jury est remise, montrant que certains
d’entre eux offrent de véritables jugements déviants. Ce type d’information est appelé
information normative et doit en principe permettre, en premier lieu, de détecter et
d’éliminer les malentendus au sujet des instructions. C’est une bonne expérience que de
permettre aux membres du jury de discuter de cette information en petit groupe. Après
le deuxième tour, une information de nature différente nommée impact est souvent
donnée. Cette information indique les conséquences des jugements des panélistes et
repose sur le calcul de la proportion des candidats qui atteindraient ou non chaque
catégorie selon les scores de césure provisoires déterminés par le résultat des tours
précédents.
On ne devrait cependant pas oublier que la procédure conduisant à la définition des
scores de césure en situation de fort enjeu est souvent ancrée dans un contexte social et
politique et qu’il est alors prudent de confronter les panélistes aux conséquences
sociales de leurs décisions. Après avoir informé les panélistes, il est possible qu’un
certain nombre d’entre eux changent d’avis et deviennent plus stricts ou plus
indulgents, comparativement à leurs jugements précédents, et ce pour des raisons
opportunistes. Si cela se produit, cela n’implique pas nécessairement que ce
changement d’opinion devienne la décision finale. Au contraire, une déviation
importante dans les standards après mesure de l’impact pourrait être utilisée pour
engager une discussion plus approfondie dans le but de trouver un consensus
raisonnable et rationnel entre deux états décisifs très différents, ce qui pourrait justifier
l’organisation d’un quatrième tour de jugement.
Pour la grande majorité des procédures d’établissement des points de césure décrites
dans la littérature, de nombreuses variations ont été testées, adaptées à des besoins
spécifiques ou inspirées par des carences d’expériences antérieures. Les applications
illustrent ce qui tient essentiellement en la même procédure: l’organisation des
échanges (en séance plénière ou en petits groupes), etc. Pour jauger la validité et
l’efficacité d’une procédure appliquée à un projet donné, il est cependant crucial
qu’une documentation détaillée et adéquate de l’ensemble des étapes de la procédure
soit disponible. Sans cette description technique détaillée, l’évaluation professionnelle
des résultats devient délicate et l’on ne peut plus prétendre avoir élaboré un
argumentaire. Cela est d’autant plus important que de plus en plus d’étudiants ont
besoin de preuves de leur compétence langagière dans une langue étrangère. Il faut
qu’ils puissent produire des certificats de compétence valides. Il est enfin nécessaire
que les procédures de définition de points de césure soient explicites.
67