Relier les examens de langues au Cadre ... - ECEP - Ecml.at

Approche compensatoire
D’une part, selon une position extrême, on peut considérer toutes les tâches et tous les
items comme un mélange des capacités et alors appliquer l’une des méthodes abordées
précédemment sur l’ensemble des items et des tâches simultanément. En procédant de
la sorte, on doit concevoir que les scores au test sont, par définition, compensatoires,
puisqu’ils sont les sommes des scores aux items et aux tâches. Echouer à certaines
tâches peut être compensé par une bonne performance à d’autres tâches. Dans la
mesure où le test est homogène du point de vue de la nature des tâches, un tel
mécanisme compensatoire est légitime et les items et les tâches auxquels le candidat a
échoué ou réussi sont sans importance.
Néanmoins, avec un test plus hétérogène, ce point de vue compensatoire pourrait être
inadéquat. Par exemple, supposons qu’un examen national pour l’anglais, composé
d’une épreuve de réception écrite, d’une épreuve de réception orale, d’une épreuve de
production orale et d’une épreuve de production écrite, ait un score maximal de
100 points sur l’ensemble des quatre parties. En outre, supposons que la méthode du
corpus de productions soit appliquée pour fixer les scores de césure et qu’on ait pris le
soin de collecter des échantillons de production en provenance de différentes régions
dans le pays. Si les régions diffèrent significativement dans leurs méthodes et du point
du vue de leur expertise pour une ou plusieurs compétences, des profils typiques de
compétences devraient révéler les différents patterns de régions. Si, dans certaines
régions, une faible attention est allouée à l’expression orale, même les meilleurs
étudiants de cette région pourraient être qualifiés comme faibles dans cette compétence
et réussir au même niveau que l’étudiant moyen des régions où une attention plus
importante aura été allouée à cette compétence. Prendre en compte l’ensemble des
compétences pourrait masquer des différences importantes dans les profils.
Par conséquent, il est important qu’une étude minutieuse soit entreprise pour examiner
dans quelle mesure une approche unidimensionnelle est appropriée. En plus de l’étude
de la structure des différentes compétences, des différences structurelles possibles entre
écoles, régions ou méthodes utilisées et qui pourraient révéler des items à
fonctionnement différentiel (DIF) devraient être examinées avant que l’approche
unidimensionnelle puisse être justifiée. Si des différences marquées ou des corrélations
moyennes entre compétence étaient avérées, on devrait être confronté à plusieurs
problèmes. Deux d’entre eux sont discutés ci-après:
1. Une décision rationnelle doit être prise sur la pondération qui sera attribuée à
chaque compétence pour le score total. S’il y a une disposition légale qui stipule
que chacune des compétences doit avoir le même poids, le problème est alors
résolu.
2. Toutefois, même avec une pondération imposée, nous ne disposons d’aucune
garantie, pour les méthodes centrées sur les candidats, comme avec la méthode
du corpus de productions par exemple, que les panélistes utiliseront
74