Relier les examens de langues au Cadre ... - ECEP - Ecml.at

7.2.2. Aspects opérationnels: le test pilote
En amont de l’administration d’un examen en contexte réel, les données peuvent être
collectées au cours de plusieurs étapes. D’une façon générale, on distingue la phase
pilote et la phase de pré-test.
Le plus souvent, on entend par test pilote l’expérimentation du matériel de test de
manière à éliminer les ambigüités, à vérifier la clarté et la compréhension des questions
et de leurs consignes, à disposer d’une première estimation de la difficulté des tâches et
des items et à estimer la durée nécessaire. Un test pilote peut être conduit sur un petit
échantillon (une ou deux classes suffisent généralement); il est cependant utile de ne
pas présenter le matériel exclusivement comme un test, mais d’essayer de disposer d’un
maximum de retour d’information sur la qualité du matériel de test. Des méthodes
qualitatives, comme les interviews et les «labos cognitifs», peuvent révéler de
nombreuses informations intéressantes pour ce qui concerne l’examen planifié; les
participants au test pilote peuvent être des élèves et des enseignants. Un bon pilotage
permet d’éviter les mauvaises surprises lors de la phase de pré-test et de l’examen réel.
7.2.3. Aspects opérationnels: le pré-test
Un pré-test est généralement construit pour obtenir des informations sur les principales
caractéristiques de l’examen planifié. En plus des paramètres psychométriques (qui
seront discutés par la suite), les caractéristiques opérationnelles doivent aussi être
observées. Le temps attribué et le temps nécessaire pour le pré-test est une source
majeure d’information qui doit être collectée à cette fin.
En dehors du fait d’être une répétition de l’examen à venir, le pré-test permet
également la réalisation d’une fonction centrale, en l’occurrence celle de relier les
examens entre eux. Etant donné que les examens tendent à être uniques du point de vue
de leur composition d’une année sur l’autre et que les populations cibles n’ont pas
d’élèves en commun, les données recueillies sur les deux examens ne peuvent être
comparées; les différences au niveau du score moyen pourraient être dues à des
différences systématiques entre les deux groupes de candidats ou à une différence en
termes de difficulté des contenus des deux examens ou encore par un mixte de ces deux
raisons. Il n’y a aucune manière de savoir dans quelle mesure l’une et/ou l’autre de ces
deux causes sont avérées, sauf si les données sont liées d’une certaine façon.
Puisque présenter des items aux mêmes candidats dans un pré-test que lors d’un
examen a des conséquences imprévisibles en regard des effets mnésiques, les bonnes
pratiques exigent que le pré-test soit conduit deux ans en avance (ou sur une période de
deux rotations d’examens). Si les examens des années 1 et 2 doivent être liés, le prétest
qui les lie devra alors être organisé deux ans avant l’examen 2, en l’occurrence en
l’année 0.
83