Relier les examens de langues au Cadre ... - ECEP - Ecml.at

Les preuves pourraient être fournies par une autre procédure de détermination
des scores de césure en utilisant le même panel ou un panel indépendant,
conduit par les mêmes organisateurs ou par une équipe indépendante.
Voici un résumé du type de preuves qui pourrait être fournies pour justifier
l’affirmation relative aux règles de décision qui émanent de ses propres procédures
pour relier son examen au Cadre. On pourrait tenter de tout faire, mais ce serait
irréaliste parce que la collection de preuves serait particulièrement coûteuse; en outre,
toutes les études ne corroboreraient pas de façon comparable les résultats.
Dans cette section, quelques exemples de validation externe seront discutés et des
arguments, ainsi que leurs limites et leur caractère persuasif (ou l’absence de ce
caractère), seront présentés. Cependant, en premier lieu, une remarque générale doit être
faite. Dans la théorie des tests, le problème de la validité externe est généralement
considéré en montrant la correspondance entre les résultats au test et des critères externes.
Parfois, les mesures du critère externe sont considérées comme absolues d’une certaine
manière. Cependant, en réalité, aucun critère n’est parfaitement valide. Prenons le succès
académique comme exemple. Obtenir un master à l’université peut être considéré sans
erreur de mesure. Un master est alors certainement utile, mais non absolu, en termes de
critères des habiletés mentales. En effet, quelques étudiants pourraient échouer à
l’université pour des raisons largement indépendantes de leur habileté mentale et
quelques étudiants pourraient réussir sans que cela soit mérité; aucun système d’examen
n’est infaillible. Ainsi, il est préférable de considérer toutes les mesures de critères
comme faillibles de la même façon que les tests le sont, c’est-à-dire qu’une part de leur
variance est indésirable et non pertinente pour montrer la validité de la procédure d’un
test, comme avec les résultats de la détermination des scores de césure.
7.6. Conclusion
La discussion relative à la validation externe dans ce chapitre pourrait apparaître
décevante à l’égard de nombreux points. En fait, elle ne propose pas de distinction
claire entre ce qui relève du bon et du mauvais. Elle ne prescrit non plus de façon claire
et univoque ce qu’il convient de faire pour une situation donnée.
Voici ci-après, en deux points, quelques raisons à cela.
Premièrement, il n’y a aucune autorité qui détient la vérité et la divulgation reste
problématique. Les organismes de test aspirent à découvrir cette vérité encore non
connue en effectuant un choix méthodologique (et/ou des méthodes psychométriques)
approprié. C’est en faisant part de ces travaux à la communauté que, dans le futur, nous
pourrons nous approcher de la vérité de si près que nous pourrons considérer que nous
avons résolu le problème. A l’opposé, nous croyons que ce qui constitue un «B1» est
essentiellement une convention pratique, mais la formulation est si claire et si
consistante que deux professionnels du monde des langues s’y référant signifieront
88