Les tests certificatifs - Labset

Impact de tests formatifs organisés via la plateforme 

Web CT sur la réussite à des tests certificatifs. 

Professeur Ch. Hanzen 

Université de Liège 

Faculté de médecine vétérinaire 

B42 Sart Tilman, 4000 Liège 

E-mail : christian.hanzen@ulg.ac.be 

Web site : www.fmv.ulg.ac.be/oga 

Prof. Ch. Hanzen – WebCT et tests formatifs- Colloque Formadis novembre 2006 1

L’évaluation formative : un BESOIN 

● Définitions 

= procédures visant à améliorer le curriculum (Scriven, M., The 

Methodology of Evaluation, Perspectives of Curriculum 

Evaluation, 1967, Rand Mc Nally) 

= Evaluation intervenant, en principe, au terme de chaque tâche 

d’apprentissage et ayant pour objet d’informer élève et maître 

du degré de maîtrise atteint et éventuellement, de découvrir 

où et en quoi un élève éprouve des difficultés d’apprentissage, 

en vue de lui faire découvrir des stratégies qui lui permettent 

de progresser… ( de Landsheere G, Dictionnaire de 

l’évaluation et de la recherche en éducation, 1979). 


Une évaluation formative sur Web CT : 

une IDEE justifiée 

● Organisation depuis 5 ans de tests formatifs en 

présentiel 

● Augmentation du parc informatique des étudiants 

• enquête 2005 auprès de 700 étudiants de doctorat 

• 87 % disposent d’un ordinateur (53 % : PC ; 34 % : 

portable; 13 % : les deux) 

• 74 % bénéficient d'une connexion internet. 

• 60 ordinateurs dans les diverses salles informatiques 

de la faculté 



une IDEE aux multiples avantages 

Apprenant 

• gestion plus aisée des moments d'évaluation 

• évaluation dès la fin du chapitre 

• entraînement aux certificatifs 

• avoir une retroaction pour chaque question 

• mise en place d’une réflexion metacognitive 



une IDEE aux multiples avantages 

Enseignant 

• réduction du travail inhérent à une évaluation en 

présentiel (impression, réservation) 

• personnalisation (par chapitre) des évaluations 

• moyen indirect de réduire l’absentéisme 

• prolonger l’évaluation par une discussion sur le forum 


Objectifs de l’étude 

● évaluer l'impact auprès des apprenants de tests formatifs 

mis à en ligne sur la plateforme Web CT 

● Évaluer les effets sur le taux de réussite aux tests 

certificatifs. 

● Et donc confirmation éventuelle d’un adage bien connu : 

« Plus je m’entraîne, plus je saute haut » (Tia Hellebaut) 


MOYENS : cours organisés en présentiel 

● Cours de propédeutiques spéciales du système génital 

(prerequis pour les enseignements de 2ème doctorat) 

• 12 h en 1er doctorat 

● Cours de pathologies mammaires, obstétricales et de la 

reproduction des ruminants, équidés et porcs (15 septembre 

au 10 décembre 2005) 

• 50 heures en 2ème doctorat 

• 347 étudiants concernés 


Moyens : organisation des évaluations en 2ème doctorat 

Accès aux tests de 1er doc : 7 tests et 65 questions 

Accès aux tests de 2ème doc : 18 tests et 136 questions 

Paramétrages identiques des tests 

40 QCM SGI 40 QCM SGI 

S1 S2 S3 S3 S4 S5 S6 C1 T1 S7 S8 S9 S10 S11 C1 C2 T2 

Rentrée académique 


MOYENS : Questions des tests formatifs et 

certificatifs 

● Nature des questions : QCM (4 propositions) et 4 SGI (en 

vue d’une évaluation indirecte de la vigilance cognitive) 

• 6 : aucune des solutions proposées n'est correcte ; 

• 7 : toutes les solutions proposées sont correctes simultanément 

; 

• 8 : manque d’information dans l’énoncé de la question ; 

• 9 : absurdité ou une contre-vérité dans l’énoncé de la question. 

● Rédaction des questions par l’enseignant 

● Validation par les assistants (n=3) 


ACTIONS : Paramétrage des tests formatifs sur 

Web CT 

● Accès simultané à toutes les questions d’un test 

● Aucune limite de temps imposée 

● Deux tentatives allouées par test 

● Intervalle minimum de 48 heures entre les deux tentatives 

● Accès au résultat une fois le test envoyé 

● La correction du test impliquait une réponse à toutes les 

questions 

● Accès à une rétroaction générale par question une fois le 

test soumis (justification par l’enseignant de la réponse 

correcte) 


ACTIONS : Les tests certificatifs 

● Enjeu : report possible à l’oral de la cote moyenne obtenue sur 

l’ensemble des deux tests certificatifs si moyenne >=12 

● Cotation 

• + 1 point attribué en cas de réponse correcte, 

• 0 point en cas d'omission, 

• - 1/7ème des points en cas de réponse erronée 

• application de la formule 1/n-1, 

• n représentant le nombre de propositions soit 8 

● Feuille de justificatif à remplir le cas échéant par l’apprenant 

● Recorrection après analyse des r.bis 

● Publication des résultats et des rétroactions aux réponses correctes 


Evaluation : taux de participation aux tests formatifs 

(% d’étudiants qui ont réalisé au moins un test) 

100 

90 

80 

70 

60 

50 

40 

30 

20 

10 

0 

Tests doc1 Tests doc2 Tests doc1 et 2 


Evaluation : taux de participation aux tests formatifs 

90 

80 

70 

60 

50 

40 

% de tests effectués 

% de questions testées 

30 

20 

10 

0 

Tests doc1 Tests doc2 Tests doc1 et 2 


Evaluation : résultats moyens des tests formatifs 

Note maximale 20 

15 

14 

13 

12 

11 

10 

a b c 

Tests doc1 

(prerequis) 

Tests doc2 

(pathologies) 

Moy : 14,7 

Moyenne 


Evaluation : résultats moyens des tests certificatifs 


13 

S 

Moy : 12,2 

S 

12 

S 

S 

Moyenne de tous les 

étudiants 

Au moins un test 

11 

NS 

Aucun test 

10 

a 

a 

b 

Test certificatif 1 Test certificatif 2 Moyenne des deux 

tests 

Prof. Ch. Hanzen – WebCT et tests formatifs- Colloque Formadis novembre 2006 15 

c

Evaluation : effet du nombre de questions formatives 

testées sur les résultats des tests formatifs 


16 

15 

Tests de prerequis (1er doc) 

14 

13 

12 

11 

10 

16 

15 

14 

13 

12 

11 

10 

a a a 

44 Moy 


a a b 

a 

 

90 Moy 

16 

15 

14 

13 

12 

11 

10 


a b b 

140 Moy 

Ensemble des tests 

Tests de pathologies (2ème doc) 


Evaluation : effet du nombre de questions formatives 

testées sur le résultat moyen des tests certificatifs 

Nombre de questions 

180 

170 

160 

150 

a 

140 

130 

120 

b 

110 

100 

=16 

a a b 

a 

a b c d e 

Résultats sur 20 


Evaluation du système : le test de satisfaction 

● Mise en ligne sur Web CT 

• Après publications des résultats des tests certificatifs 

• pendant le mois de février 2006 

● 85 avis exprimés (sur 347 étudiants de 2ème doctorat) 

● 19 questions de fond et de forme 

● 2 questions ouvertes relatives aux points positifs et négatifs 

des enseignements 


Les évaluations formatives en ligne, vous ont aidé à assimiler la 

matière (85 avis exprimés) 

70 

% de satisfaction 

60 

50 

40 

30 

20 

10 

0 

Pas utilisées 

Pas du tout 

d'accord 

Plutôt pas 

d'accord 

Plutôt 

d'accord 

Tout à fait 

d'accord 


En ce qui concerne les évaluations formatives en ligne, les retroactions 

générales vous ont aidé à mieux comprendre vos erreurs (n=85). 


80 

70 

60 

50 

40 

30 

20 

10 

0 

Pas du tout 

d'accord 

Plutôt pas 

d'accord 

Plutôt d'accord 

Tout à fait 

d'accord 


Vous connaissez maintenant vos résultats aux deux tests certificatifs. 

Estimez-vous que les résultats obtenus sont à la hauteur des efforts 

d’apprentissage consentis (n=85) 


40 

35 

30 

25 

20 

15 

10 

5 

0 

Pas du tout 

d'accord 

Plutôt pas 

d'accord 

Plutôt d'accord 

Tout à fait 

d'accord 


Evaluation : aspects négatifs (extraits) 

● Je me permets de signaler le fait que les tests de webct ne 

sont pas du tout représentatifs de la difficulté des tests 

certificatifs. 

● L'aspect le plus négatif est que les questions ne sont pas en 

nombre suffisant et sont présentées dans le même ordre 

d'une fois sur l'autre (la mémoire du premier test est quelque 

fois plus forte que la mémoire de la matière!) 

● J'ai trouvé dommage que l'accès aux questionnaires soit 

limité (dans le temps et en nombre). 


Evaluation : aspects positifs (extraits) 

● J'ai vraiment trouvé que votre idée de créer ces évaluations 

étaient une excellente idée, et elles permettent de mieux 

comprendre la matière surtout grâce aux rétroactions. Cela a du 

vous prendre énormément de temps et je vous en remercie! 

● L'aspect le plus positif de Web CT est le système 

d'autoévaluation : cela m' a permis de cerner les parties du cours 

que je n'avais pas bien assimilées, de mieux comprendre les 

objectifs, d'apprendre à moins voir le cours de façon théorique, 

mais dans un esprit "clinique" avec une vision plus générale. 

Dommage que les tests pour chaque chapitre ne comportent pas 

plus de questions car c'est aussi une bonne façon de mémoriser 

certaines choses. 


Evaluation : aspects positifs (extraits) 

● Même si ce n'est pas l'objectif du système universitaire, votre 

approche du cours et vos exigences nous poussent vraiment à 

nous mettre au travail rapidement et surtout sereinement ce qui 

facilite grandement l'utilisation de notre mémoire à long terme. 

Il y'a peu de contraintes en université pour nous stimuler, et 

même si nous sommes maintenant assez mûrs pour savoir où est 

notre intérêt, une bonne part de fainéantise prend souvent le 

dessus. 

● Les évaluations m'ont permis de voir les lacunes que j'avais 

encore après l'apprentissage du cours et d'éclaircir certains 

points obscures grâce aux réponses commentées. 


REGULATION : Innovation à poursuivre 

● Taux de participation : 86 % des apprenants ont fait au 

moins un test 

● Effet favorable sur l’assimilation de la matière : 91 % de 

plutôt à tout à fait d’accord 

● Impact positif des tests formatifs sur la réussite aux tests 

certificatifs (2/3 des étudiants ont pu reporter leur cote à 

l’oral) 


REGULATION : Innovation à poursuivre mais … 

● 1 étudiant sur deux estime n’avoir pas été récompensé des 

efforts réalisés 

● Adaptations nécessaires (2006-2007) 

• Nombre illimité de tentatives par test 

• Organisation d’un test formatif en situation réelle (2 minutes par 

question, une seule tentative possible) durant la semaine 

précédant le test certificatif. 

• Augmentation du nombre total de questions 


REGULATION : adaptations encore possibles 

● Faire des tests séparés de questions dites de connaissance et 

de compréhension 

● Favoriser l’approche métacognitive des tests réalisés 

(l’expérience n’est pas ce qui arrive ….) les DC sur Web CT 

● Inciter les apprenants à rédiger des questions : évolution vers le 

nouveau paradigme de paradigme de « l’élève-qui-apprend-ycompris-en-participant-au-processus-de-l’évaluation 

» 

● Faire des tests ne comprenant que des manques (8) ou des 

absurdités (9) pour entraîner les apprenants à ne pas voir des « 

pièges » là ou il n’y en a pas et inversement 


Une dernière question pour la route ….. 

Et si les performances ne suffisaient plus à rendre 

compte des apprentissages des élèves 

Figari G. 

Mesure et évaluation en éducation 2006, 29.

Les tests certificatifs - Labset

Create successful ePaper yourself

Delete template?

Save as template?