Evaluation - Labset
Evaluation - Labset
Evaluation - Labset
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Deuxième journée de l’IFRES<br />
9 mai 2008<br />
Les rapports entre objectifs<br />
et évaluations pédagogiques<br />
Evaluer pourquoi quoi Comment A quel prix <br />
D. Leclercq<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 1
Objectifs de l’exposé :<br />
donner des réponses - repères sur 7 questions<br />
• 1. Qu’est-ce qu’évaluer <br />
• 2. Pourquoi évaluer <br />
• 3. Qu’est-ce qu’un dispositif d’évaluation <br />
• 4. Evaluer quoi <br />
• Evaluer comment (Méthodes) <br />
5 -selon quels principes <br />
6 -avec quels instruments <br />
• 7. Avec quels critères de qualité et à quel prix <br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 2
1. Qu’est-ce qu’évaluer <br />
Evaluer = Observer (mesurer) + juger<br />
2. Pourquoi évaluer <br />
2 visées ou fonctions) :<br />
-formative (au service de la régulation de<br />
l’apprentissage)<br />
-sanctionnante (au service de la régulation de la<br />
société : certification ou sélection)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 3
3. Qu’est-ce qu’un dispositif d’évaluation <br />
• Un système d’observation permettant un jugement<br />
• à visée formative OU/ET sanctionante<br />
• concernant des individus, des groupes ou des<br />
institutions<br />
• portant sur des d’objectifs<br />
• selon des principes : quand Par qui de façon<br />
modifiable ou définitive de façon standardisée ou<br />
adaptative avec quelle préparation à correction<br />
automatisée ou par experts ou par pairs ou par l’étudiant<br />
etc.)<br />
• à l’aide de méthodes (QCM, QROC, QROL, oral,<br />
exposé, ECOS, rapport, portfolio, stage, etc.)<br />
• et de techniques (Solutions Générales Implicites,<br />
Degrés de Certitude, présentation factionnée, etc.)<br />
• tentant de satisfaire un certain nombre de critères de<br />
qualité (ETIC PRAD).<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 4
5. Evaluer selon quels Principes ( Caractéristiques du dispositif)<br />
En contexte artificiel-authentique<br />
A référence critérielle (repères préalables) – normative (comparaison au groupe)<br />
A tempo continu (réparti dans le temps) ou ponctuel (concentré dans le temps)<br />
A statut révisable (améliorable ou dépréciable) ou définitif<br />
A procédure standardisée (la même pour tous et à tout moment)<br />
ou non (adaptative, ex : oral)<br />
A notation subjective (par jugements, même à partir de critères) –<br />
objective (par application aveugle et automatisable de règles)<br />
Par agents experts – pairs – soi (auto-évaluation)<br />
(Leclercq, 2007)<br />
Dont les sujets sont des individus, un groupe, une institution<br />
A précision sommative (UN score de passage)- diagnostique (les causes)<br />
D’une durée de recueil des données de….(jours –heures min)<br />
Avec préparation isomorphe (examen simulé) ou non ou absente<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 5
7. Selon quels Critères de qualité (validité) <br />
Leclercq (2006)<br />
E = Ecologique (degré d’authenticité / artificialité,<br />
proximité à la réalité, sa complexité)<br />
T = Théorique (représentative des processus<br />
mentaux visés, des contenus, du niveau d’exigence)<br />
I = Informative (diagnostique et compréhensible<br />
pour les utilisateurs)<br />
C = Conséquentielle (suivie d’effets<br />
chez les apprenants ou le prof))<br />
P = Prédictive statistiquement du futur<br />
(réussite ou échec scolaire, professionnel, etc.)<br />
R = Replicable (Fidélité : erreur de mesure faible)<br />
A = Acceptable (sur les principes, les coûts, les délais, sur les<br />
charges de travail, pour les encadrants et les étudiants)<br />
D = Déontologique (équitable, respectueuse des droits…)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 6
7 bis : Exigences de qualités différentes selon les visées <br />
À visée<br />
formative sanctionnante<br />
<br />
X<br />
X<br />
X<br />
<br />
<br />
X<br />
<br />
X<br />
X<br />
<br />
<br />
X<br />
X<br />
X<br />
X<br />
E = Ecologique (degré d’authenticité / artificialité,<br />
proximité à la réalité, sa complexité)<br />
T = Théorique (représentative des processus<br />
mentaux visés, des contenus, du niveau d’exigence)<br />
I = Informative (diagnostique et compréhensible<br />
pour les utilisateurs)<br />
C = Conséquentielle (suivie d’effets<br />
chez les apprenants ou le prof))<br />
P = Prédictive statistiquement du futur<br />
(réussite ou échec scolaire, professionnel, etc.)<br />
R = Replicable (Fidélité : erreur de mesure faible)<br />
A = Acceptable (sur les principes, les coûts, les délais,<br />
sur les charges de travail, pour les encadrants et les étudiants )<br />
D = Déontologique (équitable, respectueuse des droits…)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 7
4. Evaluer quoi <br />
Les objets d’observation (de mesure) peuvent relever<br />
du niveau de complexité<br />
-de performances isolées (habiletés)<br />
des domaines<br />
- cognitif (des savoirs)<br />
- sensori-moteur : (des skills, des savoir-faire)<br />
- affectif (des attitudes, engagements, des savoir-être)<br />
- métacognitif (des jugements, analyses et régulations<br />
sur soi)<br />
-de performances intégrées et complexes (compétences)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 8
L’évolution de la notion d’objectifs…<br />
Contexte « scolaire »----------------------------------------------Situation professionnelle<br />
Contenus<br />
4. Evaluer quoi (suite)<br />
X Activités<br />
Mentales ou physiques<br />
Habiletés<br />
de savoir<br />
de faire<br />
d’être<br />
spontanées<br />
x<br />
autonomes<br />
nouvelle<br />
en Situation<br />
complexe<br />
Compétences<br />
Performances isolables<br />
Performances complexes ou intégrées<br />
…et de leur évaluation<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 9
6. Techniques et Instruments d’évaluation<br />
Contexte « scolaire »----------------------------------------------Situation professionnelle<br />
spontanées<br />
Contenus x Activités x Situation<br />
nouvelle<br />
autonomes<br />
habiletés<br />
de savoir<br />
de faire<br />
d’être<br />
Compétences<br />
complexe<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
Projets<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 10
Méthodes et Techniques d’évaluation<br />
Contexte « scolaire »----------------------------------------------Situation professionnelle<br />
spontanées<br />
x Situation<br />
nouvelle<br />
autonomes<br />
Contenus x Activités<br />
habiletés<br />
de savoir<br />
de faire<br />
d’être<br />
Compétences<br />
complexe<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
TOISE<br />
Compréhension<br />
Connaissance<br />
Non abordé ici<br />
Projets<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 11
T.O.I.S.E.<br />
Taxonomie d’Objectif Instrumentée<br />
au Service de l’ <strong>Evaluation</strong><br />
D. Leclercq<br />
octobre 2007<br />
d.leclercq@ulg.ac.be<br />
voir Leclercq (2007)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 12
<strong>Evaluation</strong><br />
La taxonomie de BLOOM<br />
sur les objectifs (processus)<br />
cognitifs (1956)<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
6 processus mentaux<br />
rangés en ordre<br />
croissant de complexité<br />
Benjamin Bloom<br />
Université de Chicago<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 13
<strong>Evaluation</strong><br />
Synthèse<br />
Quelles sont les<br />
plus évaluées<br />
DISTINCTEMENT<br />
<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Hypothèse :<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
Pourquoi <br />
Compréhension<br />
Connaissance<br />
Hypothèse : Par manque d’instrumentation spécifique.<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 14
<strong>Evaluation</strong><br />
Synthèse<br />
La recherche (Luh,<br />
1922, Bahrick, 1984)<br />
montre que le Rappel<br />
doit être distingué de<br />
la Recognition<br />
Analyse<br />
100<br />
90<br />
Schuwirth Schurwirtz (2000)<br />
Specialists<br />
Application<br />
Compréhension<br />
Connaissance<br />
(de rappel)<br />
% of C orrect answ ers<br />
80<br />
70<br />
60<br />
50<br />
40<br />
30<br />
20<br />
10<br />
Generalists<br />
6th Year<br />
4th Year<br />
2th Year<br />
Connaissance<br />
(de Reconnaissance)<br />
0<br />
Open Ended Q<br />
Multiple Choice Q<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 15
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
(lampes de poche)<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 16
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
QCM A =<br />
K solutions<br />
1 seule solution correcte<br />
1 seule réponse permise<br />
1/k chances de RC<br />
par réponse au hasard<br />
Quelle est la capitale<br />
de l’Italie <br />
1. Turin<br />
2. Naples<br />
3. Rome<br />
4. Venise<br />
Connaissance<br />
par reconnaissance<br />
QCM A<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 17
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
Connaissance<br />
par reconnaissance<br />
QCM SGEN =<br />
K solutions<br />
1 seule solution correcte<br />
1 seule réponse permise<br />
1 Solution Générale<br />
Explicite :<br />
« Nulle, Aucune »<br />
QCM SGEN<br />
« Nulle, Aucune »<br />
Quelle est la capitale<br />
de l’Italie <br />
1. Turin<br />
2. Naples<br />
3. Le Vatican<br />
4. Venise<br />
5. Oslo<br />
6. Nulle (Aucune)<br />
d’entre elles<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 18
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
QCM A’’ =<br />
K solutions<br />
1 seule solution correcte<br />
1 seule réponse permise<br />
1 Solution Générale<br />
Implicite : « Aucune »<br />
Quelle est la capitale<br />
de l’Italie <br />
1. Turin<br />
2. Naples<br />
3. Le Vatican<br />
4. Venise<br />
5. Oslo<br />
Connaissance<br />
de rappel<br />
Connaissance<br />
par reconnaissance<br />
QCM A’ : avec la<br />
SGI « Aucune »<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 19
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
QCM B (Best) =<br />
K solutions<br />
La meilleure des k <br />
1 seule réponse<br />
permise<br />
Quel est le meilleur<br />
synonyme de<br />
« par le biais de »<br />
1. par le soutien de<br />
2. par la réussite de<br />
3. par le moyen de<br />
4. par la responsabilité de<br />
5. par la forme de<br />
Connaissance<br />
par reconnaissance<br />
QCM B<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 20
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Instruments<br />
(lampes de poche)<br />
Exemples de question<br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
QROC =<br />
Réponse Ouverte Courte<br />
QROC<br />
Quel est le meilleur<br />
synonyme de<br />
« par le biais de » <br />
Connaissance<br />
par reconnaissance<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 21
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Instruments<br />
(lampes de poche)<br />
Exemples de question<br />
Quel est le style de cette<br />
sculpture <br />
Analyse<br />
Application<br />
QROC =<br />
Réponse Ouverte Courte<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
QROC<br />
Connaissance<br />
par reconnaissance<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 22
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Instruments<br />
21. Advance Organiser<br />
22. ALBERTINI J. M.<br />
23. Allo<br />
24. Ambivalence<br />
25. Analyse<br />
26. Aphorisme<br />
27. Application<br />
28. Ausubel D.<br />
29. Bloom<br />
.<br />
599. Tutoriel<br />
600. TULVING E.<br />
601. VYGOTSKY L.<br />
602. ZEIGARNIK<br />
Exemples de questions<br />
Q1. Qui a proposé le concept<br />
d’advance organizer <br />
…………..<br />
Q2. BACON a écrit des ………<br />
Q3. Changer fréquemment de<br />
stratégie d’apprentissage est<br />
appelé ………….mathétique<br />
Q4. L’étayage (selon Bruner)<br />
aide à accroître la<br />
……………………….. De<br />
développement de l’apprenant.<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
Connaissance<br />
par reconnaissance<br />
QCL ou Long Menu Q<br />
Des centaines de solutions<br />
rangées alphabétiquement<br />
1 seule solution correcte<br />
1 seule réponse permise<br />
QCL<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 23
Chapitre 1<br />
p. 4 Imitation<br />
p.5 Acquiescement, Identification, Intériorisation,<br />
Taught, Teach<br />
p. 6 Façonnage, Modelage social ,Opérant ,<br />
Progressivité, Shaping, Vicariant<br />
p. 7 Créativité Outcome expectancy<br />
Self efficacy<br />
p. 8 Attente d'efficacité, Attente du résultat<br />
Efficacité, Outcome expectancy<br />
Résultat, Self efficacy<br />
p. 9 Bareers, Belief, Coût, Curabilité, Détectabilité,<br />
Douleur, Freins, Gravité, Health, Honte, Modelage<br />
social, Susceptibilité, Temps<br />
p. 10 Autoempathie, Autofixation, Difficulté,<br />
Segmentation<br />
p. 11 Prestigieux<br />
Cours PSYCHO 058 Matière à mémoriser<br />
Médias, Préconcepton<br />
p. 12 SITCOMS, Subliminales<br />
Chapitre 2<br />
p. 1 Code, Galaxie Gutenberg, Mac Luhan<br />
MARCONI<br />
p. 4 Action, Instrumentalisme, Intériorisation<br />
Langage, Opération mentale<br />
p. 5 Diffuseur, Diffusion, Ecriture, Graphisme<br />
Ecole Gratuite et obligatoire , Imprimerie,<br />
Imprimeurs, Internet, Lecteurs, Ordinateurs<br />
Parole, Scripteurs<br />
p. 15 Confirmation, Internalisation, Progression<br />
Sollicitation, Spontanéité<br />
p. 16 Behavioriste<br />
p. 18 Cognitiviste<br />
p. 19 Liaisons, Lien<br />
p. 20 Relations<br />
p. 21 Iceberg<br />
p. 22 Exercisation<br />
Chapitre 4<br />
p. 1 Hypermédias<br />
p. 4 Filet, Hypertexte, Métaphore, Toile, Web<br />
p. 5 Backstracks, Bookmarks, Désorientation,<br />
Guided Tours, Hyperespace, Marques, se perdre,<br />
Visites guidées<br />
p. 7 Brouter, Browsing, Butinage, Picorage<br />
p. 8 Virtuelle<br />
p. 9 Brouter, Frame, Marge<br />
p. 10 Fictif<br />
p. 11 Maestros<br />
p. 12 ELIZA<br />
Rogerienne<br />
p. 13 Turing<br />
p. 14 DéLINE<br />
p. 15 Analytique, Approfondissements, Globaliste<br />
Holiste, Sérialiste, Superficielle<br />
p. 16 Contraintes, Croisée, Interaction, Intraindividuelle<br />
p. 6 Bayeux<br />
p. 7 Conventions<br />
p. 17 Note<br />
p. 8 Flesh, Lisbilité<br />
p. 19 Gains absolus et relatifs , MAX, MIN, Gain<br />
POSSIBLE, POST-TEST, PRE, PRETEST, Style<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 24<br />
*
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 25<br />
*
*<br />
Les Questions à Choix Large (QCL)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 26
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
Instruments<br />
QCMR =<br />
Appariement<br />
Une solution peut<br />
convenir<br />
à plusieurs questions<br />
Exemples de question<br />
Questions<br />
Quel est l’auteur de<br />
A. La légende des siècles<br />
B. Germinal<br />
C. L’idiot<br />
D. Le rouge et le noir<br />
E. La cantatrice chauve<br />
F. Hernani<br />
Solutions<br />
1. Ionesco<br />
2. Montherland<br />
3. Victor Hugo<br />
4. Dostoievski<br />
5. Stendahl<br />
6. Emile Zola<br />
Connaissance<br />
par reconnaissance<br />
QCMR<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 27
Objet / Objectif à évaluer<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
de rappel<br />
Instruments<br />
QCMR =<br />
Appariement<br />
Une solution peut<br />
convenir<br />
à plusieurs questions<br />
Exemples de question<br />
Questions<br />
Quel est l’auteur de<br />
A. La légende des siècles<br />
B. Germinal<br />
C. L’idiot<br />
D. Le rouge et le noir<br />
E. La cantatrice chauve<br />
F. Hernani<br />
Solutions<br />
1. Ionesco<br />
2. Montherland<br />
3. Victor Hugo<br />
4. Dostoievski<br />
5. Stendahl<br />
6. Emile Zola<br />
Connaissance<br />
par reconnaissance<br />
QCMR<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 28
Jan Smedslund (1997)<br />
• « Une personne E (comme Elève) comprend<br />
correctement ce qui est signifié par une<br />
expression X produite par une personne P<br />
(comme Professeur) si les deux personnes<br />
s’accordent sur ce qui, pour P :<br />
• est équivalent à X, c-à-d signifie la même chose que X<br />
• est impliqué par X, c-à-d découle de X<br />
• est contredit par X, ou nié par X<br />
• est non pertinent par rapport à X, c-à-d n’a rien à voir avec X<br />
• Un désaccord sur un seul de ces critères indique une mauvaise<br />
compréhension (misunderstanding).<br />
• Cela suppose que E est logique.<br />
• On ne peut en effet distinguer un manque de compréhension<br />
d’ un manque de logique. »<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 29
La Comprehension<br />
=<br />
des traductions<br />
comme un<br />
échangeur<br />
d’autoroutes<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 30
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Concepts<br />
mots<br />
Graphiques<br />
Tableaux<br />
Formules<br />
Comprendre,<br />
c’est traduire...<br />
Les points entourés en bleu sont des enfants<br />
avec :<br />
1. Une bonne prédiction et un mauvais score<br />
2. Une bonne prédiction et un bon score<br />
3. Une mauvaise prédiction et un bon score<br />
4. mauvaise prédiction et mauvais score<br />
6. Nulle des 4 précédentes : Aucune<br />
7. Toutes les 4.<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
QCM A ou B ou<br />
QCM + SGE ou SGI<br />
Aucune ou Toutes<br />
K solutions<br />
1 seule solution correcte<br />
1 seule réponse, 2 Solution<br />
Générales : « Aucune » et<br />
« Toutes »<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 31
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Concepts<br />
mots<br />
Synthèse<br />
Analyse<br />
Graphiques<br />
Formules<br />
Application<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Tableaux<br />
QCM A ou B ou<br />
QCM + SGE ou SGI<br />
Comprendre,<br />
c’est traduire...<br />
dans tous les sens<br />
Dans cette feuille de Feedback<br />
d’un Progress test en médecine à<br />
l’U. Maastricht, dans quel<br />
domaine l’étudiant est-il le plus<br />
supérieur à la moyenne <br />
1. Anatomie<br />
2. Biochimie<br />
3. Pharmacologie<br />
4. Physiologie<br />
5. Génétique<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 32
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Concepts<br />
mots<br />
Graphiques<br />
Tableaux<br />
Formules<br />
QCM A ou B ou<br />
QCM + SGE ou SGI<br />
Dans leurs conclusions de la<br />
page 51, les auteurs suggèrent<br />
que :<br />
1. Il faut introduire un quota<br />
restrictif<br />
2. Il faut limiter les<br />
possibilités de<br />
changement de carrière<br />
3. L’incidence du triplement<br />
est élevée<br />
4. Les efforts déployés pour<br />
les étudiants ayant échoué<br />
est un investissement<br />
perdu<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Comprendre,<br />
c’est traduire...<br />
dans tous les sens<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 33
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Concepts<br />
mots<br />
Synthèse<br />
Analyse<br />
Graphiques<br />
Formules<br />
Application<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Tableaux<br />
QCM A ou B ou<br />
Cartes<br />
QCM + SGE ou SGI<br />
Comprendre,<br />
c’est traduire...<br />
dans tous les sens<br />
Quelle est la distance,<br />
en km, entre Aoste et<br />
Courmayeur <br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 34
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Application<br />
Un cas où<br />
-la question est explicite,<br />
-le modèle n’est pas dit<br />
(cylindre, parallélépipède)<br />
-Toutes les données<br />
sont disponibles<br />
QRO<br />
ou QCM + SGE ou<br />
SGI<br />
Voici une tête de marteau.<br />
Quel est son volume <br />
Sachant que le marteau<br />
est en fer dont la<br />
densité est 7.87, que le<br />
trou est circulaire et<br />
son diamètre est 2 cm,<br />
que la hauteur de la<br />
tête de marteau est 3<br />
cm et sa longueur 5<br />
cm.<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 35
Analyse<br />
Quand on vous pose une question,<br />
vous devez répondre<br />
Il y a une réponse à toute question<br />
Une question posée par l‘autorité est<br />
bien posée<br />
Quino<br />
Enjeu de l’analyse :<br />
Mesurer la détection d’erreurs ou<br />
la vigilance cognitive et faire<br />
contrepoids au<br />
Curriculum caché<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 36
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
QRO ou QCM SGI<br />
Manque et<br />
Absurdité<br />
Analyse =<br />
Vigilance<br />
cognitive<br />
Quelle est l’aire d’un<br />
triangle dont la base<br />
est 5 cm<br />
1. 8 cm2<br />
2. 12 cm2<br />
3. 20 cm2<br />
6 = Aucune<br />
7 = Toutes<br />
8 = Manque de<br />
données<br />
9 = Absurdité<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
-Données manquantes<br />
-Problème mal formulé<br />
-question absurde<br />
-connaissances conditionnelles<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 37
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
QRO ou QCM SGI<br />
Manque et<br />
Absurdité<br />
Analyse =<br />
Vigilance<br />
cognitive<br />
Quel est le périmètre d’u n<br />
triangle dont les côtés sont<br />
2 cm, 3 cm and 6 cm <br />
1. 9 cm<br />
2. 11 cm<br />
3. 16 cm<br />
6 = Aucune<br />
7 = Toutes<br />
8 = Manque de données<br />
9 = Absurdité<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
-Données manquantes<br />
-Problème mal formulé<br />
-Question absurde<br />
-connaissances conditionnelles<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 38
Objet / Objectif à évaluer Instruments Exemples de questions<br />
PRIM<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
QRO ou QCM SGI<br />
Manque et Absurdité<br />
QRO ou QCM SGI<br />
Manque et Absurdité<br />
Quel est le périmètre d’u n<br />
triangle dont les côtés sont<br />
2 cm, 3 cm and 6 cm <br />
1. 9 cm<br />
2. 11 cm<br />
3. 16 cm<br />
BIS<br />
Il y avait une absurdité<br />
dans l’énoncé. Où <br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Distinguer<br />
Analyse et<br />
application<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 39
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
Application<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
QROC ou QROL<br />
Synthèse<br />
Pour des performances<br />
complexes (Rapports,<br />
dissertations, projets, …)<br />
qui comportent plusieurs<br />
dimensions<br />
Les 4 critères de<br />
Torrance’s se rapportent<br />
aux QR ouvertes :<br />
fluidité<br />
flexibilité<br />
originalité<br />
élaboration<br />
Connaissance<br />
(Recognition)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 40
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
QROC ou QROL<br />
Pour des performances complexes<br />
(Rapports, dissertations, projets, …) qui<br />
comportent plusieurs dimensions<br />
Application<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Rubriques de jugement<br />
C01 : Exactitude des 3 exemples donnés<br />
C02 : Degré de détail<br />
C03 : Originalité<br />
C04 : Structuration de la réponse<br />
C05 : Pertinence des liens établis<br />
C06 : Explications claires<br />
C07 : Reformulation par ses mots<br />
C08 : Présence du vocabulaire technique<br />
C09 : Orthographe d’usage<br />
C10 : Orthographe grammaticale<br />
(Ici les poids sont cachés)<br />
Exactitude<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 41
Effets de correction dans les notations subjectives<br />
(Leclercq, 2007, chap 3)<br />
• Sévérité du correcteur<br />
• Contamination / halo<br />
• Contraste / séquence<br />
• Inertie / stéréotypie<br />
• Posthumus (Courbe de Gauss) - relativisation<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 42
Objet / Objectif à évaluer Instruments Exemples de questions<br />
<strong>Evaluation</strong><br />
Synthèse<br />
Analyse<br />
QROC ou<br />
QROL +<br />
Pour des performances<br />
complexes (Rapports,<br />
dissertations, projets, …)<br />
qui comportent plusieurs<br />
dimensions<br />
Auto-évaluation<br />
par<br />
Degrés de Certitude<br />
0 20 40 60 80 100<br />
Application<br />
Compréhension<br />
Connaissance<br />
(rappel)<br />
Connaissance<br />
(Recognition)<br />
Rubriques de jugement<br />
Exactitude Certitude<br />
C01 : Exactitude des 3 exemples donnés<br />
C02 : Degré de détail<br />
C03 : Originalité<br />
C04 : Structuration de la réponse<br />
C05 : Pertinence des liens établis<br />
C06 : Explications claires<br />
C07 : Reformulation par ses mots<br />
C08 : Présence du vocabulaire technique<br />
C09 : Orthographe d’usage<br />
C10 : Orthographe grammaticale<br />
(Ici les poids sont cachés)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 43
Basé sur des modèles de l’activité mentale<br />
lors de la réponse à une question<br />
(Bruce Choppin, 1974, IEA)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 44
Epistémologiquement, mesure la<br />
connaisance partielle :<br />
Bruno De Finetti<br />
Methods of discriminating levels<br />
of partial knowledge concerning a test item<br />
Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.<br />
• La connaissance partielle existe.<br />
La détecter est nécessaire et faisable (p. 109)<br />
• Seule la probabilité subjective peut donner une<br />
signification objective à toute réponse et toute<br />
méthode de notation (p. 111)<br />
….et de mesure des gains d’apprentissage.<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 45
Aussi pour les Questions Ouvertes<br />
(QROC ou QROM)<br />
SMART<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 46
D. Leclercq (2007) recommande le remplacement<br />
de la Correction<br />
for guessing classique<br />
TC = +1<br />
TI = -1 / (K-1)<br />
par les Degrés de Certitude<br />
• Modèle théorique faux<br />
• Injuste<br />
• Pas informative<br />
• Pas formative<br />
• Limitée aux QCM<br />
• Modèle théorique meilleur<br />
• Plus Juste<br />
• Informative<br />
• Formative<br />
• générale<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 47
Formule de scoring Leclercq, Poumay, Castaigne (2005) :<br />
Score classique<br />
Par Réponse Correcte : + 1<br />
Par Réponse Incorrecte<br />
ou par Omission : -0,25<br />
On transforme le total<br />
Sur 20 points.<br />
Puis, si le taux d’omissions<br />
ou de certitudes 0 est <br />
« Plus » métacognitifs<br />
Si CONFIANCE<br />
>50%, +0,5<br />
>60%, +1<br />
>70%, +1,5<br />
Si IMPRUDENCE<br />
L’auto-évaluation par Degrés de Certitude<br />
a été utilisée et étudiée dans des domaines vitaux :<br />
pilotes<br />
techniciens<br />
RCP<br />
Patients<br />
diabétiques<br />
étudiants<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 49
A grande échelle, le<br />
testing de 4000 étudiants<br />
entrant (oct 1999) dans<br />
les universités belges<br />
sur 10 matières<br />
par QCM + 2 SGE<br />
avec Degrés de Certitude<br />
a permis d’établir des<br />
repères des<br />
indices de Confiance et<br />
d’Imprudence, des<br />
scores spectraux, des sur et<br />
sous-estimations.<br />
et l’analyse certimétrique<br />
des résultats à chaque<br />
question.<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 50
Validité conséquentielle (en évaluation formative)<br />
Feedback :<br />
(voir chap 1 p. 25)<br />
(voir chap 1 p. 26)<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 51
Conclusions…provisoires<br />
• La qualité d’un dispositif d’évaluation dépend<br />
• -de ses fonctions,<br />
• -de ses caractéristiques,<br />
• -de ses indices de validité,<br />
• -de ses méthodes,<br />
• -de ses instruments et<br />
• -de leur usage.<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 52
Références mentionnées dans l’exposé :<br />
• Leclercq (2003) Diagnostic cognitif et métacognitif au seuil de<br />
l’université. Le porojet MOHICAN mené par les 9 universités de la<br />
Communaute française Wallonie Bruxelles. Liège : Editions de<br />
l’université de Liège.<br />
• Leclercq (2006) Les QCM et ETICPRAD, in Figari et Mottier-Lopez.<br />
Recherche en évaluation. Paris : L’Harmattan.139-148.<br />
1986 *<br />
• Leclercq (2007) <strong>Evaluation</strong> et docimologie. Editions de l’université<br />
de Liège<br />
qui contient, entre autres, les Règles de rédaction des<br />
*<br />
QCM, extraites de ------------------------<br />
* Téléchargeable depuis le site de la journée<br />
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 53
Change language