01.07.2013 Views

Evaluation de la qualité pédagogique des stages d'externat - UPMC

Evaluation de la qualité pédagogique des stages d'externat - UPMC

Evaluation de la qualité pédagogique des stages d'externat - UPMC

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Universités Paris 5, Paris 6, Paris 11 et Paris 12<br />

DIU <strong>de</strong> Pédagogie Médicale<br />

2011-2012<br />

EVALUATION<br />

Chapitre 5 : <strong>Evaluation</strong> <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong><br />

<strong>de</strong>s <strong>stages</strong> <strong>d'externat</strong><br />

Mémoire<br />

Emmanuel LORNE – Matthieu RESCHE-RIGON


Résumé<br />

Les <strong>stages</strong> hospitaliers effectués pendant le cursus <strong>de</strong>s étu<strong>de</strong>s médicales sont un point clé <strong>de</strong> <strong>la</strong><br />

formation <strong>de</strong>s étudiants à leur futur métier <strong>de</strong> mé<strong>de</strong>cin. Si l’évaluation <strong>de</strong>s étudiants est une<br />

préoccupation permanente <strong>de</strong>s facultés <strong>de</strong> mé<strong>de</strong>cine, l’évaluation <strong>de</strong> ces <strong>stages</strong> par les<br />

étudiants eux-mêmes semble moins bien organisée.<br />

Nous proposons dans ce travail un outil d’évaluation <strong>de</strong> ces <strong>stages</strong> hospitaliers ainsi qu’un<br />

exemple <strong>de</strong> mise en p<strong>la</strong>ce dans les facultés <strong>de</strong> mé<strong>de</strong>cine d’Amiens et <strong>de</strong> Paris 7. Notre outil<br />

d’évaluation se présente sous <strong>la</strong> forme d’un ensemble d’items à questions fermées. Les<br />

réponses à ces questions s’effectuent sur une échelle <strong>de</strong> Likert modifiée à 4 niveaux. Nous<br />

présentons l’évaluation <strong>de</strong>s <strong>stages</strong> <strong>de</strong> printemps <strong>de</strong> <strong>la</strong> faculté <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> l’université Paris<br />

7 comme illustration.<br />

Pour finir, nous proposons <strong>de</strong> poursuivre ce travail par une mise en ligne du questionnaire et<br />

l’ajout <strong>de</strong> fonctionnalités <strong>de</strong> visualisation directe <strong>de</strong>s résultats <strong>de</strong> ces évaluations<br />

Mots clés : <strong>Evaluation</strong>, Stage, Externat, Questionnaire


1. INTRODUCTION<br />

Comme souligné par D. Vanpee en 2007, les <strong>stages</strong> au cours <strong>de</strong>s étu<strong>de</strong>s <strong>de</strong> mé<strong>de</strong>cine<br />

représente un moment crucial dans <strong>la</strong> formation <strong>de</strong>s étudiants en mé<strong>de</strong>cine pour développer<br />

et consoli<strong>de</strong>r, progressivement, les compétences professionnelles du mé<strong>de</strong>cin[1]. Cependant,<br />

plusieurs enquêtes ont montré le déficit entre les compétences réellement acquises et celles<br />

désirées par l’étudiant comme par les universités lors d’un stage d’externat[2, 3].<br />

Fortes <strong>de</strong> ce constat, les facultés <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> Denis Di<strong>de</strong>rot Paris VII et d’Amiens,<br />

notamment au travers <strong>de</strong> leurs conseils <strong>de</strong> pédagogie, ont <strong>de</strong>puis plusieurs années adopté une<br />

démarche qualitative concernant les <strong>stages</strong> <strong>de</strong>s étudiants <strong>de</strong> <strong>de</strong>uxième cycle d’étu<strong>de</strong>s<br />

médicales (DCEM). Ce<strong>la</strong> se traduit par <strong>la</strong> volonté d’une part <strong>de</strong> tenir compte <strong>de</strong> <strong>la</strong><br />

performance <strong>de</strong>s étudiants en stage pour leurs évaluations mais aussi, et <strong>de</strong> manière parallèle,<br />

<strong>de</strong> s’assurer <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> proposés aux étudiants en mé<strong>de</strong>cine. Nos facultés<br />

respectives ont répondu <strong>de</strong> manière simi<strong>la</strong>ire à ces <strong>de</strong>ux objectifs en mettant en p<strong>la</strong>ce une<br />

évaluation « bidirectionnelle » <strong>de</strong>s <strong>stages</strong> cliniques :<br />

- L’évaluation <strong>de</strong> l’étudiant par les responsables <strong>de</strong> stage.<br />

- L’évaluation <strong>de</strong>s <strong>stages</strong> par les étudiants c'est-à-dire <strong>la</strong> collecte <strong>de</strong>s appréciations que<br />

les étudiants donnaient <strong>de</strong>s <strong>stages</strong> qu’ils avaient effectués.<br />

Si ces évaluations coexistent elles ne sont pas faites avec <strong>la</strong> même <strong>qualité</strong> et leurs ambitions<br />

sont différentes. En pratique, seule l’évaluation <strong>de</strong>s étudiants a connu une évolution et une<br />

amélioration notable au cours <strong>de</strong>s <strong>de</strong>rnières années. En effet <strong>la</strong> volonté <strong>de</strong> mieux cerner <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong> nos étudiants a conduit les facultés à mieux les évaluer. Ainsi, à <strong>la</strong> faculté<br />

d’Amiens a mené ces <strong>de</strong>rnières années une réforme <strong>de</strong> sa politique d’évaluations <strong>de</strong>s <strong>stages</strong> à<br />

<strong>la</strong> suite d’un premier travail sur <strong>la</strong> pertinence <strong>de</strong>s évaluations. Les notes <strong>de</strong> <strong>stages</strong> étaient<br />

délivrées par le responsable du service, sans qu’il y ait <strong>de</strong> grille <strong>de</strong> notation. Seul le<br />

responsable <strong>pédagogique</strong> (PU-PH) du service donnait une note. Sur <strong>la</strong> pério<strong>de</strong> 2008-2010,<br />

l’analyse <strong>de</strong>s notes <strong>de</strong> <strong>stages</strong> ne retrouvait pas <strong>de</strong> corré<strong>la</strong>tions entre les notes <strong>de</strong> <strong>stages</strong> et le<br />

c<strong>la</strong>ssement à l’ECN (figure 1). Les notes <strong>de</strong> <strong>stages</strong> n’étaient donc absolument pas le reflet <strong>de</strong><br />

<strong>la</strong> <strong>qualité</strong> d’un étudiant sur l’échelle <strong>de</strong> <strong>la</strong> réussite à l’ECN. Ce constat fait, le conseil<br />

<strong>pédagogique</strong> <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens a développé en 2011 un nouveau mo<strong>de</strong> <strong>de</strong><br />

notation <strong>de</strong>s <strong>stages</strong> par les enseignants. Le but <strong>de</strong> ce nouveau mo<strong>de</strong> <strong>de</strong> notation était d’être<br />

plus objectif. Une grille a été introduite avec 4 notes : 1) Assiduité, comportement, <strong>qualité</strong> <strong>de</strong>s<br />

observations (sur 15); 2) Exposé médical (sur 20) ; 3) Acquisition théorique et pratique<br />

correspondant aux objectifs ECN (sur 15) ; 4) ECOS en fin <strong>de</strong> stage (sur 30). Les résultats <strong>de</strong><br />

cette nouvelle démarche en comparant ces quatre notes <strong>de</strong> l‘année 2011-2012 avec le<br />

c<strong>la</strong>ssement à l’ECN 2012 <strong>de</strong>vrait permettre <strong>de</strong> mieux cerner <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s étudiants.<br />

Parallèlement, le constat sévère porté à l’issue du premier travail a amené le conseil<br />

<strong>pédagogique</strong> <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens à vouloir une évaluation du contenu <strong>de</strong>s <strong>stages</strong><br />

par les étudiants <strong>de</strong> manière à améliorer le contenu <strong>pédagogique</strong> du stage, à adapter son<br />

contenu aux désirs <strong>de</strong>s étudiants <strong>de</strong> se préparer au mieux à l’ECN et à continuer à les<br />

familiariser avec leurs pratiques futures. Dans le même temps l’UFR <strong>de</strong> mé<strong>de</strong>cine Paris 7<br />

Di<strong>de</strong>rot avait développé <strong>de</strong>puis plusieurs années un système d’évaluation <strong>de</strong>s <strong>stages</strong> par les<br />

étudiants. Ce système <strong>de</strong> notation <strong>de</strong>s <strong>stages</strong> par les étudiants reposait sur l’évaluation <strong>de</strong> 4<br />

critères :<br />

- Une note d’appréciation globale <strong>de</strong> 1 à 5 (5 correspondant à <strong>la</strong> meilleure appréciation)<br />

- Une note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation théorique <strong>de</strong> 1 à 5 (5<br />

correspondant à <strong>la</strong> meilleure appréciation)


- Une note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation pratique <strong>de</strong> 1 à 5 (5<br />

correspondant à <strong>la</strong> meilleure appréciation)<br />

- Une note d’appréciation <strong>de</strong> <strong>la</strong> pénibilité du stage 1 à 5 (1 correspondant à <strong>la</strong> meilleure<br />

appréciation)<br />

Ces appréciations étaient recueillies à chaque choix <strong>de</strong> stage et portaient sur le seul stage<br />

précé<strong>de</strong>nt. Si ces évaluations avaient le mérite d’exister, elles présentaient certaines limites.<br />

L’inversion <strong>de</strong> l’ordre <strong>de</strong> l’échelle pour l’item « pénibilité » conduisait un certain nombre<br />

d’étudiants à donner une évaluation trompeuse rendant l’interprétation <strong>de</strong>s résultats <strong>de</strong> cet<br />

item impossible. La collecte et le traitement <strong>de</strong>s fiches <strong>de</strong> recueil s’effectuaient avec <strong>de</strong><br />

nombreuses interventions manuelles impliquant un rendu tardif <strong>de</strong>s évaluations, voire pas <strong>de</strong><br />

rendu du tout. Ainsi, ce manque <strong>de</strong> performances dans le rendu et donc dans l’utilité <strong>de</strong> <strong>la</strong><br />

démarche avait été souligné tant par les étudiants eux-mêmes que par le conseil <strong>de</strong>s <strong>stages</strong> <strong>de</strong><br />

notre faculté.<br />

Notre objectif était donc <strong>de</strong> développer un outil d’évaluation <strong>de</strong>s <strong>stages</strong> hospitaliers par les<br />

étudiants en partant <strong>de</strong> l’expérience accumulée dans nos facultés réciproques. Cet d’outil se<br />

<strong>de</strong>vait <strong>de</strong> présenter plusieurs caractéristiques :<br />

- Etre suffisamment général pour pouvoir s’appliquer sur <strong>de</strong>ux sites<br />

- Etre facile à compléter et sans ambiguïté dans sa rédaction<br />

- Etre facile à traiter <strong>de</strong> manière à fournir une information rapi<strong>de</strong> et précise aux<br />

étudiants comme aux instances <strong>de</strong>s UFRs<br />

- Etre souple <strong>de</strong> façon à être modifiable et améliorable<br />

- Pouvoir être diffusé auprès <strong>de</strong>s étudiants, <strong>de</strong>s instances <strong>de</strong> <strong>la</strong> faculté et du personnel<br />

enseignants <strong>de</strong> nos facultés.<br />

L’objectif final est l’amélioration <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> hospitaliers. Nous ne sommes pas<br />

les premiers à s’attacher à cet objectif et <strong>de</strong>s travaux proposant <strong>de</strong>s modifications <strong>de</strong>s schémas<br />

<strong>pédagogique</strong>s, <strong>de</strong>s contenus <strong>pédagogique</strong>s ou <strong>de</strong>s évaluations ont été réalisés[1, 4, 5]. Certains<br />

auteurs soulignent aussi l’impact que <strong>la</strong> perception <strong>de</strong>s <strong>stages</strong> et leurs évaluations peuvent<br />

avoir sur leurs <strong>qualité</strong>s. Ainsi Stark en 2003 insiste sur le fait qu’étudiants et enseignants<br />

doivent être <strong>de</strong>s partenaires, se nourrissant les uns les autres <strong>de</strong>s remarques, pour améliorer <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong>s enseignements et in fine <strong>la</strong> compétence <strong>de</strong>s étudiants[6]. Ainsi notre approche<br />

consiste à parier sur l’impact d’un feedback informatif sur <strong>la</strong> <strong>qualité</strong> du contenu <strong>pédagogique</strong><br />

<strong>de</strong>s <strong>stages</strong>. Ce concept a été développé plus <strong>la</strong>rgement par Kurt Lewin et Floyd Mann au sein<br />

<strong>de</strong> <strong>la</strong> recherche-action[7]. La recherche-action est une méthodologie particulière dont <strong>la</strong><br />

finalité est le changement. Il s'agit d'une démarche <strong>de</strong> compréhension et d'explication <strong>de</strong> <strong>la</strong><br />

praxis <strong>de</strong>s groupes sociaux, par l'implication <strong>de</strong>s groupes eux-mêmes, dans le but d'améliorer<br />

leur praxis. Elle est toujours liée à une action qui <strong>la</strong> précè<strong>de</strong> ou qui l'englobe et s'enracine dans<br />

un contexte. Ici, en répondant au questionnaire, l’étudiant révèle aux enseignants certains <strong>de</strong><br />

leurs comportements. Les comportements ou objectifs que l’équipe du conseil <strong>pédagogique</strong><br />

souhaite améliorer sur les terrains <strong>de</strong> stage sont choisis délibérément en vue <strong>de</strong> leur propre<br />

amélioration. C’est ce que l’on appelle <strong>la</strong> recherche action participative[8]. Karlsen l'i<strong>de</strong>ntifie<br />

à une nouvelle forme <strong>de</strong> création du savoir dans <strong>la</strong>quelle les re<strong>la</strong>tions entre théorie et pratique<br />

et entre recherche et action sont significativement étroites[9]. La recherche-action permet aux<br />

acteurs <strong>de</strong> construire <strong>de</strong>s théories et hypothèses qui émergent du terrain, sont par <strong>la</strong> suite<br />

testées sur le terrain et entraînent <strong>de</strong>s changements désirables à <strong>la</strong> situation problématique<br />

i<strong>de</strong>ntifiée. Ce type <strong>de</strong> recherche action s'articule autour <strong>de</strong> <strong>la</strong> préparation par les acteurs <strong>de</strong><br />

rapports et d'analyses généralement axés vers <strong>la</strong> résolution <strong>de</strong> problèmes. Ce processus ce<br />

déroule en plusieurs phases : choix <strong>de</strong>s items à améliorer, évaluations <strong>de</strong>s items, feedback,<br />

réévaluations <strong>de</strong>s items, feedback <strong>de</strong> nouveau et ainsi <strong>de</strong> suite. Les acteurs du processus


peuvent voir leur progression sur chacun <strong>de</strong>s items et trouver <strong>de</strong>s solutions pour améliorer les<br />

items problématiques. Ainsi, Guénard parle d'un "cycle continu entre trois processus qui<br />

s'enchevêtrent: <strong>la</strong> p<strong>la</strong>nification et l'action, combinées à un constant recueil d'informations<br />

quant au groupe et son contexte propre"[10]. La recherche-action participative, retenue dans<br />

cette étu<strong>de</strong>, cherche moins à prouver, à généraliser et à prédire qu'à trouver et à améliorer <strong>la</strong><br />

capacité <strong>de</strong> faire face à <strong>de</strong>s situations <strong>pédagogique</strong>s <strong>de</strong> façon créative tout en tenant compte<br />

<strong>de</strong>s particu<strong>la</strong>rités et du contexte <strong>de</strong> chaque terrain <strong>de</strong> stage. Elle se fon<strong>de</strong> sur un besoin<br />

c<strong>la</strong>irement i<strong>de</strong>ntifié <strong>de</strong> trouver <strong>de</strong>s solutions à <strong>de</strong>s problèmes. En effet, l’impact d’une<br />

évaluation précise <strong>de</strong>s <strong>stages</strong> permettra d’une part aux responsables <strong>de</strong>s <strong>stages</strong> <strong>de</strong> s’améliorer,<br />

aux étudiants <strong>de</strong> pointer <strong>de</strong> manière objectives les <strong>qualité</strong>s et les défauts <strong>de</strong>s différents <strong>stages</strong><br />

enfin aux instances facultaires d’avoir un outil <strong>de</strong> mesure <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s enseignant.<br />

Nous présentons dans ce mémoire le travail d’é<strong>la</strong>boration du questionnaire, sa première<br />

évaluation et son processus d’imp<strong>la</strong>ntation dans nos facultés.<br />

R= -0.01<br />

p=0.93<br />

Figure 1 : Corré<strong>la</strong>tion entre notes <strong>de</strong> stage en D4/100 et c<strong>la</strong>ssement à l’ECN. UFR d’Amiens,<br />

année 2010/2011<br />

2. METHODES<br />

Le développement <strong>de</strong> notre questionnaire était soumis à plusieurs contraintes :<br />

- Une bonne reproductibilité<br />

- La nécessité d’être complet c'est-à-dire <strong>de</strong> s’intéresser à plusieurs aspects <strong>de</strong>s <strong>stages</strong><br />

hospitaliers<br />

- La nécessité d’être concis : le questionnaire <strong>de</strong>vant être rempli au moment <strong>de</strong>s choix<br />

<strong>de</strong>s <strong>stages</strong>, il se doit d’être facile et rapi<strong>de</strong> à remplir. De plus <strong>la</strong> brièveté du<br />

questionnaire assure un taux <strong>de</strong> remplissage plus élevé[11].<br />

- La nécessité d’être répété dans le temps : les questionnaires sont en effet <strong>de</strong>stinés à<br />

être remplis à chaque choix <strong>de</strong> stage et doivent donc être développés sur un support<br />

facile à déployer et à traiter<br />

- La nécessité d’être analysé rapi<strong>de</strong>ment et possiblement <strong>de</strong> manière évolutive dans le<br />

temps


Ces contraintes nous ont conduits à certains choix dans <strong>la</strong> construction <strong>de</strong> notre questionnaire.<br />

L’utilisation <strong>de</strong> questions ouvertes a ainsi été rejetée pour ne gar<strong>de</strong>r que <strong>de</strong>s questions à choix<br />

fermés <strong>de</strong> façon à pouvoir effectuer un traitement informatique <strong>de</strong>s données sans phase<br />

d’interprétation <strong>de</strong>s données. Nous avons privilégié une démarche s’appuyant sur un système<br />

<strong>de</strong> notation par échelles qualitatives à quatre items <strong>de</strong> type Likert modifiée[12, 13]. Le<br />

développement d'une échelle <strong>de</strong> type Likert suppose au départ l'existence d'une banque<br />

importante d'items choisis <strong>de</strong> façon plus ou moins intuitive en fonction <strong>de</strong> leur re<strong>la</strong>tion<br />

potentielle avec l'objet d'étu<strong>de</strong>. Nous nous sommes pour cette phase inspirés <strong>de</strong> nos<br />

expériences personnelles en tant qu’enseignants et responsables universitaires. A l’issue <strong>de</strong><br />

cette réflexion une première liste d’items a été envoyée aux responsables <strong>pédagogique</strong>s <strong>de</strong> nos<br />

facultés respectives (membres <strong>de</strong> <strong>la</strong> commission <strong>de</strong> pédagogie) ainsi qu’à <strong>de</strong>s enseignants <strong>de</strong><br />

différentes disciplines. Il leur était <strong>de</strong>mandé d’une part <strong>de</strong> sélectionner les items pertinents,<br />

éventuellement <strong>de</strong> les modifier et/ou d’en proposer d’autres. A l’issue <strong>de</strong> ce premier tour une<br />

secon<strong>de</strong> liste d’items a été renvoyée aux responsables <strong>pédagogique</strong>s pour finalisation. Le<br />

questionnaire a ensuite été fixé et testé sur une 20 d’étudiants pour juger <strong>de</strong> sa<br />

compréhension.<br />

Le choix d’une échelle <strong>de</strong> Likert à 4 niveaux résulte <strong>de</strong> notre volonté <strong>de</strong> « cliver » les choix<br />

effectués par les étudiants. Les items d'une échelle <strong>de</strong> type Likert consistent généralement en<br />

<strong>de</strong>s énoncés favorables ou défavorables envers l'objet d'étu<strong>de</strong>. Le <strong>de</strong>gré <strong>de</strong> faveur ou <strong>de</strong><br />

défaveur <strong>de</strong>s items est cependant inconnu. Chaque item est accompagné d'un choix <strong>de</strong> réponse<br />

pouvant prendre une forme ressemb<strong>la</strong>nt à <strong>la</strong> suivante: a) fortement en désaccord; b)<br />

légèrement en désaccord; c) légèrement en accord; d) fortement en accord. Les répondants<br />

doivent sélectionner l'option <strong>de</strong> réponse traduisant le mieux leur <strong>de</strong>gré d'accord ou <strong>de</strong><br />

désaccord avec l'item. Une valeur d'échelle (e.g. 1 à 4) est attribuée à chacune <strong>de</strong>s options<br />

selon le niveau d'accord ou <strong>de</strong> désaccord exprimé par l'option <strong>de</strong> réponse. Ainsi, l'option <strong>de</strong><br />

réponse traduisant le plus haut niveau d'accord avec un énoncé favorable à l'objet d'étu<strong>de</strong><br />

recevra <strong>la</strong> valeur d'échelle <strong>la</strong> plus élevée. Ce type d’échelle conduit l’étudiant à produire un<br />

clivage <strong>de</strong> sa réponse avec une tendance positive ou négative. Une réponse moyenne n’existe<br />

pas avec ce type <strong>de</strong> questionnaire, il y a donc un continuum <strong>de</strong> valeurs informatives qui évite<br />

les valeurs refuges sans informations[13].<br />

Le questionnaire final est composé d’une série <strong>de</strong> 12 items comprenant une note globale sur 4<br />

et 10 échelles qualitatives (Voir Annexe 1) :<br />

- Q1. <strong>Evaluation</strong> globale sur 4<br />

- Q2. Enseignement du « savoir faire » médical (examens cliniques, gestes,<br />

techniques,…)<br />

- Q3. Enseignement du « savoir être » médical (re<strong>la</strong>tion mé<strong>de</strong>cin ma<strong>la</strong><strong>de</strong>, annonce <strong>de</strong><br />

nouvelle,…)<br />

- Q4. Relecture critique <strong>de</strong>s observations médicales<br />

- Q5. Enseignement du raisonnement médical<br />

- Q6. Qualité <strong>pédagogique</strong> <strong>de</strong> <strong>la</strong> formation théorique<br />

- Q7. Qualité du lien entre enseignement pratique et théorique (justification<br />

physiopathologique, références bibliographiques,…)<br />

- Q8M. Charge <strong>de</strong> travail Médicale<br />

- Q8A. Charge <strong>de</strong> travail Administrative<br />

- Q9. Respect <strong>de</strong>s horaires <strong>de</strong> sortie : sortie habituelle <strong>de</strong>s <strong>stages</strong><br />

- Q10. Réalisation d’au moins un exposé (cas clinique, sujet théorique,…)


- Q11. Pensez-vous avoir amélioré vos connaissances lors <strong>de</strong> ce stage<br />

Le questionnaire é<strong>la</strong>boré a été testé lors du choix <strong>de</strong> stage d’été au sein <strong>de</strong> <strong>la</strong> faculté <strong>de</strong><br />

mé<strong>de</strong>cine <strong>de</strong> Paris 7. Leur choix <strong>de</strong> stage effectués, les étudiants ont remplis <strong>la</strong> fiche présentée<br />

en Annexe 1 évaluant leurs <strong>stages</strong> <strong>de</strong> printemps.<br />

Les résultats <strong>de</strong> cette évaluation sont donnés en effectifs et pourcentage. La note globale est<br />

présentée par sa moyenne, son minimum et son maximum. Les évaluations en fonction <strong>de</strong>s<br />

spécialités et <strong>de</strong>s hôpitaux sont données. Une représentation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> à l’ai<strong>de</strong><br />

<strong>de</strong> « Radar Plots » permet <strong>de</strong> résumer <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> sur les items Q2 à Q11 (excepté<br />

Q10). Plus <strong>la</strong> surface est gran<strong>de</strong> meilleur est le stage. En accord avec <strong>la</strong> commission <strong>de</strong><br />

pédagogie <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine les résultats les évaluations par terrain <strong>de</strong> stage ne sont pour<br />

l’instant pas rendus mais seront disponibles dès le questionnaire sera utilisé en routine. Enfin<br />

une mesure <strong>de</strong> <strong>la</strong> cohérence du questionnaire est donnée à l’ai<strong>de</strong> du coefficient alpha <strong>de</strong><br />

Cronbach[14]. L’ensemble <strong>de</strong>s analyses a été réalisé sous le logiciel R-2.15.0 (R<br />

Development Core Team, http://www.R-project.org/)<br />

3. RESULTATS<br />

Un total <strong>de</strong> 326 <strong>stages</strong> avait été choisis au printemps 2012 dont 38 par <strong>de</strong>s redoub<strong>la</strong>nts qui<br />

n’ont pas à faire <strong>de</strong> stage d’été et n’étaient donc pas présents au choix. 269 fiches sur 288<br />

théoriques ont donc été recueillies soit un taux <strong>de</strong> réponses <strong>de</strong> plus 93%.<br />

La table 1 présente les résultats portant sur l’ensemble <strong>de</strong>s <strong>stages</strong>. La note globale est à plus<br />

<strong>de</strong> 75% supérieure ou égale à 3 avec une moyenne à 2.98. Concernant les autres items les 2<br />

qualificatifs les plus favorables sont toujours choisis à plus <strong>de</strong> 50% sauf pour <strong>la</strong> Q4 portant<br />

sur <strong>la</strong> relecture <strong>de</strong>s observations (dans plus <strong>de</strong> 70% <strong>de</strong>s <strong>stages</strong> elles n’ont jamais ou très<br />

rarement été relues) et pour <strong>la</strong> Q8A portant sur <strong>la</strong> charge administrative (jugée lour<strong>de</strong> dans<br />

plus <strong>de</strong> 50% <strong>de</strong>s cas). Seul un étudiant sur <strong>de</strong>ux a pu effectuer un exposé oral.<br />

Le tableau 2 représente <strong>la</strong> distribution <strong>de</strong>s spécialités et <strong>de</strong>s hôpitaux <strong>de</strong>s <strong>stages</strong> choisis. Le<br />

tableau 3 donne <strong>la</strong> moyenne <strong>de</strong> <strong>la</strong> note globale par spécialité. Trois spécialités (avec un<br />

nombre d’observations supérieur à 10) présentent une note globale inférieure à 3 :<br />

l’hématologie, <strong>la</strong> chirurgie orthopédique et <strong>la</strong> gynécologie-obstétrique. Cette note globale<br />

n’est pas forcément en lien direct avec le résumé <strong>de</strong>s items représentés par <strong>de</strong>s radars plots<br />

figure 1. En effet, si l’aire <strong>de</strong> <strong>la</strong> chirurgie orthopédique est faible, l’aire <strong>de</strong> <strong>la</strong> gynécologieobstétrique<br />

est simi<strong>la</strong>ire à celle <strong>de</strong> <strong>la</strong> psychiatrie pourtant mieux notée globalement. Reste<br />

qu’il existe une corré<strong>la</strong>tion entre <strong>la</strong> note globale observée et l’aire observée sur le radar plot<br />

(rho=0.67 ; CI95% 0.20 ;0.88). Le tableau 4 présente <strong>la</strong> note globale par établissement<br />

hospitalier. 4 établissements présentent <strong>de</strong>s notes inférieures à 3. Beaujon a une note <strong>de</strong> 2.4 et<br />

Saint-Louis <strong>de</strong> 2.7 certainement influencées par <strong>la</strong> forte représentation respectivement <strong>de</strong> <strong>la</strong><br />

chirurgie orthopédique et <strong>de</strong> l’hématologie dans ces établissements. Les détails <strong>de</strong>s réponses<br />

sont donnés dans les tableaux A et B <strong>de</strong>s annexes 2 et 3.<br />

Le coefficient <strong>de</strong> alpha <strong>de</strong> Cronbach est <strong>de</strong> 0.78 (CI95% 0.71 ; 0.83). Ce coefficient permet <strong>de</strong><br />

juger <strong>de</strong> <strong>la</strong> cohérence interne du questionnaire, c'est-à-dire sa capacité à appréhen<strong>de</strong>r une<br />

même entité (ou dimension) "sous-jacente" ici <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong>. Plus ce coefficient est<br />

proche <strong>de</strong> 1 meilleur est <strong>la</strong> cohérence interne. Une valeur supérieure à 0.7 signe une cohérence<br />

interne satisfaisante[14].


Tableau 1 : Description <strong>de</strong>s items recueillis lors <strong>de</strong> l’évaluation <strong>de</strong>s <strong>stages</strong> <strong>de</strong> juin concernant<br />

les DCEM3 <strong>de</strong> l’université Denis Di<strong>de</strong>rot - Paris 7. Effectifs et pourcentages.<br />

Questions Valeurs N<br />

269<br />

%<br />

1 8 3.2%<br />

Q1. <strong>Evaluation</strong> globale sur 4<br />

2 50 20.2%<br />

3 129 52.0%<br />

4 61 24.6%<br />

NA 21<br />

médiocre 25 9.3%<br />

Q2. Enseignement du « savoir faire » passable 74 27.5%<br />

médical (examens cliniques, gestes, bon 128 47.6%<br />

techniques,…)<br />

excellent 42 15.6%<br />

médiocre 25 9.3%<br />

Q3. Enseignement du « savoir être » passable 75 28.0%<br />

médical (re<strong>la</strong>tion mé<strong>de</strong>cin ma<strong>la</strong><strong>de</strong>, bon 106 39.6%<br />

annonce <strong>de</strong> nouvelle,…)<br />

excellent 62 23.1%<br />

NA 1<br />

rare 97 36.5%<br />

Q4. Relecture critique <strong>de</strong>s<br />

jamais 85 32.0%<br />

observations médicales<br />

fréquente 63 23.7%<br />

systématique 21 7.8%<br />

NA 3<br />

médiocre 17 6.4%<br />

Q5. Enseignement du raisonnement passable 68 25.5%<br />

médical<br />

bon 133 49.8%<br />

excellent 49 18.4%<br />

NA 2<br />

médiocre 13 4.9%<br />

Q6. Qualité <strong>pédagogique</strong> <strong>de</strong> <strong>la</strong><br />

passable 61 22.8%<br />

formation théorique<br />

bonne 133 49.8%<br />

excellente 60 22.5%<br />

NA 2<br />

Q7. Qualité du lien entre<br />

médiocre 18 6.8%<br />

enseignement pratique et<br />

passable 92 34.6%<br />

théorique (justification<br />

bonne 112 42.1%<br />

physiopathologique,<br />

excellente 44 16.5%<br />

références bibliographiques,…) NA 3<br />

faible 46 17.1%<br />

Q8M. Charge <strong>de</strong> travail Médicale normal 154 57.2%<br />

assez lour<strong>de</strong> 53 19.7%<br />

lour<strong>de</strong> 16 5.9%<br />

faible 98 38.7%<br />

Q8A. Charge <strong>de</strong> travail Administrative normal 68 26.9%<br />

assez lour<strong>de</strong> 42 16.6%<br />

lour<strong>de</strong> 45 17.8%<br />

NA 16<br />

avec 30min 51 19.0%<br />

Q9. Respect <strong>de</strong>s horaires <strong>de</strong> sortie : à l'heure 156 58.2%<br />

sortie habituelle <strong>de</strong>s <strong>stages</strong><br />

avec 1 h 42 15.7%<br />

avec 2 h 19 7.1%<br />

NA 1<br />

non 124 47.0%<br />

Q10. Réalisation d’au moins un exposé oui 140 53.0%<br />

(cas clinique, sujet théorique,…) NA 5<br />

pas du tout 7 2.6%<br />

Q11. Pensez-vous avoir amélioré vos un peu 52 19.4%<br />

connaissances lors <strong>de</strong> ce stage moyennement 94 35.1%<br />

beaucoup 115 42.9%<br />

NA 1


Table 2 : Répartition <strong>de</strong>s choix <strong>de</strong> <strong>stages</strong> offerts aux étudiants <strong>de</strong> DCEM3, <strong>stages</strong> du<br />

printemps 2012. Effectifs et pourcentages.<br />

N %<br />

326<br />

SPECIALITE ABSENT AU CHOIX 2 0.6%<br />

ANATOMO - PATHOLOGIE 8 2.5%<br />

CENTRE DOULEUR 3 0.9%<br />

CHIRURGIE ORTHOPEDIQUE 51 15.6%<br />

GYNECOLOGIE OBSTETRIQUE 87 26.7%<br />

HEMATOLOGIE 18 5.4%<br />

IMMUNOLOGIE 22 6.7%<br />

MEDECINE PHY. ET REA. 9 2.8%<br />

NEURO - CHIRURGIE 14 4.3%<br />

NEUROLOGIE 41 12.6%<br />

ONCOLOGIE 1 0.3%<br />

OPHTALMOLOGIE 5 1.5%<br />

PSYCHIATRIE 30 9.2%<br />

RADIOTHERAPIE 3 0.9%<br />

RHUMATOLOGIE 32 9.8%<br />

HOPITAL ARGENTEUIL 2 0.6%<br />

BEAUJON 35 10.7%<br />

BICHAT 70 21.5%<br />

FERNAND WIDAL 12 3.7%<br />

FONDATION ROTSCHILD 12 3.7%<br />

LARIBOISIERE 83 25.5%<br />

LOUIS MOURIER 23 7.1%<br />

PONTOISE 11 3.4%<br />

ROBERT DEBRE 37 11.3%<br />

SAINT LOUIS 39 12.0%<br />

NA 2 0.6%


Table 3 : Note globale moyenne par spécialité.<br />

Moy<br />

note Note Note<br />

Spécialité<br />

globale min Max Effectif<br />

ANATOMO - PATHOLOGIE 2.5 1 4 2<br />

HEMATOLOGIE 2.8 2 4 76<br />

CHIRURGIE ORTHOPEDIQUE<br />

GYNECOLOGIE<br />

2.8 1 4 29<br />

OBSTETRIQUE 2.9 1 4 55<br />

NEUROLOGIE 3 1 4 23<br />

ONCOLOGIE 3 3 3 1<br />

RADIOTHERAPIE 3 3 3 1<br />

IMMUNOLOGIE 3.1 1 4 17<br />

NEURO - CHIRURGIE 3.1 2 4 11<br />

RHUMATOLOGIE 3.2 2 4 19<br />

PSYCHIATRIE 3.2 1 4 18<br />

CENTRE DOULEUR 3.5 3 4 2<br />

OPHTALMOLOGIE 3.5 3 4 2<br />

MEDECINE PHY. ET REA. 3.7 3 4 3<br />

Table 4 : Note globale moyenne par hôpital.<br />

Moy<br />

note Note Note<br />

Spécialité<br />

globale min Max Effectif<br />

BEAUJON 2.4 1 4 23<br />

SAINT LOUIS 2.7 1 4 58<br />

ROBERT DEBRE 2.9 1 4 53<br />

BICHAT 2.9 1 4 44<br />

ARGENTEUIL 3 3 3 2<br />

LARIBOISIERE 3.2 2 4 45<br />

FONDATION ROTSCHILD 3.2 3 4 5<br />

FERNAND WIDAL 3.3 3 4 6<br />

LOUIS MOURIER 3.4 3 4 16<br />

PONTOISE 3.6 3 4 7


Figure 1 : Radar plot <strong>de</strong>s réponses aux différentes questions en fonction <strong>de</strong> <strong>la</strong> spécialité. Chaque « direction » représente un <strong>de</strong>s items du<br />

questionnaire.


4. DISCUSSION<br />

La première partie <strong>de</strong> notre p<strong>la</strong>n d’action-recherche <strong>pédagogique</strong> semble bien se dérouler.<br />

Nous avons obtenu une bonne adhésion <strong>de</strong>s étudiants et une amélioration du contenu<br />

informatif. En effet, notre taux <strong>de</strong> réponses est supérieur à 93%, ce qui montre l’adhésion très<br />

forte <strong>de</strong>s étudiants à fournir un retour sur leurs <strong>stages</strong> hospitaliers. Le caractère informatif est<br />

<strong>de</strong>venu plus exhaustif car nous avons remp<strong>la</strong>cé 3 items conceptuels avec une faible cohérence<br />

interne (alpha <strong>de</strong> Cronbach inférieur à 0.50 sur l’année 2011) par 11 questions fermées qui<br />

interrogent sur <strong>de</strong>s opinions ou <strong>de</strong>s faits. La note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation<br />

théorique qui était notée <strong>de</strong> 1 à 5 a été remp<strong>la</strong>cée par 4 questions qui informent sur <strong>la</strong> <strong>qualité</strong><br />

<strong>de</strong> l’enseignement théorique mais aussi sur l’enseignement du raisonnement médical, <strong>la</strong><br />

<strong>qualité</strong> du lien entre enseignement pratique et l’amélioration du niveau <strong>de</strong> connaissance. La<br />

note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation pratique <strong>de</strong> 1 à 5 a été remp<strong>la</strong>cée par 3<br />

questions qui informent sur l’enseignement du « savoir faire » et du « savoir être » médical.<br />

Des questions factuelles ont été introduites renseignant sur <strong>la</strong> fréquence <strong>de</strong>s relectures <strong>de</strong>s<br />

observations médicales et <strong>la</strong> réalisation ou non d’un exposé. La note d’appréciation <strong>de</strong> <strong>la</strong><br />

pénibilité du stage 1 à 5 a été remp<strong>la</strong>cée par une question sur les horaires et <strong>de</strong>ux questions<br />

sur <strong>la</strong> charge <strong>de</strong> travail médical ou administratif. Enfin <strong>de</strong>ux questions d’opinions permettent<br />

<strong>de</strong> nuancer <strong>la</strong> <strong>qualité</strong> globale du stage par rapport à <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong>.<br />

Si le choix <strong>de</strong> ces items a été validé par les conseils <strong>pédagogique</strong>s <strong>de</strong> nos <strong>de</strong>ux facultés<br />

respectives, il présente certaines limites. Notre questionnaire renseigne bien 4 <strong>de</strong>s 5 facteurs<br />

d’apprentissages i<strong>de</strong>ntifiés par Lebrun (information, activité, interaction, production)[15],<br />

mais pas sur <strong>la</strong> part d’implication (motivation) dans <strong>la</strong> résolution <strong>de</strong> problèmes que les<br />

enseignants ont donné à l’étudiant au décours du stage. Cet aspect <strong>de</strong>vrait être rediscuté et<br />

potentiellement intégré dans notre questionnaire lors <strong>de</strong> sa réévaluation annuelle. Cependant,<br />

<strong>la</strong> mesure <strong>de</strong> cette motivation est difficile lors d’un auto-questionnaire.<br />

Nos questions ont été volontairement fermées pour faciliter <strong>la</strong> compréhension, fixer le sens <strong>de</strong><br />

<strong>la</strong> réponse et permettre un dépouillement rapi<strong>de</strong>. Ce choix limite <strong>la</strong> quantité d’information sur<br />

l’item, influence les réponses et provoque un effet d’ancrage <strong>de</strong>s réponses suivantes[16-18]. Il<br />

a l’avantage d’être reproductible et limite <strong>la</strong> subjectivité <strong>de</strong> celui qui dépouille les<br />

questionnaires quand à l’interprétation <strong>de</strong>s données. Nous avons choisit d’utiliser une échelle<br />

<strong>de</strong> Likert à 4 niveaux pour cliver les avis favorables <strong>de</strong>s avis défavorables, une échelle à 5<br />

aurait permit <strong>de</strong> plus gran<strong>de</strong>s nuances mais nous aurait exposé à une majorité <strong>de</strong> réponses<br />

sans opinions. L’échelle <strong>de</strong> Likert a été initialement crée avec <strong>la</strong> possibilité <strong>de</strong> pondérer les<br />

questions entres elles[12]. Nous n’avons pas pondéré les questions selon leurs importances<br />

re<strong>la</strong>tives dans notre évaluation globale. Il s’agit d’un choix délibéré <strong>de</strong> notre part. Nous<br />

recueillons déjà une note globale. De plus, un tel outil a pour objectif l’amélioration <strong>de</strong> <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> d’externe. Il nous a paru plus important <strong>de</strong> pouvoir « disséquer » les<br />

différents aspects du stage que <strong>de</strong> fournir une autre évaluation générale.<br />

L’ordre <strong>de</strong>s questions peut avoir une influence sur <strong>la</strong> réponse aux questions suivantes. Nous<br />

avons choisi <strong>de</strong> poser <strong>la</strong> première question sur <strong>la</strong> note globale du stage. Ce choix n’était peutêtre<br />

pas judicieux car elle enferme possiblement l’étudiant dans son choix <strong>de</strong> départ pour<br />

répondre aux autres questions[16-18]. Nous aurions probablement du mettre cette première<br />

question avec <strong>la</strong> <strong>de</strong>rnière. Idéalement, il faudrait dans un questionnaire électronique (annexe<br />

4) randomiser l’ordre <strong>de</strong>s questions pour chacun <strong>de</strong>s étudiants se connectant au site web.


Le feedback n’a pas encore été fait aux responsables <strong>de</strong>s <strong>stages</strong>. L’acceptabilité du<br />

questionnaire par les enseignant n’a pas encore été évaluée. Dès que les enseignants auront<br />

reçu les évaluations <strong>de</strong>s étudiants sur leur terrain <strong>de</strong> stage, nous pourrons voir si notre<br />

recherche-action provoque une amélioration <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong> <strong>de</strong>s <strong>stages</strong> hospitaliers.<br />

De notre point <strong>de</strong> vue au moins 3 mécanismes <strong>de</strong> feedback peuvent être envisagés :<br />

- Cet outil permet aux enseignants d’évaluer <strong>la</strong> <strong>qualité</strong> <strong>de</strong> leur production. L’évaluation<br />

se fait alors par items ou plus globalement sur <strong>la</strong> note moyenne du stage. Ainsi<br />

l’information que nous produisons se doit <strong>de</strong> détailler items par item les réponses et <strong>de</strong><br />

donner <strong>de</strong>s outils <strong>de</strong> synthèse. De ce point <strong>de</strong> vue l’évaluation <strong>de</strong> l’aire sous <strong>la</strong> courbe<br />

<strong>de</strong>s radars nous parait intéressante car <strong>la</strong> baisse <strong>de</strong> <strong>la</strong> valeur d’un item décroit<br />

considérablement l’aire totale. Par exemple en oncologie <strong>la</strong> note globale d’évaluation<br />

(=3) est i<strong>de</strong>ntique à <strong>la</strong> neurologie et à <strong>la</strong> radiothérapie tandis que l’aire sous <strong>la</strong> courbe<br />

est plus importante. Ces observations <strong>de</strong>vraient inciter les enseignants à modifier leur<br />

comportement sur les items qui ne sont pas bien notés par les étudiants.<br />

- Nous espérons que cet outil permettra aux étudiants <strong>de</strong> mieux choisir leurs <strong>stages</strong>.<br />

Cette pression exercée sur les mauvais <strong>stages</strong> <strong>de</strong>vrait permettre une amélioration <strong>de</strong>s<br />

<strong>stages</strong> les moins bien notés si les responsables souhaitent avoir les étudiants les plus<br />

motivés.<br />

- Nous spéculons aussi que cet outil puisse être détourné vers un outil <strong>de</strong> gouvernance<br />

pour les équipes <strong>pédagogique</strong>s. En effet avoir ce tableau <strong>de</strong> bord (et c’est une<br />

<strong>de</strong>man<strong>de</strong> récurrente <strong>de</strong>s instances) permet <strong>de</strong> rendre compte en partie <strong>de</strong> ce qui se<br />

passe dans les <strong>stages</strong>. S’il permet d’alerter, <strong>de</strong> conseiller et <strong>de</strong> renforcer <strong>de</strong>s équipes<br />

<strong>pédagogique</strong>s (renforts <strong>de</strong> CCA,…), il pourrait <strong>de</strong>venir un instrument <strong>de</strong> régu<strong>la</strong>tions<br />

<strong>de</strong>s terrains <strong>de</strong> <strong>stages</strong>. On peut imaginer qu’il aboutisse à limiter le nombre d’étudiants<br />

et même à modifier le nombre d’enseignants. Evi<strong>de</strong>mment, le processus <strong>de</strong> rechercheaction<br />

en serait modifié par l’application d’un troisième niveau d’action (Doyen) sur<br />

les <strong>de</strong>ux autres (enseignants/étudiants).<br />

Les perspectives <strong>de</strong> ce travail se prolongent par <strong>la</strong> mise en p<strong>la</strong>ce prochainement d’un outil<br />

informatique pour éviter <strong>la</strong> saisie et les erreurs <strong>de</strong> dépouillement du questionnaire. En effet,<br />

nous avons développé à Amiens un outil informatique (voir annexe 4) qui permettra aux<br />

étudiants <strong>de</strong> noter avec les mêmes items que <strong>la</strong> faculté <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> Denis Di<strong>de</strong>rot Paris<br />

VII. La mise en p<strong>la</strong>ce <strong>de</strong> cette interface web sera effective pour l’année universitaire 2012-<br />

2013 à Amiens et pour le choix du stage d’hiver sur Paris 7. Une fois ce premier<br />

développement effectif nous envisageons <strong>de</strong> développer <strong>de</strong>s outils <strong>de</strong> visualisations directes<br />

<strong>de</strong>s résultats en ligne. Cet outil <strong>de</strong>vrait permettre à terme d’évaluer les résultats hôpital par<br />

hôpital, spécialité par spécialité et bien sûr terrain <strong>de</strong> stage par terrain <strong>de</strong> stage. Enfin, il <strong>de</strong>vra<br />

avoir <strong>la</strong> capacité <strong>de</strong> montrer l’évolution <strong>de</strong>s évaluations dans le temps. Cet outil est<br />

actuellement en développement au sein du service <strong>de</strong> biostatistique et information médicale<br />

<strong>de</strong> l’hôpital Saint-Louis.


5. Références<br />

1. Vanpee, D., et al., Ce que <strong>la</strong> perspective <strong>de</strong> l’apprentissage et <strong>de</strong> l’enseignement<br />

contextualisés authentiques peut apporter pour optimaliser <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong> <strong>de</strong>s<br />

<strong>stages</strong> d’externat. Pédagogie Médicale 2010. 10: p. 253-66.<br />

2. Ringsted, C., et al., Medical stu<strong>de</strong>nts' experience in practical skills is far from<br />

stakehol<strong>de</strong>rs' expectations. Med Teach, 2001. 23(4): p. 412-416.<br />

3. Board, P. and M. Mercer, A survey of the basic practical skills of final year medical<br />

stu<strong>de</strong>nts in one UK medical school. Med Teach, 1998. 20: p. 104-108.<br />

4. Langevin, S. and R. Hivon, En quoi l’externat ne s’acquitte-t-il pas adéquatement <strong>de</strong><br />

son mandat <strong>pédagogique</strong> ? Une étu<strong>de</strong> qualitative fondée sur une analyse systématique<br />

<strong>de</strong> <strong>la</strong> littérature. Pédagogie Médicale 2007;8:7-23 Pédagogie Médicale 2007. 8: p. 7-<br />

23.<br />

5. Jouquan, J. and P. Bail, A quoi s’engage-t-on en bascu<strong>la</strong>nt du paradigme<br />

d’enseignement vers le paradigme d’apprentissage ? . Pédagogie Médicale, 2003. 4:<br />

p. 163-75.<br />

6. Stark, P., Teaching and learning in the clinical setting: a qualitative study of the<br />

perceptions of stu<strong>de</strong>nts and teachers. Med Educ, 2003. 37(11): p. 975-82.<br />

7. Mann, F., Experiments in feedback. Public Opin Q (1958) 22(2): 173-174, 1958.<br />

22(2): p. 173-174.<br />

8. Whyte, Participatory action research., ed. W. Foote. Vol. 123. 1991: Sage focus<br />

editions.<br />

9. Karlsen, J., Action research as method: reflections from a program for <strong>de</strong>velopmennt<br />

methods and competence" WHYTE, William Foote. Participatory Action Research.<br />

Newbury Park: Sage Publications. Participatory Action Research. , ed. W. Foote.<br />

1991, Newbury Park: : Sage Publications. 500-510.<br />

10. Guénard, D., Introduction à <strong>la</strong> dynamique lewinienne, in La recherche-action <strong>de</strong> Kurt<br />

Lewin aux pratiques contemporaines, Baribeau, Editor. 1992, Colette: Arq.<br />

11. Ganassali, S. and J. Moscaro<strong>la</strong>, The efficacy of web surveys : an experimental study.<br />

Décisions marketing, 2004. 12.<br />

12. Likert, R., A technique for the measurement of attitu<strong>de</strong>s. Archives of Psychology,<br />

1932. 140: p. 5-53.<br />

13. Docq, F., M. Lebrun, and D. Smidts, À <strong>la</strong> recherche <strong>de</strong>s effets d’une p<strong>la</strong>te-forme<br />

d’enseignement/apprentissage en ligne sur les pratiques <strong>pédagogique</strong>s d’une<br />

université : premières approches. Revue internationale <strong>de</strong>s technologies en pédagogie<br />

universitaire, 2008. 5(1): p. 45-57.<br />

14. B<strong>la</strong>nd, J.M. and D.G. Altman, Cronbach's alpha. BMJ, 1997. 314(7080): p. 572.<br />

15. Lebrun, M., Des technologies pour enseigner et apprendre. , ed. D. Boeck. 2007,<br />

Bruxelles.<br />

16. Chapman, G. and E. Johnson, Anchoring, activation, and the construction of values.<br />

Organizational Behavior and Human Decision Processes, 1999. 79: p. 115-153.<br />

17. B Englich and T. Mussweiler, Sentencing un<strong>de</strong>r uncertainty: Anchoring effects in the<br />

court-room. Journal of Applied Social Psychology, 2001. 31: p. 1535-1551.<br />

18. Mussweiler, T., The Malleability of Anchoring Effects. Experimental Psychology<br />

2002; Vol. 49(1): 67Ð72, 2002. 49(1): p. 67-72.


6. ANNEXES<br />

Annexe 1 : Fiche <strong>de</strong> recueil <strong>de</strong>s évaluations <strong>de</strong> <strong>stages</strong> d’externe (DCEM2, DCEM3, DCEM4)


Annexe 2a : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> <strong>la</strong> spécialité. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %<br />

Q1.<br />

Q2.<br />

Q3.<br />

Q4.<br />

Q5.<br />

Q6.<br />

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM<br />

1 1 50% 0 0% 1 4% 1 2% 0 0% 1 6% 0 0% 0 0% 1 5% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

2 0 0% 0 0% 7 26% 14 27% 19 31% 3 19% 0 0% 2 20% 4 18% 0 0% 0 0% 3 17% 0 0% 2 11%<br />

3 0 0% 1 50% 15 56% 28 54% 36 59% 6 38% 1 33% 5 50% 12 55% 1 100% 1 50% 6 33% 1 100% 12 63%<br />

4 1 50% 1 50% 4 15% 9 17% 6 10% 6 38% 2 67% 3 30% 5 23% 0 0% 1 50% 8 44% 0 0% 5 26%<br />

NA 0 0 2 3 15 1 0 1 1 0 0 0 0 0<br />

bon 1 50% 2 100% 11 38% 27 49% 37 49% 10 59% 3 100% 4 36% 8 35% 1 100% 2 100% 8 44% 0 0% 10 53%<br />

excellent 0 0% 0 0% 1 3% 12 22% 7 9% 1 6% 0 0% 0 0% 4 17% 0 0% 0 0% 3 17% 0 0% 6 32%<br />

mediocre 1 50% 0 0% 5 17% 1 2% 13 17% 1 6% 0 0% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 1 5%<br />

passable 0 0% 0 0% 12 41% 15 27% 19 25% 5 29% 0 0% 6 55% 8 35% 0 0% 0 0% 6 33% 1 100% 2 11%<br />

bon 1 50% 1 50% 9 31% 23 42% 41 54% 7 41% 0 0% 0 0% 10 44% 0 0% 2 100% 5 28% 1 100% 12 63%<br />

excellent 0 0% 1 50% 2 7% 10 18% 8 11% 5 29% 3 100% 1 10% 1 4% 1 100% 0 0% 10 56% 0 0% 3 16%<br />

mediocre 1 50% 0 0% 6 21% 3 6% 2 3% 2 12% 0 0% 2 20% 7 30% 0 0% 0 0% 0 0% 0 0% 1 5%<br />

passable 0 0% 0 0% 12 41% 19 35% 25 33% 3 18% 0 0% 7 70% 5 22% 0 0% 0 0% 3 17% 0 0% 3 16%<br />

NA 0 0 0 0 0 0 0 1 0 0 0 0 0 0<br />

frequente 1 50% 0 0% 5 17% 11 20% 20 26% 4 24% 2 67% 3 27% 3 13% 1 100% 1 50% 2 11% 1 100% 7 39%<br />

jamais 1 50% 0 0% 13 45% 22 40% 24 32% 1 6% 0 0% 4 36% 12 52% 0 0% 0 0% 3 17% 0 0% 3 17%<br />

rare 0 0% 2 100% 11 38% 19 35% 28 37% 11 65% 0 0% 4 36% 8 35% 0 0% 0 0% 10 56% 0 0% 4 22%<br />

systematique 0 0% 0 0% 0 0% 3 6% 4 5% 1 6% 1 33% 0 0% 0 0% 0 0% 1 50% 3 17% 0 0% 4 22%<br />

NA 0 0 0 0 0 0 0 0 0 0 0 0 0 1<br />

bon 1 50% 2 100% 13 46% 30 55% 37 49% 5 29% 1 33% 6 55% 10 46% 1 100% 2 100% 8 44% 1 100% 9 47%<br />

excellent 0 0% 0 0% 1 4% 8 15% 6 8% 7 41% 2 67% 0 0% 4 18% 0 0% 0 0% 4 22% 0 0% 8 42%<br />

mediocre 1 50% 0 0% 3 11% 3 6% 4 5% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

passable 0 0% 0 0% 11 39% 14 26% 29 38% 4 24% 0 0% 5 46% 6 27% 0 0% 0 0% 5 28% 0 0% 2 11%<br />

NA 0 0 1 0 0 0 0 0 1 0 0 0 0 0<br />

bon 1 50% 1 50% 13 45% 29 54% 44 58% 8 47% 2 67% 5 46% 10 44% 0 0% 2 100% 7 39% 1 100% 9 47%<br />

excellent 0 0% 0 0% 1 3% 11 20% 8 11% 7 41% 1 33% 1 9% 7 30% 1 100% 0 0% 5 28% 0 0% 10 53%<br />

mediocre 1 50% 0 0% 4 14% 1 2% 2 3% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

passable 0 0% 1 50% 11 38% 13 24% 22 29% 1 6% 0 0% 5 46% 4 17% 0 0% 0 0% 5 28% 0 0% 0 0%<br />

NA 0 0 0 1 0 0 0 0 0 0 0 0 0 0


Annexe 2b : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> <strong>la</strong> spécialité. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %<br />

Q7.<br />

Q8M.<br />

Q8A.<br />

Q9.<br />

Q10.<br />

Q11.<br />

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM<br />

bon 1 50% 2 100% 11 39% 25 46% 29 39% 7 41% 2 67% 4 36% 9 39% 0 0% 2 100% 6 33% 0 0% 11 58%<br />

excellent 0 0% 0 0% 2 7% 8 15% 6 8% 6 35% 1 33% 0 0% 3 13% 1 100% 0 0% 4 22% 0 0% 6 32%<br />

mediocre 1 50% 0 0% 4 14% 1 2% 7 10% 0 0% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 0 0%<br />

passable 0 0% 0 0% 11 39% 20 37% 32 43% 4 24% 0 0% 7 64% 8 35% 0 0% 0 0% 8 44% 1 100% 2 11%<br />

NA 0 0 1 1 2 0 0 0 0 0 0 0 0 0<br />

assez lour<strong>de</strong> 0 0% 0 0% 5 17% 13 24% 14 18% 6 35% 2 67% 0 0% 4 17% 0 0% 0 0% 1 6% 1 100% 4 21%<br />

faible 2 100% 0 0% 9 31% 4 7% 18 24% 0 0% 0 0% 5 46% 4 17% 0 0% 1 50% 5 28% 0 0% 0 0%<br />

lour<strong>de</strong> 0 0% 0 0% 1 3% 7 13% 4 5% 2 12% 0 0% 0 0% 2 9% 0 0% 0 0% 0 0% 0 0% 2 11%<br />

normal 0 0% 2 100% 14 48% 31 56% 40 53% 9 53% 1 33% 6 55% 13 57% 1 100% 1 50% 12 67% 0 0% 13 68%<br />

assez lour<strong>de</strong> 0 0% 0 0% 0 0% 6 12% 18 28% 8 47% 0 0% 0 0% 3 13% 0 0% 0 0% 2 11% 0 8 47%<br />

faible 2 100% 1 50% 16 55% 21 41% 21 32% 1 6% 2 67% 5 50% 6 26% 1 100% 2 100% 8 44% 0 0 0%<br />

lour<strong>de</strong> 0 0% 1 50% 3 10% 9 18% 11 17% 4 24% 0 0% 2 20% 9 39% 0 0% 0 0% 2 11% 0 6 35%<br />

normal 0 0% 0 0% 10 35% 15 29% 15 23% 4 24% 1 33% 3 30% 5 22% 0 0% 0 0% 6 33% 0 3 18%<br />

NA 0 0 0 4 11 0 0 1 0 0 0 0 1 2<br />

a l heure 2 100% 1 50% 21 72% 35 64% 46 62% 4 24% 0 0% 10 91% 12 52% 1 100% 2 100% 11 61% 0 0% 2 11%<br />

avec 1 h 0 0% 0 0% 3 10% 3 6% 16 22% 6 35% 1 33% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 11 58%<br />

avec 2 h 0 0% 0 0% 3 10% 8 15% 2 3% 1 6% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 3 16%<br />

avec 30min 0 0% 1 50% 2 7% 9 16% 10 14% 6 35% 2 67% 0 0% 5 22% 0 0% 0 0% 6 33% 1 100% 3 16%<br />

NA 0 0 0 0 2 0 0 0 0 0 0 0 0 0<br />

non 2 100% 0 0% 18 62% 15 28% 33 47% 5 31% 1 33% 2 18% 4 17% 0 0% 1 50% 12 67% 1 100% 15 79%<br />

oui 0 0% 2 100% 11 38% 39 72% 37 53% 11 69% 2 67% 9 82% 19 83% 1 100% 1 50% 6 33% 0 0% 4 21%<br />

NA 0 0 0 1 6 1 0 0 0 0 0 0 0 0<br />

beaucoup 1 50% 1 50% 7 25% 33 60% 16 21% 10 59% 3 100% 2 18% 7 30% 0 0% 0 0% 7 39% 0 0% 17 90%<br />

moyennement 0 0% 1 50% 8 29% 18 33% 40 53% 3 18% 0 0% 2 18% 10 44% 1 100% 2 100% 8 44% 0 0% 2 11%<br />

pas du tout 1 50% 0 0% 1 4% 1 2% 0 0% 0 0% 0 0% 0 0% 1 4% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

un peu 0 0% 0 0% 12 43% 3 6% 20 26% 4 24% 0 0% 7 64% 5 22% 0 0% 0 0% 2 11% 1 100% 0 0%<br />

NA 0 0 1 0 0 0 0 0 0 0 0 0 0 0


Annexe 3a : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> l’hôpital. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %<br />

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS<br />

Q1 1 0 0% 2 10% 1 2% 0 0% 0 0% 0 0% 0 0% 0 0% 1 2% 2 4%<br />

2 0 0% 9 43% 12 28% 0 0% 0 0% 5 12% 0 0% 0 0% 13 28% 15 31%<br />

3 2 100% 9 43% 20 47% 4 67% 4 80% 26 61% 8 57% 3 43% 23 50% 26 53%<br />

4 0 0% 1 5% 10 23% 2 33% 1 20% 12 28% 6 43% 4 57% 9 20% 6 12%<br />

NA 0 2 1 0 0 2 2 0 7 9<br />

Q2 Bon 1 50% 5 22% 24 55% 5 83% 3 60% 23 51% 7 44% 2 29% 26 49% 28 48%<br />

excellent 0 0% 2 9% 6 14% 0 0% 1 20% 6 13% 5 31% 5 71% 5 9% 4 7%<br />

mediocre 0 0% 6 26% 2 5% 0 0% 1 20% 2 4% 0 0% 0 0% 6 11% 10 17%<br />

passable 1 50% 10 44% 12 27% 1 17% 0 0% 14 31% 4 25% 0 0% 16 30% 16 28%<br />

Q3 Bon 2 100% 6 27% 17 39% 2 33% 2 40% 20 44% 7 44% 2 29% 26 49% 28 48%<br />

excellent 0 0% 1 5% 10 23% 4 67% 0 0% 5 11% 7 44% 5 71% 5 9% 8 14%<br />

mediocre 0 0% 5 23% 5 11% 0 0% 2 40% 6 13% 1 6% 0 0% 1 2% 4 7%<br />

passable 0 0% 10 46% 12 27% 0 0% 1 20% 14 31% 1 6% 0 0% 21 40% 18 31%<br />

NA 0 1 0 0 0 0 0 0 0 0<br />

Q4 frequente 0 0% 6 26% 7 16% 2 33% 1 20% 11 24% 4 25% 3 43% 13 25% 14 24%<br />

jamais 0 0% 11 48% 17 40% 1 17% 3 60% 15 33% 3 19% 1 14% 15 28% 17 29%<br />

rare 2 100% 6 26% 17 40% 2 33% 1 20% 15 33% 6 38% 1 14% 22 42% 25 43%<br />

systematique 0 0% 0 0% 2 5% 1 17% 0 0% 4 9% 3 19% 2 29% 3 6% 2 3%<br />

NA 0 0 1 0 0 0 0 0 0 0<br />

Q5 Bon 1 50% 9 41% 20 46% 4 67% 3 75% 24 53% 6 38% 4 57% 29 55% 26 45%<br />

excellent 0 0% 1 5% 7 16% 2 33% 0 0% 10 22% 7 44% 3 43% 3 6% 7 12%<br />

mediocre 0 0% 3 14% 2 5% 0 0% 1 25% 2 4% 0 0% 0 0% 3 6% 4 7%<br />

passable 1 50% 9 41% 15 34% 0 0% 0 0% 9 20% 3 19% 0 0% 18 34% 21 36%<br />

NA 0 1 0 0 1 0 0 0 0 0<br />

Q6 Bon 1 50% 9 39% 25 58% 3 50% 2 40% 17 38% 7 44% 4 57% 32 60% 32 55%<br />

excellent 0 0% 2 9% 9 21% 1 17% 1 20% 14 31% 8 50% 2 29% 5 9% 10 17%<br />

mediocre 1 50% 5 22% 1 2% 0 0% 1 20% 0 0% 0 0% 0 0% 2 4% 2 3%<br />

passable 0 0% 7 30% 8 19% 2 33% 1 20% 14 31% 1 6% 1 14% 14 26% 14 24%<br />

NA 0 0 1 0 0 0 0 0 0 0


Annexe 3b : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> l’hôpital. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %<br />

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS<br />

Q7 Bon 1 50% 6 26% 19 44% 3 50% 2 40% 21 48% 10 63% 5 71% 22 42% 20 35%<br />

excellent 0 0% 2 9% 7 16% 1 17% 0 0% 10 23% 4 25% 2 29% 4 8% 7 12%<br />

mediocre 1 50% 4 17% 1 2% 0 0% 1 20% 1 2% 0 0% 0 0% 3 6% 5 9%<br />

passable 0 0% 11 48% 16 37% 2 33% 2 40% 12 27% 2 13% 0 0% 23 44% 25 44%<br />

NA 0 0 1 0 0 1 0 0 1 1<br />

Q8_M assez lour<strong>de</strong> 0 0% 1 4% 12 27% 3 50% 2 40% 8 18% 1 6% 2 29% 10 19% 11 19%<br />

faible 1 50% 13 57% 2 5% 0 0% 1 20% 5 11% 0 0% 1 14% 12 23% 13 22%<br />

lour<strong>de</strong> 0 0% 0 0% 11 25% 0 0% 0 0% 1 2% 1 6% 1 14% 2 4% 2 3%<br />

normal 1 50% 9 39% 19 43% 3 50% 2 40% 31 69% 14 88% 3 43% 29 55% 32 55%<br />

Q8_A assez lour<strong>de</strong> 1 50% 1 4% 12 29% 1 17% 1 20% 4 10% 1 7% 0 0% 11 23% 13 26%<br />

faible 0 0% 12 52% 5 12% 2 33% 1 20% 18 43% 3 21% 6 86% 23 48% 16 31%<br />

lour<strong>de</strong> 1 50% 2 9% 20 48% 1 17% 2 40% 6 14% 0 0% 1 14% 6 13% 8 16%<br />

normal 0 0% 8 35% 5 12% 2 33% 1 20% 14 33% 10 71% 0 0% 8 17% 14 28%<br />

NA 0 0 2 0 0 3 2 0 5 7<br />

Q9 a l heure 2 100% 22 96% 13 30% 1 17% 2 40% 24 53% 10 63% 6 86% 32 62% 35 61%<br />

avec 1 h 0 0% 1 4% 12 27% 1 17% 0 0% 9 20% 1 6% 0 0% 11 21% 10 18%<br />

avec 2 h 0 0% 0 0% 9 21% 0 0% 3 60% 4 9% 0 0% 1 14% 1 2% 2 4%<br />

avec 30min 0 0% 0 0% 10 23% 4 67% 0 0% 8 18% 5 31% 0 0% 8 15% 10 18%<br />

NA 0 0 0 0 0 0 0 0 1 1<br />

Q10 non 2 100% 9 39% 11 26% 3 50% 2 40% 20 44% 9 56% 4 67% 20 40% 29 53%<br />

oui 0 0% 14 61% 32 74% 3 50% 3 60% 25 56% 7 44% 2 33% 30 60% 26 47%<br />

NA 0 0 1 0 0 0 0 1 3 3<br />

Q11 beaucoup 1 50% 4 17% 23 52% 3 50% 1 20% 23 52% 14 88% 7 100% 15 28% 13 22%<br />

moyennement 0 0% 7 30% 13 30% 3 50% 3 60% 14 32% 2 13% 0 0% 26 49% 27 47%<br />

pas du tout 0 0% 2 9% 0 0% 0 0% 1 20% 0 0% 0 0% 0 0% 1 2% 1 2%<br />

un peu 1 50% 10 44% 8 18% 0 0% 0 0% 7 16% 0 0% 0 0% 11 21% 17 29%<br />

NA 0 0 0 0 0 1 0 0 0 0


Annexe 4 : Fiche <strong>de</strong> recueil informatisée <strong>de</strong>s évaluations <strong>de</strong> <strong>stages</strong> d’externe (DCEM2,<br />

DCEM3, DCEM4). UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens.

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!