01.07.2013 Views

Evaluation de la qualité pédagogique des stages d'externat - UPMC

Evaluation de la qualité pédagogique des stages d'externat - UPMC

Evaluation de la qualité pédagogique des stages d'externat - UPMC

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

Universités Paris 5, Paris 6, Paris 11 et Paris 12<br />

DIU <strong>de</strong> Pédagogie Médicale<br />

2011-2012<br />

EVALUATION<br />

Chapitre 5 : <strong>Evaluation</strong> <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong><br />

<strong>de</strong>s <strong>stages</strong> <strong>d'externat</strong><br />

Mémoire<br />

Emmanuel LORNE – Matthieu RESCHE-RIGON


Résumé<br />

Les <strong>stages</strong> hospitaliers effectués pendant le cursus <strong>de</strong>s étu<strong>de</strong>s médicales sont un point clé <strong>de</strong> <strong>la</strong><br />

formation <strong>de</strong>s étudiants à leur futur métier <strong>de</strong> mé<strong>de</strong>cin. Si l’évaluation <strong>de</strong>s étudiants est une<br />

préoccupation permanente <strong>de</strong>s facultés <strong>de</strong> mé<strong>de</strong>cine, l’évaluation <strong>de</strong> ces <strong>stages</strong> par les<br />

étudiants eux-mêmes semble moins bien organisée.<br />

Nous proposons dans ce travail un outil d’évaluation <strong>de</strong> ces <strong>stages</strong> hospitaliers ainsi qu’un<br />

exemple <strong>de</strong> mise en p<strong>la</strong>ce dans les facultés <strong>de</strong> mé<strong>de</strong>cine d’Amiens et <strong>de</strong> Paris 7. Notre outil<br />

d’évaluation se présente sous <strong>la</strong> forme d’un ensemble d’items à questions fermées. Les<br />

réponses à ces questions s’effectuent sur une échelle <strong>de</strong> Likert modifiée à 4 niveaux. Nous<br />

présentons l’évaluation <strong>de</strong>s <strong>stages</strong> <strong>de</strong> printemps <strong>de</strong> <strong>la</strong> faculté <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> l’université Paris<br />

7 comme illustration.<br />

Pour finir, nous proposons <strong>de</strong> poursuivre ce travail par une mise en ligne du questionnaire et<br />

l’ajout <strong>de</strong> fonctionnalités <strong>de</strong> visualisation directe <strong>de</strong>s résultats <strong>de</strong> ces évaluations<br />

Mots clés : <strong>Evaluation</strong>, Stage, Externat, Questionnaire


1. INTRODUCTION<br />

Comme souligné par D. Vanpee en 2007, les <strong>stages</strong> au cours <strong>de</strong>s étu<strong>de</strong>s <strong>de</strong> mé<strong>de</strong>cine<br />

représente un moment crucial dans <strong>la</strong> formation <strong>de</strong>s étudiants en mé<strong>de</strong>cine pour développer<br />

et consoli<strong>de</strong>r, progressivement, les compétences professionnelles du mé<strong>de</strong>cin[1]. Cependant,<br />

plusieurs enquêtes ont montré le déficit entre les compétences réellement acquises et celles<br />

désirées par l’étudiant comme par les universités lors d’un stage d’externat[2, 3].<br />

Fortes <strong>de</strong> ce constat, les facultés <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> Denis Di<strong>de</strong>rot Paris VII et d’Amiens,<br />

notamment au travers <strong>de</strong> leurs conseils <strong>de</strong> pédagogie, ont <strong>de</strong>puis plusieurs années adopté une<br />

démarche qualitative concernant les <strong>stages</strong> <strong>de</strong>s étudiants <strong>de</strong> <strong>de</strong>uxième cycle d’étu<strong>de</strong>s<br />

médicales (DCEM). Ce<strong>la</strong> se traduit par <strong>la</strong> volonté d’une part <strong>de</strong> tenir compte <strong>de</strong> <strong>la</strong><br />

performance <strong>de</strong>s étudiants en stage pour leurs évaluations mais aussi, et <strong>de</strong> manière parallèle,<br />

<strong>de</strong> s’assurer <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> proposés aux étudiants en mé<strong>de</strong>cine. Nos facultés<br />

respectives ont répondu <strong>de</strong> manière simi<strong>la</strong>ire à ces <strong>de</strong>ux objectifs en mettant en p<strong>la</strong>ce une<br />

évaluation « bidirectionnelle » <strong>de</strong>s <strong>stages</strong> cliniques :<br />

- L’évaluation <strong>de</strong> l’étudiant par les responsables <strong>de</strong> stage.<br />

- L’évaluation <strong>de</strong>s <strong>stages</strong> par les étudiants c'est-à-dire <strong>la</strong> collecte <strong>de</strong>s appréciations que<br />

les étudiants donnaient <strong>de</strong>s <strong>stages</strong> qu’ils avaient effectués.<br />

Si ces évaluations coexistent elles ne sont pas faites avec <strong>la</strong> même <strong>qualité</strong> et leurs ambitions<br />

sont différentes. En pratique, seule l’évaluation <strong>de</strong>s étudiants a connu une évolution et une<br />

amélioration notable au cours <strong>de</strong>s <strong>de</strong>rnières années. En effet <strong>la</strong> volonté <strong>de</strong> mieux cerner <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong> nos étudiants a conduit les facultés à mieux les évaluer. Ainsi, à <strong>la</strong> faculté<br />

d’Amiens a mené ces <strong>de</strong>rnières années une réforme <strong>de</strong> sa politique d’évaluations <strong>de</strong>s <strong>stages</strong> à<br />

<strong>la</strong> suite d’un premier travail sur <strong>la</strong> pertinence <strong>de</strong>s évaluations. Les notes <strong>de</strong> <strong>stages</strong> étaient<br />

délivrées par le responsable du service, sans qu’il y ait <strong>de</strong> grille <strong>de</strong> notation. Seul le<br />

responsable <strong>pédagogique</strong> (PU-PH) du service donnait une note. Sur <strong>la</strong> pério<strong>de</strong> 2008-2010,<br />

l’analyse <strong>de</strong>s notes <strong>de</strong> <strong>stages</strong> ne retrouvait pas <strong>de</strong> corré<strong>la</strong>tions entre les notes <strong>de</strong> <strong>stages</strong> et le<br />

c<strong>la</strong>ssement à l’ECN (figure 1). Les notes <strong>de</strong> <strong>stages</strong> n’étaient donc absolument pas le reflet <strong>de</strong><br />

<strong>la</strong> <strong>qualité</strong> d’un étudiant sur l’échelle <strong>de</strong> <strong>la</strong> réussite à l’ECN. Ce constat fait, le conseil<br />

<strong>pédagogique</strong> <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens a développé en 2011 un nouveau mo<strong>de</strong> <strong>de</strong><br />

notation <strong>de</strong>s <strong>stages</strong> par les enseignants. Le but <strong>de</strong> ce nouveau mo<strong>de</strong> <strong>de</strong> notation était d’être<br />

plus objectif. Une grille a été introduite avec 4 notes : 1) Assiduité, comportement, <strong>qualité</strong> <strong>de</strong>s<br />

observations (sur 15); 2) Exposé médical (sur 20) ; 3) Acquisition théorique et pratique<br />

correspondant aux objectifs ECN (sur 15) ; 4) ECOS en fin <strong>de</strong> stage (sur 30). Les résultats <strong>de</strong><br />

cette nouvelle démarche en comparant ces quatre notes <strong>de</strong> l‘année 2011-2012 avec le<br />

c<strong>la</strong>ssement à l’ECN 2012 <strong>de</strong>vrait permettre <strong>de</strong> mieux cerner <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s étudiants.<br />

Parallèlement, le constat sévère porté à l’issue du premier travail a amené le conseil<br />

<strong>pédagogique</strong> <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens à vouloir une évaluation du contenu <strong>de</strong>s <strong>stages</strong><br />

par les étudiants <strong>de</strong> manière à améliorer le contenu <strong>pédagogique</strong> du stage, à adapter son<br />

contenu aux désirs <strong>de</strong>s étudiants <strong>de</strong> se préparer au mieux à l’ECN et à continuer à les<br />

familiariser avec leurs pratiques futures. Dans le même temps l’UFR <strong>de</strong> mé<strong>de</strong>cine Paris 7<br />

Di<strong>de</strong>rot avait développé <strong>de</strong>puis plusieurs années un système d’évaluation <strong>de</strong>s <strong>stages</strong> par les<br />

étudiants. Ce système <strong>de</strong> notation <strong>de</strong>s <strong>stages</strong> par les étudiants reposait sur l’évaluation <strong>de</strong> 4<br />

critères :<br />

- Une note d’appréciation globale <strong>de</strong> 1 à 5 (5 correspondant à <strong>la</strong> meilleure appréciation)<br />

- Une note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation théorique <strong>de</strong> 1 à 5 (5<br />

correspondant à <strong>la</strong> meilleure appréciation)


- Une note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation pratique <strong>de</strong> 1 à 5 (5<br />

correspondant à <strong>la</strong> meilleure appréciation)<br />

- Une note d’appréciation <strong>de</strong> <strong>la</strong> pénibilité du stage 1 à 5 (1 correspondant à <strong>la</strong> meilleure<br />

appréciation)<br />

Ces appréciations étaient recueillies à chaque choix <strong>de</strong> stage et portaient sur le seul stage<br />

précé<strong>de</strong>nt. Si ces évaluations avaient le mérite d’exister, elles présentaient certaines limites.<br />

L’inversion <strong>de</strong> l’ordre <strong>de</strong> l’échelle pour l’item « pénibilité » conduisait un certain nombre<br />

d’étudiants à donner une évaluation trompeuse rendant l’interprétation <strong>de</strong>s résultats <strong>de</strong> cet<br />

item impossible. La collecte et le traitement <strong>de</strong>s fiches <strong>de</strong> recueil s’effectuaient avec <strong>de</strong><br />

nombreuses interventions manuelles impliquant un rendu tardif <strong>de</strong>s évaluations, voire pas <strong>de</strong><br />

rendu du tout. Ainsi, ce manque <strong>de</strong> performances dans le rendu et donc dans l’utilité <strong>de</strong> <strong>la</strong><br />

démarche avait été souligné tant par les étudiants eux-mêmes que par le conseil <strong>de</strong>s <strong>stages</strong> <strong>de</strong><br />

notre faculté.<br />

Notre objectif était donc <strong>de</strong> développer un outil d’évaluation <strong>de</strong>s <strong>stages</strong> hospitaliers par les<br />

étudiants en partant <strong>de</strong> l’expérience accumulée dans nos facultés réciproques. Cet d’outil se<br />

<strong>de</strong>vait <strong>de</strong> présenter plusieurs caractéristiques :<br />

- Etre suffisamment général pour pouvoir s’appliquer sur <strong>de</strong>ux sites<br />

- Etre facile à compléter et sans ambiguïté dans sa rédaction<br />

- Etre facile à traiter <strong>de</strong> manière à fournir une information rapi<strong>de</strong> et précise aux<br />

étudiants comme aux instances <strong>de</strong>s UFRs<br />

- Etre souple <strong>de</strong> façon à être modifiable et améliorable<br />

- Pouvoir être diffusé auprès <strong>de</strong>s étudiants, <strong>de</strong>s instances <strong>de</strong> <strong>la</strong> faculté et du personnel<br />

enseignants <strong>de</strong> nos facultés.<br />

L’objectif final est l’amélioration <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> hospitaliers. Nous ne sommes pas<br />

les premiers à s’attacher à cet objectif et <strong>de</strong>s travaux proposant <strong>de</strong>s modifications <strong>de</strong>s schémas<br />

<strong>pédagogique</strong>s, <strong>de</strong>s contenus <strong>pédagogique</strong>s ou <strong>de</strong>s évaluations ont été réalisés[1, 4, 5]. Certains<br />

auteurs soulignent aussi l’impact que <strong>la</strong> perception <strong>de</strong>s <strong>stages</strong> et leurs évaluations peuvent<br />

avoir sur leurs <strong>qualité</strong>s. Ainsi Stark en 2003 insiste sur le fait qu’étudiants et enseignants<br />

doivent être <strong>de</strong>s partenaires, se nourrissant les uns les autres <strong>de</strong>s remarques, pour améliorer <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong>s enseignements et in fine <strong>la</strong> compétence <strong>de</strong>s étudiants[6]. Ainsi notre approche<br />

consiste à parier sur l’impact d’un feedback informatif sur <strong>la</strong> <strong>qualité</strong> du contenu <strong>pédagogique</strong><br />

<strong>de</strong>s <strong>stages</strong>. Ce concept a été développé plus <strong>la</strong>rgement par Kurt Lewin et Floyd Mann au sein<br />

<strong>de</strong> <strong>la</strong> recherche-action[7]. La recherche-action est une méthodologie particulière dont <strong>la</strong><br />

finalité est le changement. Il s'agit d'une démarche <strong>de</strong> compréhension et d'explication <strong>de</strong> <strong>la</strong><br />

praxis <strong>de</strong>s groupes sociaux, par l'implication <strong>de</strong>s groupes eux-mêmes, dans le but d'améliorer<br />

leur praxis. Elle est toujours liée à une action qui <strong>la</strong> précè<strong>de</strong> ou qui l'englobe et s'enracine dans<br />

un contexte. Ici, en répondant au questionnaire, l’étudiant révèle aux enseignants certains <strong>de</strong><br />

leurs comportements. Les comportements ou objectifs que l’équipe du conseil <strong>pédagogique</strong><br />

souhaite améliorer sur les terrains <strong>de</strong> stage sont choisis délibérément en vue <strong>de</strong> leur propre<br />

amélioration. C’est ce que l’on appelle <strong>la</strong> recherche action participative[8]. Karlsen l'i<strong>de</strong>ntifie<br />

à une nouvelle forme <strong>de</strong> création du savoir dans <strong>la</strong>quelle les re<strong>la</strong>tions entre théorie et pratique<br />

et entre recherche et action sont significativement étroites[9]. La recherche-action permet aux<br />

acteurs <strong>de</strong> construire <strong>de</strong>s théories et hypothèses qui émergent du terrain, sont par <strong>la</strong> suite<br />

testées sur le terrain et entraînent <strong>de</strong>s changements désirables à <strong>la</strong> situation problématique<br />

i<strong>de</strong>ntifiée. Ce type <strong>de</strong> recherche action s'articule autour <strong>de</strong> <strong>la</strong> préparation par les acteurs <strong>de</strong><br />

rapports et d'analyses généralement axés vers <strong>la</strong> résolution <strong>de</strong> problèmes. Ce processus ce<br />

déroule en plusieurs phases : choix <strong>de</strong>s items à améliorer, évaluations <strong>de</strong>s items, feedback,<br />

réévaluations <strong>de</strong>s items, feedback <strong>de</strong> nouveau et ainsi <strong>de</strong> suite. Les acteurs du processus


peuvent voir leur progression sur chacun <strong>de</strong>s items et trouver <strong>de</strong>s solutions pour améliorer les<br />

items problématiques. Ainsi, Guénard parle d'un "cycle continu entre trois processus qui<br />

s'enchevêtrent: <strong>la</strong> p<strong>la</strong>nification et l'action, combinées à un constant recueil d'informations<br />

quant au groupe et son contexte propre"[10]. La recherche-action participative, retenue dans<br />

cette étu<strong>de</strong>, cherche moins à prouver, à généraliser et à prédire qu'à trouver et à améliorer <strong>la</strong><br />

capacité <strong>de</strong> faire face à <strong>de</strong>s situations <strong>pédagogique</strong>s <strong>de</strong> façon créative tout en tenant compte<br />

<strong>de</strong>s particu<strong>la</strong>rités et du contexte <strong>de</strong> chaque terrain <strong>de</strong> stage. Elle se fon<strong>de</strong> sur un besoin<br />

c<strong>la</strong>irement i<strong>de</strong>ntifié <strong>de</strong> trouver <strong>de</strong>s solutions à <strong>de</strong>s problèmes. En effet, l’impact d’une<br />

évaluation précise <strong>de</strong>s <strong>stages</strong> permettra d’une part aux responsables <strong>de</strong>s <strong>stages</strong> <strong>de</strong> s’améliorer,<br />

aux étudiants <strong>de</strong> pointer <strong>de</strong> manière objectives les <strong>qualité</strong>s et les défauts <strong>de</strong>s différents <strong>stages</strong><br />

enfin aux instances facultaires d’avoir un outil <strong>de</strong> mesure <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s enseignant.<br />

Nous présentons dans ce mémoire le travail d’é<strong>la</strong>boration du questionnaire, sa première<br />

évaluation et son processus d’imp<strong>la</strong>ntation dans nos facultés.<br />

R= -0.01<br />

p=0.93<br />

Figure 1 : Corré<strong>la</strong>tion entre notes <strong>de</strong> stage en D4/100 et c<strong>la</strong>ssement à l’ECN. UFR d’Amiens,<br />

année 2010/2011<br />

2. METHODES<br />

Le développement <strong>de</strong> notre questionnaire était soumis à plusieurs contraintes :<br />

- Une bonne reproductibilité<br />

- La nécessité d’être complet c'est-à-dire <strong>de</strong> s’intéresser à plusieurs aspects <strong>de</strong>s <strong>stages</strong><br />

hospitaliers<br />

- La nécessité d’être concis : le questionnaire <strong>de</strong>vant être rempli au moment <strong>de</strong>s choix<br />

<strong>de</strong>s <strong>stages</strong>, il se doit d’être facile et rapi<strong>de</strong> à remplir. De plus <strong>la</strong> brièveté du<br />

questionnaire assure un taux <strong>de</strong> remplissage plus élevé[11].<br />

- La nécessité d’être répété dans le temps : les questionnaires sont en effet <strong>de</strong>stinés à<br />

être remplis à chaque choix <strong>de</strong> stage et doivent donc être développés sur un support<br />

facile à déployer et à traiter<br />

- La nécessité d’être analysé rapi<strong>de</strong>ment et possiblement <strong>de</strong> manière évolutive dans le<br />

temps


Ces contraintes nous ont conduits à certains choix dans <strong>la</strong> construction <strong>de</strong> notre questionnaire.<br />

L’utilisation <strong>de</strong> questions ouvertes a ainsi été rejetée pour ne gar<strong>de</strong>r que <strong>de</strong>s questions à choix<br />

fermés <strong>de</strong> façon à pouvoir effectuer un traitement informatique <strong>de</strong>s données sans phase<br />

d’interprétation <strong>de</strong>s données. Nous avons privilégié une démarche s’appuyant sur un système<br />

<strong>de</strong> notation par échelles qualitatives à quatre items <strong>de</strong> type Likert modifiée[12, 13]. Le<br />

développement d'une échelle <strong>de</strong> type Likert suppose au départ l'existence d'une banque<br />

importante d'items choisis <strong>de</strong> façon plus ou moins intuitive en fonction <strong>de</strong> leur re<strong>la</strong>tion<br />

potentielle avec l'objet d'étu<strong>de</strong>. Nous nous sommes pour cette phase inspirés <strong>de</strong> nos<br />

expériences personnelles en tant qu’enseignants et responsables universitaires. A l’issue <strong>de</strong><br />

cette réflexion une première liste d’items a été envoyée aux responsables <strong>pédagogique</strong>s <strong>de</strong> nos<br />

facultés respectives (membres <strong>de</strong> <strong>la</strong> commission <strong>de</strong> pédagogie) ainsi qu’à <strong>de</strong>s enseignants <strong>de</strong><br />

différentes disciplines. Il leur était <strong>de</strong>mandé d’une part <strong>de</strong> sélectionner les items pertinents,<br />

éventuellement <strong>de</strong> les modifier et/ou d’en proposer d’autres. A l’issue <strong>de</strong> ce premier tour une<br />

secon<strong>de</strong> liste d’items a été renvoyée aux responsables <strong>pédagogique</strong>s pour finalisation. Le<br />

questionnaire a ensuite été fixé et testé sur une 20 d’étudiants pour juger <strong>de</strong> sa<br />

compréhension.<br />

Le choix d’une échelle <strong>de</strong> Likert à 4 niveaux résulte <strong>de</strong> notre volonté <strong>de</strong> « cliver » les choix<br />

effectués par les étudiants. Les items d'une échelle <strong>de</strong> type Likert consistent généralement en<br />

<strong>de</strong>s énoncés favorables ou défavorables envers l'objet d'étu<strong>de</strong>. Le <strong>de</strong>gré <strong>de</strong> faveur ou <strong>de</strong><br />

défaveur <strong>de</strong>s items est cependant inconnu. Chaque item est accompagné d'un choix <strong>de</strong> réponse<br />

pouvant prendre une forme ressemb<strong>la</strong>nt à <strong>la</strong> suivante: a) fortement en désaccord; b)<br />

légèrement en désaccord; c) légèrement en accord; d) fortement en accord. Les répondants<br />

doivent sélectionner l'option <strong>de</strong> réponse traduisant le mieux leur <strong>de</strong>gré d'accord ou <strong>de</strong><br />

désaccord avec l'item. Une valeur d'échelle (e.g. 1 à 4) est attribuée à chacune <strong>de</strong>s options<br />

selon le niveau d'accord ou <strong>de</strong> désaccord exprimé par l'option <strong>de</strong> réponse. Ainsi, l'option <strong>de</strong><br />

réponse traduisant le plus haut niveau d'accord avec un énoncé favorable à l'objet d'étu<strong>de</strong><br />

recevra <strong>la</strong> valeur d'échelle <strong>la</strong> plus élevée. Ce type d’échelle conduit l’étudiant à produire un<br />

clivage <strong>de</strong> sa réponse avec une tendance positive ou négative. Une réponse moyenne n’existe<br />

pas avec ce type <strong>de</strong> questionnaire, il y a donc un continuum <strong>de</strong> valeurs informatives qui évite<br />

les valeurs refuges sans informations[13].<br />

Le questionnaire final est composé d’une série <strong>de</strong> 12 items comprenant une note globale sur 4<br />

et 10 échelles qualitatives (Voir Annexe 1) :<br />

- Q1. <strong>Evaluation</strong> globale sur 4<br />

- Q2. Enseignement du « savoir faire » médical (examens cliniques, gestes,<br />

techniques,…)<br />

- Q3. Enseignement du « savoir être » médical (re<strong>la</strong>tion mé<strong>de</strong>cin ma<strong>la</strong><strong>de</strong>, annonce <strong>de</strong><br />

nouvelle,…)<br />

- Q4. Relecture critique <strong>de</strong>s observations médicales<br />

- Q5. Enseignement du raisonnement médical<br />

- Q6. Qualité <strong>pédagogique</strong> <strong>de</strong> <strong>la</strong> formation théorique<br />

- Q7. Qualité du lien entre enseignement pratique et théorique (justification<br />

physiopathologique, références bibliographiques,…)<br />

- Q8M. Charge <strong>de</strong> travail Médicale<br />

- Q8A. Charge <strong>de</strong> travail Administrative<br />

- Q9. Respect <strong>de</strong>s horaires <strong>de</strong> sortie : sortie habituelle <strong>de</strong>s <strong>stages</strong><br />

- Q10. Réalisation d’au moins un exposé (cas clinique, sujet théorique,…)


- Q11. Pensez-vous avoir amélioré vos connaissances lors <strong>de</strong> ce stage<br />

Le questionnaire é<strong>la</strong>boré a été testé lors du choix <strong>de</strong> stage d’été au sein <strong>de</strong> <strong>la</strong> faculté <strong>de</strong><br />

mé<strong>de</strong>cine <strong>de</strong> Paris 7. Leur choix <strong>de</strong> stage effectués, les étudiants ont remplis <strong>la</strong> fiche présentée<br />

en Annexe 1 évaluant leurs <strong>stages</strong> <strong>de</strong> printemps.<br />

Les résultats <strong>de</strong> cette évaluation sont donnés en effectifs et pourcentage. La note globale est<br />

présentée par sa moyenne, son minimum et son maximum. Les évaluations en fonction <strong>de</strong>s<br />

spécialités et <strong>de</strong>s hôpitaux sont données. Une représentation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> à l’ai<strong>de</strong><br />

<strong>de</strong> « Radar Plots » permet <strong>de</strong> résumer <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> sur les items Q2 à Q11 (excepté<br />

Q10). Plus <strong>la</strong> surface est gran<strong>de</strong> meilleur est le stage. En accord avec <strong>la</strong> commission <strong>de</strong><br />

pédagogie <strong>de</strong> l’UFR <strong>de</strong> mé<strong>de</strong>cine les résultats les évaluations par terrain <strong>de</strong> stage ne sont pour<br />

l’instant pas rendus mais seront disponibles dès le questionnaire sera utilisé en routine. Enfin<br />

une mesure <strong>de</strong> <strong>la</strong> cohérence du questionnaire est donnée à l’ai<strong>de</strong> du coefficient alpha <strong>de</strong><br />

Cronbach[14]. L’ensemble <strong>de</strong>s analyses a été réalisé sous le logiciel R-2.15.0 (R<br />

Development Core Team, http://www.R-project.org/)<br />

3. RESULTATS<br />

Un total <strong>de</strong> 326 <strong>stages</strong> avait été choisis au printemps 2012 dont 38 par <strong>de</strong>s redoub<strong>la</strong>nts qui<br />

n’ont pas à faire <strong>de</strong> stage d’été et n’étaient donc pas présents au choix. 269 fiches sur 288<br />

théoriques ont donc été recueillies soit un taux <strong>de</strong> réponses <strong>de</strong> plus 93%.<br />

La table 1 présente les résultats portant sur l’ensemble <strong>de</strong>s <strong>stages</strong>. La note globale est à plus<br />

<strong>de</strong> 75% supérieure ou égale à 3 avec une moyenne à 2.98. Concernant les autres items les 2<br />

qualificatifs les plus favorables sont toujours choisis à plus <strong>de</strong> 50% sauf pour <strong>la</strong> Q4 portant<br />

sur <strong>la</strong> relecture <strong>de</strong>s observations (dans plus <strong>de</strong> 70% <strong>de</strong>s <strong>stages</strong> elles n’ont jamais ou très<br />

rarement été relues) et pour <strong>la</strong> Q8A portant sur <strong>la</strong> charge administrative (jugée lour<strong>de</strong> dans<br />

plus <strong>de</strong> 50% <strong>de</strong>s cas). Seul un étudiant sur <strong>de</strong>ux a pu effectuer un exposé oral.<br />

Le tableau 2 représente <strong>la</strong> distribution <strong>de</strong>s spécialités et <strong>de</strong>s hôpitaux <strong>de</strong>s <strong>stages</strong> choisis. Le<br />

tableau 3 donne <strong>la</strong> moyenne <strong>de</strong> <strong>la</strong> note globale par spécialité. Trois spécialités (avec un<br />

nombre d’observations supérieur à 10) présentent une note globale inférieure à 3 :<br />

l’hématologie, <strong>la</strong> chirurgie orthopédique et <strong>la</strong> gynécologie-obstétrique. Cette note globale<br />

n’est pas forcément en lien direct avec le résumé <strong>de</strong>s items représentés par <strong>de</strong>s radars plots<br />

figure 1. En effet, si l’aire <strong>de</strong> <strong>la</strong> chirurgie orthopédique est faible, l’aire <strong>de</strong> <strong>la</strong> gynécologieobstétrique<br />

est simi<strong>la</strong>ire à celle <strong>de</strong> <strong>la</strong> psychiatrie pourtant mieux notée globalement. Reste<br />

qu’il existe une corré<strong>la</strong>tion entre <strong>la</strong> note globale observée et l’aire observée sur le radar plot<br />

(rho=0.67 ; CI95% 0.20 ;0.88). Le tableau 4 présente <strong>la</strong> note globale par établissement<br />

hospitalier. 4 établissements présentent <strong>de</strong>s notes inférieures à 3. Beaujon a une note <strong>de</strong> 2.4 et<br />

Saint-Louis <strong>de</strong> 2.7 certainement influencées par <strong>la</strong> forte représentation respectivement <strong>de</strong> <strong>la</strong><br />

chirurgie orthopédique et <strong>de</strong> l’hématologie dans ces établissements. Les détails <strong>de</strong>s réponses<br />

sont donnés dans les tableaux A et B <strong>de</strong>s annexes 2 et 3.<br />

Le coefficient <strong>de</strong> alpha <strong>de</strong> Cronbach est <strong>de</strong> 0.78 (CI95% 0.71 ; 0.83). Ce coefficient permet <strong>de</strong><br />

juger <strong>de</strong> <strong>la</strong> cohérence interne du questionnaire, c'est-à-dire sa capacité à appréhen<strong>de</strong>r une<br />

même entité (ou dimension) "sous-jacente" ici <strong>la</strong> <strong>qualité</strong> <strong>de</strong>s <strong>stages</strong>. Plus ce coefficient est<br />

proche <strong>de</strong> 1 meilleur est <strong>la</strong> cohérence interne. Une valeur supérieure à 0.7 signe une cohérence<br />

interne satisfaisante[14].


Tableau 1 : Description <strong>de</strong>s items recueillis lors <strong>de</strong> l’évaluation <strong>de</strong>s <strong>stages</strong> <strong>de</strong> juin concernant<br />

les DCEM3 <strong>de</strong> l’université Denis Di<strong>de</strong>rot - Paris 7. Effectifs et pourcentages.<br />

Questions Valeurs N<br />

269<br />

%<br />

1 8 3.2%<br />

Q1. <strong>Evaluation</strong> globale sur 4<br />

2 50 20.2%<br />

3 129 52.0%<br />

4 61 24.6%<br />

NA 21<br />

médiocre 25 9.3%<br />

Q2. Enseignement du « savoir faire » passable 74 27.5%<br />

médical (examens cliniques, gestes, bon 128 47.6%<br />

techniques,…)<br />

excellent 42 15.6%<br />

médiocre 25 9.3%<br />

Q3. Enseignement du « savoir être » passable 75 28.0%<br />

médical (re<strong>la</strong>tion mé<strong>de</strong>cin ma<strong>la</strong><strong>de</strong>, bon 106 39.6%<br />

annonce <strong>de</strong> nouvelle,…)<br />

excellent 62 23.1%<br />

NA 1<br />

rare 97 36.5%<br />

Q4. Relecture critique <strong>de</strong>s<br />

jamais 85 32.0%<br />

observations médicales<br />

fréquente 63 23.7%<br />

systématique 21 7.8%<br />

NA 3<br />

médiocre 17 6.4%<br />

Q5. Enseignement du raisonnement passable 68 25.5%<br />

médical<br />

bon 133 49.8%<br />

excellent 49 18.4%<br />

NA 2<br />

médiocre 13 4.9%<br />

Q6. Qualité <strong>pédagogique</strong> <strong>de</strong> <strong>la</strong><br />

passable 61 22.8%<br />

formation théorique<br />

bonne 133 49.8%<br />

excellente 60 22.5%<br />

NA 2<br />

Q7. Qualité du lien entre<br />

médiocre 18 6.8%<br />

enseignement pratique et<br />

passable 92 34.6%<br />

théorique (justification<br />

bonne 112 42.1%<br />

physiopathologique,<br />

excellente 44 16.5%<br />

références bibliographiques,…) NA 3<br />

faible 46 17.1%<br />

Q8M. Charge <strong>de</strong> travail Médicale normal 154 57.2%<br />

assez lour<strong>de</strong> 53 19.7%<br />

lour<strong>de</strong> 16 5.9%<br />

faible 98 38.7%<br />

Q8A. Charge <strong>de</strong> travail Administrative normal 68 26.9%<br />

assez lour<strong>de</strong> 42 16.6%<br />

lour<strong>de</strong> 45 17.8%<br />

NA 16<br />

avec 30min 51 19.0%<br />

Q9. Respect <strong>de</strong>s horaires <strong>de</strong> sortie : à l'heure 156 58.2%<br />

sortie habituelle <strong>de</strong>s <strong>stages</strong><br />

avec 1 h 42 15.7%<br />

avec 2 h 19 7.1%<br />

NA 1<br />

non 124 47.0%<br />

Q10. Réalisation d’au moins un exposé oui 140 53.0%<br />

(cas clinique, sujet théorique,…) NA 5<br />

pas du tout 7 2.6%<br />

Q11. Pensez-vous avoir amélioré vos un peu 52 19.4%<br />

connaissances lors <strong>de</strong> ce stage moyennement 94 35.1%<br />

beaucoup 115 42.9%<br />

NA 1


Table 2 : Répartition <strong>de</strong>s choix <strong>de</strong> <strong>stages</strong> offerts aux étudiants <strong>de</strong> DCEM3, <strong>stages</strong> du<br />

printemps 2012. Effectifs et pourcentages.<br />

N %<br />

326<br />

SPECIALITE ABSENT AU CHOIX 2 0.6%<br />

ANATOMO - PATHOLOGIE 8 2.5%<br />

CENTRE DOULEUR 3 0.9%<br />

CHIRURGIE ORTHOPEDIQUE 51 15.6%<br />

GYNECOLOGIE OBSTETRIQUE 87 26.7%<br />

HEMATOLOGIE 18 5.4%<br />

IMMUNOLOGIE 22 6.7%<br />

MEDECINE PHY. ET REA. 9 2.8%<br />

NEURO - CHIRURGIE 14 4.3%<br />

NEUROLOGIE 41 12.6%<br />

ONCOLOGIE 1 0.3%<br />

OPHTALMOLOGIE 5 1.5%<br />

PSYCHIATRIE 30 9.2%<br />

RADIOTHERAPIE 3 0.9%<br />

RHUMATOLOGIE 32 9.8%<br />

HOPITAL ARGENTEUIL 2 0.6%<br />

BEAUJON 35 10.7%<br />

BICHAT 70 21.5%<br />

FERNAND WIDAL 12 3.7%<br />

FONDATION ROTSCHILD 12 3.7%<br />

LARIBOISIERE 83 25.5%<br />

LOUIS MOURIER 23 7.1%<br />

PONTOISE 11 3.4%<br />

ROBERT DEBRE 37 11.3%<br />

SAINT LOUIS 39 12.0%<br />

NA 2 0.6%


Table 3 : Note globale moyenne par spécialité.<br />

Moy<br />

note Note Note<br />

Spécialité<br />

globale min Max Effectif<br />

ANATOMO - PATHOLOGIE 2.5 1 4 2<br />

HEMATOLOGIE 2.8 2 4 76<br />

CHIRURGIE ORTHOPEDIQUE<br />

GYNECOLOGIE<br />

2.8 1 4 29<br />

OBSTETRIQUE 2.9 1 4 55<br />

NEUROLOGIE 3 1 4 23<br />

ONCOLOGIE 3 3 3 1<br />

RADIOTHERAPIE 3 3 3 1<br />

IMMUNOLOGIE 3.1 1 4 17<br />

NEURO - CHIRURGIE 3.1 2 4 11<br />

RHUMATOLOGIE 3.2 2 4 19<br />

PSYCHIATRIE 3.2 1 4 18<br />

CENTRE DOULEUR 3.5 3 4 2<br />

OPHTALMOLOGIE 3.5 3 4 2<br />

MEDECINE PHY. ET REA. 3.7 3 4 3<br />

Table 4 : Note globale moyenne par hôpital.<br />

Moy<br />

note Note Note<br />

Spécialité<br />

globale min Max Effectif<br />

BEAUJON 2.4 1 4 23<br />

SAINT LOUIS 2.7 1 4 58<br />

ROBERT DEBRE 2.9 1 4 53<br />

BICHAT 2.9 1 4 44<br />

ARGENTEUIL 3 3 3 2<br />

LARIBOISIERE 3.2 2 4 45<br />

FONDATION ROTSCHILD 3.2 3 4 5<br />

FERNAND WIDAL 3.3 3 4 6<br />

LOUIS MOURIER 3.4 3 4 16<br />

PONTOISE 3.6 3 4 7


Figure 1 : Radar plot <strong>de</strong>s réponses aux différentes questions en fonction <strong>de</strong> <strong>la</strong> spécialité. Chaque « direction » représente un <strong>de</strong>s items du<br />

questionnaire.


4. DISCUSSION<br />

La première partie <strong>de</strong> notre p<strong>la</strong>n d’action-recherche <strong>pédagogique</strong> semble bien se dérouler.<br />

Nous avons obtenu une bonne adhésion <strong>de</strong>s étudiants et une amélioration du contenu<br />

informatif. En effet, notre taux <strong>de</strong> réponses est supérieur à 93%, ce qui montre l’adhésion très<br />

forte <strong>de</strong>s étudiants à fournir un retour sur leurs <strong>stages</strong> hospitaliers. Le caractère informatif est<br />

<strong>de</strong>venu plus exhaustif car nous avons remp<strong>la</strong>cé 3 items conceptuels avec une faible cohérence<br />

interne (alpha <strong>de</strong> Cronbach inférieur à 0.50 sur l’année 2011) par 11 questions fermées qui<br />

interrogent sur <strong>de</strong>s opinions ou <strong>de</strong>s faits. La note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation<br />

théorique qui était notée <strong>de</strong> 1 à 5 a été remp<strong>la</strong>cée par 4 questions qui informent sur <strong>la</strong> <strong>qualité</strong><br />

<strong>de</strong> l’enseignement théorique mais aussi sur l’enseignement du raisonnement médical, <strong>la</strong><br />

<strong>qualité</strong> du lien entre enseignement pratique et l’amélioration du niveau <strong>de</strong> connaissance. La<br />

note d’appréciation <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>de</strong> <strong>la</strong> formation pratique <strong>de</strong> 1 à 5 a été remp<strong>la</strong>cée par 3<br />

questions qui informent sur l’enseignement du « savoir faire » et du « savoir être » médical.<br />

Des questions factuelles ont été introduites renseignant sur <strong>la</strong> fréquence <strong>de</strong>s relectures <strong>de</strong>s<br />

observations médicales et <strong>la</strong> réalisation ou non d’un exposé. La note d’appréciation <strong>de</strong> <strong>la</strong><br />

pénibilité du stage 1 à 5 a été remp<strong>la</strong>cée par une question sur les horaires et <strong>de</strong>ux questions<br />

sur <strong>la</strong> charge <strong>de</strong> travail médical ou administratif. Enfin <strong>de</strong>ux questions d’opinions permettent<br />

<strong>de</strong> nuancer <strong>la</strong> <strong>qualité</strong> globale du stage par rapport à <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong>.<br />

Si le choix <strong>de</strong> ces items a été validé par les conseils <strong>pédagogique</strong>s <strong>de</strong> nos <strong>de</strong>ux facultés<br />

respectives, il présente certaines limites. Notre questionnaire renseigne bien 4 <strong>de</strong>s 5 facteurs<br />

d’apprentissages i<strong>de</strong>ntifiés par Lebrun (information, activité, interaction, production)[15],<br />

mais pas sur <strong>la</strong> part d’implication (motivation) dans <strong>la</strong> résolution <strong>de</strong> problèmes que les<br />

enseignants ont donné à l’étudiant au décours du stage. Cet aspect <strong>de</strong>vrait être rediscuté et<br />

potentiellement intégré dans notre questionnaire lors <strong>de</strong> sa réévaluation annuelle. Cependant,<br />

<strong>la</strong> mesure <strong>de</strong> cette motivation est difficile lors d’un auto-questionnaire.<br />

Nos questions ont été volontairement fermées pour faciliter <strong>la</strong> compréhension, fixer le sens <strong>de</strong><br />

<strong>la</strong> réponse et permettre un dépouillement rapi<strong>de</strong>. Ce choix limite <strong>la</strong> quantité d’information sur<br />

l’item, influence les réponses et provoque un effet d’ancrage <strong>de</strong>s réponses suivantes[16-18]. Il<br />

a l’avantage d’être reproductible et limite <strong>la</strong> subjectivité <strong>de</strong> celui qui dépouille les<br />

questionnaires quand à l’interprétation <strong>de</strong>s données. Nous avons choisit d’utiliser une échelle<br />

<strong>de</strong> Likert à 4 niveaux pour cliver les avis favorables <strong>de</strong>s avis défavorables, une échelle à 5<br />

aurait permit <strong>de</strong> plus gran<strong>de</strong>s nuances mais nous aurait exposé à une majorité <strong>de</strong> réponses<br />

sans opinions. L’échelle <strong>de</strong> Likert a été initialement crée avec <strong>la</strong> possibilité <strong>de</strong> pondérer les<br />

questions entres elles[12]. Nous n’avons pas pondéré les questions selon leurs importances<br />

re<strong>la</strong>tives dans notre évaluation globale. Il s’agit d’un choix délibéré <strong>de</strong> notre part. Nous<br />

recueillons déjà une note globale. De plus, un tel outil a pour objectif l’amélioration <strong>de</strong> <strong>la</strong><br />

<strong>qualité</strong> <strong>de</strong>s <strong>stages</strong> d’externe. Il nous a paru plus important <strong>de</strong> pouvoir « disséquer » les<br />

différents aspects du stage que <strong>de</strong> fournir une autre évaluation générale.<br />

L’ordre <strong>de</strong>s questions peut avoir une influence sur <strong>la</strong> réponse aux questions suivantes. Nous<br />

avons choisi <strong>de</strong> poser <strong>la</strong> première question sur <strong>la</strong> note globale du stage. Ce choix n’était peutêtre<br />

pas judicieux car elle enferme possiblement l’étudiant dans son choix <strong>de</strong> départ pour<br />

répondre aux autres questions[16-18]. Nous aurions probablement du mettre cette première<br />

question avec <strong>la</strong> <strong>de</strong>rnière. Idéalement, il faudrait dans un questionnaire électronique (annexe<br />

4) randomiser l’ordre <strong>de</strong>s questions pour chacun <strong>de</strong>s étudiants se connectant au site web.


Le feedback n’a pas encore été fait aux responsables <strong>de</strong>s <strong>stages</strong>. L’acceptabilité du<br />

questionnaire par les enseignant n’a pas encore été évaluée. Dès que les enseignants auront<br />

reçu les évaluations <strong>de</strong>s étudiants sur leur terrain <strong>de</strong> stage, nous pourrons voir si notre<br />

recherche-action provoque une amélioration <strong>de</strong> <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong> <strong>de</strong>s <strong>stages</strong> hospitaliers.<br />

De notre point <strong>de</strong> vue au moins 3 mécanismes <strong>de</strong> feedback peuvent être envisagés :<br />

- Cet outil permet aux enseignants d’évaluer <strong>la</strong> <strong>qualité</strong> <strong>de</strong> leur production. L’évaluation<br />

se fait alors par items ou plus globalement sur <strong>la</strong> note moyenne du stage. Ainsi<br />

l’information que nous produisons se doit <strong>de</strong> détailler items par item les réponses et <strong>de</strong><br />

donner <strong>de</strong>s outils <strong>de</strong> synthèse. De ce point <strong>de</strong> vue l’évaluation <strong>de</strong> l’aire sous <strong>la</strong> courbe<br />

<strong>de</strong>s radars nous parait intéressante car <strong>la</strong> baisse <strong>de</strong> <strong>la</strong> valeur d’un item décroit<br />

considérablement l’aire totale. Par exemple en oncologie <strong>la</strong> note globale d’évaluation<br />

(=3) est i<strong>de</strong>ntique à <strong>la</strong> neurologie et à <strong>la</strong> radiothérapie tandis que l’aire sous <strong>la</strong> courbe<br />

est plus importante. Ces observations <strong>de</strong>vraient inciter les enseignants à modifier leur<br />

comportement sur les items qui ne sont pas bien notés par les étudiants.<br />

- Nous espérons que cet outil permettra aux étudiants <strong>de</strong> mieux choisir leurs <strong>stages</strong>.<br />

Cette pression exercée sur les mauvais <strong>stages</strong> <strong>de</strong>vrait permettre une amélioration <strong>de</strong>s<br />

<strong>stages</strong> les moins bien notés si les responsables souhaitent avoir les étudiants les plus<br />

motivés.<br />

- Nous spéculons aussi que cet outil puisse être détourné vers un outil <strong>de</strong> gouvernance<br />

pour les équipes <strong>pédagogique</strong>s. En effet avoir ce tableau <strong>de</strong> bord (et c’est une<br />

<strong>de</strong>man<strong>de</strong> récurrente <strong>de</strong>s instances) permet <strong>de</strong> rendre compte en partie <strong>de</strong> ce qui se<br />

passe dans les <strong>stages</strong>. S’il permet d’alerter, <strong>de</strong> conseiller et <strong>de</strong> renforcer <strong>de</strong>s équipes<br />

<strong>pédagogique</strong>s (renforts <strong>de</strong> CCA,…), il pourrait <strong>de</strong>venir un instrument <strong>de</strong> régu<strong>la</strong>tions<br />

<strong>de</strong>s terrains <strong>de</strong> <strong>stages</strong>. On peut imaginer qu’il aboutisse à limiter le nombre d’étudiants<br />

et même à modifier le nombre d’enseignants. Evi<strong>de</strong>mment, le processus <strong>de</strong> rechercheaction<br />

en serait modifié par l’application d’un troisième niveau d’action (Doyen) sur<br />

les <strong>de</strong>ux autres (enseignants/étudiants).<br />

Les perspectives <strong>de</strong> ce travail se prolongent par <strong>la</strong> mise en p<strong>la</strong>ce prochainement d’un outil<br />

informatique pour éviter <strong>la</strong> saisie et les erreurs <strong>de</strong> dépouillement du questionnaire. En effet,<br />

nous avons développé à Amiens un outil informatique (voir annexe 4) qui permettra aux<br />

étudiants <strong>de</strong> noter avec les mêmes items que <strong>la</strong> faculté <strong>de</strong> mé<strong>de</strong>cine <strong>de</strong> Denis Di<strong>de</strong>rot Paris<br />

VII. La mise en p<strong>la</strong>ce <strong>de</strong> cette interface web sera effective pour l’année universitaire 2012-<br />

2013 à Amiens et pour le choix du stage d’hiver sur Paris 7. Une fois ce premier<br />

développement effectif nous envisageons <strong>de</strong> développer <strong>de</strong>s outils <strong>de</strong> visualisations directes<br />

<strong>de</strong>s résultats en ligne. Cet outil <strong>de</strong>vrait permettre à terme d’évaluer les résultats hôpital par<br />

hôpital, spécialité par spécialité et bien sûr terrain <strong>de</strong> stage par terrain <strong>de</strong> stage. Enfin, il <strong>de</strong>vra<br />

avoir <strong>la</strong> capacité <strong>de</strong> montrer l’évolution <strong>de</strong>s évaluations dans le temps. Cet outil est<br />

actuellement en développement au sein du service <strong>de</strong> biostatistique et information médicale<br />

<strong>de</strong> l’hôpital Saint-Louis.


5. Références<br />

1. Vanpee, D., et al., Ce que <strong>la</strong> perspective <strong>de</strong> l’apprentissage et <strong>de</strong> l’enseignement<br />

contextualisés authentiques peut apporter pour optimaliser <strong>la</strong> <strong>qualité</strong> <strong>pédagogique</strong> <strong>de</strong>s<br />

<strong>stages</strong> d’externat. Pédagogie Médicale 2010. 10: p. 253-66.<br />

2. Ringsted, C., et al., Medical stu<strong>de</strong>nts' experience in practical skills is far from<br />

stakehol<strong>de</strong>rs' expectations. Med Teach, 2001. 23(4): p. 412-416.<br />

3. Board, P. and M. Mercer, A survey of the basic practical skills of final year medical<br />

stu<strong>de</strong>nts in one UK medical school. Med Teach, 1998. 20: p. 104-108.<br />

4. Langevin, S. and R. Hivon, En quoi l’externat ne s’acquitte-t-il pas adéquatement <strong>de</strong><br />

son mandat <strong>pédagogique</strong> ? Une étu<strong>de</strong> qualitative fondée sur une analyse systématique<br />

<strong>de</strong> <strong>la</strong> littérature. Pédagogie Médicale 2007;8:7-23 Pédagogie Médicale 2007. 8: p. 7-<br />

23.<br />

5. Jouquan, J. and P. Bail, A quoi s’engage-t-on en bascu<strong>la</strong>nt du paradigme<br />

d’enseignement vers le paradigme d’apprentissage ? . Pédagogie Médicale, 2003. 4:<br />

p. 163-75.<br />

6. Stark, P., Teaching and learning in the clinical setting: a qualitative study of the<br />

perceptions of stu<strong>de</strong>nts and teachers. Med Educ, 2003. 37(11): p. 975-82.<br />

7. Mann, F., Experiments in feedback. Public Opin Q (1958) 22(2): 173-174, 1958.<br />

22(2): p. 173-174.<br />

8. Whyte, Participatory action research., ed. W. Foote. Vol. 123. 1991: Sage focus<br />

editions.<br />

9. Karlsen, J., Action research as method: reflections from a program for <strong>de</strong>velopmennt<br />

methods and competence" WHYTE, William Foote. Participatory Action Research.<br />

Newbury Park: Sage Publications. Participatory Action Research. , ed. W. Foote.<br />

1991, Newbury Park: : Sage Publications. 500-510.<br />

10. Guénard, D., Introduction à <strong>la</strong> dynamique lewinienne, in La recherche-action <strong>de</strong> Kurt<br />

Lewin aux pratiques contemporaines, Baribeau, Editor. 1992, Colette: Arq.<br />

11. Ganassali, S. and J. Moscaro<strong>la</strong>, The efficacy of web surveys : an experimental study.<br />

Décisions marketing, 2004. 12.<br />

12. Likert, R., A technique for the measurement of attitu<strong>de</strong>s. Archives of Psychology,<br />

1932. 140: p. 5-53.<br />

13. Docq, F., M. Lebrun, and D. Smidts, À <strong>la</strong> recherche <strong>de</strong>s effets d’une p<strong>la</strong>te-forme<br />

d’enseignement/apprentissage en ligne sur les pratiques <strong>pédagogique</strong>s d’une<br />

université : premières approches. Revue internationale <strong>de</strong>s technologies en pédagogie<br />

universitaire, 2008. 5(1): p. 45-57.<br />

14. B<strong>la</strong>nd, J.M. and D.G. Altman, Cronbach's alpha. BMJ, 1997. 314(7080): p. 572.<br />

15. Lebrun, M., Des technologies pour enseigner et apprendre. , ed. D. Boeck. 2007,<br />

Bruxelles.<br />

16. Chapman, G. and E. Johnson, Anchoring, activation, and the construction of values.<br />

Organizational Behavior and Human Decision Processes, 1999. 79: p. 115-153.<br />

17. B Englich and T. Mussweiler, Sentencing un<strong>de</strong>r uncertainty: Anchoring effects in the<br />

court-room. Journal of Applied Social Psychology, 2001. 31: p. 1535-1551.<br />

18. Mussweiler, T., The Malleability of Anchoring Effects. Experimental Psychology<br />

2002; Vol. 49(1): 67Ð72, 2002. 49(1): p. 67-72.


6. ANNEXES<br />

Annexe 1 : Fiche <strong>de</strong> recueil <strong>de</strong>s évaluations <strong>de</strong> <strong>stages</strong> d’externe (DCEM2, DCEM3, DCEM4)


Annexe 2a : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> <strong>la</strong> spécialité. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %<br />

Q1.<br />

Q2.<br />

Q3.<br />

Q4.<br />

Q5.<br />

Q6.<br />

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM<br />

1 1 50% 0 0% 1 4% 1 2% 0 0% 1 6% 0 0% 0 0% 1 5% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

2 0 0% 0 0% 7 26% 14 27% 19 31% 3 19% 0 0% 2 20% 4 18% 0 0% 0 0% 3 17% 0 0% 2 11%<br />

3 0 0% 1 50% 15 56% 28 54% 36 59% 6 38% 1 33% 5 50% 12 55% 1 100% 1 50% 6 33% 1 100% 12 63%<br />

4 1 50% 1 50% 4 15% 9 17% 6 10% 6 38% 2 67% 3 30% 5 23% 0 0% 1 50% 8 44% 0 0% 5 26%<br />

NA 0 0 2 3 15 1 0 1 1 0 0 0 0 0<br />

bon 1 50% 2 100% 11 38% 27 49% 37 49% 10 59% 3 100% 4 36% 8 35% 1 100% 2 100% 8 44% 0 0% 10 53%<br />

excellent 0 0% 0 0% 1 3% 12 22% 7 9% 1 6% 0 0% 0 0% 4 17% 0 0% 0 0% 3 17% 0 0% 6 32%<br />

mediocre 1 50% 0 0% 5 17% 1 2% 13 17% 1 6% 0 0% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 1 5%<br />

passable 0 0% 0 0% 12 41% 15 27% 19 25% 5 29% 0 0% 6 55% 8 35% 0 0% 0 0% 6 33% 1 100% 2 11%<br />

bon 1 50% 1 50% 9 31% 23 42% 41 54% 7 41% 0 0% 0 0% 10 44% 0 0% 2 100% 5 28% 1 100% 12 63%<br />

excellent 0 0% 1 50% 2 7% 10 18% 8 11% 5 29% 3 100% 1 10% 1 4% 1 100% 0 0% 10 56% 0 0% 3 16%<br />

mediocre 1 50% 0 0% 6 21% 3 6% 2 3% 2 12% 0 0% 2 20% 7 30% 0 0% 0 0% 0 0% 0 0% 1 5%<br />

passable 0 0% 0 0% 12 41% 19 35% 25 33% 3 18% 0 0% 7 70% 5 22% 0 0% 0 0% 3 17% 0 0% 3 16%<br />

NA 0 0 0 0 0 0 0 1 0 0 0 0 0 0<br />

frequente 1 50% 0 0% 5 17% 11 20% 20 26% 4 24% 2 67% 3 27% 3 13% 1 100% 1 50% 2 11% 1 100% 7 39%<br />

jamais 1 50% 0 0% 13 45% 22 40% 24 32% 1 6% 0 0% 4 36% 12 52% 0 0% 0 0% 3 17% 0 0% 3 17%<br />

rare 0 0% 2 100% 11 38% 19 35% 28 37% 11 65% 0 0% 4 36% 8 35% 0 0% 0 0% 10 56% 0 0% 4 22%<br />

systematique 0 0% 0 0% 0 0% 3 6% 4 5% 1 6% 1 33% 0 0% 0 0% 0 0% 1 50% 3 17% 0 0% 4 22%<br />

NA 0 0 0 0 0 0 0 0 0 0 0 0 0 1<br />

bon 1 50% 2 100% 13 46% 30 55% 37 49% 5 29% 1 33% 6 55% 10 46% 1 100% 2 100% 8 44% 1 100% 9 47%<br />

excellent 0 0% 0 0% 1 4% 8 15% 6 8% 7 41% 2 67% 0 0% 4 18% 0 0% 0 0% 4 22% 0 0% 8 42%<br />

mediocre 1 50% 0 0% 3 11% 3 6% 4 5% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

passable 0 0% 0 0% 11 39% 14 26% 29 38% 4 24% 0 0% 5 46% 6 27% 0 0% 0 0% 5 28% 0 0% 2 11%<br />

NA 0 0 1 0 0 0 0 0 1 0 0 0 0 0<br />

bon 1 50% 1 50% 13 45% 29 54% 44 58% 8 47% 2 67% 5 46% 10 44% 0 0% 2 100% 7 39% 1 100% 9 47%<br />

excellent 0 0% 0 0% 1 3% 11 20% 8 11% 7 41% 1 33% 1 9% 7 30% 1 100% 0 0% 5 28% 0 0% 10 53%<br />

mediocre 1 50% 0 0% 4 14% 1 2% 2 3% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

passable 0 0% 1 50% 11 38% 13 24% 22 29% 1 6% 0 0% 5 46% 4 17% 0 0% 0 0% 5 28% 0 0% 0 0%<br />

NA 0 0 0 1 0 0 0 0 0 0 0 0 0 0


Annexe 2b : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> <strong>la</strong> spécialité. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %<br />

Q7.<br />

Q8M.<br />

Q8A.<br />

Q9.<br />

Q10.<br />

Q11.<br />

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM<br />

bon 1 50% 2 100% 11 39% 25 46% 29 39% 7 41% 2 67% 4 36% 9 39% 0 0% 2 100% 6 33% 0 0% 11 58%<br />

excellent 0 0% 0 0% 2 7% 8 15% 6 8% 6 35% 1 33% 0 0% 3 13% 1 100% 0 0% 4 22% 0 0% 6 32%<br />

mediocre 1 50% 0 0% 4 14% 1 2% 7 10% 0 0% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 0 0%<br />

passable 0 0% 0 0% 11 39% 20 37% 32 43% 4 24% 0 0% 7 64% 8 35% 0 0% 0 0% 8 44% 1 100% 2 11%<br />

NA 0 0 1 1 2 0 0 0 0 0 0 0 0 0<br />

assez lour<strong>de</strong> 0 0% 0 0% 5 17% 13 24% 14 18% 6 35% 2 67% 0 0% 4 17% 0 0% 0 0% 1 6% 1 100% 4 21%<br />

faible 2 100% 0 0% 9 31% 4 7% 18 24% 0 0% 0 0% 5 46% 4 17% 0 0% 1 50% 5 28% 0 0% 0 0%<br />

lour<strong>de</strong> 0 0% 0 0% 1 3% 7 13% 4 5% 2 12% 0 0% 0 0% 2 9% 0 0% 0 0% 0 0% 0 0% 2 11%<br />

normal 0 0% 2 100% 14 48% 31 56% 40 53% 9 53% 1 33% 6 55% 13 57% 1 100% 1 50% 12 67% 0 0% 13 68%<br />

assez lour<strong>de</strong> 0 0% 0 0% 0 0% 6 12% 18 28% 8 47% 0 0% 0 0% 3 13% 0 0% 0 0% 2 11% 0 8 47%<br />

faible 2 100% 1 50% 16 55% 21 41% 21 32% 1 6% 2 67% 5 50% 6 26% 1 100% 2 100% 8 44% 0 0 0%<br />

lour<strong>de</strong> 0 0% 1 50% 3 10% 9 18% 11 17% 4 24% 0 0% 2 20% 9 39% 0 0% 0 0% 2 11% 0 6 35%<br />

normal 0 0% 0 0% 10 35% 15 29% 15 23% 4 24% 1 33% 3 30% 5 22% 0 0% 0 0% 6 33% 0 3 18%<br />

NA 0 0 0 4 11 0 0 1 0 0 0 0 1 2<br />

a l heure 2 100% 1 50% 21 72% 35 64% 46 62% 4 24% 0 0% 10 91% 12 52% 1 100% 2 100% 11 61% 0 0% 2 11%<br />

avec 1 h 0 0% 0 0% 3 10% 3 6% 16 22% 6 35% 1 33% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 11 58%<br />

avec 2 h 0 0% 0 0% 3 10% 8 15% 2 3% 1 6% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 3 16%<br />

avec 30min 0 0% 1 50% 2 7% 9 16% 10 14% 6 35% 2 67% 0 0% 5 22% 0 0% 0 0% 6 33% 1 100% 3 16%<br />

NA 0 0 0 0 2 0 0 0 0 0 0 0 0 0<br />

non 2 100% 0 0% 18 62% 15 28% 33 47% 5 31% 1 33% 2 18% 4 17% 0 0% 1 50% 12 67% 1 100% 15 79%<br />

oui 0 0% 2 100% 11 38% 39 72% 37 53% 11 69% 2 67% 9 82% 19 83% 1 100% 1 50% 6 33% 0 0% 4 21%<br />

NA 0 0 0 1 6 1 0 0 0 0 0 0 0 0<br />

beaucoup 1 50% 1 50% 7 25% 33 60% 16 21% 10 59% 3 100% 2 18% 7 30% 0 0% 0 0% 7 39% 0 0% 17 90%<br />

moyennement 0 0% 1 50% 8 29% 18 33% 40 53% 3 18% 0 0% 2 18% 10 44% 1 100% 2 100% 8 44% 0 0% 2 11%<br />

pas du tout 1 50% 0 0% 1 4% 1 2% 0 0% 0 0% 0 0% 0 0% 1 4% 0 0% 0 0% 1 6% 0 0% 0 0%<br />

un peu 0 0% 0 0% 12 43% 3 6% 20 26% 4 24% 0 0% 7 64% 5 22% 0 0% 0 0% 2 11% 1 100% 0 0%<br />

NA 0 0 1 0 0 0 0 0 0 0 0 0 0 0


Annexe 3a : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> l’hôpital. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %<br />

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS<br />

Q1 1 0 0% 2 10% 1 2% 0 0% 0 0% 0 0% 0 0% 0 0% 1 2% 2 4%<br />

2 0 0% 9 43% 12 28% 0 0% 0 0% 5 12% 0 0% 0 0% 13 28% 15 31%<br />

3 2 100% 9 43% 20 47% 4 67% 4 80% 26 61% 8 57% 3 43% 23 50% 26 53%<br />

4 0 0% 1 5% 10 23% 2 33% 1 20% 12 28% 6 43% 4 57% 9 20% 6 12%<br />

NA 0 2 1 0 0 2 2 0 7 9<br />

Q2 Bon 1 50% 5 22% 24 55% 5 83% 3 60% 23 51% 7 44% 2 29% 26 49% 28 48%<br />

excellent 0 0% 2 9% 6 14% 0 0% 1 20% 6 13% 5 31% 5 71% 5 9% 4 7%<br />

mediocre 0 0% 6 26% 2 5% 0 0% 1 20% 2 4% 0 0% 0 0% 6 11% 10 17%<br />

passable 1 50% 10 44% 12 27% 1 17% 0 0% 14 31% 4 25% 0 0% 16 30% 16 28%<br />

Q3 Bon 2 100% 6 27% 17 39% 2 33% 2 40% 20 44% 7 44% 2 29% 26 49% 28 48%<br />

excellent 0 0% 1 5% 10 23% 4 67% 0 0% 5 11% 7 44% 5 71% 5 9% 8 14%<br />

mediocre 0 0% 5 23% 5 11% 0 0% 2 40% 6 13% 1 6% 0 0% 1 2% 4 7%<br />

passable 0 0% 10 46% 12 27% 0 0% 1 20% 14 31% 1 6% 0 0% 21 40% 18 31%<br />

NA 0 1 0 0 0 0 0 0 0 0<br />

Q4 frequente 0 0% 6 26% 7 16% 2 33% 1 20% 11 24% 4 25% 3 43% 13 25% 14 24%<br />

jamais 0 0% 11 48% 17 40% 1 17% 3 60% 15 33% 3 19% 1 14% 15 28% 17 29%<br />

rare 2 100% 6 26% 17 40% 2 33% 1 20% 15 33% 6 38% 1 14% 22 42% 25 43%<br />

systematique 0 0% 0 0% 2 5% 1 17% 0 0% 4 9% 3 19% 2 29% 3 6% 2 3%<br />

NA 0 0 1 0 0 0 0 0 0 0<br />

Q5 Bon 1 50% 9 41% 20 46% 4 67% 3 75% 24 53% 6 38% 4 57% 29 55% 26 45%<br />

excellent 0 0% 1 5% 7 16% 2 33% 0 0% 10 22% 7 44% 3 43% 3 6% 7 12%<br />

mediocre 0 0% 3 14% 2 5% 0 0% 1 25% 2 4% 0 0% 0 0% 3 6% 4 7%<br />

passable 1 50% 9 41% 15 34% 0 0% 0 0% 9 20% 3 19% 0 0% 18 34% 21 36%<br />

NA 0 1 0 0 1 0 0 0 0 0<br />

Q6 Bon 1 50% 9 39% 25 58% 3 50% 2 40% 17 38% 7 44% 4 57% 32 60% 32 55%<br />

excellent 0 0% 2 9% 9 21% 1 17% 1 20% 14 31% 8 50% 2 29% 5 9% 10 17%<br />

mediocre 1 50% 5 22% 1 2% 0 0% 1 20% 0 0% 0 0% 0 0% 2 4% 2 3%<br />

passable 0 0% 7 30% 8 19% 2 33% 1 20% 14 31% 1 6% 1 14% 14 26% 14 24%<br />

NA 0 0 1 0 0 0 0 0 0 0


Annexe 3b : Descriptions <strong>de</strong>s réponses en fonction <strong>de</strong> l’hôpital. Effectifs et pourcentages.<br />

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %<br />

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS<br />

Q7 Bon 1 50% 6 26% 19 44% 3 50% 2 40% 21 48% 10 63% 5 71% 22 42% 20 35%<br />

excellent 0 0% 2 9% 7 16% 1 17% 0 0% 10 23% 4 25% 2 29% 4 8% 7 12%<br />

mediocre 1 50% 4 17% 1 2% 0 0% 1 20% 1 2% 0 0% 0 0% 3 6% 5 9%<br />

passable 0 0% 11 48% 16 37% 2 33% 2 40% 12 27% 2 13% 0 0% 23 44% 25 44%<br />

NA 0 0 1 0 0 1 0 0 1 1<br />

Q8_M assez lour<strong>de</strong> 0 0% 1 4% 12 27% 3 50% 2 40% 8 18% 1 6% 2 29% 10 19% 11 19%<br />

faible 1 50% 13 57% 2 5% 0 0% 1 20% 5 11% 0 0% 1 14% 12 23% 13 22%<br />

lour<strong>de</strong> 0 0% 0 0% 11 25% 0 0% 0 0% 1 2% 1 6% 1 14% 2 4% 2 3%<br />

normal 1 50% 9 39% 19 43% 3 50% 2 40% 31 69% 14 88% 3 43% 29 55% 32 55%<br />

Q8_A assez lour<strong>de</strong> 1 50% 1 4% 12 29% 1 17% 1 20% 4 10% 1 7% 0 0% 11 23% 13 26%<br />

faible 0 0% 12 52% 5 12% 2 33% 1 20% 18 43% 3 21% 6 86% 23 48% 16 31%<br />

lour<strong>de</strong> 1 50% 2 9% 20 48% 1 17% 2 40% 6 14% 0 0% 1 14% 6 13% 8 16%<br />

normal 0 0% 8 35% 5 12% 2 33% 1 20% 14 33% 10 71% 0 0% 8 17% 14 28%<br />

NA 0 0 2 0 0 3 2 0 5 7<br />

Q9 a l heure 2 100% 22 96% 13 30% 1 17% 2 40% 24 53% 10 63% 6 86% 32 62% 35 61%<br />

avec 1 h 0 0% 1 4% 12 27% 1 17% 0 0% 9 20% 1 6% 0 0% 11 21% 10 18%<br />

avec 2 h 0 0% 0 0% 9 21% 0 0% 3 60% 4 9% 0 0% 1 14% 1 2% 2 4%<br />

avec 30min 0 0% 0 0% 10 23% 4 67% 0 0% 8 18% 5 31% 0 0% 8 15% 10 18%<br />

NA 0 0 0 0 0 0 0 0 1 1<br />

Q10 non 2 100% 9 39% 11 26% 3 50% 2 40% 20 44% 9 56% 4 67% 20 40% 29 53%<br />

oui 0 0% 14 61% 32 74% 3 50% 3 60% 25 56% 7 44% 2 33% 30 60% 26 47%<br />

NA 0 0 1 0 0 0 0 1 3 3<br />

Q11 beaucoup 1 50% 4 17% 23 52% 3 50% 1 20% 23 52% 14 88% 7 100% 15 28% 13 22%<br />

moyennement 0 0% 7 30% 13 30% 3 50% 3 60% 14 32% 2 13% 0 0% 26 49% 27 47%<br />

pas du tout 0 0% 2 9% 0 0% 0 0% 1 20% 0 0% 0 0% 0 0% 1 2% 1 2%<br />

un peu 1 50% 10 44% 8 18% 0 0% 0 0% 7 16% 0 0% 0 0% 11 21% 17 29%<br />

NA 0 0 0 0 0 1 0 0 0 0


Annexe 4 : Fiche <strong>de</strong> recueil informatisée <strong>de</strong>s évaluations <strong>de</strong> <strong>stages</strong> d’externe (DCEM2,<br />

DCEM3, DCEM4). UFR <strong>de</strong> mé<strong>de</strong>cine d’Amiens.

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!