Evaluation de la qualité pédagogique des stages d'externat - UPMC

More documents

Recommendations

Info

4. DISCUSSION La première partie de notre plan d’action-recherche pédagogique semble bien se dérouler. Nous avons obtenu une bonne adhésion des étudiants et une amélioration du contenu informatif. En effet, notre taux de réponses est supérieur à 93%, ce qui montre l’adhésion très forte des étudiants à fournir un retour sur leurs stages hospitaliers. Le caractère informatif est devenu plus exhaustif car nous avons remplacé 3 items conceptuels avec une faible cohérence interne (alpha de Cronbach inférieur à 0.50 sur l’année 2011) par 11 questions fermées qui interrogent sur des opinions ou des faits. La note d’appréciation de la qualité de la formation théorique qui était notée de 1 à 5 a été remplacée par 4 questions qui informent sur la qualité de l’enseignement théorique mais aussi sur l’enseignement du raisonnement médical, la qualité du lien entre enseignement pratique et l’amélioration du niveau de connaissance. La note d’appréciation de la qualité de la formation pratique de 1 à 5 a été remplacée par 3 questions qui informent sur l’enseignement du « savoir faire » et du « savoir être » médical. Des questions factuelles ont été introduites renseignant sur la fréquence des relectures des observations médicales et la réalisation ou non d’un exposé. La note d’appréciation de la pénibilité du stage 1 à 5 a été remplacée par une question sur les horaires et deux questions sur la charge de travail médical ou administratif. Enfin deux questions d’opinions permettent de nuancer la qualité globale du stage par rapport à la qualité pédagogique. Si le choix de ces items a été validé par les conseils pédagogiques de nos deux facultés respectives, il présente certaines limites. Notre questionnaire renseigne bien 4 des 5 facteurs d’apprentissages identifiés par Lebrun (information, activité, interaction, production)[15], mais pas sur la part d’implication (motivation) dans la résolution de problèmes que les enseignants ont donné à l’étudiant au décours du stage. Cet aspect devrait être rediscuté et potentiellement intégré dans notre questionnaire lors de sa réévaluation annuelle. Cependant, la mesure de cette motivation est difficile lors d’un auto-questionnaire. Nos questions ont été volontairement fermées pour faciliter la compréhension, fixer le sens de la réponse et permettre un dépouillement rapide. Ce choix limite la quantité d’information sur l’item, influence les réponses et provoque un effet d’ancrage des réponses suivantes[16-18]. Il a l’avantage d’être reproductible et limite la subjectivité de celui qui dépouille les questionnaires quand à l’interprétation des données. Nous avons choisit d’utiliser une échelle de Likert à 4 niveaux pour cliver les avis favorables des avis défavorables, une échelle à 5 aurait permit de plus grandes nuances mais nous aurait exposé à une majorité de réponses sans opinions. L’échelle de Likert a été initialement crée avec la possibilité de pondérer les questions entres elles[12]. Nous n’avons pas pondéré les questions selon leurs importances relatives dans notre évaluation globale. Il s’agit d’un choix délibéré de notre part. Nous recueillons déjà une note globale. De plus, un tel outil a pour objectif l’amélioration de la qualité des stages d’externe. Il nous a paru plus important de pouvoir « disséquer » les différents aspects du stage que de fournir une autre évaluation générale. L’ordre des questions peut avoir une influence sur la réponse aux questions suivantes. Nous avons choisi de poser la première question sur la note globale du stage. Ce choix n’était peutêtre pas judicieux car elle enferme possiblement l’étudiant dans son choix de départ pour répondre aux autres questions[16-18]. Nous aurions probablement du mettre cette première question avec la dernière. Idéalement, il faudrait dans un questionnaire électronique (annexe 4) randomiser l’ordre des questions pour chacun des étudiants se connectant au site web.
Le feedback n’a pas encore été fait aux responsables des stages. L’acceptabilité du questionnaire par les enseignant n’a pas encore été évaluée. Dès que les enseignants auront reçu les évaluations des étudiants sur leur terrain de stage, nous pourrons voir si notre recherche-action provoque une amélioration de la qualité pédagogique des stages hospitaliers. De notre point de vue au moins 3 mécanismes de feedback peuvent être envisagés : - Cet outil permet aux enseignants d’évaluer la qualité de leur production. L’évaluation se fait alors par items ou plus globalement sur la note moyenne du stage. Ainsi l’information que nous produisons se doit de détailler items par item les réponses et de donner des outils de synthèse. De ce point de vue l’évaluation de l’aire sous la courbe des radars nous parait intéressante car la baisse de la valeur d’un item décroit considérablement l’aire totale. Par exemple en oncologie la note globale d’évaluation (=3) est identique à la neurologie et à la radiothérapie tandis que l’aire sous la courbe est plus importante. Ces observations devraient inciter les enseignants à modifier leur comportement sur les items qui ne sont pas bien notés par les étudiants. - Nous espérons que cet outil permettra aux étudiants de mieux choisir leurs stages. Cette pression exercée sur les mauvais stages devrait permettre une amélioration des stages les moins bien notés si les responsables souhaitent avoir les étudiants les plus motivés. - Nous spéculons aussi que cet outil puisse être détourné vers un outil de gouvernance pour les équipes pédagogiques. En effet avoir ce tableau de bord (et c’est une demande récurrente des instances) permet de rendre compte en partie de ce qui se passe dans les stages. S’il permet d’alerter, de conseiller et de renforcer des équipes pédagogiques (renforts de CCA,…), il pourrait devenir un instrument de régulations des terrains de stages. On peut imaginer qu’il aboutisse à limiter le nombre d’étudiants et même à modifier le nombre d’enseignants. Evidemment, le processus de rechercheaction en serait modifié par l’application d’un troisième niveau d’action (Doyen) sur les deux autres (enseignants/étudiants). Les perspectives de ce travail se prolongent par la mise en place prochainement d’un outil informatique pour éviter la saisie et les erreurs de dépouillement du questionnaire. En effet, nous avons développé à Amiens un outil informatique (voir annexe 4) qui permettra aux étudiants de noter avec les mêmes items que la faculté de médecine de Denis Diderot Paris VII. La mise en place de cette interface web sera effective pour l’année universitaire 2012- 2013 à Amiens et pour le choix du stage d’hiver sur Paris 7. Une fois ce premier développement effectif nous envisageons de développer des outils de visualisations directes des résultats en ligne. Cet outil devrait permettre à terme d’évaluer les résultats hôpital par hôpital, spécialité par spécialité et bien sûr terrain de stage par terrain de stage. Enfin, il devra avoir la capacité de montrer l’évolution des évaluations dans le temps. Cet outil est actuellement en développement au sein du service de biostatistique et information médicale de l’hôpital Saint-Louis.
Page 1 and 2: Universités Paris 5, Paris 6, Pari
Page 3 and 4: 1. INTRODUCTION Comme souligné par
Page 5 and 6: peuvent voir leur progression sur c
Page 7 and 8: - Q11. Pensez-vous avoir amélioré
Page 9 and 10: Table 2 : Répartition des choix de
Page 11: Figure 1 : Radar plot des réponses
Page 15 and 16: 6. ANNEXES Annexe 1 : Fiche de recu
Page 17 and 18: Annexe 2b : Descriptions des répon
Page 19 and 20: Annexe 3b : Descriptions des répon

Evaluation de la qualité pédagogique des stages d'externat - UPMC

Create successful ePaper yourself

Delete template?

Save as template?