View
46
Download
1
Category
Preview:
DESCRIPTION
Faculté de médecine Bureau d’évaluation. Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ?. Serge Normand, M.A. Mars 2008. Analyser, discuter, partager …. vos attentes vos réalisations vos problèmes …. Question préalable. - PowerPoint PPT Presentation
Citation preview
serge.normand@umontreal.ca
Faculté de médecineBureau d’évaluation
Consolider nos pratiques
en évaluation des apprentissages
Est-ce que la docimologie
peut nous aider ?
Serge Normand, M.A.
Mars 2008
serge.normand@umontreal.ca
Analyser, discuter, partager …
• vos attentes• vos réalisations• vos problèmes• …
serge.normand@umontreal.ca
Question préalable
Qu’attendez-vous de l’évaluation ?
serge.normand@umontreal.ca
Évaluationdes
apprentissages
Évaluationde
l’enseignement
Évaluationdes
programmes
Domaines de l’évaluation en éducation
Agrément
serge.normand@umontreal.ca
Finalités d’un systèmed’évaluation des apprentissages
Faculté
Certifiercompétences
Mesurerles progrès
Responsable
Évaluationcertificativ
e
Évaluationcertificativ
e
Évaluation
formative
Évaluation
formative
serge.normand@umontreal.ca
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteSeuil de passage
Certification
serge.normand@umontreal.ca
L’évaluation
Quoi
serge.normand@umontreal.ca
Quelle sorte de professionnel de la santéle programmeva-t-il produire ?
serge.normand@umontreal.ca
Performanceof Tasks
Doing the right thing
Doing the thing right
The right person doing it
Dundee - Three Circle Model
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
serge.normand@umontreal.ca
http://crmcc.medical.org/canmeds/bestpractices/index.php
serge.normand@umontreal.ca
L’évaluation
Quoi
(suite)
serge.normand@umontreal.ca
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
serge.normand@umontreal.ca
L’évaluation
Comment
serge.normand@umontreal.ca
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
serge.normand@umontreal.ca
Évaluation
Sait comment
Sait
Fait
Démontre
Évaluer les apprentissages
serge.normand@umontreal.ca
Évaluation
Sait comment
Sait
Fait
Démontre
Évaluer les apprentissagesCe que nous
faisonsle plus !
serge.normand@umontreal.ca
Évaluation
Sait comment
Sait Fait
Démontre
Évaluer les apprentissages Ce que nous devrions
fairele plus !
serge.normand@umontreal.ca
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
serge.normand@umontreal.ca
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
serge.normand@umontreal.ca
Comment interpréter les résultats ?
serge.normand@umontreal.ca
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
serge.normand@umontreal.ca
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteSeuil de passage
serge.normand@umontreal.ca
Établir des normes de réussite Setting Performance Standards
C o m p é t e n c e s
Niveauacceptable
serge.normand@umontreal.ca
Déterminer la note de passage
Sources d’information
Données recueillies Jugement d’experts
Distributiondes
résultats
Caractéristiquesdes
questions
“Examinee centered” “Test centered”
serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + +(80%)
14(70%)
4(60%)
2
+ + +(70%)
9(60%)
12(50%)
7
+ +(60%)
4(50%)
13(40%)
5
+(50%)
1(40%)
1(30%)
0
Nombre de questions : 72
SAP : 61 %
serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode Hofstee )
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%
serge.normand@umontreal.ca
L’évaluation
Validée
serge.normand@umontreal.ca
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.
serge.normand@umontreal.ca
• Pertinence• Pertinence• Pertinence• Pertinence
par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation
Quels sont les défauts de nos examens ?
Réponses des étudiants :
serge.normand@umontreal.ca
Quels sont les critères pour apprécier nos examens ?
Réponses des docimologues :
Validité
Fidélité
Commodité
Objet
Mesures
RésultatsProtocole
serge.normand@umontreal.ca
• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance
Améliorer nos pratique en évaluation ?
Quelques pistes de solution:
serge.normand@umontreal.ca
Mieux planifier l’évaluation
? ? ?
serge.normand@umontreal.ca
Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
serge.normand@umontreal.ca
Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)
Connaissance
Mémoriser
Compréhensi
on
Interpréter
Application
Solutionner
serge.normand@umontreal.ca
Tableau de spécification
Connaissance Compréhension Application Nombre de
Objectifs Mémoriser Interpréter Solutionner questions
Notions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : jean-louis.brazier@umontreal.ca
serge.normand@umontreal.ca
serge.normand@umontreal.ca
Basic science matrix
Molecular / Single organ / Whole person / Community
cellular organ system family
Organization &
structure
Maintenance &
homeostasis
Defense against
disease & injury
Mechanisms of
and response to
disease & injury
Therapies &
interventions
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
serge.normand@umontreal.ca
Clinical medicine matrix - Clinical approaches to health & disease
Preventive / Acute Emergency Chronic Behavioral
developmental family
Fetus / Neonates
Children
Adolescents
Adults
Elders
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
serge.normand@umontreal.ca
Exercice 1
Préparer une ébauche de tableau de spécificationpour une épreuve écrite dans votre discipline :
1. Importance relative des « chapitres »2. Niveaux taxonomiques
• Mémoriser• Interpréter• Solutionner
serge.normand@umontreal.ca
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour la rédaction de questions de type QCM et QROC
1
serge.normand@umontreal.ca
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
L’analyse d’itemsune technique docimologiquepour valider des questions d’examen
2
serge.normand@umontreal.ca
Exercice 2
Rédiger une question QCM de type A
QCM
serge.normand@umontreal.ca
Exercice 3
Rédiger une question à réponse ouverte courte
QROC
serge.normand@umontreal.ca anne.charbonneau@umontreal.ca
www.medbev.umontreal.ca/docimo/atelier.htm
serge.normand@umontreal.ca
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo/atelier.htmserge.normand@umontreal.ca
Merci de votre attention !
Recommended