Les grilles d’observation.

Michel Girard MD MHPE FRCP(C)

Directeur

Serge Normand MA

DocimologueBureau d’évaluation

Faculté de médecine

En remontant la pyramide...

Sait

Démontre

Sait comment

Fait

Cees van der Vleuten,

Université de Maastricht

FaitÉvaluation de la performance in vivo: Pt simulé incognito, Video, Dossiers…..

Sait comment Examens à contenu clinique:QCR, type dévelop., oral…..

Sait Épreuves factuelles: QCR, écrit, oral…..

Démontre Évaluation de la performance in vitro:ÉCOS, examen avec pt simulé…..

Les grilles d’observation

Quelques questions– Qui construit la grille?– Quoi évaluer?– Qui évaluer?– Binaire ou continue?– Quand la remplir?– Formatif ou normatif?– Qui utilise la grille?

Qui construit la grille?Im

por

tan

ce

Mais attention, l’évaluation est un puissant stimulus de l’apprentissage.

Qui construit la grille?Im

por

tan

ce

Et c’est toujours plus agréable de travailler

en équipe.

Quoi évaluer?

Un geste technique Une attitude Une entrevue Un examen physique Etc.

Qui évaluer?

Les grilles d’évaluation binaires (Fait/Non fait) se prêtent-elles à tous les types d’étudiants?

Qui évaluer?

0,45

0,5

0,55

0,6

0,65

0,7

0,75

0,8

Étudiants Résidents Praticiens

Grille continue Grille binaire

Hodges, Acad Med. 1999; 1129-34

Qui évaluer?

0,45

0,5

0,55

0,6

0,65

0,7

0,75

0,8

Étudiants Résidents Praticiens

Grille continue Grille binaire

Hodges, Acad Med. 1999; 1129-34

Pourtant, il n’y a pas de différence quant à l’établissement d’un diagnostic correct entre les membres des 3 groupes.

Qui évaluer?

L’expert– L’étudiant plus avancé

devient plus personnel dans sa démarche.

– Peut-être désavantagé par les grilles d’observation (binaires).

Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective

Ne pas confondre objectivité et recherche d’objectivation!*

*Norman

Qui évaluer?

Le novice– Les items

spécifiques de la grille sont utiles pour la rétroaction.

– L’utilité, au niveau prégradué, est bien démontrée.

Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective

A: Fait, Non fait

B: Fait, Non fait

C: Fait, Non fait

D: Fait, Non fait

E: Fait, Non fait

F: Fait, Non fait

G: Fait, Non fait

Binaire ou continue?

1: Échec certain

2: Échec limite

3: Réussite limite

4: Réussite certaine

5: Performance supérieure

Grille d’observation Grille d’appréciation

Binaire ou continue?

Grilles binairesDifférentes pour

chaque intervention.

Grille continueLa même pour toutes

les interventions.

On souhaite évaluer la technique chirurgicale après 3 ans de résidence en chirurgie (7 interventions diff.)

Parce que les gestes sont différents d’une intervention à l’autre.

Parce que les principes sont les mêmes d’une intervention à l’autre.

Spécifique ou globale?

Pour chaque intervention

Parce que les principes sont les mêmes d’une intervention à l’autre.

Grille globaleLa même pour toutes les

interventions.Respect des tissus

Gestuelle

Manipulation des instruments

Connaissance des instruments

Déroulement de l’intervention

Gestion des assistants

Connaissance de la procédure

Regehr, Acad Med. 1998; 993-7

Spécifique ou globale?

1 2 3 4 5

Respect des tissus

Gestuelle

Manipulation des instruments

Connaissance des instruments

Déroulement de l’intervention

Gestion des assistants

Connaissance de la procédure

1: Échec certain, 2: Échec limite, 3: Réussite limite, 4: Réussite certaine, 5: Performance supérieure

Mais

attention!

Chaque point sur l’échelle doit être bien défini.

Formatif ou normatif

Bonne nouvelle

Les deux ! ! !

Sans que l’étudiant puisse se constituer une banque de questions.

Formatif ou normatif

Bonne nouvelle

Mais attention, ne pas noter l’épisode

formatif !

Quand la remplir?

Le 2 avril dernier, vous avez semblé manquer d’intérêt lors de ...

Quand la remplir?

Maintenant

Qui utilise la grille?

Un professeur Un patient simulé Un autre étudiant Une infirmière

Peu importe qui rempli la grille, il/elle

doit être formé(e).

Les grilles d’observationEn résumé

Élaborées en groupe Utilisable dans plus d’une situation

– Éviter la multiplication des instruments Bien décrire chaque élément de la grille

– Les items évalués– Les descripteurs de performance

Former les professeurs

Seuil acceptable de passage(Contrasting group method)

Grille1.

2.

3.

4.

5.

6.

7.

TOTAL

SAP

SuccèsÉchec

Cees van der Vleuten,

Université de Maastricht

Succès/Échec S/É

SAP, approche par régression

Grille1.

2.

3.

4.

5.

6.

7.

TOTAL

Éval. Globale 1 2 3 4 5

1 2 3 4 5

Résultatgrille

X

X = seuil de passage

1 = Faible2 = Insuffisant3 = Suffisant4 = Bon5 = Excellent

Cees van der Vleuten,

Université de Maastricht

Quelques règles de base Ne basez pas l’évaluation sur des examens courts Échantillonnez largement (contenu, temps, évaluateurs, patients) Ne soyez pas « fidèle » à une seule méthode - le contenu est plus

important Choisissez des tâches le plus près possible de la pratique clinique

- ne vous inquiétez pas tant de la compétence mesurée Évitez la complexité des simulations ou de la notation Vérifiez les impacts éducatifs de l’évaluation - évaluez l’évaluation Utilisez l’évaluation stratégiquement pour atteindre des objectifs

éducatifs Considérez l’évaluation comme faisant partie du défi du canevas

éducatif

Van der Vleuten, 2000, Credentialing Physician Specialists: A World Perspective

Qui évaluer?

0.45

0.5

0.55

0.6

0.65

0.7

0.75

0.8

Étudiants Résidents Praticiens

Env. naturel ECOS

Hodges, Acad Med. 1999; 1129-34

Qui évaluer?

0.45

0.5

0.55

0.6

0.65

Étudiants Résidents Praticiens

Env. naturel ECOS

Hodges, Acad Med. 1999; 1129-34

La compétence clinique

Un exercice

Que devons-nous évaluer?