L’évaluation en Simulation · J Am Board Fam Pract 2003;16:227–32. - USA, NEW-YORK, Anesthésistes ayant eu une période d’interruption de soins avant d’autoriser leur reprise

DU Formateurs Simulation - Angers 2012

L’évaluation en

Simulation


Objectifs d’apprentissage

L’évaluation Sanctionnante / Evaluation

Formative

Exemple d’évaluation Sanctionnante en

simulation

Exemple d’évaluation Formative en simulation


Évaluation

Sanctionnante Buts :

sanctionner une fin

d’apprentissage « note »

situer le niveau de connaissance de l’élève

à un moment de son apprentissage.

Note/moyenne

Classement entre les étudiants


Évaluation

Formative

Buts :

Examiner les aptitudes et les compétences

de l’élève, afin de faire ressortir ses

points forts.

diagnostiquer d’éventuelles difficultés

dans l’apprentissage.

Novice

Capable

Compétent

Expert


Grilles d’évaluation

Que peut-on évaluer ?

Qui peut évaluer ?

Les critères d’une bonne évaluation

Être / Paraître / Faire « Maître » / élèves? Reproductibilité, Simplicité/Exhaustivité


EVALUATION DES PERFORMANCES PROFESSIONNELLES

GRACE A L’UTILISATION D’UN SIMULATEUR MEDICAL

Dr Mercé Jourdain

Université de Lille 2

[email protected]

Scénario unique

1) Simulation 1 : Evaluation 1

2) Formation

3) Simulation 2 : Evaluation 2


Grille d’évaluation

Faite par deux médecins réanimateurs

confirmés.

1) Algorithme

2) Ordre logique des procédures

3) Gestuelle




Résultats Dix internes ont participé à notre étude.

Le score (évaluation 1) était de 15/30.

Le score (évaluation 2) était de 25.5/30 (p<0,01).

Satisfaction = 80,2/100.

En conclusion : l’utilisation d’un simulateur physiologique semble être un outil efficace et apprécié pour améliorer les performances des internes et parfaire leur formation.


1) Rosenblatt MA, Abrams KJ, for the New York State Society of Anesthesiologists, Inc; Committee on

Continuing Medical Education and Remediation; Remediation Sub-Committee. The use of a human patient

simulator in the evaluation of and devt velopment of a remedial prescription for an anesthesiologist with

lapsed medical skills. Anesth Analg 2002;94:149–53.

2) Bergqvist D, Liapis C, Wolfe JNH. The developing European Board Vascular Examination. Eur J Vasc Surg

2004;27:339–40.

3) Hagen MD, Summer W, Roussel, Rovinelli R, Xu J. Computerbased testing in family practice certification

and recertification. J Am Board Fam Pract 2003;16:227–32.

- USA, NEW-YORK, Anesthésistes ayant eu une période d’interruption de

soins avant d’autoriser leur reprise de travail (1) (nombreuses

demandes de postes)

- Europe : Chirurgie vasculaire (2)

- MG (3) (différences entre les professionnels)

Exemples de re-certifications



Evaluation : 12–20 items.

2 examinateurs différents en direct

Validation si > 70% des items (checklist)

Impression generale de 1 à 4

Autre score utilisé si proche de 70%

6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires

avant examen oral final

Résultats : différences inter observateurs

Exemples d’évaluation sanctionnante : Israel, Anesth réa

Critères d’évaluation


Examples of basic knowledge/technical tasks include the following:

- preoperative patient assessment,

- equipment checks

- laboratory data acquisition and interpretation

- airway assessment and intubation

- treatment according to algorithms of Advanced Cardiac Life Support (ACLS) and

Advanced Trauma Life Support (ATLS)

- algorithms of handling intraoperative changes in blood pressure or airway pressure,

- ventilator setup and parameter changes

- and regional block description.

Only a few of the tasks were in the framework of Advanced knowledge and

behavior, which included:

- Acquisition of all available information

- anticipation and plans

- - reevaluation of the situation with a new complication

- - prioritizing concise directed instructions

- Communication

- teamwork within the trauma/resuscitation team.


Évaluation (mesure des résultats)

- Observation de la performance des participants, mais biais.

- Evaluation écrite des participants soit par l'intermédiaire de QCM, soit

par celui d'un rapport écrit. Cette évaluation est souvent de meilleure

qualité que la simple observation des pratiques.

- Mesure objective des performances comme par exemple l'utilisation de

capteurs au niveau de certaines régions anatomiques d'un mannequin

lors d'un examen clinique simulé en cours d'évaluation

Pugh CM, Domont ZB, Salud LH, Blossfield KM. A simulation-based

assessment of clinical breast examination technique: do patient and

clinician factors affect clinician approach? Am J

Surg 2008;195(6):874-80.

Evaluation (rapport de Mission HAS, PR Granry)


« Indépendamment de l’évaluation formative, notamment dans le cadre du

DPC, la simulation pourrait être utilisée pour l’évaluation des

compétences et la certification ou la re-certification des structures et/ou

des professionnels de santé sous réserve du développement des outils

docimologiques. »


Synthèse de l’évaluation

sanctionnante

Difficultés d’homogénéiser les critères

Nombreux critères pertinents


Evaluation Formative


Scénario 1

Scénario 2

Scénario 3

Apprentissage limité

Scénario 1

Débriefing

Scénario 2

Débriefing

Scénario 3

Apprentissage

Optimal


Ex. d’évaluation formative « Formateur»

Objectifs d’apprentissage :

………………………………..…

……………………………………….

……………………………………….

Heure Evénement Objectifs

médicaux

CRM Autres


Ex. de grille d’évaluation « étudiants non actifs »

Heure Événement Action faite Action attendue


En conclusion

Nécessité pédagogique de l’évaluation

Évaluation Formative majoritairement

employée en simulation

Difficulté de mise en place d’une évaluation

sanctionnante mais nécessité pour

l’Université de notes…

Documents

L’évaluation en Simulation · J Am Board Fam Pract 2003;16:227–32. - USA, NEW-YORK, Anesthésistes ayant eu une période d’interruption de soins avant d’autoriser leur reprise