L’évaluation des apprentissages en tant qu’acte ... évaluation des apprentissages en tant qu’acte pédagogique et pratique sociale ... Examen oral à partir de cas de patients

L’évaluation des apprentissages en tant qu’acte pédagogique et pratique sociale De multiples transitions à réussir

Jean JOUQUAN, Bureau de pédagogie médicale

Faculté de médecine, Université de Bretagne occidentale (Brest), France

Evaluation

Institutions (Politiques)

Programmes (Curriculum)

Cours et/ou stages

(Interventions)

Connaissances (Ce que l’on sait)

Compétences (Ce que l’on

sait faire)

Performances (Ce que l’on fait)

Evaluation de l’enseignement (formations)

Evaluation des apprentissages (étudiants)

Evaluation

Assessment

•La double fonction -pédagogique et sociale- de l’évaluation des apprentissages

•Les tensions et les difficultés créées par la double fonction de l’évaluation des apprentissages

•Des transitions à réussir pour dépasser l’antinomie de la double fonction de l’évaluation des apprentissages


La démarche d’évaluation des apprentissages

• 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l’issue d’une formation

• 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages

• 3. Dans le but de prendre une décision

État novice Expertise

Savoirs •théoriques •disciplinaires •académiques •culturels •déclaratifs

Savoirs •pratiques •pragmatiques •stratégiques •expérientiels •procéduraux

Base de connaissances •Services judicieux et réfléchis

•Situations uniques, floues et complexes

•Conflits de valeurs

•Problèmes éthiques

Schön, 1983. The reflective practitioner : how professional think in action Schön, 1987. Educating the reflective practitioner

Curry, 1993. Educating professionals

Identification et résolution efficace et efficiente

d ’un problème

à l ’intérieur d ’une famille de situations


Savoir-agir complexe

mobilisation de ressources

internes externes

schémas opératoires

Performances cliniques

Connaissances

hautement organisées

Processus de contrôle de haut niveau

Compétence clinique

Attitudes

Habiletés Connaissances

Raisonnement clinique

Action médicale

Investigation

Décisions thérapeutiques

Education du patient

Sens du devoir Altruisme

Responsabilité

Excellence

Intégrité

Empathie

Respect

Respect de la dignité

Exigence d’information

Consentement Bienfaisance

Autonomie


Evidence-based education


•L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages

•L'évaluation privilégie l'obtention de la bonne réponse

•L'évaluation est utilisée pour promouvoir et diagnostiquer la qualité des apprentissages

•L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages

Valeurs prises en compte pour l’interprétation et le jugement

lors de l’évaluation en tant qu’ acte pédagogique

Valeurs prises en compte pour l’interprétation et le jugement

lors de l’évaluation en tant que pratique sociale

•Conception « fixiste » et « innéiste » de l’intelligence

•Fonction de sélection dévolue à l’institution de formation

•Conception « constructiviste » de l’intelligence

•Fonction émancipatrice de l’institution de formation

•« Evaluation drives curriculum » •G. Miller, 1961

•« Si vous voulez savoir ce que font les professeurs, regardez le programme … »

•« …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation»

•G. Norman, 1991


•Ajuster des stratégies d ’apprentissage et

d ’enseignement

EVALUATION FORMATIVE

Fonction pédagogique de

l’évaluation


•Is the public being protected?

Prevention of suboptimal medical practice through training programs and credentialing examinations.

R Tamblyn Eval Health Professions 1994 ; 17 : 198-221


•Ajuster des stratégies d ’apprentissage et

d ’enseignement

EVALUATION FORMATIVE

Fonction pédagogique de

l’évaluation

•Valider une séquence d ’enseignement ou de stage

et/ou autoriser le passage en année supérieure

EVALUATION SOMMATIVE

Fonction (administrative) sociale de l’évaluation

•Délivrer une autorisation d’exercice professionnel

EVALUATION CERTIFICATIVE (Licence et/ou certification)




Fonction pédagogique de l’évaluation

Fonction sociale de l’évaluation

Roberts C, Newble DI, O’Rourke A. Portfolio-based assessment in medical education:

are they valid and reliable for summative purposes? Med Educ 2002;36:899-900.

[….] ce serait revenir aux jours sombres du passé lorsque l’on se satisfaisait d’une validité apparente […] que d’utiliser le

portfolio à des fins d’évaluation sommative (traduction libre)

Fonction sociale de l’évaluation

• Les informations relatives aux apprentissages doivent résulter d’une mesure • Les qualités métrologiques (validité, fidélité) des instruments de mesure sont garantes de la rigueur de l’évaluation

•Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés

La perspective DOCIMOLOGIQUE de l ’évaluation

Performances cliniques

Connaissances

hautement organisées

Processus de contrôle de haut niveau


Attitudes

Habiletés Connaissances

Raisonnement clinique (Résolution de problèmes)

Pratiques médicales réelles

Modifié d ’après Newble, Norman et Van der Vleuten, 2000


Action médicale

Altruisme

Intégrité

Responsabilité

Sens du devoir

Respect

Empathie Excellence

Consentement Bienfaisance

Autonomie Exigence d’information

Respect de la dignité

•Impacts positifs • Apport d’une incontestable rigueur • Remise en cause de certaines « croyances »

•Supériorité des questions à réponse ouverte sur les questions à choix multiples

•Intérêt d’une approche « centrées sur des données probantes » en évaluation et en éducation (evidence-based education and assessment)

•Limites et conséquences discutables

• Mise en exergue du but sélectif de l’évaluation • Surestimation des données quantitatives et de la validité statistique

•Globalisation : tout = stricte somme des parties

•Orientation des tests vers les éléments faciles à mesurer

• Clivage des situations d’enseignement et d’apprentissage et des situations d’évaluation

24

55

Bonnes réponses (n = 86)

Mauvaises réponses (n= = 14)

Exemple d’un examen composé de

100 questions à choix multiple (QCM)

Instrument Fidélité en fonction de la durée du test (Exprimée en coefficient α de Cronbach) 1 heure 2 heures 4 heures 8 heures

QCM 0. 62 0. 76 0. 93 0. 93

Cas cliniques « papier » (PMP)

0. 36 0. 53 0. 69 0.82

Examen oral à partir de cas de patients 0. 50 0. 69 0. 82 0. 90

ECOS 0. 54 0. 62 0. 82 0. 90

Épreuves cliniques courtes (mini-CEX) 0. 73 0.84 0.92 0. 96

Épreuves cliniques longues (OSLER) 0. 60 0. 75 0. 86 0. 90

Patients standardisés incognito 0. 61 0. 76 0. 82 0. 86

D’après CPM Van der Vleuten & LWT Schuwirth

Assessing professional competence: from methods to programmes

Med Educ 2005;39:309-17

Fonction pédagogique de l’évaluation

• Les informations relatives aux apprentissages doivent résulter de procédures éclectiques et peuvent aussi être de nature qualitative

• Les critères de rigueur sont ceux de l’approche qualitative en sciences humaines et sociales

•Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants

La perspective de l ’évaluation AUTHENTIQUE

Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)

• Concernant la conception des modalités d’évaluation -La production est destinée à un jury -Il n’y a aucune contrainte de temps fixée arbitrairement -La tâche et ses exigences sont connues avant la situation d’évaluation -L’évaluation peut exiger une certaine forme de collaboration avec les pairs -Les tâches d’évaluation sont récurrentes • Concernant l’orientation cognitive des tâches

-L’évaluation n’inclut que des tâches contextualisées -L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques -L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants -L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

Caractéristiques des évaluations « authentiques » (2) (Adapté d’après Wiggins, 1989)

•Concernant les critères de « correction »

-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences -Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée -L’auto-évaluation fait partie de l’évaluation -Les critères de réussite sont démystifiés pour l’étudiant •Concernant l’éthique et la déontologie

-L’évaluation doit déterminer les forces des étudiants -Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés -Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés -L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

•Impacts positifs • Autorise la prise en compte de chaque « objet » évalué pour sa signification intrinsèque (le tout > stricte somme des parties)

• Invite à privilégier la pertinence plutôt que la commodité à être mesuré • Réhabilite le jugement (forces/faiblesses) par rapport à la mesure (reçu/collé)

• Réintègre l’évaluation au sein des activités d’enseignement et d’apprentissage

•Limites et difficultés

• Volume important d’informations à manipuler • Difficultés de mutualiser les points de vue de plusieurs examinateurs intervenant de façon récurrente •Repenser les critères de rigueur Validité Crédibilité Fidélité Fiabilité / transférabilité



•Des transitions à réussir pour dépasser l’antinomie de la double fonction de l’évaluation des apprentissages

Théorie de la formation

Théorie de l ’évaluation

Théorie de la compétence


Objectifs Contenus disciplinaires

Approche pédagogique « par objectifs »

Domaine cognitif Domaine psycho-moteur

Domaine psycho-affectif

Savoir Savoir-faire Savoir-être

Connaissances Habiletés Attitudes

Compétences visées

Ressources

Approche pédagogique « par compétences »

Pédagogues Employeurs

•Expliciter de façon plus adéquate la finalité des dispositifs de formation

•Crédibiliser les procédures d’évaluation sommative

•Optimiser les pratiques pédagogiques

•Logique éducationnelle

•Reformuler les termes de l’employabilité (certification vs. qualification)

•Optimiser la flexibilité professionnelle et sociale

•Améliorer la productivité des institutions

•Logique économique/gestionnaire

Approche pédagogique par compétences

Référentiel professionnel

Fonctions

Activités

Tâches

Opérations

Actes/Gestes

Référentiel de compétences

Familles de situations

Compétences

Capacités

Critères

Indicateurs

Approche analytique

(décontextualisée) de la compétence

Approche située (contextualisée)

de la compétence

D’après F. Parent et al. Pédagogie Médicale 2010;11:111-25

TAXONOMIE DES ACTIVITES

Préparation du transfert des

apprentissages



Enseignant

Contenus

enseignement Étudiant

Enseignant enseignement

Étudiant

Expériences d’apprentissage

« Contenus » Articulés autour de compétences

Instruments plutôt que cible des apprentissages

(Ressources)

Situés dans des contextes authentiques

Mis explicitement en relation avec des tâches

Au service de la résolution de situations-problèmes

Étudiant

Enseignant

Enseignant

Étudiant

Portfolio




Connaît

Sait comment

Démontre comment

Agit

Miller GE. The assessment of clinical skills/competence/performance.

Acad Med (Suppl) 1990;65:S63-7

QCM

QROC

ECOS

Portfolio

Contextualisation (Authenticité)

Intégration (Compétences « générales »

et « spécifiques »)

Con

text

ualis

atio

n (A

uthe

ntic

ité) Intégration

(Com

pétences « générales » et « spécifiques »)

Connaît

Sait comment

Démontre comment

Agit

Miller GE. The assessment of clinical skills/competence/performance.

Acad Med (Suppl) 1990;65:S63-7

QCM

QROC

ECOS

Portfolio

Contextualisation (Authenticité)

Intégration (Compétences « générales »

et « spécifiques »)

Con

text

ualis

atio

n (A

uthe

ntic

ité) Intégration

(Com

pétences « générales » et « spécifiques »)

Portfolio

QCM

La démarche d’évaluation des apprentissages




•Validité •Fidélité

•Validité/crédibilité •Fidélité/fiabilité




Logique d ’enseignement

Perspective docimologique

Approche didactique

•Corollaires

•Les tâches d’apprentissage réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ’ils maîtrisent. Standardisation •Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Externalisation •La rigueur du processus d ’évaluation doit pouvoir être démontrée «objective » Mesure

•Perspective traditionnelle




Logique d ’apprentissage

Perspective de l’évaluation authentique

Approche systémique

Corollaires •Les tâches d’apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent. Contextualisation •Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Récurrence et interaction •Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles à mesurer. Eclectisme

•Perspective alternative

Pour optimiser la « validité/crédibilité » du jugement : •Multiplier les sources d’informations sur les apprentissages •Privilégier la récurrence des moments d’évaluation

• Au total : les « tendances lourdes » actuelles en matière d’évaluation des apprentissages

Pour optimiser la « fidélité/fiabilité» du jugement : •Envisager l’enseignement, l’apprentissage et l’évaluation des différentes dimensions de la compétence d’emblée de façon intégrée •Privilégier d’emblée l’authenticité des contextes d’enseignement, d’apprentissage et d’évaluation des apprentissages

Pour optimiser globalement la pertinence du jugement : •Logique de validation de processus

plutôt que : •Logique de démonstration expérimentale

Mesure « Assessment »

Mesure Testing Recueil qualitatif et

contextualisé

Evaluation Appréciation

Mesure

Scallon G L’évaluation des apprentissages dans une approche par

compétences. 2004, Bruxelles: De Boeck

Méditation

Michel Serres L’éducation médicale vue par un philosophe

1° Congrès de la SIFEM, Beyrouth 2006

•Questions d’ordre ontologique : quelle est la nature des apprentissages à évaluer ?

•Questions d’ordre méthodologique : quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle ?

•Questions d’ordre épistémologique : quelle relation l’évaluateur doit-il entretenir avec l’apprenant à évaluer ?

•Questions de nature éthique :

au nom de quoi avons-nous pris nos décisions ?

Documents

L’évaluation des apprentissages en tant qu’acte ... évaluation des apprentissages en tant qu’acte pédagogique et pratique sociale ... Examen oral à partir de cas de patients