Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
21/05/19
1
ConcevoiretutiliserdesQCMpourrenforceretévaluerlesapprentissages
JulienDouadyjulien.douady.pro@free.frenseignantchercheurconseillerpédagogiqueformateurindépendant
Certaines diapositives ont été créées par des membres du réseau PENSERA
J. Douady Atelier«ConcevoiretutiliserdesQCM»Sceaux – 23 mai 2019 Tous les éléments de cet exposé sont protégés par un licence Creative Commons 2.0 France
http://creativecommons.org/licenses/by-nc-sa/2.0/fr/ 20/09/18
21/05/19
2
Conceptiond’unenseignement
Apprentissage
Objectifs
Contenu
Stratégies
Evaluation
3A.Saroyan&C.Amundsen,2004
Notes
08/01/2019
21/05/19
3
Objectifs
• identifierl’intérêtdesphasesd’entraînementetd’évaluationdansleprocessusd’apprentissage
• utiliserdesoutilspourclarifieretformulerlesobjectifsd’apprentissage
• repérerleserreursderédactiondanslesQCMsetlescorriger
• concevoirdesQCMsenadéquationaveclesobjectifsciblés
Programme08h30 Introduction,tourdetable,partagesd’expériences08h50 L’évaluationdansleprocessusd’apprentissage09h00 Lesobjectifspédagogiques10h00 Pause10h15 QuelquesprincipessurlanotationdesQCM10h30 LesrèglesdeconceptiondesQCMs11h15 DesQCMs…pourdesapprentissagesenprofondeur?11h50 Conclusionetévaluationdel'atelier12h00Fin
21/05/19
4
Des QCMs…
pour quoi faire?
Facteursquifacilitentl’apprentissage
• Lesétudiantsontdesoccasionsrégulièresdes’entraînerpourdesexamens1
• Ilsontunerétroaction(feedback)immédiateetexploitablesurleursperformances²Ladémotivationpeutseproduiresil’étudiant:
• necomprendpaslarétroaction• nepeutpasexploiterlarétroactionpourdéterminerdesmesurescorrectivessursesstratégiesd’apprentissage3
[1]Balch,W.R.(1998).Practiceversusreviewexamsandfinalexamperformance.TeachingofPsychology,25,181-185.[2]Friedman,H.(2002).Immediatefeedback,Noreturntestprocedureforintroductorycourses.InR.Griggs(Ed.).Handbookforteachingintroductorypsychology(p.132).NewYork:LawrenceErlbaumAssociates.
[3]William,F.,Improvingfeedbackfrommultiplechoicetests.SIGCSEBull.,2002.34(3):p.196-196.
21/05/19
5
Application
Compréhension
Connaissance
Cré
atio
n Evaluation
Analyse
Niveauxlespluscomplexes
Bloom,B.S.(1954).TaxonomyofEducationalObjectives.NewYork:Longmans,GreenandCo.Krathwohl,D.R.,Bloom,B.S.,andMasia,B.B.(1964).Taxonomyofeducationalobjectives:HandbookII:Affectivedomain.NewYork:DavidMcKayCo.
TaxonomiedeBloom
TaxonomiedeBloom
• Certainsexamensfontappelprincipalementaux3premiersniveauxdeBloom1
• D’autresvisentdesniveauxsupérieurssansquelesétudiantsaientpus’entrainer!
• Lesétudiantsretiennentmieuxl'informationquandelleestmanipuléeàdesniveauxpluscomplexes2
[1]Milton,Pollio,andEison,1986[2]Hamer,L.O.JournalofMarketingEducation,(22)1,25-34,2000.
21/05/19
6
D’autrestaxonomiesexistent
• LataxonomiedeBloomactualiséeAnderson,Kratwohl,2001
• LataxonomiedeSolo(StructureoftheObservedLearningOutcome)J.Biggs,K.Collis(1982).EvaluatingtheQualityofLearning:TheSOLOTaxonomy,NewYork:AcademicPress.
11
Notes
08/01/2019
21/05/19
7
Des QCMs…
comment faire?
Les3composantesdesQCM
• Laconsigne
• L’amorce– Nomméeaussil’énoncé,letronc,lecorps,l’introduction,laquestion
• Lespropositions– Nomméesaussisolutionsproposéesousuggestions
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986
21/05/19
8
LaconsigneLaconsignedécrit:
• Lesmodalitéspourrépondre
• Lesmodalitésdelanotation
• Lebarème
• Exemple
– Pourlesquestionsquisuiventuneseulesolutionestconsidéréecommecorrecte
– Sivoustrouvezlasolutioncorrectevousgagnezdespoints.Unesolutionincorrectevousenferaperdre.
– Lanotationsefaitselonlebarèmesuivant…
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986
L’amorceetlessuggestionsL’amorceposelaquestion
Lessuggestions• Laréponse=labonne
réponse• Lesdistracteurs=les
réponsesfausses
• Exemple
– Onveutdiluerdel’acidesulfuriqueconcentré.Laquelledesmanipulationsci-dessousestlaplussûre?
• Exemple
1. Onversel’acidedansl’eau2. Onversel’eaudansl’acide3. Onversel’eauetl’acideen
mêmetempsdansuntroisièmerécipient
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986
21/05/19
9
Notes
08/01/2019
Notes
08/01/2019
21/05/19
10
AvantagesdesQCM• Tempsdecorrectioncourt,correctionfacilitée• Analysesynoptiquedesrésultats• Possibilitéd’automatisationdel’analyse(informatique)
• Garantiedel’objectivité1
• Permetd’éviterdesréponsesvagues
• Permetdecouvrirunematière• Facilitelesdiagnosticsintermédiaires• Favorisel’autorégulationimmédiate
• Permetaussid’abordercertainsobjectifsdeniveauxpluscomplexes
[1]Laloteriedesnotesaubac-BrunoSuchaut-Mars2008(http://www.u-bourgogne.fr/iredu)
DésavantagesdesQCM[1/2]
• 3désavantagesprincipaux
– Difficultéd’évaluerlesaptitudesàrédiger
– Difficultéd’évaluerlesaptitudesàreformuler,àexprimersapenséeetàcréer
– Laprésentationdespropositionserronéespeutfavoriserl’assimilationdesavoirsinexacts1
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986[1]Skinner(1961)
21/05/19
11
DésavantagesdesQCM[2/2]• Désavantagessecondaires
– Letempsdepréparationetlamiseaupointsontlaborieux
– Parcellisationdesapprentissages
– Plusfaciledecopierlesréponsesduvoisin
– Possibilitéderépondreauhasard• Augmenterlenombredepropositions• Pénaliserlesréponsesfausses• Utiliserlesdegrésdecertitude
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986
Notes
08/01/2019
21/05/19
12
Quelquesprincipesdenotation• UndesprincipauxreprochesfaitsauxquestionnairesintégrantdesQCMestla
possibilitéderépondreauhasard!
Importancedubarèmedenotation
Nonpriseencomptedesréponsesau
hasard
Pénalisationpour
«devinette»
Valorisationdel’omission
BarèmesTarifs Commentaire
Réponsecorrecte Omission Réponse
incorrecte
Simple +1 0 0 Encourageàrépondreauhasard
Avecpénalisationpour«guessing»
+1 0 -1/(k-1) Neutralisestatistiquementlescoredesréponsesauhasard
+1 0 -0,5Prendencomptequel’étudiantsaitsouventélimineruneoudeux
propositionsd’office
Avecpénalisation«symétrique» +1 0 -1 Découragefortementàrépondre
silacertituden’estpas100%
Avecvalorisationdel’omission +1 +1/k 0
Omissiondonnestatistiquementlemêmescorequederépondre
auhasard
18/10/2010BasileBailly
Rienn’empêchededonnerdespoidsdifférentsauxdistracteurssiparexempleils’agitd’uncontre-sensévident
Tableaun°1:BarèmesclassiquespourdesQCMavecksolutionsproposéesetcsolutionscorrectes(BouvyetVanhove,2005)
21/05/19
13
Barèmes
Tarifs
Réponsecorrecte Omission Réponseincorrecte
Avecpénalisationpour«guessing»
si1solutioncorrecte
+1 0 -1/(k-1)
Avecpénalisationpour«guessing»sicsolutionscorrectes
+1 0 -c/(k-c)
Idemavecunpoidsconstantdechaquequestion(score
total=1)
+1/c 0 -1/(k-c)
18/10/2010BasileBaillyTableaun°1:BarèmesclassiquespourdesQCMavecksolutionsproposéesetcsolutionscorrectes(BouvyetVanhove,2005)
Notes
08/01/2019
21/05/19
14
4catégoriespourlesrèglesdeconception
• 3règlesd’adéquationauxobjectifs• 3règlessurlavaleurdiagnostique
– Nonrespectées:metencauselapertinencedesmesuresobtenuesetlapossibilitédelesinterpréterdefaçoncorrecte
• 6règlesgénéralesderédactiondesQCMs– Nonrespectées:rendgénéralementlaquestionplusdifficile
• 8règlesderédactiondessolutions– Nonrespectées:rendgénéralementlaquestionplusfacile
DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986
Notes
08/01/2019
21/05/19
15
Des QCMs…
pour des apprentissages
en profondeur
30 D.Leclercq(2012)TSMpourCognitionMétacognitionetEpistémologie.AUTRANS-CIESGrenoble
Lecurriculumcaché• Cequepersonne
n’enseignemaisquetoutlemondeapprend
• LesSolutionsGénéralesImplicites(SGI)pourluttercontrelecurriculumcaché
Quino
21/05/19
16
Lecurriculumcaché
Unemauvaisehabitudementaleobservée!
Wow,uneQCM.Jevais...
1. Apeinelirelaquestion2. Sautersurlessolutions
proposées3. Eliminerlesmoins
plausibles4. Choisirmameilleure
devinette
Leprocessusespéré!
Alors,uneQCM.Jeréfléchis...
1. Cettequestiona-t-elleunsens?Dois-jeyrépondre?
2. Ai-jeassezdedonnées?
3. QuelleestMAréponse?4. Quesontlessolutions
proposées?
Absurde
Manque
Aucune,ToutesLamienne
21/05/19
17
Conseilspourutiliserlessolutionsgénérales
• Proposerdesentraînementsauxétudiants
• Introduirelesrèglesprogressivementdansvosquestionnaires
• Différencierlessolutionsgénérales(absurdité-manquededonnées-toutes-aucune)
Notes
08/01/2019
21/05/19
18
Pourconclure:expliquezvosméthodesd’évaluation
• Énoncezclairementlesobjectifsducours,lesmodalitésd’évaluation
• Lesexamenssontdesopportunitésd’apprentissage:expliquezlesconsignes,présentezlesoutils
• Avantlepremierexamen,expliquezànouveaulaprocédureetlesméthodespoursepréparer
Pourallerplusloin…– Uyttebrouck,E.(2014).QCMetpointsnégatifs.ULB:PRAC-TICE.
Enligne:http://cte.ulb.ac.be/images/docs/Correction_for_guessing.pdf
– IPM.(2012).QCM:Vigilance!LesMémosdel’IPM(n°23).Enligne:https://www.uclouvain.be/97784.html
– FUNDP.(2009).LeQuestionnaireàChoixMultiple.REvueauServicedel'Enseignementetdel'Apprentissageàl'Université(n°69).
– Leclercq,D.(1986).LaconceptiondesQuestionsàChoixMultiple.Bruxelles:Labor.http://www.elearning.ulg.ac.be/la_conception_des_qcm_avril_2008.pdf
– Recherchesrécentessurl'utilisationdesDegrésdeCertitude:DirectionsderecherchesdanslecalculdesnotesliantexactitudeetréalismeCastaigne,Jean-LoupinActesdu18èmecolloqueinternationaldel'ADMEE:Commentévaluer?Outils,dispositifsetacteurs(2005,October)http://orbi.ulg.ac.be/bitstream/2268/23416/1/2005_castaigne_admee_reims.pdf