View
17
Download
1
Category
Preview:
DESCRIPTION
Formation FORTIS à la Construction et la Gestion Qualité des Tests Standardisés « CGQTS ». Formation CGQTS 20/10/2004 - FORTIS - Jean-Luc Gilles & Pascal Detroz. Etude de la Test Wiseness et des règles de rédaction des QCM. - PowerPoint PPT Presentation
Citation preview
1
Formation FORTIS à la Construction et la Gestion Qualité
des Tests Standardisés« CGQTS »
Formation CGQTS 20/10/2004 - FORTIS - Jean-Luc Gilles & Pascal Detroz
2
Etude de la Test Wisenesset des règles de rédaction des QCM
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
3
La dernière amitié de Harlan Stone est un
1. satire politique
2. récit autobiographique3. histoire de science fiction4. courte biographie
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
4
La population de la ville de Frankton est inférieure à
1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
5
Quand on ajoute des cristaux de Bestor à l’eau,
1. de la chaleur se dégage2. la température de la solution s’élève3. la solution devient bleue4. le récipient devient plus chaud
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
6
Le Parti National Augustin a son quartier général à
1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
7
Le vent du désert de Zubi est fait
1. de petits insectes2. de cristaux de cuivre3. de cristaux de glace4. d’aiguilles de pins
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
8
La loi Davis (XIX° siècle)
1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport ou
l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.
4. Augmenta le salaire des agents de l’état.
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
9
Herman Klavemann est célèbre parce que
1. Il a développé toutes les échelles musicales utilisées en occident.
2. Il a composé toutes les sonates pendant la période romantique.
3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.
Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz
10
Etude de la Test Wiseness= « Habileté à répondre à des QCM »
Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de
QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir des points sans
connaître la matière testée. »
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
11
Chap. 3
La rédaction des QCM(D. Leclercq, 1986)
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
12
Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq)
A. Règles de rédaction concernant l’adéquation aux objectifs
B. Règles de rédaction concernant la valeur diagnostique de la réponse
C. Règles de rédaction sur la formeD. Règles de rédaction des solutions proposéesE. Règles de rédaction des solutions générales
implicites
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
13
A. Règles de rédaction concernant l’adéquation aux objectifs
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
14
Règle 1Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse,enlève toutes les taches …
Choisissez le nom qui vous plaît le mieux.
1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
15
Règle 1Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse,enlève toutes les taches …
Choisissez le nom qui vous plaît le mieux.
1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH
N ’utilisez la QCM que si c’est le type de question le plusapproprié à mesurer ce que l’on vise.
Dans ce cas, la QROC serait plus pertinente. Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
16
Règle 2(a) Où est la tanche ? (b) Ce poisson est
1. Un brochet2. Une carpe3. Une tanche4. Une truite
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
17
Règle 2(a) Où est la tanche ? (b) Ce poisson est
1. Un brochet2. Une carpe3. Une tanche4. Une truite
La QCM doit correspondre à l’objectif visé, au comportement à évaluer …
celui d’un poissonnier (a) ou d’un pêcheur (b) ? Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
18
Règle 3Choisissez l’orthographe correcte
1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
19
Règle 3Choisissez l’orthographe correcte
1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée
La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores).
Pour les autres apprentissages, Karraker a démontréque les distracteurs ne se fixent pas si on communique les RCdans les plus brefs délais.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
20
B. Règles de rédaction concernant la valeur diagnostique de la
réponse
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
21
Règle 4Quelle est la surface de la figure ci-dessous ?
1. 5 cm22. 6 cm23. 7 cm2
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
22
Règle 4Quelle est la surface de la figure ci-dessous ?
La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.
1. 5 cm22. 6 cm23. 7 cm2
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
23
Règle 5
Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.
Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
24
Règle 5
Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.
Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage
Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant …
D’où le recours à leurs propres erreurs en QROC.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
25
Règle 6
En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.
1. Vrai 2. Faux
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
26
Règle 6
En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.
1. Vrai 2. Faux
On doit préciser sur quelle partie de l’énoncé porte la question.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
27
C. Règles de rédaction sur la forme
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
28
Règle 7
Lequel des aliments ci-dessous apporte des lipides ?
1. Eau2. Huile3. Œuf4. Viande
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
29
Règle 7
Lequel des aliments ci-dessous apporte des lipides ?
1. Eau2. Huile3. Œuf4. Viande
La question doit être compatible avec la consigne.
Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités contiennent des lipides.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
30
Règle 8On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
31
Règle 8On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.
RC = 2
Proposer des phrases (tronc + solutions) syntaxiquement correctes.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
32
Transgression de la règle 8« proposer des phrases syntaxiquement correctes »
La dernière amitié de Harlan Stone est un
1. satire politique2. récit autobiographique3. histoire de science fiction4. courte biographie
35%
(Diamond & Evans, 1972)
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
33
Règle 9
Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
34
Règle 9
Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges
RC = Toutes, si « élément » est pris au sens large.
Pas de terme vague ou ambigu dans l’énoncé.
Ici « élément » : dans le sens du tableau de Mendeleev ?
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
35
Règle 10
N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?
1. Oui2. Non
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
36
Règle 10
N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?
1. Oui2. Non
Éviter les formes négatives (syntaxiques et sémantiques),a fortiori proscrire leur accumulation.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
37
Règle 11Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
38
Règle 11
Mais Dans une embarcation armée- en pointe, le rameur tire un aviron des deux mains- en couple, chaque rameur a deux avirons.
La définition d’aviron, est « rame élargie à un bout en forme de pelle ».Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ?
Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».
Séparer informations et questions. Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
39
Règle 12
La température de solidification d ’une matière est :
1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
40
Règle 12
La température de solidification d ’une matière est :
1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.
Mais
La température de solidification d’une matière est 1. inférieure2. égale3. supérieure
à sa température de fusion.
Regrouper dans l’amorce les éléments communs aux solutions proposées.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
41
D. Règles de rédaction des solutions proposées
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
42
Règle 13Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
43
Règle 13Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.
Indépendance syntaxique des solutions proposées.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
44
Règle 14Une solution d’eau salée en sel de cuisine peut descendresans geler jusqu’à une température de
1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
45
Règle 14Une solution d’eau salée en sel de cuisine peut descendresans geler jusqu’à une température de
1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades
Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
46
Transgression de la règle 14« les solutions proposées doivent être sémantiquement
indépendantes les unes des autres »(Diamond & Evans, 1972)
La population de la ville de Frankton est inférieure à1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants
45%
(Slakter et al. 1972)
Quand on ajoute des cristaux de Bestor à l’eau,1. de la chaleur se dégage2. la température de la solution s’élève3. la solution devient bleue4. le récipient devient plus chaud
52% et79%
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
47
Règle 15Quel est le nom de l’organisme de police internationale ?
1. CIA2. FBI3. Interpol4. SAS
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
48
Règle 15Quel est le nom de l’organisme de police internationale ?
1. CIA2. FBI3. Interpol4. SAS
Mêmes mots communs avec l’amorce.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
49
Transgression de la règle 15« même mots communs avec l’amorce »
(Marshall & Hales, 1971)
Le Parti National Augustin a son quartier général à
1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas
66% et82%
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
50
Règle 16Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
51
Règle 16Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO
Même vraisemblance.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
52
Transgression de la règle 16« même vraisemblance »
Le vent du désert de Zubi est fait
1. de petits insectes2. de cristaux de cuivre3. de cristaux de glace4. d’aiguilles de pins
83%
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
53
Règle 17Le mot « spinaker » désigne :
1. Un chien écossais2. Une voile triangulaire de grande surface, légère et très
creuse, que les yachts envoient dans la marche au vent arrière
3. Un chant tyrolien4. Un instrument de musique
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
54
Règle 17Le mot « spinaker » désigne :
1. Un chien écossais2. Une voile triangulaire de grande surface, légère et très
creuse, que les yachts envoient dans la marche au vent arrière
3. Un chant tyrolien4. Un instrument de musique
RC = 2
Même complexité : la solution correcte ne doit pas être systématiquement plus longue que les autres.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
55
Transgression de la règle 17« même complexité : la solution correcte ne doit pas être systématiquement plus longue que les autres »
(Diamond & Evans, 1972)
La loi Davis (XIX° siècle)
1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport
ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.
4. Augmenta le salaire des agents de l’état.
53%
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
56
Règle 18Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?
1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
57
Règle 18Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?
1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3
RC = 5
Même complexité.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
58
Règle 19Dans une distribution normale (courbe de Gauss), la moyenne
1. est toujours supérieure à l’écart-type.2. est toujours inférieure à l’écart-type.3. est parfois inférieure à l’écart-type.
Le terme épicéa désigne
1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
59
Règle 19Dans une distribution normale (courbe de Gauss), la moyenne
1. est toujours supérieure à l’écart-type.2. est toujours inférieure à l’écart-type.3. est parfois inférieure à l’écart-type.
RC = 3 Le terme épicéa désigne
1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.
RC = 3
Même niveau de généralité dans les indicateurs (temps, modificateurs, …)
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
60
Transgression de la règle 19« même niveau de généralité dans les indicateurs
(temps, modificateurs …) »(Marshall & Hales, 1972)
Herman Klavemann est célèbre parce que
1. Il a développé toutes les échelles musicales utilisées en occident.2. Il a composé toutes les sonates pendant la période romantique.3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.50%
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
61
Règle 20Dans l’islam chiite, un ayatollah est
1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
62
Règle 20Dans l’islam chiite, un ayatollah est
1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche
RC = 3
Même degré de technicité du vocabulaire dans toutes les solutions proposées.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
63
E. Règles de rédaction des solutions générales implicites
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
64
Les solutions générales implicites
• Les QCM comportent une et une seule réponse correcte.
6 ou NUL ou REJET7 ou TOUTES8 ou MANQUE9 ou ABSURDITE
• Certaines solutions font appel à votre vigilance : les solutions générales implicites.
• Elles sont proposées sous les numéros de code suivant : 6-7-8-9 et ne sont pas dactylographiées dans les QCM.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
65
ABSURDITE : Une ABSURDITE dans l’énoncé rend toute la question sans objet parce qu’il y a par exemple une CONTRE-VERITE dans l’énoncé (il ne s’agitpas ici de dénoncer une absurdité dans les solutions ni dans le livre !).
NUL ou REJET : Aucune des solutions proposées n’est correcte.
TOUTES : Toutes les solutions proposées sont correctessimultanement.
MANQUE : Il est impossible de répondre parce que del’information (au moins une donnée) NECESSAIRE manque dans l’énoncé de la question (donc pas dans le cours ni dans les connaissances actuelles du problème).
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
66
Règles concernant la SGI « aucune »
• Il doit exister une ou plusieurs solution(s) correcte(s) non proposée(s), pour éviter de devoir accepter comme réponse correcte « MANQUE » et « ABSURDITE ».
• Toutes les solutions proposées doivent être totalement incorrectes pour éviter la réponse « ça dépend » (donc « MANQUE »).
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
67
Règles concernant la SGI « toutes »
• La consigne doit rappeler que ce « TOUTES » porte sur les solutions proposées et non pas sur l’ensemble des solutions imaginables.
• Il ne doit pas y avoir une solution manifestement beaucoup meilleure que les autres, ni une beaucoup moins attractive.
• Avec cette consigne, les questions où la solution TOUTES est correcte sont plus faciles car il suffit de se rendre compte que plus d’une solution est correcte pour en conclure qu’elles le sont toutes.
Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz
Recommended