View
41
Download
0
Category
Preview:
DESCRIPTION
Quand les psychométriciens s’en mêlent… Patrick Riba. Le Centre international d’études pédagogiques CIEP. Ministère de l’Education nationale. Objectifs des analyses statistiques. Déterminer la qualité du matériel (qualités psychométriques des items). - PowerPoint PPT Presentation
Citation preview
Le Centre international d’études pédagogiques
CIEP
Ministère de l’Education nationale
Quand les psychométriciens
s’en mêlent…Patrick Riba
Objectifs des analyses statistiques
Déterminer la qualité du matériel (qualités psychométriques des items)
Déterminer le niveau de difficulté des items
Mise en banque des items
Vérifier les biais potentiels liés au sexe, à la langue maternelle des candidats …
Outils d’analyse (1)
Modèle de mesure classique
Difficulté de l’item (taux de réussite)
Fonctionnement de la clé
Rôle des distracteurs
Discrimination de l’item (coefficient de corrélation bisérial)
Fidélité du test (α de Cronback)
Les items non conformes sont exclus.
Exemple
Item 23 e03q3
A
B
C*
Pro
port
ion
Score GroupsSubgroup 0 -- Subtest 0
0.0
0.2
0.4
0.6
0.8
1.0
1 2 3 4
Item 16 e01q3
A
B*
C
Pro
port
ion
Score GroupsSubgroup 0 -- Subtest 0
0.0
0.2
0.4
0.6
0.8
1.0
1 2 3 4
Item validé Item rejeté
On doit observer une progression du taux de réussite entre le groupe 1 et 2, entre le groupe 2 et 3 …
Seule la clé doit avoir un rptbis supérieur à 0.
Distracteurs A B C
rptbis 2 -29 21
Distracteurs A B C
rptbis -28 43 31
Item rejeté
Ce distracteur est à modifier car il attire les réponses de candidats dont le niveau (ici A1) est bon.
Outils d’analyse (2)
Modèle de Rasch
Les items non conformes sont exclus.
Caractère unidimensionnel des données :les items évaluent uniquement le niveau en langue française.
Vérification de la cohérence des données :la difficulté de l’item par rapport à la compétence du candidat.
Fonctionnement différentiel de l’item :Bais liés au sexe, à la langue maternelle des candidats …
Comportement de l’item :Comparaison entre les probabilités prévues par le modèle et les probabilités observées.
Exemple
Infit Outfit
0,98 0,78
Item validé Item rejeté
Les probabilités de succès prévues par le modèle doivent être le plus proche possible des probabilités observées.
Les indices infit et outfit doivent être compris entre 0,7 et 1,3.
Infit Outfit
1,37 1,7 Il semble qu’il y a trop de réponses inattendues.
Item rejeté
… le téléfilm « les rats »
Heure :…
Cochez la chaîne
TF1 France 2 France 3
Canal + Fr5 / Arte M6
… un documentaire Heure :…
Cochez deux chaînes
TF1 France 2 France 3
Canal + Fr5 / Arte M6
Vous voulez voir …
Banque d’items (1)
Concept d’une banque d’items
Elle est constituée d’un grand nombre d’items
On connaît la difficulté des items et leurs qualités psychométriques.
Les items peuvent être utilisés plusieurs fois.
Une échelle de niveau de difficulté commune pour tous les items
Elle facilite la fabrication d’une grande variété de tests.
Fabrication de versions de tests de niveaux équivalents.
Objectifs
Banque d’items (2)
Avantages
Flexibilité
Caractère dynamique de la banque d’items
Sécurité et économie
Validation et expérimentation
Contraintes
Contraintes de construction
Contrôle continu de la qualité
Coût et rentabilité à long terme
Chaque diplôme a sa propre banque d’items.
Chaque banque d’items comporte uniquement les items qui auront été validés par le modèle de Rasch.
Création d’items ancres :équivalence des versions du DELF-DALF.
Constitution de la banque d’items
La banque d’items du DELF-DALF
Recommended