Upload
duongquynh
View
224
Download
2
Embed Size (px)
Citation preview
C. Jacqmot E. Billat I. Lecroart ADEF/EVA [email protected]
CORRECTION PAR LECTURE OPTIQUE DE QCM : TESTS, EXAMENS, ETC.
Plan
Introduction - Contexte
Concrètement, pour la prochaine session 1. Planification et préparation 2. Passation du test 3. Collecte des données 4. Reporting 5. Ajustements
Vos questions
Contexte général
Correction par lecture optique Etape 1 :
reconnaissance optique des cases cochées + interprétation des lignes de cases cochées/corrigées/ …
Etape 2 + calcul de points bruts + mise « à l’échelle » (notes /20) + association à un NOMA+Nom+Prénom+An. Étud.
Contexte UCL
Environ 400 tests corrigés par lecture optique par an (tests = QCM examens, interrogations, épreuves)
1 test 1 questionnaire par étudiant 1 questionnaire un formulaire de 1 ou 2 feuilles 1 test = entre 30 et 600 feuilles
1 test : entre 1h et 7h de travail pour EVA, tout compris; économie de temps pour l’enseignant : entre
3h et 3 jours.
Equipe : Etienne Billat, Isabelle Lecroart
Choix d’un nouveau système
Octobre 2009 : Panel de 12 utilisateurs 3 systèmes (solutions complètes, questionnaires
papier, gestions des points et des cohortes, production de « feuilles de notes »)
Compatibilité avec les solutions déployées à LeW (Téléform)
Consilium process automation solutions
Contest : un système en 5 étapes
1. Planification et préparation Créer un test un jeu de questions, les réponses, les versions (séries), les
points, la notation (/20)…
Créer un test encoder les métadonnées dans Contest : les réponses, les versions (séries), les points (score), les règles de notation (/20)…
les formulaires
2. Passation du test Distribution et collecte de formulaires aux étudiants
3. Collecte des données Reconnaissance optique (limiter les interventions manuelles)
4. Reporting Calcul des résultats : détail des points par étudiants, note finale par
étudiant, mais aussi éléments (détail des réponses, p.ex.)
5. Ajustements Questions invalidées, ajustements suite à l’examen des copies, bonus…
1. Planification et préparation
Créer un test le décrire
Un questionnaire à choix multiples se compose d'un ensemble de questions : chaque question comporte un libellé (item) et plusieurs propositions de réponses.
Une option d’abstention explicite permet à l’étudiant d’indiquer qu’il ne connaît pas la réponse
Un barème définit comment pondérer les résultats d'un QCM. Il définit les règles d’attribution des points par item. Exemple :
Conformité stricte Réponse juste cochée = 1 point ; autre proposition cochée = 0
Conformité stricte avec pénalité Réponse juste cochée = 1 point ; autre proposition cochée = -1
Conformité stricte avec pénalité et abstention Réponse juste cochée = 1 point ; autre proposition cochée = -1/2; abstention = 0
Le score est le nombre total de points obtenus par un étudiant pour l’ensemble des items (score)
Une note finale (grade) est générée à partir du score lorsque l’on connaît à quelle « échelle » mettre le score : note finale /10, /15, etc.
1a. Planification et préparation
Si plus d’une série : expliciter à partir de la description générale (qui correspond à la première série)
1b. Planification et préparation
Créer un test l’injecter dans Contest (métadonnées)
l’associer dans Constest à un questionnaire prédéfini (standard) le plus adapté à la situation
2. Passation du test Elément indispensable : le NOMA !
Une bonne indication à donner aux étudiants : cocher avec un crayon NOIR + gomme
2. Passation du test
Consignes : la possibilité de traiter ou non par lecture optique les grilles de réponses des étudiants dépend du respect de ces consignes.
Temps 1 : cartouche d’identification NOMA (sur la carte annuelle) Série (précochée à vérifier) L’identité et autres informations signalétiques (en cas de
problème, permet de retrouver qui est le bénéficiaire des points! )
NOMA : 01234599
3. Collecte des données
EPC : NOMA Nom, Prénom, An. Et.
Certaines validations et rectifications manuelles
4. Reporting Important pour valider les éléments du rapport Par série, comparer les résultats produits automatiquement avec 3 copies corrigées et notées manuellement
4. Reporting : Version mapping report
Items V1 « de base »
Position des items dans les versions
Si groupes utilisés (nous contacter)
Options = nbr de cases à cocher Keys = « bonnes réponses »
4. Reporting : Grading report
NOMA Nom, prénom Sigle AnEt Nb Pts Grade q = pts ouverte mis à l’échelle
c
4. Reporting – Result check report
Par étudiant, par formulaire scanné, par item V = version du participant (NOMA étudiant) . = bonne réponse cochée X = lettre de la mauvaise réponse cochée - = question ouverte
Ajustements : décisions pédagogiques
Supprimer une question Changer réponses, les barèmes, le grade Ajouter des bonus (ex : questions ouvertes, travaux
durant l’année)
Adapter un NOMA …
Ajustements : lorsque tout est OK
Production du rapport final, de complet à très complets (sans doute trop complexe alors)
Clôture du test (verrouillage)
Avantage : Traçabilité
En résumé – points d’attention
Planification (injection de métadata et liaison à un questionnaire) : formulaire de « description » : doit être en EVA 8 jours avant l’obtention de la grille des coches [email protected]; demander formulaire de description en indiquant
le nombre approximatif d’items Le sigle du cours et la date de l’examen
Formulaires standards : à reproduire par l’enseignant Rigueur pour compléter le formulaire : consignes pour surveillants, transparent pour
étudiants (rétroprojecteur ou data) – prendre le temps en début d’examen ! NOMA Séries à vérifier (précochées, feuilles de couleur OK) coches et correction des réponses / absentions encre noire ou crayon/gomme (prévenir les étudiants!)
Validation : très important ! Comparer avec 3 ou 4 examens corrigés « manuellement » A posteriori : par l’enseignant qui consulte le rapport et signale immédiatement toute anomalie
Plus tard : rôles et accès web au système pour les enseignants (décentralisation des accès) … autre
formation