Evaluation d’un jeu appliqué à l’apprentissage en médecine

Diagnostic en urgence – CCCP

Jouan R., Pellet R., Staccini P.

Objectifs

Etudier la pertinence d’une grille d’évaluation d’un jeu appliqué à l’apprentissage en médecine

Evaluer les caractéristiques spécifiques du jeu

Déterminer les éléments jugés importants par les étudiants

Faire en sorte que le test puisse permettre d’évaluer l’apport des SG en ayant vu et pratiqué…

SG : Diagnostic En Urgences Sortie en 2012 En développement Studio CCCP

Patients aux urgences Outils de création scénarios

Etudiants du 2ème cycle ARC : ApprentissageRaisonnement Clinique

Population

Sélectionnée par volontariat

Dans la suite d’une enquête d’opinion diffusée par l’ANEMF concernant l’utilisation des jeux sérieux dans l’apprentissage médical 584 volontaires contactés par courriel

Méthode

Questionnaire constitué de :

Echelles de Likert à 5 niveaux (d’accord / pas d’accord ; je n’aime pas / j’aime) avec des inversions d’échelle,

Questions à réponses multiples (avec présentation aléatoire des items),

Questions ouvertes.

Méthode

Questionnaire en 5 parties :

Aspect général du jeu : couleurs, personnages, objets, décors, animations

Méthode

Questionnaire en 5 parties :

Aspect général du jeu :

Contenu du jeu : scénario, mise en scène, résolution des cas, avis sur le contenu, objectifs pédagogiques, activités de réflexion

Méthode

Questionnaire en 5 parties :

Aspect général du jeu :

Contenu du jeu : Interactions du

joueur : qualité, choix, variété, attrait

Méthode

Questionnaire en 5 parties :

Aspect général du jeu : Contenu du jeu : Interactions du joueur : Utilisabilité

générale du jeu : prise en main, aide, multi-joueurs, progression, caractère ludique, temps passé, problèmes techniques

Méthode

Questionnaire en 5 parties :

Aspect général du jeu : Contenu du jeu : Interactions du joueur : Utilisabilité

générale du jeu : prise en main, aide, multi-joueurs, progression, caractère ludique, temps passé, problèmes techniques

Méthode

Questionnaire en 5 parties :

Aspect général du jeu :

Contenu du jeu : Interactions du

joueur : Utilisabilité générale

du jeu : Utilité du jeu :

importance des caractéristiques dans le choix, points forts, points faibles, perspectives d’évolution, ressenti global

Méthode

Questionnaire en 5 parties :

Aspect général du jeu :

Contenu du jeu : Interactions du

joueur : Utilisabilité générale

du jeu : Utilité du jeu :

importance des caractéristiques dans le choix, points forts, points faibles, perspectives d’évolution, ressenti global

Méthode

Questionnaire en 5 parties :

Méthode

Questionnaire en 5 parties :

Aspect général du jeu : Contenu du jeu : Interactions du

joueur : Utilisabilité générale

du jeu : Utilité du jeu : L’identité du joueur

: année, université, profil de joueur, avis sur les outils de simulation, avis sur les serious games

Résultats

63 réponses (pour l’instant…) = 11%

Résultats

Cycle d’études : 35 (55%) (1er cycle) 28 (45%) (2ème cycle)

Profil de joueur : passionné : …………….…..… 17 (27%) joueur occasionnel : ……..… 30 (48%) ancien joueur : ………………. 10 (16%) "allergique" au jeu : ………... 6 (10%)

Résultats

Avis sur les outils de simulation : Favorable 4&5 : ………………… 63

(100%)

Aimeriez-vous qu’un jeu de ce type soit intégré dans la formation ? OUI : 60 (95%)

Ressenti global

J'ai trouvé le test intéressant : 55 (87%) J'ai trouvé le jeu inutile : 2 (3%)

J'ai pu revoir des choses : 30 (48%) J'aurais aimé plus de cas : 37 (59%)

J'ai passé un bon moment : 39 (62%) Je me suis amusé : 35 (56%) Je me suis ennuyé : 4 (6%)

Sans opinion : 2 (3%)

Le flow

Pas d’accord

D’accord

Je n’ai pas vu le temps passé à résoudre le cas proposé

51%

Aspect multi joueurs

Pas d’accord

D’accord

J’aurais bien aimé pouvoir jouer à plusieurs en même temps

43%

Eléments jugés comme importants

Echelle de Likert à 5 niveaux : décompte 4&5

Réalisme 54 (85%) Contenu scientifique 56 (89%) Scénario pédagogique 54 (86%)

Interactions entre joueurs 10 (16%) Interactions avec le jeu 47 (74%)

Niveaux de difficulté 44 (70%) Aspects ludiques 44 (70%)

Utilité de ce type de jeu

Questions à réponses multiples :

apport nouvelles connaissances : 26 (41%) revoir ses connaissances : 57 (90%) évaluer ses connaissances : 54 (86%)

mise en situation avant un cours : 22 (35%) mise en situation avant un stage :44 (70%)

Perspectives d’évolution

jouer à plusieurs : 22 (35%) prendre un rôle différent : 11 (17%)

choisir un niveau de complexité : 53 (84%)

garder trace de ses performances :41 (65%) rejouer et revoir ses erreurs : 49 (78%)analyser ses erreurs : 59 (94%)

Discussion

Sur la méthode

Une participation + difficile malgré un enthousiasme

Une demande d’évaluation d’un autre genre, plus inhabituelle que ★★★★★

Nécessité d’avoir du temps et de l’esprit disponible

Evaluation en dehors de tout intérêt spécifique

Discussion

Sur les résultats

Enquête de perception observationnelle et non interventionnelle (jugement d’efficacité) :

« Comment qualifier l’efficacité pédagogique ? »

Une richesse ergonomique : technique, « sociale », cognitive, didactique, ludique

« Quels éléments évaluer ? »

Conclusion

L’évaluation de ce type d’outil est difficile : quel critère de jugement ? quel outil ? longue

Trouver un moyen pour « attirer » les utilisateurs dans ce type de démarche… l’évaluation du concepteur ≠ l’évaluation utilisateur

Le retour utilisateur est pourtant capital au succès de ce type d’outil Retour automatique pour la partie technique ?

Ce que veulent les étudiants : Expérience agréable, ludique

Estimée par le « temps subjectif »

Contenu de qualité Adapté, sérieux, rigoureux, non ambigu

Scénario original valeur ajoutée au temps investi par l’utilisateur

Réaliste transposable à sa pratique

Niveaux de difficulté modulable selon l’avancement durant le processus

d’apprentissage

Conclusion

L’évaluation c’est avant tout une quête vers l’amélioration continue : Analyser pour apprendre de ses erreurs

P

D

C

A P

D

C

A

Conclusion

Conclusion

L’évaluation c’est avant tout une quête vers l’amélioration continue :

Analyser pour apprendre de ses erreurs

Apprendre puis s’entrainer pour comprendre

S’impliquer dans une démarche active vers la connaissance et le savoir-faire

Conclusion

Merci pour votre attention

Robin JOUANVice-Président de l’ANEMF chargé des Tutorats

Contacts robin.jouan@anemf.org@Robin_ANEMF06 49 35 08 38