FLUPA 2011 - Tri de cartes : à combien d'utilisateurs doit faire appel ? par Michaël Masseroni

 Contexte   Problématique  Méthodologie  Résultats  Discussion

Principe du tri de cartes :   Présenter des concepts aux participants   Leur Demander de les trier &  De les regrouper en plusieurs catégories   Prédéfinies ou non en fonction du type de

tri ◦ Tri ouvert Catégories non prédéfinies ◦ Tri fermé Catégories prédéfinies

Contexte - Problématique - Méthodologie - Résultats - Discussion

  Permet d’identifier les représentations et modèles mentaux des utilisateurs

  Très utilisée par les ergonomes et autres professionnels de l’utilisabilité,mais…

 … désaccord sur le nombre de participants requis

  Peu de validations scientifiques   Tullis & Wood (2004) : 20 à 30 participants


 Hypothèse générale : ◦ Les modalités de tri de cartes ont une influence sur les résultats

 Hypothèses opérationnelles ◦ Le tri ouvert nécessite un plus grand nombre de participants que le tri fermé pour obtenir des résultats stables ◦ Plus le tri comporte un grand nombre de cartes, plus il nécessite un grand nombre de participants pour obtenir des résultats stables


 Site de départ : www.etudiant.gouv.fr   Echantillon : 100 étudiants de l’UPV-Metz  Utilisation de Websort : création de 4

études ◦ Tris ouverts de 30 cartes ◦ Tris ouverts de 91 cartes ◦ Tris fermés de 30 cartes ◦ Tris fermés de 91 cartes

  Tris récoltés : 200 (50/ type de tri)


Types de tri Conditions Phase 1 Phase 2

Ouvert C1 Tri ouvert de 91

items Tri ouvert de 30

items

C2 Tri ouvert de 30 items

Tri ouvert de 91 items

Fermé C3 Tri fermé de 91

items Tri fermé de 30

items

C4 Tri fermé de 30 items

Tri fermé de 91 items


•  Exportation des 4 matrices globales •  Exportation des matrices de 280 sous-

échantillons aléatoires de différentes tailles (2, 5, 8, 12, 15, 20 et 30)

•  Transformation des matrices •  Test de corrélation matricielle entre les

matrices globales et les matrices des sous-échantillons le test de Mantel

•  Observation des variations



0,400

0,500

0,600

0,700

0,800

0,900

1,000

2 5 8 12 15 20 30

Co

rréla

tio

n a

vec

l'éch

an

tillo

n g

lob

al

Nombre de participants par sous-échantillon

n-1 n fermé n-1 n ouvert n-2 n-1 fermé n-2 n-1 ouvert


 Hypothèse générale : validée ◦  Il existe des variations en fonction des conditions

 Hypothèses opérationnelles : ◦ Effet du type de tri  Validée pour les tris de 91 items  Non validée pour les tris de 30 items ◦ Effet du nombre d’items  Validée pour les tris ouverts  Non validée pour les tris fermés


 Confirmation des résultats de Tullis et Wood (2004)

 Confirmation de la recommandation de Nielsen (2004)

 Mise en lumière de l’influence des modalités du tri sur les résultats…

 … et donc de la nécessité de préciser les recommandations existantes


 Une plus grande flexibilité d’utilisation de la technique

  Possibilité d’agilisation ◦ Tri ouvert en sprint 0 pour la création d’une architecture de l’information ◦ Tri fermé en itération dans les autres sprints  afin de fournir un maximum de feedback à l’équipe de développement

 afin d’adapter et réadapter les objectifs à chaque itération



 Réduire les coûts de mise en place de la technique du tri de cartes

 Sans pour autant sacrifier la qualité des résultats

 Autrement dit…  …augmenter le ROI


Business

FLUPA 2011 - Tri de cartes : à combien d'utilisateurs doit faire appel ? par Michaël Masseroni