Embed Size (px)
Citation preview
Introduction à l’évaluationIntroduction à l évaluation des Interfaces Homme Machine
Dr. Kaveh BazarganK h B @ i [email protected]
Dr Patrick RothDr. Patrick [email protected]
World Usability Day @ Université de GenèveCUI‐UNIGE, 10.11.2011
10/11/2011 1
PlanPlan• Définition
• Mesurer l’utilisabilité
• Approches et méthodes d’évaluation• Card Sorting
• Evaluation heuristiqueq
• Tests d’utilisabilité
• Le Common Industry Format (CIF)Le Common Industry Format (CIF)
• Conclusion
10/11/2011 2
Contexte
10/11/2011 3(Anderson, 2011)
410/11/2011 4
4
Définition
« Un système est utilisable lorsqu'il permet à l'utilisateur de réaliser sa tâche avec efficacité, efficience et satisfactionff ff fdans le contexte d'utilisation spécifié »
(Norme ISO 9241‐11)(Norme ISO 9241‐11)
510/11/2011
Mesurer l’utilisabilité (1)Mesurer l utilisabilité (1)
‐ Efficacité : Vérifier que les objectifs visés par l'utilisateur sont atteints.
‐ Efficience : Mesurer les ressources nécessaires tt i d bj tif ( tpour atteindre ces objectifs (p. ex. temps,
erreurs, etc.).
‐ Satisfaction : Déterminer si le système est agréable à utiliseragréable à utiliser.
10/11/2011 6
Mesurer l’utilisabilité (2)Mesurer l utilisabilité (2)
10/11/2011 7(Hornbaek, 2006)
Mesurer l’utilisabilité (3): i l bili ( )Single Usability Measure (SUM)
10/11/2011 8(Sauro and Kindlund, 2005)
8
Approches d’évaluationApproches d évaluation
• Approches analytiques (expert‐based):Approches analytiques (expert based):
examin selon des heuristiques, critèresergonomiques parcours cognitifergonomiques, parcours cognitif
• Automatique : logiciel (ex.: outil W3C pour la ifi i d l’ ibili é d’ i W b)verification de l’accessibilité d’un site Web)
• Approche empirique (user‐based): métriques, scénarios & tâches, observer directement les utilisateurs, analyse des données
10/11/2011 9
Méthodes d’évaluation (1)Méthodes d évaluation (1)
10/11/2011 10
(Usability.gov, 2010)
Méthodes d’évaluation (2)Méthodes d évaluation (2)
10/11/2011 11
(Usability.gov, 2010)
Card Sorting (1)Card Sorting (1)
« Technique permettant d’explorer la manière dont les usagers groupent des éléments »
(Gaffney, 2000)
10/11/2011 12
Card Sorting (2)Card Sorting (2)
ilUtile pour– Catégoriser les éléments d’une interface (onglets, d l )dialogue, etc.)
– Définir la structure d’un site web
10/11/2011 13
Card Sorting (3)Card Sorting (3)
PréparationPréparation
• Ecrire chaque élément à catégoriser et chaque groupe sur une carte individuelle
• Ajouter des cartes blanchesConduite du test
• Demander aux participants de regrouper les éléments qui ont un sens
Analyse
• Entrer les résultats dans un système d’analyse des regroupements (EZSort, xSort)
10/11/2011 14
Card Sorting (4)Card Sorting (4)
(Usability.gov, 2010)
10/11/2011 15
Card Sorting (5)Card Sorting (5)
10/11/2011 16
Dendrogramme du site eLearning@unige
Card Sorting : mise en pratique
10/11/2011 17
Card Sorting : mise en pratiqueCard Sorting : mise en pratique
10/11/2011 18
Evaluation heuristique (1)Evaluation heuristique (1)
« Méthode d'inspection d’un logiciel permettant à un expert d'identifier les problèmes d'utilisabilité deexpert d identifier les problèmes d utilisabilité de l’Interface Utilisateur »
(Usability.gov, 2008)( y g , )
10/11/2011 19
Evaluation heuristique (2)Evaluation heuristique (2)
• Heuristiques• Heuristiques– Tognazzini
( )– Schneiderman (consistance, raccourcis, etc.)
– Nielsen (prévention des problèmes, etc.)
– Bastien & Scapin
10/11/2011 20
Evaluation heuristique (3): example Principes de Tognazzini
A i i i Utili ti d• Anticipation• Autonomie• Vision des couleurs
• Utilisation des métaphores
• Protection du travail• Vision des couleurs• Valeurs par défaut• Efficacité de l'utilisateur
• Protection du travail de l'utilisateur
• Lisibilité• Efficacité de l utilisateur• Interface explorable• Loi de Fitts
• Lisibilité• Conservation de l'état• Navigation visibleLoi de Fitts
• Objets de l'interface• Réduction du temps de latence
Navigation visible
10/11/2011 21
p• "Learnability" (AskTog.com, 2011)
Evaluation heuristique : mise en pratique
10/11/2011 22
Evaluation heuristique : mise en pratique
10/11/2011 23
Evaluation heuristique : mise en pratique
10/11/2011 24
Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique
10/11/2011 25
Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique
10/11/2011 26
Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique
10/11/2011 27(Usability.gov, 2010)
Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique
10/11/2011 28
Tests d’utilisabilité (1)Tests d utilisabilité (1)
i à b di• Le test consiste à observer directement l'utilisateur en train de se servir de l' li il'application.
10/11/2011 29
Tests d’utilisabilité (2): avantagesTests d utilisabilité (2): avantages
• AvantagesAvantages– Permet d'observer l'utilisateur dans un contexte réel d'utilisationréel d utilisation.
– Les problèmes identifiés sont ceux que l'utilisateur rencontre lorsqu'il se sert du logiciel.rencontre lorsqu il se sert du logiciel.
• Inconvénients– Peut difficilement couvrir l'ensemble des fonctionnalités du logiciel.
10/11/2011 30
Le Common Industry Format (CIF)Le Common Industry Format (CIF)L'Institut Américain des Normes propose un formalisme (ISO/IEC 25062:2006) pour normaliser les tests:
• Description du produit ou du prototype,Description du produit ou du prototype,• Objectifs du test,• Sélection des participants
Sé i â h ili• Sénarios et tâches utilisateur,• Design experimental du test,• Méthodologie et protocole du test,g p ,• Métriques d’utilisabililté et recolte des données• Mesure qualitative et quantitative• Méthode de présentation des résultats• Méthode de présentation des résultats• Annexes10/11/2011 31
Rapport d’utilisabilité: structure selon le CIF
1. Title Page
2. Executive Summary
8. Usability MetricsA. Effectiveness
B Efficiency3. Introduction
4. Full Product Description
5. Test Objectives
B. Efficiency
C. Satisfaction
9. ResultsA. Data Analysis5. Test Objectives
6. MethodA. Participants
B. Context of Product Use in the Test
A. Data Analysis
B. Data Scoring
C. Data Reduction
D. Statistical Analysis
C. Tasks
D. Test Facility
E. Participant’s Computing Environment
E. Presentation of the Results
F. Performance Results
G. Satisfaction Results
dF. Test Administrator Tools
G. Experimental Design
7. Procedure
10. Appendices
11. References
A. Participant General Instructions
B. Participant Task Instructions10/11/2011 32
Exemple: utilisabilité des techniques de l d’ f bvisualisation d’informations abstraites
)3D
, 200
8)
, 201
0)
(VFC
-3
(SIT
G
33(Fanvenus3D, 2010) (Linnean-3D, 2010)10/11/2011
Exemple: méthodologie pour les tests d’ l b l éd’utilisabilité
Selon le format CIF (Commun Industry Format):( y )• Outil de prototypage d’EV3D interactif• Sélection des participants
– Questionnaire de présélection p– Méthode d’échantillonnage
• Tâches• Design expérimentalg p
– Two within‐subjects / repeated measures design– Contrebalancement pour l’ordre des tâches / techniques– Métriques: temps d’exécution de la tâche et présence (IPQ, 2008)
• Procédure de mise en œuvre du plan de test– Exécution semi‐automatique du plan de test via la manette
• Méthodologie pour la collecte des données, l’analyse et la présentations d é lt tdes résultats– Adaptation de l’outil Usability DataLogger (Userfocus, 2010)
3410/11/2011
Exemple: tests d’utilisabilitéExemple: tests d utilisabilité
Generic task: goal oriented exploration
3510/11/2011 (Bazargan, 2011)
Conclusion (1)
« Un système est utilisable lorsqu'il permet à l'utilisateur de réaliser sa tâche avec efficacité, efficience et satisfactionff ff fdans le contexte d'utilisation spécifié »
(Norme ISO 9241‐11)(Norme ISO 9241‐11)
10/11/2011 36
Conclusion (2)
Approches d’évaluation:Approches d évaluation:• Analytiques (expert‐based) • Automatique • Empirique (user‐based)
10/11/2011 37
Conclusion (3)
• Le test d’utilisabilité est l’outil de plus performant pourLe test d utilisabilité est l outil de plus performant pour mesurer l’utilisabilité d’une application ou d’un site web
• Le CIF facilite la plannification et l’exécution des tests d’utilisabilité
10/11/2011 38
ReferencesReferences• Spencer, D. (2009). Card sorting: Designing usable categories. Brooklyn,
N.Y: Rosenfeld Media
• Tullis, T., and Albert, B. (2008) Measuring the user experience: Collecting, analyzing and presenting usability metrics. Morgan Kauffman Publishers, Burlington, MA.
• Rubin, J. (1994) Handbook of Usability testing, Wiley Technical Communication Library.
• BAZARGAN HARANDI, K. (2011). Abstract Information Visualization in , ( )Interactive 3D Virtual Environments: Conceptualization and Usability Evaluation. Thèse de doctorat: Université de Genève, 2011, no. SES 747, Edition SES ‐ Université de Genève, ISBN 978‐2‐88903‐005‐7.
• Industry Usability Reporting (IUSR) Project ‐ National Institute of Standards and Technology (NIST), 2011.
• Mary Theofanos (2005). Common Industry Format approved as y ( ) y ppinternational standard. interactions 12, 5 (September 2005), pp. 46‐47.
10/11/2011 39
Questions ?Questions ?
: : kaveh.bazargan
: @rothp: : kaveh.bazargan : @rothp
: patrickroth
: rothp: kaveh.bazargan
10/11/2011 40
