Upload
lunete-michaux
View
107
Download
1
Embed Size (px)
Citation preview
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 1
« Évaluation des aides techniques»
Pr. Éric BrangierUniversité de Metz
Intention
Métaphores - dispositif d'interaction
- forme du dialogue - segmentation des écrans
- fonctionnalités
Télé Actions
Exécution
Sélection d'un programme d'action
ou de langage
Détermination d'un schéma - alarme
- télévision - compact disque
- lecture et écriture - soin
- verbalisation automatique
Evaluation
et
attentes
perceptives
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 2
Plan de l’exposé• 1. Introduction
– Handicap et assistance
• 2. L’évaluation de l’usage des dispositifs• 3. Les techniques d’évaluation
– méthodes d’inspection, – enquêtes d’usage, – tests d’utilisabilité
• 4. Conclusion– Perspectives– Handicap et innovation pour tous
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 3
1
Introduction :contexte de l’évaluation des assistants
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 4
Problème posé
• Caractéristiques des grands handicapés– privation des ressources– réduction des relations
• Développer le confort– confort fonctionnel – confort émotionnel
• Idée: Assistance… « performance du facteur humain »
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 5
L’assistance à l’utilisateur
• Assister un opérateur, c’est estimer qu’il risque de rencontrer des difficultés et que l’aide apportée améliorera la réalisation de sa tâche.
• L’assistance = réunion de trois éléments – une tâche, – un opérateur chargé de réaliser la tâche – et un assistant (humain ou technique) chargé d’aider le premier
dans sa tâche. • Définition large:
– logiciels de supervision ou d’aide à la décision, – supports écrits de formation au poste de travail,– et les interfaces humain-machine.
• Types:– Informative– Coopérative– Palliative
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 6
Assistance informative
• donner des informations, souvent de nature procédurale
• organise le champ informationnel de l’opérateur
• Les aides textuelles, graphiques, au travail, par la diversité des formats de présentation et de leur contenu sont de bons exemples d’aide informative.
http://www.cs.umd.edu/hcil/members/cplaisant/
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 7
Assistance collaborative
• collaboration entre un agent d’assistance, humain ou technique, et un utilisateur disposant de ressources limitées. – L’assistant effectue un tri des
informations, traite les informations estimées pertinentes et conseille l’opérateur.
– L’assisté va construire ses connaissances et raisonnements au fur et à mesure des interactions avec l’assistance et, pour finir, opter pour une action ou décision.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 8
Assistance palliative prend la place de l’homme dans
un certain nombre de tâches qu’il ne peut réaliser.
conçue pour pallier les déficiences humaines (handicaps moteurs ou sensoriels) ou l’inaccessibilité d’une situation (télésurveillance, robotique…).
prend en charge une grosse partie du travail d’exécution, l’opérateur devant pour sa part piloter l’aide qui pallie ses insuffisances ou impossibilités.
Personne malade
En fin de vieContexte
TechnologieEDITH
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 9
2
L’évaluation de l’usage des dispositifs d’assistance
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 10
Que faut-il évaluer?
• « You know it won't work because you form a conceptual model of the device and mentally simulate its operation. »D. Norman.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 11
Évaluation de l’assistance: orientations générales
• Fonctionnalités– Usage dépend de l’adaptation à la fonction– Ensemble adapté de fonctions destinées à l’activité
• Utilisabilité – Facilité d’utilisation– « degré selon lequel un produit peut être utilisé, par des
utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction » (ISO 9241)
• Emotionnalité– Attachement suscité par l’usage d’un produit – Capacité d’un produit à générer un sentiment agréable
ou désagréable, conditionnant l’usage du produit.• Régulation socio-organisationnelle
– Acceptation sociale
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 12
Critères d’acceptabilité
Fonctionnalité Utilisabilité
Employabilité etc…
Emotionnalité
Utile? Facile? Agréable?
Service rendu,Utilité
Opérationnalité
ErgonomieCompatibilité cognitive
Adaptation IHM
Plaisir physique,psychologique,
social, idéologiqueRelation affective
Régulation sociale
Environnement,Contexte,
Appuis socio-affectifs…
Performances de la relationHumain- Aide technique- Contexte
Ergonomie du produit
Ergonomie du contexte
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 13
Structure générale de la norme ISO 9241.11
Résultats de l'utilisation
utilisateur
tâche
équipement
environnement
Résultat escompté OBJECTIFS
Élaboration des caractéristiques de l’utilisabilité du produit de manière à atteindre un niveau défini d’efficacité,
d’efficience et de satisfaction.
produit
Évaluation de l'utilisabilité (efficacité, efficience, satisfaction) du produit
0
10
20
30
40
50
60
70
80
90
Efficacité Efficience Satisfaction
Test 1
Mesure 2
Expé 3
Niveau d’adéquation entre lesobjectifs et les performances atteintes
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 14
Données élémentaires du contexte d’utilisation
Nombre d’utilisateursAptitude physiqueHabilité cognitive
Déficits et limitations physiques et cognitifsMotivation
Attitude à l’égard de la tâcheEthnies, cultures, habitudes et compétences linguistiques
Utilisateurs directs, indirects, occasionnels, experts, novices…Qualification et diplômes
Formation initiale, formation continueExpérience de l’environnementCompétences dans le domaine
Compétences sur le produitExpérience de la tâche
Âge, sexeFonctions exercées
Niveau d’autonomieutilisateur
tâche
équipement
environnement
Identification du matérielDescription du produitTypes d’application possiblesSpécifications informatiques (logiciels…)Incompatibilité avec d’autres matérielsSignaux formels et informels émis par la machinePrincipales fonctionnalitésImplantation architecturaleSupport papier,DocumentationsNuisances évidentesSignalétique
équip
em
ent
Organisation du travailCulture organisationnelle
Modalités de communicationOrganisation des temps et horaires
Travail de groupe et mode de coopérationStructure du pouvoir et du management
Organisation des relations professionnelles et de leurs représentations
Ambiances physiques de travail (bruit, température, vibration, lumière…)
Aménagement des postes de travail (emplacement, posture, déplacement, design…)
Évaluation des risques professionnelsPort d’équipement de protection individuelle
Identification de la tâcheNom de la tâcheDurée de la tâcheFlexibilité de la tâcheFréquence d’exécution de la tâcheRisques potentiels attachés aux erreursExigences physiques, cognitives et sociales liées à la tâcheExigences d’hygiène et de sécuritéObjectifs de la tâchePré-requis et post-requis de la tâcheDécomposition hiérarchique de la tâcheInterruptabilité des tâches
uti
lisate
ur
envir
onnem
ent
tâch
e
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 15
Conception centrée sur l’utilisateur
ISO 13407
Étude préalable pour identifier les avantages d’une conception centrée sur l’utilisateur (compromis entre exigences, coûts, contraintes et bénéfices)
produit
Cycle itératif de test (inspection de l’utilisabilité, enquête d’usage, expérimentation) jusqu’à l’adéquation du produit aux besoins des utilisateurs et de l’organisation
Cycle de conception/réalisation du produit: maquette, prototype, produit fini.
Expression des besoins de l’utilisateur final par rapport au produit et au contexte d’utilisation (étude des exigences de l’activité de l’opérateur, de la technologie et de l’organisation).
Compréhension du contexte des interactions entre l’homme, la technologie et l’organisation
utilisateur
tâche
équipement
environnement
produit
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 16
Pratiques de conception/évaluation
• Conception centrée utilisateur (ISO 13407)• Conception par l’usage• Conception participative• Conception universelle….
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 17
Les objectifs de l’évaluation• Dimensions de l’utilisabilité que l’on souhaite
évaluer– « ISO 9241-11 » : un système est utilisable lorsque
l’utilisateur peut accomplir sa tâche (efficacité), avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction).
– la facilité d’apprentissage – la tolérance du système aux erreurs de l’utilisateur.
• Cycle de développement d’un produit• Type de besoins que le produit doit satisfaire • Caractéristiques des utilisateurs ciblés par le
produit • Contexte global d’usage du produit• Contraintes de coûts ou de temps.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 18
Préciser les dimensions de l’utilisabilité à évaluer (1)
• Efficacité– Examiner si les buts visés par l’utilisateur sont atteints.– Vérifier la capacité du système à satisfaire les intentions.
• Efficience– Mesurer les ressources nécessaires pour atteindre les objectifs. – Quantifier le nombre de fonctions utilisées.– Comptabiliser le nombre de modes opératoires effectués pour accomplir une
tâche donnée. – Calculer le temps mis par l’utilisateur pour réaliser la tâche.
• Satisfaction– Apprécier si le système est agréable à utiliser.– Mesurer le nombre de fois qu’un utilisateur exprime de la frustration ou de la
satisfaction.– Comptabiliser les remarques positives et/ou commentaires négatifs, à travers
un questionnaire ou par l’intermédiaire d’un entretien. – Observer et comptabiliser les attitudes physiques favorables et/ou
défavorables de l’utilisateur (gestes, mimiques, signes d’énervement ou d’agacement…).
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 19
Préciser les dimensions de l’utilisabilité à évaluer (2)
• Facilité d’apprentissage– Mesurer la capacité du produit à être découvert naturellement.– Mesurer le temps de latence entre la consigne de l’évaluateur et le
début d’une utilisation correcte.– Compréhension correcte et assimilation rapide du mode de
fonctionnement.
• Tolérance aux erreurs– Comptabiliser le nombre d’erreurs commises par l’utilisateur et le
nombre de récupérations.– Quantifier le nombre de bonnes ou de mauvaises applications
mentionnées par l’utilisateur.– Mesurer les temps nécessaires à la correction des erreurs. – Évaluer le système d’aide (compréhension de la documentation, facilité
d’usage de l’aide informatisée…).
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 20
Types d’évaluation• Moments de l’évaluation
– Évaluer pour prévoir : l’évaluation prospective.• anticiper les modes d’usages de produits à partir de l’analyse d’une
situation donnée de manière à prévoir de nouveaux usages en concevant de nouveaux objets.
– Évaluer pour valider : l’évaluation consécutive.• confirmer ou infirmer les orientations prises par la conception.
– Évaluer pour améliorer en continu : l’évaluation itérative.• les processus de conception et d’évaluation sont liés et mutuellement
dépendants • Évaluation et cycle de vie
• lors de la première phase de la conception. • maquettage ou du prototypage. • conception définitive (comparaison avec le cahier des charges) • sur des produits existants à des fins comparatives(concurrence).• du produit et sa maintenance.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 21
Connaître les utilisateurs cibles et les besoins à satisfaire
• Besoins des utilisateurs : – l’accessibilité physique, l’apprentissage, l’audition, la
vision, la cognition, la communication, l’écriture, la lecture, la mobilité, leur profession, leur santé et soins personnels ou encore leurs besoins récréatifs…
• La connaissance des besoins à satisfaire qui orientera l’évaluation. – Quel est le degré d’importance de l’amélioration apportée
à l’utilisateur final ?– Quel est de degré de satisfaction du besoin par la
technologie ?– Quels nouveaux besoins peuvent apparaître ?
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 22
Maîtriser les biais et attitudes de l’évaluateur
• L’évaluateur ne biaise-t-il pas les résultats ? – Neutralité, bienveillance…
• Qui évalue ?– Par soucis de validité et de fidélité, l’évaluation de
l’utilisabilité doit-elle être réalisée par des spécialistes désengagés de la conception.
• Que doivent indiquer les évaluations?– Que le produit satisfait l’utilisateur?
• NON!
– Que le produit n’est pas satisfaisant. • flatter le narcissisme des concepteurs ? • proposer des recommandations qui l’amélioreront.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 23
3
Les techniques d’évaluation
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 24
Les méthodes d’évaluation
• La source du savoir collecté : utilisateurs ou experts ?• La situation d’évaluation : artificielle ou réelle ?
La
situ
atio
n
d
’éva
luat
ion
Réelle
Artificielle
Expert Utilisateur La source du savoir collecté
LES INSPECTIONS
LES ENQUETES D’USAGE
LES TESTS
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 25
Les grandes catégories de méthodes d’évaluation.
• Analyser la situation réelle avec l’utilisateur : les enquêtes d’usage.– déterminer les objectifs et les tâches d’utilisateur, interpréter
les conduites et élaborer des préconisations• Examiner l’utilisabilité sans utilisateur : les
techniques d’inspection.– examiner, selon des critères éprouvés, l’utilisabilité d’un
produit, mais sans utilisateur. – récapituler les sources d’inutilisabilité et proposer des solutions
correctrices.• Impliquer l’utilisateur pour améliorer ou valider : les
tests d’utilisabilité– effectuer des tâches représentatives avec le produit testé.– rédiger un rapport énumérant les problèmes et énonçant des
recommandations basées sur les résultats des expériences.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 26
Les enquêtes d’usage
• Découverte de données sur les usages• Double objectif:
– D’innovation– D’aménagement
• A la différence des autres méthodes d’évaluation, les enquêtes d’usage insistent sur :– Le rôle du contexte dans l’apparition d’un comportement
d’un utilisateur. – L’observation de la réalité telle qu’elle est – L’idée que la technologie n’existe pas en soi, mais se
réfère toujours à un usage.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 27
Illustrations de techniques
• Analyse ethnographique• L’analyse de la situation d’utilisation• Les groupes de discussion
– « focus group »
• L’entretien structuré• Questionnaire• L’observation• Retour d’expérience (REX)
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 28
Le monitoring de l’utilisation
• « Tracer » l’utilisateur par des mouchards électroniques.
• Quantifier les durées d’utilisation– Évaluer les fonctionnalités
utilisées ou non– Recenser les difficultés à partir
de la connaissance des opérations qui ne sont pas ou mal faites par l’utilisateur
– Mesurer le taux global d’utilisation
– Visualiser les séquences réelles d’action problèmes
• Problèmes– déontologique – interprétatif
0
10
20
30
40
50
60
Appel du
personnel
soignant
Lire/Ecrire Regarder
TV
Ecouter
CD
Verbaliser
environnement digital de téléactions pour handicapés
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 29
Les techniques d’inspection
• Porter un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs.
• Évaluateurs experts en facilité d’usage – l’inspection dépend de la qualité et de la quantité d’évaluateurs. – à privilégier pour dégrossir les problèmes d’utilisabilité et préparer des
tests• Les techniques d’inspection reposent sur une conception classique
de l’ergonomie– n’intègre ni l’analyse du travail, ni les dimensions organisationnelles,
sociales ou culturelles du travail.– « machine humaine »
• Techniques relatives– Aux connaissances de l’évaluateur– A des outils pour appréhender l’utilisabilité du produit– A des modèles et théories de la performance humaine.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 30
Illustration des types d’inspection
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 31
Les tests d’utilisabilité• Mesure expérimentale de l’adéquation d’un dispositif
aux utilisateurs cibles– Méthode pour évaluer un dispositif qui permet :
• D’observer directement la manière dont des utilisateurs s’en servent ;• D’identifier les difficultés qu’ils rencontrent ;• De recueillir leurs verbalisations ;• De recenser leurs attitudes à l’égard du produit ;• D’impliquer d’autres partenaires que les utilisateurs.
• Déroulement– Fixer et justifier les objectifs du test d’utilisabilité– Préparer le test d’utilisabilité (empiriques et théoriques)– Constituer un échantillon d’utilisateurs
• 5 utilisateurs d’une catégorie donnée suffisent à détecter 80% des problèmes, MAIS parfois 5 utilisateurs ne sont pas suffisants… En prévoir 49 !
• Choisir des utilisateurs représentatifs• Veiller à la représentativité des situations d’utilisation
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 32
Utiliser un laboratoire d’utilisabilité (Pergolab)
Zone d’accueil
Zone technique
Zone detest
Zoned’observation
Fenê
tres
Miro
irs s
ans
tain
Cou
loir
• 4 salles• 3 types d’intervenants• Déontologie• Déterminer le type de
test à mener– Test de performance. – Test d’utilisation. – Test d’anticipation. – Test des systèmes
d’aide à l’apprentissage.
– Test de confrontation. – Le test de déploiement
du produit. – Etc.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 33
La restitution de l’évaluation
• L’analyse des données recueillies– 1. verbales– 2. d’observations– 3. quantitatives
• La validation des propositions• L’élaboration de recommandations
– Produire des connaissances appropriables par l’ensemble des acteurs
• La restitution du rapport d’évaluation– L’évaluation n’est pas seulement un constat, ce sont des
résultats et analyses avec lesquels on décide.– L’utilisateur est au centre de la restitution.
• le document écrit, • la présentation orale.
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 34
4
Conclusion & perspectives
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 35
Conception centrée utilisateur
• Si vous voulez qu’un utilisateur comprenne votre dispositif d’assistance, vous devez d’abord comprendre l’utilisateur. – Comment votre assistant
« parle »-t-il à l’utilisateur ?– Qu’est-ce que vous voulez que
votre produit fasse pour l’utilisateur ?
– Qu’est-ce que l’utilisateur va faire avec votre produit ?
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 36
Cadre de l’évaluation
• Évaluer par:– Respect aux
standards– Techniques et
méthodes– La comparaison à
des modèles cognitifs
UtilisateurAccommodement
TechnologieFonctionnalités
InterfaceUtilisabilité
Con
texte
org
an
isatio
nn
el
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 37
Perspectives
Usage
Reconception
Adaptation
Inte
ract
if
Sym
biot
ique
Humain
Contexte
Machine
Exemple: Téléphone portableHandicap : Tous concernés + Généralisation aux utilisateurs « sains »
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 38
Peut-on faire « sans » ergonomie?
• Oui, mais bon courage à vous!– Comment font les entreprises à « hi-tech »?
Compagnies Secteur Date Nb salles
Ameritech Communications service 1989 7
Bellcore Telco software 1985 7
BT (British Telecom) Telephone service 1988 3
IBM Computer systems 1981 14MAYA Design Group Design consultants 1990 3
Microsoft Corp. PC software 1989 19
NCR Computer systems 1966 3
Philips Consumer electronics 1990 5SAP Standard business apps 1992 2
SunSoft Workstation software 1988 8
Symantec PC software 1992 2
Taligent PC operating systems 1992 2
(D’après Nielsen, 1994)
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz 39
Entre les deux mon cœur balance