Upload
internet
View
103
Download
0
Embed Size (px)
Citation preview
Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC
Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC
Edla Maria Faust Ramosmaio, 2004
Departamento de Informática e EstatísticaUniversidade Federal de Santa Catarina
UsabilidadeUsabilidadeUsabilidadeUsabilidade
A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241)
Problema de UsabilidadeProblema de Usabilidade
... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997)
Descrição de um Problema de UsabilidadeDescrição de um Problema de Usabilidade
Contexto : situação de uso em que o problema pode ser verificado
Efeito sobre o usuário : sobrecarga cognitiva
Efeito sobre a tarefa : trabalho adicional
Causa : aspecto do sistema
Re-design possível : alteração no projeto
Como identificar um problema prioritário? Natureza do problema: barreira, obstáculo
ou ruído Natureza da tarefa: importante e
frequente ou secundária e esporádica Quais Usuários: geral, novatos,
intermitentes, especialista ou usuários especiais
Por quê?Por quê?
correções em projetos em desenvolvimento.
revisões em produtos acabados. Definir a aceitação ou não, de
projetos encomendados. Comparar o desempenho de
softwares interativos .....
Como? constatar, observar e registrar problemas; calcular métricas objetivas para eficácia,
eficiência e produtividade; diagnosticar as falhas do projeto que
provavelmente atrapalhem a interação; prever dificuldades de aprendizado na
operação do sistema; prever os tempos de execução de tarefas; conhecer a opinião do usuário; sugerir as ações de re-projeto.
Técnicas Prospectivas baseadas na opinião do usuário sobre a
interação com o sistema Técnicas Diagnósticas (ou preditivas)
baseadas no conhecimento / competência do avaliador
Técnicas Definitivas (ou empíricas) baseadas na observação da interação
Técnicas de Avaliação de Usabilidade Técnicas de Avaliação de Usabilidade
ISONORM baseado nos princípios da norma ISO 9241-10 (Prumper,
1999)
QUIS Questionaire for User Interaction Satisfaction - U.
Maryland (Norman, 1989)http://www.lap.umd.edu/QUIS/index.html
SUSSystema Usability Scale da DEC (Digital Equipment Corp)
Questionários para avaliar a satisfação do usuário
Questionários para avaliar a satisfação do usuário
Técnicas ProspectivasTécnicas Prospectivas
Técnicas Diagnósticas (ou
preditivas) Técnicas Diagnósticas (ou
preditivas)
Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador
Inspeção de Conformidade (por checklists)
Avaliações Heurísticas Usabilidade em geral Intuitividade (Inspeção Cognitiva) Gestão de erros (Inspeção Preventiva)
Técnicas Diagnósticas (ou
preditivas) Técnicas Diagnósticas (ou
preditivas)
Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador;
Inspeções de Conformidade (por checklists)
Inspeções de Conformidade (por checklists)
Técnicas Diagnósticas (ou preditivas)Técnicas Diagnósticas (ou preditivas)
Inspeções de ConformidadeInspeções de Conformidade
Checklists oficiais– Norma ISO 9241
Checklists informais – Evadis II (Oppermman, 1992)– ErgoList (Cybis, 1996)– ISOmetrics (Gediga, 1999)– W3C Assessibility
Inspeções de ConformidadeCaracterísticas Inspeções de ConformidadeCaracterísticas
Abordagem Dependente da organização das listas de
verificação; Em geral são orientados à qualidades ou à
componentes
Tipo de Diagnóstico Grande quantidade de problemas
intermediários e menores;
Inspeções de ConformidadeCaracterísticas (cont.)Inspeções de ConformidadeCaracterísticas (cont.)
Sistematização Dependente da qualidade da lista de verificação; Podem permitir avaliações repetitíveis /
reproduzíveis
Custo x Benefício Avaliação barata e sistemática, porém limitada a
problemas intermediários e menores Proporcionam que pessoas sem formação
específica em ergonomia possam realizar uma inspeção de usabilidade;
Inspeções de Conformidade Estratégia Inspeções de Conformidade Estratégia
Análise contextual (em equipe)Reconhecer o sistema Conhecer o contexto de operação
Ajustes (em equipe)Definir aplicabilidade das questõesDefinir prioridades entre as questões
AplicaçãoAplicação individualReuniões de discussão dos diagnósticos
Relatório (lider de equipe)Descrição de problemasSugestões de melhoriaEstatísticas
Inspeções de ConformidadeNormas ISO de UsabilidadeInspeções de ConformidadeNormas ISO de Usabilidade
ISO 9126 - Características de qualidade ISO 9241 - Ergonomia de Soft. Escritórios ISO 11581 - Ícones ISO 14915 - Multimídia IU Design ISO 13407 - Projeto Centrado no Usuário ISO 16982 - Métodos de Usabilidade ISO 14598 - Processo de Avaliação
Avaliação Heurística
Definição Análise de conformidade do sistema face a
padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas.
Técnicas Diagnósticas (ou
preditivas) Baseadas em Conhecimento
Técnicas Diagnósticas (ou
preditivas) Baseadas em Conhecimento
Avaliações HeurísticasAvaliações Heurísticas
Grades de Heurísticas de Usabilidade
Heurísticas de Nielsen
– (Nielsen, 1994) Princípios de Diálogo
– (ISO 9241-10) Critérios Ergonômicos
– (Scapin & Bastien, 1993)
Avaliações HeurísticasCaracterísticasAvaliações HeurísticasCaracterísticas
Abordagem Definida pelo avaliador
tarefas do usuário estrutura da interface níveis de abstração componentes técnicos grades de qualidades ergonômicas
Tipo de Diagnóstico Todos os tipos problemas ergonômicos do
software, inclusive os falsos;
Avaliações HeurísticasCaracterísticas (cont.)Avaliações HeurísticasCaracterísticas (cont.)
Sistematização Dose de subjetividade elevada - intrínseca ao
avaliador;
Custo x Benefício Avaliação rápida, abrangente, porém subjetiva e
pouco sistemática Demanda uma equipe de avaliadores
Inspeção Cognitiva
Definição Confronto entre as lógicas de operação do
Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto
para as tarefas; Perspectiva do usuário novato - o caminho que
parece o correto a um usuário novato;
Técnicas Diagnósticas (ou
preditivas) Baseadas em Conhecimento
Técnicas Diagnósticas (ou
preditivas) Baseadas em Conhecimento
Inspeção CognitivaCaracterísticasInspeção CognitivaCaracterísticas
Abordagem Orientada à tarefa
Tipo de Diagnóstico problemas gerais e iniciais (ligados à intuitividade
do sistema);
Inspeção Cognitiva EstratégiaInspeção Cognitiva Estratégia
Análise contextual (usuário e suas tarefas)
Desenvolvimento do modelo de tarefas a serem avaliadas
Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada
ação, uma lista de verificação das possibilidades de desvios ocorrerem.
Inspeção Cognitiva ChecklistInspeção Cognitiva Checklist
O usuário tentará realizar a tarefa certa?
Ele verá o objeto associado a esta tarefa?
Ele reconhecerá o objeto como associado à tarefa?
Ele saberá operar o objeto?
Ele compreenderá o feedback fornecido?
Inspeção Preventiva de Erros
Definição Aplicação de guidewords (heurísticas) ao modelo
de tarefas previstas para predizer possíveis desvios.
Técnicas Preditivas Baseadas em Conhecimento
Técnicas Preditivas Baseadas em Conhecimento
Inspeção Preventiva de Erros Características
Inspeção Preventiva de Erros Características
Abordagem Orientada à tarefa
Tipo de Diagnóstico problemas gerais e definitivos
Inspeção Preventiva de Erros Características (cont.)
Inspeção Preventiva de Erros Características (cont.)
Sistematização Dependente da competência do avaliador neste
tipo de técnica;
Custo x Benefício Avaliação rápida e barata Induz a consideração aos possíveis erros do
usuário;
Inspeção Preventiva de Erros Estratégia
Inspeção Preventiva de Erros Estratégia
Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a
serem avaliadas (CTT) Inspeção nas tarefas básicas
Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem.
Inspeção nas tarefas de alto nível
Inspeção Preventiva de Erros Heurísticas – GuideWords
Inspeção Preventiva de Erros Heurísticas – GuideWords
Se aplicam às partes das tarefas básicas
Entradas Realização Resultados
Inspeção Preventiva de Erros Resultados
Inspeção Preventiva de Erros Resultados
Tabelas para cada tarefa Tarefa Guideword de desvio possivel Explicações sobre os desvios (Modelo de Norman,
1988) Causas dos desvios Consequências dos desvios Recomendações de reprojeto
Inspeção de Desvios Heurísticas – GuideWordsInspeção de Desvios Heurísticas – GuideWords
Nada acontecer? Algo diferente acontecer?
Mais Menos Diferente
Acontecer fora de tempo? Antes Depois
Ensaios de Interação
Sistemas de monitoramento
Técnicas DefinitivasTécnicas Definitivas
Ensaios de InteraçãoConceituação Ensaios de InteraçãoConceituação
Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação
Ensaios de InteraçãoCaracterísticasEnsaios de InteraçãoCaracterísticas
Abordagem técnica orientada ao usuário e à tarefa
Tipo de Diagnóstico Revela problemas reais ou efetivos, segundo a
perspectiva do usuário
Ensaios de InteraçãoCaracterísticas (cont.)Ensaios de InteraçãoCaracterísticas (cont.)
Sistematização dependente da qualidade de scripts e dos cenários nas
simulações;
Custo x Benefício Avaliação custosa, porém reveladora de problemas sérios
ligados à perspectiva do usuário;
Ensaios de Interação Elementos de Configuração (1/4)
Ensaios de Interação Elementos de Configuração (1/4)
Scripts conjuntos de operações da uma tarefa real que,
durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo.
Cenários contexto ambientais e organizacionais que
caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções,
Ensaios de Interação Elementos de Configuração (2/4)
Ensaios de Interação Elementos de Configuração (2/4)
Amostra de Usuários especialistas nas tarefas, novatos, experientes na
operação do sistema e outros;
Local de realização local de trabalho; laboratório;
Ensaios de Interação Elementos de Configuração (3/4)
Ensaios de Interação Elementos de Configuração (3/4)
Constrangimento esclarecer que quem está sendo testado é o
software. não pressioná-los a participarem dos ensaios; não expô-los a comentários de colegas. Cansaço parar. Garantia de privacidade.
Ensaios de Interação Elementos de Configuração (4/4)
Ensaios de Interação Elementos de Configuração (4/4)
Situações de impasse não interferir inicialmente;
Não prolongar as situações de impasse; mostrar o caminho ao usuário ou; propor a troca de tarefas;
Encerrar o ensaio no caso de constrangimentos;
registro da observação Papel e caneta. Registro em vídeo.
Verbalização simultânea. Verbalização consecutiva
Monitoramento da sessão - via screenCam
Técnicas de registro da observação. Transcrição. Esquemas de códigos.
Ensaios de InteraçãoEstratégiaEnsaios de InteraçãoEstratégia
Análise Contextual Diagnóstico preliminar Definições
Scripts, Cenários e amostra de usuários Realização de Ensaios
Obtenção da amostra de usuários Ajustes nos scripts e cenários Planejamento e Execução
Relatório do ensaio Análise e interpretação dos dados obtidos Redação do relatório do ensaio
Ensaios de Interação Resultados QuantitativosEnsaios de Interação Resultados Quantitativos
Métricas de produtividade na interação Eficácia = quantidade de tarefas realizadas * 100 /
quantidade de tarefas solicitadas
Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa
Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa
Ensaios de Interação Resultados QualitativosEnsaios de Interação Resultados Qualitativos
Confirmação de diagnóstico preliminar de problemas na interface
Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas
MONTAGEM DE ENSAIO DE INTERAÇÃO
DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA
Reconhecimento do usuário
Coleta de informações sobre o usuário e sua tarefa
Definição de tarefas para o usuário
REALIZAÇÃO DOS ENSAIOS
Coleta e análise dos dados
Realização dos ensaios
Diagnóstico e relatório final
Preparação dos ensaios
Ajuste nos scripts e cenários
ANÁLISE PRELIMINAR
Reconhecimento do software
Pré-diagnóstico Ergonômico
Obtenção da amostra de usuários
Compromisso de uma técnica de avaliação Efetividade –quantidade de problemas sérios)
identificados - heurísticas e os ensaios de interação;
Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas;
Eficiência - os ensaios de interação; Produtividade – relação eficência/custo; Sistematização – repetitividade e
reproduzibilidade - Checklists. Facilidade de aplicação –checklists; Poder de persuasão - ensaios de interação e as
avaliações heurísticas Poder de desobstrução.
Projeto de uma avaliação análise : identificação dos requisitos da
avaliação; projeto preliminar : seleção das técnicas
aplicáveis; projeto detalhado : configuração das
técnicas; implementação : realização da avaliação; documentação : elaboração do relatório; validação : confronto entre os resultados
esperados e obtidos com a avaliação.