Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems

Heuristic evaluation: Comparing ways of finding and

reporting usability problemsEbba Thora Hvannberg

Effie Lai-Chong LawMarta Kristín Lárusdóttir

2007

x

Victor NassarMestrando em Design – [email protected]

x

Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 1/22

Introdução

Objetivo:

Aperfeiçoar um relatório de pesquisa para comparar e contrastar os métodos de avaliação heurística.

Método Empírico:

Compara dois conjuntos de heurísticas (heurísticas de Nielsen e os princípios de Gerhardt-Powalse) e dois meios de relatar problemas de usabilidade (software ou papel).

Resultados comparados com testes de usuários.


Introdução

X

x

x


Heurísticas de Nielsen (1993)

1 – Visibilidade do status do sistema2 – Compatibilidade do sistema com o mundo real3 – Controle do usuário e liberdade4 – Consistência e padrões5 – Prevenção de erros6 – Reconhecimento ao invés de relembrança7 – Flexibilidade e eficiência de uso8 – Estética e design minimalista9 – Gestão de erros10 – Help e documentação

x


Princípios cognitivos de Gerhardt-Powalse (1996)

1 – Automatizar carga de trabalho não desejada;2 – Reduzir incertezas;3 – Reduzir carga cognitiva combinando dados de baixo-nível em uma adição de alto-nível 4 – Agrupar dados de constantes modos significativos para diminuir tempo de procura;5 – Nomes utilizados devem estar relacionados para funcionar conceitualmente;6 – Dados presentes permitem aliviar o tempo de processo;7 – Inclua só a informação que um usuário precisa em um determinado momento.

x


Avaliação heurística

Fatores podem influenciar o desempenho da avaliação heurística:

• A formação do avaliador;• O conhecimento do avaliador sobre a aplicação;• Dificuldades de descrição, fusão dos dados, etc.

Métodos misturam tipos de avaliação:

• Protótipos de papel.• Avaliação heurística.• Avaliações de especialistas.• Testes com usuários.

x

x


Papel x Software

• Estudos empíricos anteriores constatam que relatos em papel eram complexos e demorados.

x


Papel x Software

• Facilita a pesquisa, revisão, modificação das descrições de problemas e link para assuntos relevantes (Gladwell, 2002).

• Entrada mais rápida dos problemas de usabilidade.

• Fusão de conjuntos de problemas de diferentes avaliadores para obter um único conjunto de problemas.

• Priorizar os problemas de usabilidade de acordo com o impacto, por ex. gravidade e custo da remoção.

x

x


Questões levantadas

• A utilização de um software para os registros dos testes de usabilidade é superior ao uso de registros em papel em relação à descoberta de reais problemas, em um curto intervalo de tempo?

• Seriam os princípios de Gerhardt-Powals mais eficientes do que as heurísticas de usabilidade de Nielsen para possibilitar aos avaliadores identificarem um maior nº de problemas de usabilidade em um intervalo menor de tempo?

x


Materiais e Métodos

• 2 experimentos

• Avaliação do e-learning EducaNext.org


EducaNext 2011



Experimento 1

• 19 são estudantes de Ciências da Computação e 1 formado.

Todos tem bom conhecimento em avaliação de usabilidade, mas pouca prática.

x

x

A

B

C

D



Receberam um questionário pré-avaliação, um questionário de pós-avaliação e um material de introdução com:

(a) Orientações do processo de avaliação;(b) Introdução da avaliação heurística; (c) Introdução ao sistema EducaNext ; (d) Introdução para o relato dos problemas de usabilidade.

x

x

A

B

C

D



Relatório estruturado adaptado de Cockton e Woolrych (2001) para relatar 7 atributos de cada problema:

1. Um identificador numérico do problema.2. Uma breve descrição do problema.3. Provavelmente dificuldades p/ o usuário.4. Contexto específico (o local do problema na interface).5. As possíveis causas do problema (o que está errado no projeto).6. A heurística utilizada.7. A taxa de gravidade, contendo três níveis: grave, moderado e leve.

x

x

A B C D





No questionário de pós-avaliaçãodeveriam relatar o tempo despendido e uma lista de facilidades e dificuldades do método de avaliação heurística que eles tinham aplicado.

x

x

A

B

C

D



Especialista em usabilidade (E1), altamente conhecedor do sistema testado, examinou os problemas relatados e definiu 8 tarefas.

Após isso, outro especialista (E2) avaliou as tarefas propostas em relação aos problemas relatados.

Tarefa 1: Criar uma conta de usuário EducaNext.Tarefa 2: Fazer login e editar as preferências do usuário.Tarefa 3: Navegar no Catálogo do EducaNext.Tarefa 4: Busca Básica.Tarefa 5: Pesquisa Avançada.Tarefa 6: Verificar o histórico de busca.Tarefa 7: Criar e participar de uma comunidade EducaNext.Tarefa 8: Fornecer e oferecer material educativo.



Experimento 2

• 10 participantes para realizar as tarefas.• Funcionários da universidade, profs ou adm. • cinco homens e cinco mulheres. • Bom contato com softwares de e-learning.

Objetivo: descobrir se muitos dos problemas previstos pelos avaliadores utilizando a avaliação heurística foram relatados pelos usuários.

Este método foi adotado para aumentar a validade dos problemas de usabilidade previstos no experimento 1.


Resultados

Experimento 1

A utilização do software teve uma pequena vantagem sobre a utilização de papel na quantidade de problemasdetectados.

Sem diferença na quantidade de problemas, nem na gravidade desses problemas, entre as heurísticas de Nielsen e os princípios de Gerhardt-Powals.

x


Resultados

Experimento 1

No entanto, um participante (software e Gerhardt) não havia relatado nenhum problema na avaliação. Quando foi retirado da amostra, observou-se uma diferença significativa na média da quantidade de problemas que indicou uma vantagem a Gerhardt-Powals.

Sem diferença no tempo gasto para a avaliação entre Nielsen e Gerhardt.


Resultados

Experimento 2

Cruzando os problemas apontados pelos avaliadores com os detectados pelos usuários. “Alarme falsos”: problemas apontados pelo avaliador que não são detectados pelos usuários.

Sem diferenças estatisticamente significativas entre o software e o papel, nem entre Nielsen e Gerhardt.

x

x


Considerações finais

• Embora os avaliadores tenham recebido “material de estudo”, a inexperiência pode ter comprometido o teste. Assim como o baixo conhecimento do EducaNext.

• O software pode apresentar vantagem no tempo pela facilidade de digitação.

• Esforço cognitivo pela presença de 2 materiais digitais (EducaNext e o software desenvolvido)

• Designers tem relatado que acham papel mais rápido, mais fácil e portátil, no início de projetos (Cook e Bailey, 2005).


Considerações finais

• Tanto o número médio de problemas , quanto o desvio padrão de Gerhardt-Powals foram superiores aos de Nielsen. Isso indica que os princípios de Gerhardt-Powals poderiam ainda ser explorados, mas os avaliadores precisariam de mais treinamento.

• Embora não haja diferença entre o software e o papel, a utilização de um software para a avaliação pode ser recomendada para uma avaliação feita a distância.

• Software: facilita acesso e gestão dos dados.

• Próxima pesquisa seria mais proveitosa se houvesse uma relação de heurísticas específicas com a aplicação (e-learning) a ser analisada.

Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar

Referências

Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240

Cockton, G., Woolrych, A., 2001. Understanding inspection methods: lessons from an assessment of heuristic evaluation. In: Blandford, A., Vanderdonckt, J., Gray, P.D. (Eds.), People and Computers XV. Springer-Verlag, Lille, France, pp. 171–182.

Cook, D.J., Bailey, B.P., 2005. Designers’ use of paper and the implications for informal tools. In: OZCHI 2005, vol. 122, ACM, Canberra, Australia, pp. 1–10.

Gladwell, M., 2002. The social life of paper. In: The New Yorker, The New Yorker Magazine , Newyork, NY, pp. 92–96.

Gerhardt-Powals, J., 1996. Cognitive engineering principles for enhancing human-computer performance. International Journal of Human-Computer Interaction 8, 189–211.

Nielsen, J., 1993. Usability Engineering. Academic Press, New York

Heuristic evaluation: Comparing ways of finding and reporting usability problems.

xHvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability

Problems”, Interacting with Computers, 19 (2), 225-240

Obrigado!

Victor NassarMestrando em Design – [email protected]

x