Testes de Usabilidade

Alessandra DutraDiogo Schwanck

Laís Berlatto

Tópicos

• Introdução a Testes de Usabilidade

• Estruturas de teste Exploração livre

Orientado a tarefas Investigativo Codescoberta

• Exemplo

• Conclusão

• Referências

Conceitos Básicos• Usabilidade e o conceito utilizado para descrever a

qualidade da interação de uma interface diante de seus usuários (HIX, 1993).

• Testes de Usabilidade envolvem a coleta de dados utilizando uma combinação de metodos em um ambiente controlado (Rogers, 2013).

• O teste de usabilidade e um processo no qual participantes representativos avaliam o grau que um produto se encontra em relação a criterios específicos de usabilidade (RUB, 1994).

Conceitos BásicosPara medir o desempenho (Rubin,1994), pode-se contabilizar: [Metricas]

• O tempo para completar cada tarefa;[tempo de execução]

• O número e o percentual de tarefas completadas corretamente; [número de erros e acertos]

• O tempo gasto para ler determinada seção;[taxa de finalização da tarefa]

• Os ícones selecionados incorretos, • As visitas ao índice, a tabela de conteúdos;• Os “comentários negativos”[satisfação subjetiva]

Objetivos dos Testes de Usabilidade

• O principal objetivo dos testes de usabilidade e verificar se uma interface e usável pelos usuários alvos para realizar as tarefas que foi projetada

• Receber feedback sobre o design• Avaliar situação• Comparar com a concorrência

Objetivos dos Testes de Usabilidade

Recursos Utilizados

• Pode-se utilizar nestas tarefas:– Gravações em vídeo;– Registros de Logs das interações com o software;– Questionários de satisfação do usuário.– Entrevistas para obter opiniões– Observação Local para coleta de evidências de como esta

sendo utilizado o produto, etc...

Laboratórios

Laboratório de IHC e Engenharia de Software da UFSJ (São João Del Rei –MG).

Os metodos geralmente são realizados em Laboratórios, mas podem ser feitos remotamente ou em ambientes naturais.

Laboratórios

• http://www.noldus.com/labs : Laboratórios de usabilidade existentes pelo mundo afora, suas instalações, equipamentos e softwares utilizados.

• Um dos mais completos Centros de Experiência do Usuário na Europa esta instalado no Rabobank, na Holanda.

Quando Utilizar ?

Os testes de usabilidade devem ser feitos ao longo do processo de desenvolvimento, mesmo durante a fase de concepção da interface. [Rubin,1994]

Vídeo de Usabilidade

• http://www.youtube.com/watch?v=_bhxZjIqnIY

Quantos Usuários Selecionar?

• Por que 5 usuários?

, assumindo que

Número de usuários

Percentual de erros

detectados1 31,00%2 52,39%3 67,15%4 77,33%5 84,36%6 89,21%7 92,55%8 94,86%9 96,45%

10 97,55%

Fonte:  Nielsen Norman Group http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ (acesso em 19/04/2013)

Estruturas de Teste• Exploração livre

– Utilização aberta, sem rotina pre-estabelecida

• Orientado a tarefas– Utilização do sistema guiado por uma sequencia de

passos (tarefas)

• Investigativo– Define-se um objetivo mensurável para inferir algo

sobre esse

• Codescoberta– Realizado em dupla/grupo

Codescoberta

• Recomendável que participantes sejam amigos ou conhecidos, pois ficam menos inibidos um com outro

• Investigador pode ficar junto aos participantes ou passar as instruções e observar ou gravar

• Verbalizações mais espontâneas

• Conversa pode perder o foco do teste

Codescoberta

usuáriousuário

interface

usuáriousuário

interfaceinterface

opiniões dicas

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Objetivos do teste:– Dados qualitativos– Dados quantitativos:

• Número de erros para execução de tarefas• Tempo gasto na execução da tarefa

– Levantar a satisfação subjetiva do usuário quanto aos aspectos do sistema:

• Layout gráfico• Navegabilidade• Terminologia

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Algumas metricas utilizadas:– Tempo:

• De execução da tarefa na primeira tentativa• Gasto pelo usuário para encontrar o questionário desejado na

primeira tentativa• Gasto pelo usuário para preencher e confirmar o questionário

– Número de erros:• Cometidos na primeira tentativa• Cometidos na busca e acesso ao formulário na primeira tentativa• Para preencher e confirmar o questionário

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Perfil dos participantes:– Alunos de Graduação e Pós-Graduação do Departamento de

Ciência da Computação (DCC/UFMG)– Faixa etária: 20 a 40 anos– Conhecimento básico de informática e de dispositivos de

computação móvel

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Exemplos de tarefas implementadas pelo sistema– Iniciar tarefa– Finalizar tarefa– Reiniciar tarefa– Remover tarefa– Obter relatórios

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Exemplos de tarefas solicitadas aos usuários (roteiro de teste):

– Tarefa 1 - Dê início a tarefa com os seguintes atributos: Projeto SIACE, tarefa Especificação, Comentários Especificação dos requisitos do Módulo de Transferência online

– Tarefa 5: Suponha que você trabalhou no projeto DigMub, realizando a tarefa de prototipação das 8:00hs as 12:00hs e de 14:00hs as 18:00hs, no dia 14/10/2000, mas esqueceu de registrar suas horas trabalhadas no SCoHT. Realize o cadastro dessas horas registrando o seguinte comentário para ambos os períodos: Prototipação utilizando o Visio.

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Protocolo e procedimentos para realização do teste• Materiais do teste• Instruções ao participante do teste• Questionário de conhecimentos do usuário• Roteiro de teste• Questionário de avaliação do sistema• Roteiro de teste anotado• Folha do avaliador

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Resultados

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Resultados

Exemplo - Sistema de Controle de Horas Trabalhadas - SCoHT 1.0 (UFMG)

• Exemplos da análise dos resultados:– Análise 1: O problema de “inserir” tarefas

• Proposta de solução: Trocar o rótulo do botão de Inserir para Registrar off-line ou Registro em lote.

– Análise 2: Disposição e funcionalidade do relatório• Proposta de solução: Modificar a interface do relatório de forma a

apresentas toda a informação de um registro em uma única tela

– Análise 3: Ausência de Ajuda e Feedback• Proposta de solução: Adicionar ajuda mínima. Adicionar mensagens

de feedback tanto para o sucesso quanto para o insucesso das operações

Referências• ACM SIGCHI, 1992, p 6.• Rogers, Yvonne; Helen Sharp; Jennifer Preece: Design de Interação. Editora Bookman,

Porto Alegre (2013).• RUBIN, J. Handbook of Usability Testing. New York, NY: John Wiley & Sons. 1994.• HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring Usability

Through Product & Process. New York: John Wiley & Sons, Inc., 1993. p. 3. • ATAYDE, A. P. R.; GASPAR, M D. Roteiro de Avaliação de Usuário: Sistema de Controle

de Horas Trabalhadas SCoTH 1.0. Disponível em: <http://homepages.dcc.ufmg.br/~clarindo/arquivos/disciplinas/eu/material/exemplos/roteirotestes.pdf>. Acesso em: 23/04/2013

• ATAYDE, A. P. R.; GASPAR, M D. Resultado do Teste de Usabilidade: Sistema de Controle de Horas Trabalhadas SCoTH 1.0. Disponível em: <http://homepages.dcc.ufmg.br/~clarindo/arquivos/disciplinas/eu/material/exemplos/resultadodoteste.pdf>. Acesso em: 23/04/2013

• AMSTEL, F. V. Oficina de Teste de Usabilidade, 2009. Disponível em: <http://www.slideshare.net/usabilidoido/oficina-de-teste-de-usabilidade>. Acesso em: 23/04/2013

MUITO OBRIGADO!