View
154
Download
2
Category
Preview:
DESCRIPTION
Trabalhos de alunos da PUC-Rio na Disciplina Teste Formal de Usabilidade. Pós em Ergodesign de Interfaces, Arquitetura de Informação e Interação Humano-Computador. Professor Luiz Agner.
Citation preview
TESTE FORMAL DE USABILIDADE
produto: cafedelmarco.com.br
PROFESSOR: LUIZ AGNER ALUNAS: CAROLINE ZAMBON, DENISE SILVEIRA E THAINÁ ZANOTTI
DESCRIÇÃO DO PRODUTO
O site www.cafedelmarco.com.br é voltado para conteúdos relacionados a entretenimento.
Dispõe de assuntos sobre restaurantes das principais cidades do Espírito Santo, comportamento, turismo, saúde, cobertura fotográfica e agenda dos eventos comerciais e festas noturnas, além de oferecer uma área para blogueiros que escrevem sobre assuntos diversos como gastronomia, turismo, beleza, moda e vinhos.
DEFINIÇÃO DOS OBJETIVOS E PROBLEMAS A SEREM IDENTIFICADOS
Objetivos:
- se o site foi desenhado para atender à demanda do usuário, e qual é a demanda
- Identificar se tudo o que está sendo oferecido no site (blogs, calendário, etc) é percebido pelo usuário
Problemas a serem identificados: - Identificar como os usuário enxergam/navegam no site
- Saber se usuário entende quais são os temas dos blogs e onde encontrar essa área na home
- Identificar como a falta de um campo de busca impacta na navegação do site
HEADER
AGENDA DE EVENTOS
BLOGS
PERFIL DOS USUÁRIOS-ALVO
Sexo
Masculino Feminino
Idade
Entre 18 e 24 Entre 25 e 34 Entre 35 e 49 Entre 50 e 64 Acima de 65
Escolaridade: ensino médio completo (mínimo) Profissão: estudantes (mínimo)
Perfil de internet: usuários comuns e avançados
(Dados fornecidos pelo contato do site)
Localização
Vitória Vila Velha Outros
PERFIL DOS USUÁRIOS-ALVO
EQUIPAMENTOS E METODOLOGIA
- Camtasia, notebook equipado com câmera e microfone, câmera digital e questionários impressos
- Foi utilizado o método think aloud para registro
- Os problemas encontrados foram classificados de acordo com as heurísticas de Nielsen
PAPÉIS DA EQUIPE
Todas as tres participantes revezaram os papeis de moderador, anotador, operador e observador.
CENÁRIOS E TAREFAS
CENÁRIO 1: Você vai visitar a cidade de Vitória-ES e deseja conhecer o lugar mais badalado da cidade para sair no sábado à noite. Um morador falou sobre o www.cafedelmarco.com.br e você se interessou em obter informações por meio desse site.
TAREFA 1: Você deve encontrar 3 opções de festas para o sábado à noite.
CENÁRIOS E TAREFAS
CENÁRIO 2: Você gosta de acessar blogs para ver a opinião de outras pessoas sobre os mais variados assuntos.
TAREFA 2:
Ao entrar no site www.cafedelmarco.com.br, procure mais informações sobre quantas medalhas olímpicas o Brasil ganhou nos Jogos Olímpicos de Londres.
CENÁRIOS E TAREFAS
CENÁRIO 3: Você gosta de ver os eventos planejados para o mês para poder reservar sua agenda e se programar, financeiramente, também.
TAREFA 3:
Encontre informações sobre os eventos que acontecerão na cidade de Vitória-ES no mês de março no site www.cafedelmarco.com.br
CENÁRIOS E TAREFAS
CENÁRIO 4: Você gosta de ver as fotos no site cafedelmarco.com.br dos eventos de Vitória para ver se conhece alguém ou se teve a presença de algum famoso.
TAREFA 4:
Veja o que aconteceu nos eventos da semana.
BENCHMARKS
Tempo ideal para cada tarefa Tarefa 1: 2 minutos
Tarefa 2: 3 minutos
Tarefa 3: 1 minutos
Tarefa 4: 2 minutos
DOCUMENTOS DE APOIO
Foram elaborados três documentos:
• Ciência e Autorização • Questionário pré-teste
• Questionário pós-teste
CONTINUAÇÃO (QUESTIONÁRIO DE PRÉ-TESTE )
USUÁRIO 1 - PERFIL
- Morador do Rio de Janeiro - Sexo masculino
- Entre 25 e 34 anos - Bibliotecário, com especialização em Ciência da Informação
- Usuário avançado de internet - Utiliza computador para acessar a internet, blogs de sua área de atuação
- Acessa sites de entretenimento e blogs - Não conhecia o site www.cafedelmarco.com.br
USUÁRIO 1 - TAREFA 1 Tempo: 3 minutos e 10 segundos
Pontos positivos:
- Entendeu que label "Agenda" contém conteúdo de eventos, mas ficou em dúvida se há diferença entre "show" e "festa". Na concepção dele, são coisas distintas
Problemas encontrados:
- Não reconheceu a logo como logo
- Ficou em dúvida sobre o que era pelo nome do evento
- Não soube dizer se era boate ou show (chegou a falar o nome do local, mas não reconheceu) - royal clube - print dessa parte
- Procurou a informação em "galeria social", que falava sobre uma festa de inauguração, o que gerou confusão. Depois de ver outra notícia nesse link, viu que não seria ali, e terminou a navegação dizendo que não sabia se tinha encontrado algo sobre festas, que tinha encontrado sobre shows, que na concepção dele não é festa.
USUÁRIO 1 - TAREFA 2
Tempo: 3 minutos e 53 segundos
Pontos positivos:
- Não teve
Problemas encontrados:
- Procurou um campo de busca e não achou, disse que iria direto ali
Achou ruim quando clicou no logo e o site abriu um pop-up de cadastro antes de voltar para a home
- Esperava encontrar dentro de "Notícias", mas desistiu de procurar porque a barra de rolagem era muito extensa
- Disse que não conseguiu encontrar e desistiu
USUÁRIO 1 - TAREFA 3
Tempo: 3 minutos
Pontos positivos:
- Entendeu que label "Agenda" contém conteúdo de eventos, que contempla shows e festas
Problemas encontrados:
- Ficou em dúvida sobre o local do evento, onde aconteceria
- Ficou em dúvida se era sobre a cidade de Vitória, disse que não diz de onde é
USUÁRIO 1 - TAREFA 4
Tempo: 6 minutos e 45 segundos
Pontos positivos:
- Viu o box com as opções de dias do lado direito e clicou ali
- Ficou em dúvida sobre onde poderia ver mais fotos, mas achou no box do evento
Problemas encontrados: - Novamente reclamou ao clicar na logo
- Clicou em "social" achando que estaria ali
USUÁRIO 1 - TAREFA 4
Ao ser questionado sobre o evento da semana, procurou na home, e disse que poderia ter algo ali que indicasse os eventos da semana.
Ao ser questionado se haveria outro local para ver as fotos, procurou na home e viu o box de "últimas fotos"" que fica subentendido que são os fatos que aconteceram recentemente. Mas que não fica claro que fotos são essas.
Pensou que "flashes"era uma espécie de clipping, de destaques do que aconteceu, mas que não colocaria, pois até raciocinar em cima do rótulo levou um tempo, colocaria algo mais direto.
USUÁRIO 1 - PÓS-TESTE
- Achou "difícil" se localizar dentro do site - Disse ter tido dificuldade em todas as tarefas, pois o site não respondia adequadamente
- Gostou menos do excesso de informações no site - De 0 a 10, deu nota 3 para o site
- Ao ser interrogado sobre o nome do local, disse que mesmo que conhecesse o local a informação está disponibilizada de forma inadequada
USUÁRIO 2 - PERFIL
- Morador do Rio de Janeiro - Sexo masculino
- Entre 18 e 24 anos - Designer
- Usuário avançado
- Utiliza computador para acessar a internet e redes sociais e iPod para blogs, programação e cobertura fotográfica de eventos
- Acessa sites de entretenimento e blogs - Não conhecia o site www.cafedelmarco.com.br
USUÁRIO 2 - TAREFA 1 Tempo: 1 minuto e 40 segundos
Pontos positivos: - Entendeu que label "Agenda" contém conteúdo de eventos
- Percebeu o calendário e utilizou-o sem dificuldade.
Problemas encontrados: - Não percebeu de imediato que além da programação do dia, o site exibia os eventos dos dias subsequentes
- Achou isto ruim, preferiria que o site exibisse somente a programação do dia selecionado
USUÁRIO 2 - TAREFA 2 Tempo: 3 minutos
Pontos positivos:
- Identificou a lista de fotos como sendo os colunistas
- Notou que o mouse over mostrava o título/assunto do blog
Problemas encontrados: - Campo branco na sidebar parece um campo de busca, mas não é, tampouco é clicável
- O label deste campo (Arquivo de artigos) não representa o conteúdo abaixo dele, que é uma propaganda
- Considerou este campo confuso e sem função
USUÁRIO 2 - TAREFA 2
Problemas encontrados - O usuário, num primeiro momento, não associou a foto da matéria sobre as medalhas do Brasil nas Olimpíadas ao conteúdo desta matéria. - Sentiu falta de um campo de busca para esta tarefa. Utilizou a busca do navegador para achar o que procurava.
USUÁRIO 2 - TAREFA 3 Tempo: 2 minutos e 20 segundos
Pontos positivos: - Percebeu que os dias mais escuros no calendário são os que têm eventos
Problemas encontrados:
- Achou ruim quando clicou no logo e o site abriu um pop-up de cadastro antes de voltar para a home
- Novamente não gostou do site abrir eventos além dos do dia selecionado
- Não conseguiu clicar novamente no dia corrente do calendário depois de ter clicado em outro dia
USUÁRIO 2 - TAREFA 4
Tempo: pouco menos de 1 minuto
Pontos positivos: - Clicou em "Home" no menu e não teve problemas
Problemas encontrados: - Só após realizar a tarefa, percebeu que além de "Fotos", há o label "Flashes" no menu. Não entendeu a diferença.
USUÁRIO 2 - PÓS-TESTE
- Numa análise geral, considerou o site entre "muito fácil" e "fácil" de ser navegado
- Gostou do layout do site e disse que este parece ser bastante completo - Críticas para a sidebar, que considerou com excesso de publicidade e com informações confusas e inúteis.
- A falta do campo de busca foi o que menos gostou - O site não deveria retornar eventos além daqueles do dia selecionado
- Labels confusos (Fotos, Flashes) - De 0 a 10, deu nota 6 para o site
USUÁRIO 3 - PERFIL
- Moradora recente do Rio de Janeiro. Antes morava na Bahia
- Sexo feminino
- Entre 25 e 34 anos - Designer
- Usuária avançada - Utiliza computador para trabalho e iPhone para redes sociais e chat
- Não costuma acessar sites de entretenimento e blogs
- Não conhecia o site www.cafedelmarco.com.br
USUÁRIO 3 - TAREFA 1 Tempo: 3 minutos
Pontos positivos:
- Localizou o box "Agenda" scrollando o site e entendeu que seu conteúdo era de eventos
- Utilizou o calendário para escolher o dia
Problemas encontrados: - Não percebeu que apesar de ter clicado em um dia de sábado, o site retornou eventos de outros dias também
- Ao abrir mais informações sobre o evento, a usuária teve dificuldade para ler o texto
- Como não conseguiu achar os horários dos eventos, a usuária deu a tarefa por encerrada
USUÁRIO 3 - TAREFA 2
Tempo: 5 minutos (primeira tentativa) / 30 segundos (segunda tentativa)
Problemas encontrados:
- Foi em "Blogs" porque no cenário entregue era mencionado que o usuário assessava blogs, mas ficou na dúvida se a tarefa poderia estar em "Notícias"
- Sentiu falta de um campo de busca geral e uma busca lateral em "Blogs" ("Sério que não tem uma busca?!")
- Não percebeu a lista de colunistas em "Blogs"
- Usou a busca do navegador (aberta pelo usuário anterior), mas como estava em "Notícias, não achou a matéria
- Na segunda tentativa, notou a lista de colunistas, mas criticou a escolha de fotos para indicar o blog
USUÁRIO 3 - TAREFA 3
Tempo: 1 minuto e 20 segundos
Pontos positivos: - Desta vez, notou que a página apresenta os eventos separados por data e não apenas o do dia selecionado
Problemas encontrados:
- Apesar de já estar na página com os eventos do mês, clicou no título "Março" do calendário, esperando que abrisse todos os eventos do mês, mas ele não é clicável
- Ficou scrollando a página e voltou a clicar em "Agenda" para confirmar que estava no lugar certo
USUÁRIO 3 - TAREFA 4
Tempo: pouco menos de 1 minuto
Problemas encontrados: - Não entendeu a diferença entre "Fotos" e "Flashes"
- Não percebeu de imediato o mouse over com as datas e nomes dos eventos
USUÁRIO 3 - PÓS-TESTE
- Numa análise geral, considerou o site entre "Nem fácil nem difícil" e "Difícil" de ser navegado
- Usuária disse não ter gostado de nada no site
- A falta do campo de busca foi o que menos gostou - Aponta que a navegação deveria ser mudada
- Labels confusos (Fotos, Flashes) - Acha que o site não dá as informações necessárias sobre os eventos e é confuso
- De 0 a 10, deu nota 3 para o site
USUÁRIO 4 - PRÉ-TESTE
- Morador de Vitória
- Entre 25 a 34 anos
- Serralheiro formado em Farmácia - Experiência moderadamente alta, utilizando internet de 3-8 horas por dia
- Utiliza iPad e smartphone Samsung
- Não costuma ler sites sobre blogs e entretenimento, apenas sabe de algum evento através do Facebook
- Costuma ler jornais que tenham conteúdo de entretenimento
- Sexo masculino
USUÁRIO 4 - TAREFA 1
Tempo: 52 segundos
Pontos positivos: - Achou rapidamente a área de agenda e calendário, conseguiu encontrar rapidamente os eventos de sábado
Problemas encontrados: - Ao rolar a página, passou o mouse em cima das fotos dos blogueiros e ao invés de rolar para baixo, o site rolou para o lado mostrando outras fotos dos blogueiros.
- Não conseguiu encontrar a área de agenda na home
USUÁRIO 4 - TAREFA 2 Tempo: 1 min 50 seg
Pontos positivos: - Foi direto para a área de blogs
- Utilizou a barra de blogueiros no meio do site para achar o blog
Problemas encontrados: - Leu várias notícias nos blogs mas não percebeu a falta de campo de busca
- Achou o blog porque o blogueiro estava com a camisa da seleção brasileira
- Voltou para a capa e para os blogs várias vezes antes de concluir a tarefa
USUÁRIO 4 - TAREFA 3
Tempo: 34 segundos
Pontos positivos: - Gostou muito do calendário
- Achou rapidamente a programação do mês
Problemas encontrados: - Verificou para ter certeza de que estava na área certa do site (calendário do mês de março)
USUÁRIO 4 - PÓS-TESTE
- Navegar no site e identificar a própria localização foi "Nem fácil nem difícil"
- Navegar no menu e encontrar as tarefas foi muito fácil
- Gostou muito da agenda e do calendário
- Não gostou muito da área de blogs pois achou que não conseguiu identificar bem
- Não gostou da cor utilizada no site, achou que cansou muito e sairia rapidamente do site
- Não sentiu falta de nada no site e gostou muito do método avaliado
- As publicidades não atrapalharam a navegação
- De 0 a 10 deu 08 para o site
USUÁRIO 5 - PRÉ-TESTE
- Entre 18 e 24 anos
- Moradora de Vitória - ES
- Estudante de História na Universidade Federal de Vitória
- Se considera heavy user e navega de 1 a 3 horas por dia na internet
- Gosta muito de sair a noite e trabalha em um restaurante noturno
- Utiliza o Iukk, site similar ao Café del Marco e nunca tinha acessado o Café del Marco
- Utiliza sites de entretenimento e blogs, o site que utiliza é o terra.com.br e iukk
- Sexo feminino
USUÁRIO 5 - TAREFA 1
Tempo: 41 segundos
Pontos positivos: - Utilizou o item “Agenda” no menu para chegar até a área de eventos e utilizou a opção de Calendário na lateral para selecionar o dia (sábado).
- Gostou muito de saber sobre a existência da agenda de eventos já que gosta muito de sair.
Problemas encontrados: - Não conseguiu encontrar a área de agenda na home
USUÁRIO 5 - TAREFA 2
Tempo: 3 min 10 seg
Pontos positivos:
- Gostou muito do conteúdo oferecido nos blogs (“Tem umas coisas legais aqui”)
Problemas encontrados:
- Não conseguiu realizar a tarefa. Ela chegou a acessar a área de blogs e notícias mas não encontrou nenhuma área falando sobre futebol ou medalhas.
- Não percebeu a falta do campo de busca
- Percebeu a existência de algumas fotos de colunistas mas não percebeu que eram os blogueiros.
USUÁRIO 5 - TAREFA 3
Tempo: 50 segundos
Pontos positivos: - Foi direto para a área de Agenda e em seguida Calendário (Março).
- Conseguiu realizar a tarefa rapidamente
Problemas encontrados: - Rolou a página durante um tempo para ter certeza de que tinha encontrado os eventos de Março devido a página anterior ser muito parecida com a atual página.
USUÁRIO 5 - PÓS-TESTE - Considerou o site fácil de ser navegado e utilizado mas achou relativamente difícil de realizar a tarefa 2.
- Achou que o Guia Gourmet e a Agenda poderiam ser mais completos. Poderiam oferecer detalhes de restaurantes de outros bairros como, por exemplo, Jucutuquara e Ilha das Caieiras(muitos botecos e comidas típicas).
- Não conseguiu entender muito bem a diferença entre os itens de menu “Flash e Fotos”
- O usuário gostou muito do design do site e da organização dos links (menu). Tambem achou as matérias do site muito interessantes.
- O usuário gostaria que tivesse algum espaço no site voltado para a divulgação de artes no Estado como, por exemplo, notícias falando sobre músicas e músicos, performances, exposições. (Essas notícias são divulgadas no Estado mas não existe nenhuma área voltada só para isso).
- De 0 a 10 deu 08 para o site já que não conseguiu completar a tarefa 2.
USUÁRIO 6 - PERFIL
- Morador do Espírito Santo - Sexo Masculino - Entre 25 e 34 anos - Estudante, superior incompleto - Heavy yser de internet - Utiliza computador para acessar a internet - Acessa sites de entretenimento - Não conhecia o site www.cafedelmarco.com.br
USUÁRIO 6 - TAREFA 1
USUÁRIO 6 - TAREFA 2
USUÁRIO 6 - TAREFA 3
USUÁRIO 6 - TAREFA 4
USUÁRIO 6 - PÓS-TESTE
VÍDEO
Problema Heurística violada
Melhorar a localização da agenda na home
Flexibilidade e eficiência de uso
Melhorar o feedback para mostrar onde o usuário está
Visibilidade do status do sistema
Inserir um campo de busca no site Ajuda e documentação, Consistência e padrões
Melhorar a disposição dos blogueiros e mostrar o título e assunto do blog
Flexibilidade e eficiência de uso, Consistência e padrões
Ao clicar na logo, aparece um box para adicionar o site aos favoritos
Consistência e padrões
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE EMERGENCIAL
Problema Heurística violada
Na página do evento, aparece o link para o local de compra, mas não é clicável
Consistência e padrões
Identificação do site: dizer de onde ele é (Vitória) e qual o propósito e a segmentação (entretenimento)
Equivalência entre o sistema e o mundo real
Melhorar a descrição dos eventos que estão na agenda (adicionar endereço, va- lor, mapa, horários e descrição do local)
Flexibilidade e eficiência de uso
Fonte muito pequena Flexibilidade e eficiência de uso
Em "Flashes", as datas e nomes dos eventos não são facilmente percebidos
Flexibilidade e eficiência de uso, Estética e design minimalista
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE EMERGENCIAL
Problema Heurística violada
O rótulo "flashes" não é adequado pois confunde com "fotos"
Consistência e padrões, Reconhecer em vez de relembrar
Ao acessar o Café del Marco e logo depois o facebook, automaticamente aparece a fan page do Cafe del Marco
Controle do usuário e liberdade
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE EMERGENCIAL
Problema Heurística violada
Ao clicar em uma data na área de eventos, deve aparecer apenas os eventos que serão realizados naquela data ao invés de mostrar todos os eventos em um listão
Consistência e padrões, Estética e design minimalista
No calendário, o usuário não consegue ter acesso ao evento que já passou
Consistência e padrões
Cores parecidas com o fundo (vermelho claro com vermelho escuro)
Estética e design minimalista
Campo branco na sidebar (em "blogs") parece uma busca e não tem nenhuma função
Estética e design minimalista, Consistência e padrões
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE MÉDIA
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE MÉDIA
Problema Heurística violada
Sidebar com muitas notícias e publicidades confusas
Estética e design minimalista
Título do calendário poderia ser clicável para mostrar todos os eventos do mês
Controle do usuário e liberdade
Problema Heurística violada
Barra de rolagem muito extensa dentro de notícias
Controle do usuário e liberdade, Estética e design minimalista
Blogs sem segmentação por categorias - cansando o usuário
Flexibilidade e eficiência de uso, Estética e design minimalista
Foto da matéria sobre medalhas do Brasil nas Olimpíadas parece não corresponder à matéria
Consistência e padrões
CLASSIFICAÇÃO DOS PROBLEMAS GRAVIDADE BAIXA
CONCLUSÃO
Todos os problemas apresentados não apresentam baixo desempenho no site que está no ar hoje. Mas, tais problemas devem ser reparados para que o usuário possa interagir e navegar ainda mais no site e com seus conteúdos da melhor forma e com a melhor experiência possíveis.
AVALIAÇÃO DO TESTE E MODERAÇÕES
O teste de usabilidade formal foi feito conforme instruções recebidas pelo professor em sala de aula e leitura das alunas posteiriomente.
Tendo sido realizado corretamente, apresentou resultados essenciais para a conclusão dos problemas encontrados no site.
Obrigada J
Recommended