Uma Ferramenta baseada no Modelo 5S para Avaliação de ...rtorres/mo812B_07s2/5squal/slides.pdf · Modelo 5S para Avaliação de Qualidade em Bibliotecas Digitais Bárbara Lagoeiro

Defesa de Dissertação

Bárbara Lagoeiro Moreira

Uma Ferramenta baseada no Modelo 5S para Avaliação de Qualidade em Bibliotecas Digitais

Bárbara Lagoeiro MoreiraOrientador: Marcos André Gonçalves



Agenda

● Motivação: – Por que avaliar?– Por que a 5SQual?

● Definição do trabalho: – Escopo e objetivos

Introdução

Avaliações do trabalho

Contexto

Implementação

Exemplos de Avaliação

ConclusõesTrab. Futuros



● Estudos sobre Avaliação de Qualidade em Bibliotecas Digitais – Outros trabalhos sobre avaliação

● O Modelo de Qualidade 5S– Conceitos do arcabouço 5S e de seu

modelo de qualidade

Agenda

Introdução


Contexto

Implementação





● Arquitetura● Modelagem● Funcionamento

– Parâmetros para configuração– Interface gráfica

Agenda

Introdução


Contexto

Implementação





● Resultados de avaliações em 3 Bibliotecas Digitais reais– Exemplos de gráficos gerados pela

avaliação

Agenda

Introdução


Contexto

Implementação





Agenda

● Avaliação de Usabilidade– Diretivas de especialistas

● Avaliação da Expectativa de Usuários Potenciais– O que usuários acham da proposta da

5SQual

Introdução


Contexto

Implementação





Agenda

● Conclusões● Trabalhos Futuros

Introdução


Contexto

Implementação





Motivação - Demanda

● Bibliotecas digitais: forte desenvolvimento na última década.

● Uma vez estabelecida a importância de Bibliotecas digitais, surgem questionamentos em relação à qualidade destes sistemas:– Demanda por avaliações!

Introdução

Motivação

Definição do Trabalho

Visão Geral do Trabalho



Motivação – Por que avaliar?

● Avaliações proporcionam:– Detecção de problemas e prevenção de

erros;– Análise do comportamento do sistema;– Comparações entre 2 sistemas

diferentes, quando obedecido um determinado conjunto de restrições;

– Permite definir se um sistema é adequado a um dado propósito

Introdução

Motivação





Motivação – Desafios

● Bibliotecas Digitais são sistemas variados:– Demanda por avaliações que sejam

adequadas a diferentes sistemas ● Bibliotecas Digitais são muitas vezes

sistemas complexos e dinâmicos:– Demanda por avaliações automatizadas

Introdução

Motivação






● 5SQual: uma ferramenta para avaliação de qualidade em diferentes Bibliotecas Digitais:– Avaliação segue o Modelo 5S de

qualidade– Avalia objetos digitais, metadados e

serviços de uma biblioteca digital– Avaliação automatizada– Avaliação quantitativa

Introdução

Motivação






● É uma ferramenta para auxiliar a administração e manutenção de Bibliotecas Digitais.

● A 5SQual não visa realizar avaliações completas de um sistema ou de seus componentes!

Introdução

Motivação





Avaliação de Qualidade em Bibliotecas Digitais

● Há várias possibilidades de avaliação em Bibliotecas Digitais:– Arcabouços conceituais que objetivam

cobrir e levantar as várias possibilidades de avaliação

– Trabalhos com avaliações focadas em determinado aspecto ou sistema.

Contexto


Modelo de Qualidade 5S




● [Saracevic 2004] analisa 80 trabalhos da área e define classificações por:– Construções avaliadas– Contexto (que aspecto considerar - e.g.,

Usabilidade)– Critério (padrão de julgamento – e.g.,

taxa de erros)– Metodologia aplicada durante a avaliação

(e.g., pesquisas, experimentação, análise de logs)

Contexto






● [Tsakonas 2004]: arcabouço conceitual para avaliar o aspecto de interação do usuário com a biblioteca digital:– Uma interação é formada por 3

componentes ● 3 categorias de critérios podem ser definidas

para avaliar o relacionamento entre estes componentes

Contexto






● [Tsakonas 2004]Contexto






● [Tsakonas 2004]Contexto






● [Gonçalves et al. 2003] e [Klass et al. 2006]: desenvolvimento de formatos para arquivos de logs destinados a registrar dados para avaliação de bibliotecas digitais.

● Bom para a 5SQual :)

Contexto





Modelo de Qualidade 5S - Base

● O arcabouço 5S– Define formalmente os conceitos,

relacionamentos e regras fundamentais que governam o domínio de Bibliotecas digitais.

– Uma biblioteca digital consiste em um repositório (com coleções de objetos digitais), catálogos (contendo especificações de metadados), serviços, e uma sociedade.

Contexto





Modelo de Qualidade 5S - Definição

● Modelo define indicadores numéricos associados a 22 dimensões de qualidade para avaliar os componentes básicos de uma biblioteca digital.

Contexto





Modelo de Qualidade 5S - Definição

Contexto


Modelo de Qualidade 5S Catálogo

Coleção

Objeto Digital

Metadados

Repositório

Serviços

• Acurácia• Completeza• Conformidade

• Completeza• Fator de Impacto

• Completeza• Consistência

• Acessibilidade• Pertinência• Preservabilidade• Relevância

• Similaridade• Significância• Atualidade

• Completeza• Consistência

• Composabilidade• Eficiência• Efetividade• Extensibilidade

• Reusabilidade• Confiança

IndicadoresNuméricos



Modelo de Qualidade 5S – Na 5SQual

Contexto



Objeto Digital

Metadados

Serviços

• Completeza• Conformidade

• Acessibilidade• Similaridade• Significância• Atualidade

• Eficiência• Confiança

IndicadoresNuméricos




Contexto



● Para objetos digitais:– Acessibilidade: reflete os direitos de uma

comunidade específica ao acessar o objeto digital.

● Indicador numérico- porcentagem do objeto digital que a comunidade tem permissão para acessar.

● Exemplo: um documento de 5 capítulos, dos quais apenas 2 são acessíveis, apresenta acessibilidade igual 0,4 (2/5).




Contexto



● Para objetos digitais:– Significância: indica a importância dos

objetos digitais em relação a determinado fator. E.g., citações

● Indicador numérico - número de ocorrências do fator em questão.

● Exemplo: se o fator é o número de citações, um documento que recebeu 7 citações apresenta significância igual a 7.




Contexto



● Para objetos digitais:– Similaridade: estima o quão relacionados

são dois objetos digitais (em relação ao conteúdo ou às citações existentes entre os objetos digitais).

● Indicador numérico – c onteúdo (bag-of-words), citações (co-citação, acoplamento bibliográfico)

● Aplicação: detecção de cópias indevidas ou de grupos de objetos digitais relacionados.




Contexto



● Para objetos digitais:– Atualidade: indica quão atuais são os

objetos digitais, por exemplo, em relação a data de criação do objeto digital.

● Indicador numérico - tempo decorrido entre a data escolhida como data referência e a data do dia da avaliação.

● Exemplo: criação (1997) = 10 anos




Contexto



● Para metadados:– Completeza: reflete quantos dos atributos

especificados no schema existem na especificação de metadados.

● Indicador numérico - porcentagem dos atributos existentes na especificação de metadados.

● Exemplo: schema com 10 atributos definidos, só 5 na especificação: 0,5 (5/10)




Contexto



● Para metadados:– Conformidade: indica se os atributos e

seus valores nas especificações de metadados seguem as regras definidas pelo schema para o número máximo e mínimo de vezes que um valor pode ser associado a um determinado atributo.

● Indicador numérico - porcentagem de atributos que são consistentes com as regras.




Contexto



● Para serviços:– Eficiência: indica quão rápidas são as

execuções dos serviços.● Indicador numérico - diferença entre os

tempos de resposta e requisição da execução de um serviço.




Contexto



● Para serviços:– Confiança: indica se as execuções de um

determinado serviço provavelmente irão obter os resultados esperados, sem falhas.

● Indicador numérico – po rcentagem das execuções que foram bem-sucedidas em um intervalo de tempo.



Arquitetura

Implementação

Arquitetura

Modelagem

Funcionamento

● Objetivo:possibilitar a aplicabilidade da ferramenta a diversas bibliotecas digitais.– Flexibilidade na Recuperação de Dados– Flexibilidade de Extração de Dados– Flexibilidade de Avaliação– Flexibilidade de Utilização



Arquitetura

Implementação

Arquitetura

Modelagem

Funcionamento



Arquitetura

Implementação

Arquitetura

Modelagem

Funcionamento



Arquitetura

Implementação

Arquitetura

Modelagem

Funcionamento



Arquitetura

Implementação

Arquitetura

Modelagem

Funcionamento



Modelagem

Implementação

Arquitetura

Modelagem

Funcionamento





Modelagem

Implementação

Arquitetura

Modelagem

Funcionamento



Funcionamento

Implementação

Arquitetura

Modelagem

Funcionamento

● Parâmetros:– Indicam:

● o que avaliar;● onde a 5SQual deve buscar os dados para a

avaliação (recursos);● como extraí-los.

– XML que pode ser construído com auxílio de interface gráfica. Neste trabalho há um exemplo!



Funcionamento

Implementação

Arquitetura

Modelagem

Funcionamento

● Interface e configuração de avaliação– Executar exemplo:



Exemplos de Avaliação com a 5SQual

Exemplos

VT-ETD

BDBComp

ACM

● 5SQual aplicada a 3 sistemas reais:– VT-ETD;– BDBComp;– Coleção da ACM 2002.




Exemplos

VT-ETD

BDBComp

ACM




Exemplos

VT-ETD

BDBComp

ACM




Exemplos

VT-ETD

BDBComp

ACM




Exemplos

VT-ETD

BDBComp

ACM



Avaliações sobre o Trabalho

Avaliações sobre o trabalho

Usabilidade

Expectativa dos Usuários

● Avaliação Heurística:– 3 especialistas de usabilidade;– Especialistas também tinham noção do

domínio da ferramenta;– Os problemas encontrados foram

classificados por heurística afetada (heurística de Nielsen) e grau de severidade.





Usabilidade


● Procedimento:– Especialistas tiveram acesso:

● Ao protótipo da ferramenta● Ao manual;● Ao guia de avaliação;● A um roteiro de avaliação.

– O roteiro era apenas um instrumento para que o especialista pudesse configurar uma avaliação de todas as dimensões e conhecer os parâmetros.





Usabilidade


● Procedimento:– Cada especialista associou os problemas

que ele encontrou às heurísticas e a um grau de severidade.

– As 3 avaliações foram compiladas.– Seleção dos problemas para correção.





Usabilidade


● Heurísticas mais citadas:– Visibilidade do estado do sistema

(17%)● O sistema deve sempre manter os usuários

informados sobre o que está acontecendo.– Consistência e padrões (17%)

● usuários não devem ter acesso a diferentes palavras ou ações representando a mesma coisa.





Usabilidade


● Heurísticas mais citadas:– Prevenção de erros (17%)

● Desabilitar comandos que não podem ser utilizados no momento ao invés de deixar acontecer mensagem de erro, por exemplo.





Usabilidade


● Resultados por grau de severidade:





Usabilidade


● Avaliação da Expectativa de Grupo de Interesse:– Entrevistas por correio eletrônico– Poucas perguntas objetivas– Manual disponibilizado, não a ferramenta– De 10 administradores cogitados, 5

responderam.





Usabilidade


● Questionário – Sua opinião sobre:– o tipo de avaliação realizado?– os recursos e parâmetros necessários

para realizar uma avaliação?– a interface gráfica desenvolvida?– a apresentação dos resultados de uma

avaliação?– a utilidade da 5SQual na administração

de uma biblioteca digital?





Usabilidade


● Análise dos resultados:– Inter-sujeitos: reune as respostas de

todos os entrevistados a cada uma das perguntas do questionário. Revela as tendências centrais das respostas dadas pelo grupo como um todo.

– Intra-sujeitos: respostas de cada sujeito são consideradas como um único conjunto. Analisa-se possíveis conflitos de opiniões e preferências.





Usabilidade


● Resultados - recorrências:– dificuldades para indicar

reconhecedores para os arquivos de entrada da 5SQual.

– interface sucinta e clara.– praticidade dos gráficos – informações do relatório, por serem

muito detalhadas, podem dificultar a leitura dos resultados.





Usabilidade


● Resultados - recorrências:– os entrevistados salientaram as

vantagens do processo de avaliação ser automático e de cobrir um conjunto importante de componentes de uma biblioteca digital (objetos digitais, especificações de metadados e serviços).



Conclusões

Conclusõese TrabalhosFuturos

Conclusões

Trabalhos Futuros

● A 5SQual é uma ferramenta para auxiliar administradores de bibliotecas digitais.

● Ela automatiza avaliações quantitativas de certos aspectos de qualidade em objetos digitais, metadados e serviços de diferentes sistema.

● A expectativa de usuários potenciais indica que há demanda por uma ferramenta como a 5SQual.



Trabalhos Futuros


Conclusões

Trabalhos Futuros

● Extensões:– Mais indicadores numéricos por dimensão

(e.g., medida do cosseno, amsler).– Avaliação de outros componentes

(catálogos, coleções).● Reconhecedores:

– Desenvolver um número maior de reconhecedores de formatos para acompanhar a 5SQual.



Trabalhos Futuros


Conclusões

Trabalhos Futuros

● Aplicações Suporte– aplicações de suporte à visualização dos

resultados de avaliações da 5SQual que gerem relatórios e gráficos nos mais diversos formatos, a partir de relatórios XML originados pela 5SQual.

● e.g., aplicação que gere gráficos comparativos de duas ou mais avaliações.



Divulgação do Trabalho

● B. L. Moreira, M. A. Gonçalves e A. H. F. Laender. Em SBBD ’07: Demo submetido, João Pessoa, Brasil.

● B. L. Moreira, M. A. Gonçalves, A. H. F. Laender e E. A. Fox. Em ECDL ’ 07: Proceedings of the 11th European Conference on Research and Advanced Technology for Digital Libraries, (poster aceito), Budapest, Hungary. Springer-Verlag.

● B. L. Moreira, M. A. Gonçalves, A. H. F. Laender e E. A. Fox. 5SQual: a quality assessment tool for digital libraries. Em Proc. of the 7th ACM/IEEE Joint Conf. on Digital Libraries, página 513, Vancouver, Canadá, 2007. ACM Press.

● B. L. Moreira, M. A. Gonçalves, A. H. F. Laender e E. A. Fox. Em SBBD ’0 6: Workshop on Digital Libraries, Florianópolis, Brasil.

Documents

Uma Ferramenta baseada no Modelo 5S para Avaliação de ...rtorres/mo812B_07s2/5squal/slides.pdf · Modelo 5S para Avaliação de Qualidade em Bibliotecas Digitais Bárbara Lagoeiro