Tutorial: Métricas, Criterios y Estrategias para Evaluar … · Dr. Luis Olsina Tutorial: Métricas, Criterios y Estrategias para Evaluar Calidad Web • Métodos de Inspección

Dr. Luis OlsinaDr. Luis Olsina

Tutorial: Métricas, Criterios y Métricas, Criterios y Estrategias para Evaluar Calidad WebEstrategias para Evaluar Calidad Web

• Métodos de Inspección• Metodología WebQEM: Fases, Modelos, y Herramientas• Método Heurístico

Contenidos Contenidos Parte IIIParte III

GIDIS, Facultad de Ingeniería, UNLPam,GIDIS, Facultad de Ingeniería, UNLPam,ArgentinaArgentinaTE 54 (0)2302 430497 Ext. 6501TE 54 (0)2302 430497 Ext. 6501EE--mail mail [email protected]©© 2002 GIDIS2002 GIDIS

Parte III: Métodos de EvaluaciónMétodos de Evaluación

EsquemaEsquema

•• Métodos de InspecciónMétodos de Inspección•• Una Metodología de Inspección: Una Metodología de Inspección:

WebQEMWebQEM•• Otro Método: Método HeurísticoOtro Método: Método Heurístico•• ConclusionesConclusiones

Clases de Métodos de EvaluaciónClases de Métodos de Evaluación

TestingTestingInspecciónInspecciónConsulta (Inquiry)Consulta (Inquiry)Modelado AnalíticoModelado AnalíticoSimulaciónSimulación

Los Métodos y Técnicas a Aplicar pueden ser:Los Métodos y Técnicas a Aplicar pueden ser:Cuantitativos versus CualitativosCuantitativos versus CualitativosAutomáticos, Semiautomáticos o ManualesAutomáticos, Semiautomáticos o ManualesDesde Fácil a Dificil de Usar y AprenderDesde Fácil a Dificil de Usar y Aprender

Categorías de MétodosCategorías de Métodos

Tipos de Métodos de EvaluaciónTipos de Métodos de Evaluación

Protocolo Thinking AloudProtocolo Thinking AloudAnálisis de Log FilesAnálisis de Log FilesInspección de Características y AtributosInspección de Características y Atributos

En cumplimiento de estándares (ISO 9126)En cumplimiento de estándares (ISO 9126)Evaluación HeurísticaEvaluación Heurística

Revisión de GuíasRevisión de GuíasEntrevistas Entrevistas CuestionariosCuestionariosAnálisis Cognitivo de TareasAnálisis Cognitivo de Tareas

Modelos Programables de Usuario, …Modelos Programables de Usuario, …

Tipos de Métodos y TécnicasTipos de Métodos y Técnicas

Componentes en la EvaluaciónComponentes en la Evaluación

Requerimientos de EvaluaciónRequerimientos de EvaluaciónMetas, Restricciones (Seguridadad, Disponibilidad, etc.)Metas, Restricciones (Seguridadad, Disponibilidad, etc.)Especificación de Requisitos, Definición de Criterios, Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas…Técnicas, Métricas…

Captura de DatosCaptura de DatosRecolección de DatosRecolección de Datos

–– Automática, Semiautomática, ManualAutomática, Semiautomática, Manual

AnálisisAnálisisTécnicas Estadísticas, Visualización Gráfica, Tablas, etc.Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.Interpretación de los Datos. Interpretación de los Datos.

RecomendacionesRecomendacionesDoc. de Conclusiones, Propuestas de MejoraDoc. de Conclusiones, Propuestas de Mejora

Taxonomía de Métodos de EvaluaciónTaxonomía de Métodos de Evaluación

---- TestingTesting---- InspecciónInspección---- Consulta, ...Consulta, ...

---- Análisis de Log Files Análisis de Log Files ---- Evaluación HeurísticaEvaluación Heurística---- Evaluación de CaracterísticasEvaluación de Características, ..., ...

---- ManualManual---- SemiSemi--AutomáticoAutomático---- AutomáticoAutomático

FaseFase---- RequerimientosRequerimientos---- CapturaCaptura---- AnálisisAnálisis---- RecomendacionesRecomendaciones

---- Fácil de Usar, AprenderFácil de Usar, Aprender---- Efectivo, PrecisoEfectivo, Preciso---- Rango de AplicabilidadRango de Aplicabilidad

Clase de MétodoClase de Método

TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación

Tipo de MétodoTipo de Método

Tipo de AutomatizaciónTipo de Automatización

Nivel de EsfuerzoNivel de Esfuerzo

Los evaluadores valoran atributos de Los evaluadores valoran atributos de características para analizar la características para analizar la conformidad con estándares (ISO, CMM)conformidad con estándares (ISO, CMM)

Inspección de EstándaresInspección de Estándares

Los evaluadores miden al ente a partir de Los evaluadores miden al ente a partir de atributos y características (Usabilidad, etc.)atributos y características (Usabilidad, etc.)

Inspección de CaracterísticasInspección de Características

Se reúne un equipo de inspectores (tester, Se reúne un equipo de inspectores (tester, desarrollador,etc.) y chequean un producto desarrollador,etc.) y chequean un producto

Inspección Formal Inspección Formal

Los expertos identifican violaciones a una Los expertos identifican violaciones a una lista de heurísticas . Es un método informallista de heurísticas . Es un método informal

Evaluación HeurísticaEvaluación Heurística

Los evaluadores (expertos) chequean la Los evaluadores (expertos) chequean la conformidad del producto con un conjunto conformidad del producto con un conjunto de guías establecidas.de guías establecidas.

Revisión de GuíasRevisión de GuíasDescripciónDescripciónCategoría: Categoría: INSPECCIONINSPECCION

Descripción de Métodos de EvaluaciónDescripción de Métodos de Evaluación

EsquemaEsquema



Ejemplo de Método de EvaluaciónEjemplo de Método de Evaluación

---- InspecciónInspección

---- Evaluación de CaracterísticasEvaluación de Característicasy Atributosy Atributos

---- ManualManual---- AutomáticoAutomático

FaseFase---- RequerimientosRequerimientos---- AnálisisAnálisis---- RecomendacionesRecomendaciones

---- Medianamente Fácil de UsarMedianamente Fácil de Usar---- EfectivoEfectivo


WebQEMWebQEM




MotivacionesMotivaciones

No había una No había una Metodología Cuantitativa Metodología Cuantitativa ampliamente reconocida para la evaluación de ampliamente reconocida para la evaluación de WebApps, en el tipo de Métodos de Inspección WebApps, en el tipo de Métodos de Inspección por Características.por Características.

»» Al menos hasta 1998 Al menos hasta 1998 -- WebQEMWebQEM»» (2000) (2000) WebQUAL, 2QCV2Q ...WebQUAL, 2QCV2Q ...

Los procesos de Evaluación y Medición para que Los procesos de Evaluación y Medición para que sean efectivos requieren no sólo soporte sean efectivos requieren no sólo soporte metodológicometodológico sino también sino también tecnológico.tecnológico.

Problemática en la EvaluaciónProblemática en la Evaluación

¿La ¿La Evaluación de la CalidadEvaluación de la Calidad, está basada en , está basada en modelos y métricasmodelos y métricas de calidad, o está librada de calidad, o está librada a la a la intuición y subjetividadintuición y subjetividad de los de los evaluadores?evaluadores?

¿Los procedimientos de valoración de atributos ¿Los procedimientos de valoración de atributos y características, están centrados en y características, están centrados en modelos modelos de agregación y métodos cuantitativosde agregación y métodos cuantitativos de de cálculo, o en cálculo, o en modelos cualitativosmodelos cualitativos? ?

Problemática en la EvaluaciónProblemática en la Evaluación

¿Las decisiones fundamentales de la evaluación están ¿Las decisiones fundamentales de la evaluación están centradas y dirigidas por el centradas y dirigidas por el juicio de expertosjuicio de expertos, o por el, o por eljuicio de los usuariosjuicio de los usuarios??

¿El ente a valorar, puede ser considerado ¿El ente a valorar, puede ser considerado simple o simple o complejocomplejo, desde el punto de vista de la evaluación?, desde el punto de vista de la evaluación?

¿Cuáles son los ¿Cuáles son los componentes objetivos y subjetivoscomponentes objetivos y subjetivosen el proceso de evaluación? ¿Los subjetivos pueden en el proceso de evaluación? ¿Los subjetivos pueden ser minimizados?ser minimizados?

Propuesta de WebQEMPropuesta de WebQEM

Evaluar y Comparar la Calidad de Artefactos Web Evaluar y Comparar la Calidad de Artefactos Web –– más o menos complejosmás o menos complejos

Basada en Modelos y Métricas de calidadBasada en Modelos y Métricas de calidad–– Modelo de Calidad ISO (modelo mixto)Modelo de Calidad ISO (modelo mixto)–– Cuantificar atributos directos e indirectos Cuantificar atributos directos e indirectos

Basada en modelos de Agregación de Atributos y Basada en modelos de Agregación de Atributos y CaracterísticasCaracterísticas

–– Modelo de cálculo meramente aditivoModelo de cálculo meramente aditivo–– Modelo de cálculo multiModelo de cálculo multi--atributo no lineal atributo no lineal

Centrada en el juicio de evaluadores expertos en el Centrada en el juicio de evaluadores expertos en el dominiodominio

Permita Trazabilidad en el proceso de evaluaciónPermita Trazabilidad en el proceso de evaluación–– Favorezca seguimiento y justificación de resultadosFavorezca seguimiento y justificación de resultados

Propuesta de Metodología Integral, Sistemática y Propuesta de Metodología Integral, Sistemática y Cuantitativa centrada en principios de ISCuantitativa centrada en principios de IS

–– para evaluar la Calidad de Aplicaciones Web para evaluar la Calidad de Aplicaciones Web

“Si no sabemos dónde estamos parados un mapa no ayuda”“Si no sabemos dónde estamos parados un mapa no ayuda”–– Evaluar, para realizar recomendacionesEvaluar, para realizar recomendaciones

Propuesta de WebQEMPropuesta de WebQEM

Definición de los Requerimientos de CalidadDefinición de los Requerimientos de Calidad»» Metas de EvaluaciónMetas de Evaluación»» Perfil de UsuarioPerfil de Usuario (gerente,(gerente, desarrollador,desarrollador, visitante)visitante)»» Definición de Requisitos NoDefinición de Requisitos No--funcionalesfuncionales

Evaluación ElementalEvaluación Elemental»» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación

Evaluación Parcial/GlobalEvaluación Parcial/Global»» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación

Conclusión de la EvaluaciónConclusión de la Evaluación»» Considerando RecomendacionesConsiderando Recomendaciones

Propuesta de WebQEM: Propuesta de WebQEM: FasesFases

“Si no sabemos dónde estamos parados un mapa no ayuda”“Si no sabemos dónde estamos parados un mapa no ayuda”

Fases de WebQEMFases de WebQEM

Seleccióndel

Dominio

Web-S1Web-S2

Web-Sn

Punto de Vistadel Usuario

Car

acte

rístic

as y

Atri

buto

sde

l Arb

ol d

e R

eque

rimie

ntos

Atri

buto

s C

uant

ifica

bles

X1

Xn

A1

An

F(X1)

F(Xn)

Pref

eren

cias

Ele

men

tale

s

IEn

IE1

Modelode

Scoring(LSP)

Func

ión

de C

riter

io E

lem

enta

l

Evaluación y Comparación

100 %

50%

0

Ranking Final de los Artefactos Web

IG-SiMetas

Definición y Especificaciónde Requerimientos

Evaluación Elemental:Definición e Implementación

Evaluación Global:Definición e Implementación

Análisis de Resultados, Conclusiones y Documentación

Planificación y Programación de la Evaluación

Mar

gina

lU

nsat

isfac

tory

Satis

fact

ory

100 %

50%

0

Web-S2

Web-Sn

Web-S1

Proceso de EvaluaciónProceso de Evaluación

Los Procesos para EvaluaciLos Procesos para Evaluacióón de la ISO (9126, n de la ISO (9126, 1459814598--5), son en su especificaci5), son en su especificacióón original n original suficientemente gensuficientemente genééricos y abstractosricos y abstractos

personalizables a las distintas necesidades del personalizables a las distintas necesidades del proceso de evaluaciproceso de evaluacióón de calidad de artefactos de n de calidad de artefactos de software y artefactos Websoftware y artefactos Web

Los Procesos para EvaluaciLos Procesos para Evaluacióón no prescriben ni n no prescriben ni recomiendan mrecomiendan méétodos ni procedimientos todos ni procedimientos especespecííficos para realizar las actividades sino que ficos para realizar las actividades sino que representan un marco conceptual genrepresentan un marco conceptual genééricorico..

Proceso de EvaluaciónProceso de Evaluación

Fases o etapas fundamentales del Proceso Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO de Evaluación definido en el Estándar ISO 1459814598 del ‘98.del ‘98.

Establecimiento de los Requerimientos de Establecimiento de los Requerimientos de EvaluaciEvaluacióónnEspecificaciEspecificacióón de la Evaluacin de la EvaluacióónnDiseDiseñño de la Evaluacio de la EvaluacióónnEjecuciEjecucióón de la Evaluacin de la Evaluacióón, yn, yConclusiConclusióón de la Evaluacin de la Evaluacióónn

Proceso de Evaluación Proceso de Evaluación ISO 14598ISO 14598--55

Quality RequirementDefinition

Metric Selection Elementary P referenceCrit eria Definit ion

Global PreferenceCriteria Definition

MeasurementImplementation

Elementary PreferenceImplementation

Partial / GlobalPreference

Implementation

Quality RequirementSpecification

ISO/IEC 9126 model -Web-site QEM models & tools

Web audience's Needs

ManagerialRequirement

MeasuredValue

ScoredValue

Des

ign

of

the

Eval

uatio

n

Requ

irem

ent

Def

initi

on

Planning & Scheduling

Documentation

MeasurementResults Elementary

Results FinalResults

Reco

mm

enda

tions

Quality Requirements Elementary Evaluation Partial/Global Evaluation

Web ProductDescriptions

EvaluationGoal

Impl

emen

tatio

n

of th

e Ev

alua

tion

ElementaryCriteriaDescription

Web ProductComponents

PreferenceAggregationSchema

Conclusion of the Evaluation

ElEl Modelo de Calidad Modelo de Calidad ISO 9126ISO 9126--11

SoftwareQuality

SoftwareQuality

ReliabilityReliability

SuitabilityAccuracy

InteroperabilitySecurity

Compliance

SuitabilityAccuracy

InteroperabilitySecurity

Compliance

FunctionalityFunctionality

MaturityFault ToleranceRecoverability

Compliance

MaturityFault ToleranceRecoverability

Compliance

UnderstandabilityLearnabilityOperability

AttactivenessCompliance

UnderstandabilityLearnabilityOperability

AttactivenessCompliance

Time behaviourResource utilization

Compliance

Time behaviourResource utilization

Compliance

AnalysabilityChangeability

StabilityTesteabilityCompliance

AnalysabilityChangeability

StabilityTesteabilityCompliance

AdaptabilityInstalability

Co-existenceReplaceabilityCompliance

AdaptabilityInstalability

Co-existenceReplaceabilityCompliance

UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability

CharacteristicsCharacteristics

SubcharacteristicsSubcharacteristics

Características y SubcaracterísticasCaracterísticas y Subcaracterísticas

Usabilidad Usabilidad »» Comprensión Global del SitioComprensión Global del Sitio»» Ayuda y RetroalimentaciónAyuda y Retroalimentación»» Aspectos de Interface Aspectos de Interface »» Aspectos EstéticosAspectos Estéticos

Funcionalidad Funcionalidad »» Búsqueda y RecuperaciónBúsqueda y Recuperación»» Navegación y ExploraciónNavegación y Exploración»» Funciones y Contenido Específicos del Dominio (EFunciones y Contenido Específicos del Dominio (E--

commerce, Museos, Universidades ...)commerce, Museos, Universidades ...)ConfiabilidadConfiabilidad

»» No deficienciaNo deficienciaEficienciaEficiencia

»» PerformancePerformance»» AccesibilidadAccesibilidad

Usabilidad Usabilidad Comprensión Global del SitioComprensión Global del Sitio

–– Esquema de Organización GlobalEsquema de Organización Global»» Tabla de ContenidosTabla de Contenidos»» Mapa del SitioMapa del Sitio»» Indices (Indices (AlfabéticosAlfabéticos, Temáticos, Híbridos ...), Temáticos, Híbridos ...)

–– Visita Guiada (convencional y/o virtual)Visita Guiada (convencional y/o virtual)–– Mapa de ImagenMapa de Imagen

Aspectos de Interfaces y EstéticosAspectos de Interfaces y Estéticos–– Permanencia y Estabilidad en la Presentación de los Controles Permanencia y Estabilidad en la Presentación de los Controles

PrincipalesPrincipales»» Controles DirectosControles Directos»» Controles IndirectosControles Indirectos»» EstabilidadEstabilidad

–– Mantenimiento del Color de los EnlacesMantenimiento del Color de los Enlaces

Características yCaracterísticas y AtributosAtributos

ConfiabilidadConfiabilidad–– No Deficiencia de enlacesNo Deficiencia de enlaces

»» Enlaces RotosEnlaces Rotos»» Enlaces InválidosEnlaces Inválidos

–– Otras No DeficienciasOtras No Deficiencias»» Páginas MuertasPáginas Muertas»» Errores de OrtografiaErrores de Ortografia»» Páginas bajo Construcción Otras... (Dependientes de Páginas bajo Construcción Otras... (Dependientes de

Browsers, etc.)Browsers, etc.)

Características yCaracterísticas y AtributosAtributos

Atributos y MétricasAtributos y Métricas

Porcentaje de Enlaces Rotos de un SitioPorcentaje de Enlaces Rotos de un Sitio

100×+

=talEnlacesCantidadTo

ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje

100×=stalImágeneCantidadTo

ágenesALTCantidadImLTPresenciaAPorcentaje

PorcentajePorcentaje dede PresenciaPresencia de lade la propiedadpropiedad ALTALT..

Arbol de RequerimientosArbol de Requerimientos

WebQEMWebQEM__Tool Tool EditandoEditando RequerimientosRequerimientos

Menú Proyecto

MenúDiseño

MenúEjecución

MenúInforme

Menú de Edición de

Característicasy Atributos

WebQEM_Tool WebQEM_Tool Editando RequerimientosEditando Requerimientos

Evaluación ElementalEvaluación Elemental PanoramaPanorama

Mea

sura

ble

Attr

ibut

es

X1

Xn

A1

An

F(X1)

F(Xn)E

lem

enta

ry P

refe

renc

esEQn

EQ1

Crit

eria

Fun

ctio

n D

efin

ition

Elementary Evaluation:Design and Implementation

100 %

50%

0

MétricaMétrica Web yWeb y Criterio ElementalCriterio Elemental

Métrica Métrica Porcentaje de Enlaces RotosPorcentaje de Enlaces Rotos

X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio

Preferencia de Calidad ElementalPreferencia de Calidad Elemental

PE = 1 (or 100%) si X = 0;PE = 0 (or 0%) si X >= Xmax ;otherwise PE= (X max – X) / X max si 0 < X < Xmax

donde X max es algún umbral superior acordado, tal como 0.04

XXi min i min <=<= XXi i <= X<= Xi maxi maxIEi IEi εε I , I = [0, 1]I , I = [0, 1]

Preferencia de Calidad ElementalPreferencia de Calidad Elemental

30

Pref

eren

cia

Elem

enta

l

Valor de la Variable (X=t)

100

0

10

20

40

50

60

70

90

80

[%]IE

Tiempo Promedio[seg]

F(t)

t min t maxt esperado

IEIEii= 1 (o 100%)= 1 (o 100%) si tsi tii <= t<= ti mini min

IEIEii= 0 (o 0%)= 0 (o 0%) si tsi tii >= t>= ti maxi max

IEIEi i = (t= (ti maxi max –– ttii) / (t) / (ti maxi max –– tti mini min))si tsi ti mini min <= t<= tii <= t<= ti max i max

La preferencia de calidad elemental representa el grado de satisfacción de un requerimiento o necesidad de usuario (Niveles de Aceptabilidad).

Niveles de Aceptabilidad Niveles de Aceptabilidad ISO 9126ISO 9126

Título: Código:T ipo: CaracterísticaSub-característica/s (Código/s):Definición / Comentarios:Modelo para determinar el Cómputo G lobal :Herramienta Empleada:Peso:Operador Aritmético / Lógico:Ejemplo/s:Valor/es de Preferencia/s Computado/s:

Título: Código:T ipo: AtributoCaracterística de más Alto Nivel (Código):Super-característica (Código):Definición / Comentarios:T ipo de Criterio Elemental:Plantilla de Referencia de Variables yParámetros:Escala de Preferencia:T ipo de Recolección de Datos:Herramienta Empleada:Ejemplo/s: Peso: Valor/es de Preferencia/s Computado/s:

Título: Código: Tipo: SubcaracterísticaSuper-característica (Código):Sub-característica/s (Código/s): Atributo/s (Código/s):Definición / Comentarios:Modelo para determinar el Cómputo Parcial: Herramienta Empleada:Peso: Operador Aritmético/Lógico:Ejemplo/s: Valor/es de Preferencia/s Computado/s:

Plantilla de Características y AtributosPlantilla de Características y Atributos

Título: Usabilidad; Código: 1 ; Tipo: CaracterísticaSub-característica/s: Comprensibilidad Global del Sitio (1.1); Mecanismos deAyuda y Retroalimentación (1.2); Aspectos de Interface y Estéticos (1.3);Misceláneas (1.4)Definición / Comentarios: Es una característica de calidad de producto de altonivel, -que se la puede medir mediante cálculo a partir de métricas directas eindirectas-, y representa la capacidad o potencialidad del producto para serutilizado, comprendido y operado por los usuarios, además de ser atractivo.Incluye principalmente a subcaracterísticas como comprensibilidad,operabilidad, facilidad de aprendizaje y comunicatividad, entre otrassubcaracterísticas como estéticas y de estilo que hacen del artefacto que seaagradable de usar.Modelo para determinar el Cómputo Global: modelo LSP, o meramenteAditivo;Herramienta Empleada: Automática (WebQEM_Tool)Peso: 0.3Operador Aritmético/Lógico: C --Ejemplo/s: [Olsina 99, Olsina et al 99c] y un survey [Lafuente et al 99]Valor/es de Preferencia/s Computado/s: en tabla o base de datos

Especificando la Característica Especificando la Característica UsabilidadUsabilidad

Título: Imagen con Título; Código: 4.2.1.2.1; Tipo: AtributoCaracterística de más Alto Nivel: EficienciaSuper-característica: Legibilidad al desactivar la Propiedad Imagen del BrowserDefinición / Comentarios: Se debe proveer texto alternativo para cada imagen u objetográfico dado que comunica información visual. Este atributo mide el porcentaje depresencia de la etiqueta <ALT> de manera de incluir texto alternativo a la imagen, cuandose desactiva la propiedad de ver imágenes del navegador. La presencia de este atributofavorece la legibilidad de la página. No obstante, esta presencia no garantiza la calidad deltexto alternativo. El texto pudo haber sido generado automáticamente al editar la páginacon herramientas como FrontPage, etc.Tipo de Criterio Elemental: es un criterio de variable normalizada, continuo y absoluto;en donde si AAR= Referencia ALT ausente. TAR=Número total de objetos que debenreferenciar a la propiedad ALT. La fórmula para computar la variable es: X = 100 – (AAR* 100/TAR) Escala de Preferencia:Tipo de Recolección de Datos: AutomatizadoEjemplo/s: Para el sitio de UTS la herramienta reportó: “Of the 63.882 inline references onyour site that should specify an ALT attribute, 11.721 references (18%) are missing theattribute”. La preferencia computada, a partir de la fórmula anterior es del 81.65%

100%60%0%

0 100

40%

Especificando el Atributo:Especificando el Atributo: Imagen con ALTImagen con ALT

NetMechanic:NetMechanic: Netmechanic [Netmechanic [http://www.netmechanic.com/http://www.netmechanic.com/]; ]; Analizador de Errores y Fallas, Performance, Compatibilidad de Analizador de Errores y Fallas, Performance, Compatibilidad de Browsers, etc. Herramienta de reparaciBrowsers, etc. Herramienta de reparacióón.n.WebCriteriaWebCriteria: WebCriteria [: WebCriteria [http://www.webcriteria.com/http://www.webcriteria.com/]; web]; web--based; based; comparative evaluation of a website with respect to a benchmark comparative evaluation of a website with respect to a benchmark derived from similar wellderived from similar well--established websites; Log File Analyzes, established websites; Log File Analyzes, Quality in Use, etc. Quality in Use, etc. WebGarageWebGarage: Netscape [: Netscape [http://websitegarage.netscape.comhttp://websitegarage.netscape.com/]; web/]; web--based; Performance, HTML tags, Compatibilidad de Browsers, Log Fbased; Performance, HTML tags, Compatibilidad de Browsers, Log File ile Analyzes, etc. Analyzes, etc. WebSATWebSAT: NIST [: NIST [http://zing.ncsl.nist.gov/WebTools/http://zing.ncsl.nist.gov/WebTools/]; web]; web--based and based and offoff--line; Accesibilidad, Performance, Navegaciline; Accesibilidad, Performance, Navegacióón, etc.n, etc.

Herramientas de AutomatizaciónHerramientas de Automatización Métricas WebMétricas Web

Automatizando la Recolección de DatosAutomatizando la Recolección de Datos

Website MAWebsite MA

Amazon Barnes & Noble Cúspide Díaz de Santos Borders1. Usability1.2.3.1 100 100 100 0 1001.2.3.2 100 100 80 80 1002. Functionality2.1.1.1 100 100 100 0 1002.1.1.2 100 100 100 100 702.3.1.1.1 100 100 40 24 702.3.1.1.2.1 100 100 50 50 02.3.1.1.2.2 42 42 12 12 212.3.1.2.1 0 0 0 0 02.3.2.1.1.1.1 100 100 100 100 1002.3.2.1.1.1.2 100 70 0 0 402.3.2.1.1.1.3 100 100 100 100 1002.3.2.1.1.2 100 0 0 0 1002.3.2.1.1.3.1 100 100 100 0 1002.3.2.1.1.3.2 100 100 100 0 03. Reliability3.1.1.1 98.4 97.45 99.83 60.07 76.344. Efficiency4.1.1 100 77.75 100 99.75 99.70

Preferencias de Calidad ElementalPreferencias de Calidad Elemental

Caso de Estudio de Caso de Estudio de EE--bookstorebookstore

Evaluación GlobalEvaluación Global PanoramaPanorama

EQn

EQ1 Ranking Process

Global Quality Preferences

GQ-Si

Global Evaluation:Design and Implementation

Agg

rega

tion

Pro

cess

(Adi

tive

or L

SP

Mod

el) 100 %

50%

0

Mar

gina

lU

nsat

isfac

tory

Satis

fact

ory

W eb-S2

W eb-S1

W eb-Sn

Evaluación GlobalEvaluación Global Modelos de PuntajeModelos de Puntaje

Modelo de Puntaje AditivoModelo de Puntaje Aditivo ((T.T.GilbGilb))

IndicadorIndicador Global =Global = ∑∑ ((Peso componentePeso componente x x Indicator elemental)Indicator elemental)IG/P = PIG/P = P11 IEIE11+ ....+ P+ ....+ Pnn IEIEnn

Modelo de Puntaje LógicoModelo de Puntaje Lógico MultiMulti--criterio (LSP)criterio (LSP)((Weighted Power MeanWeighted Power Mean Model Model -- J. J. DujmovicDujmovic))

IG/PIG/P (r) = (P(r) = (P11 IEIE rr11 + P+ P2 2 IEIE rr

22+ ... + P+ ... + Pm m IEIE rrmm)) 1/ r 1/ r

Simultaneidad (“y lógico”)Simultaneidad (“y lógico”)ReemplazabilidadReemplazabilidad (“o lógico”)(“o lógico”)NeutralidadNeutralidad

Evaluación Parcial:Evaluación Parcial: Modelo AditivoModelo Aditivo

2.3 Specific Functionality and Contents for E-learning.……………………………………………………..2.3.3.1 Virtual Learning Environment Features (for a WbIS) <.0.35> (?)2.3.3.2 Synchronous Communication and Collaboration Resources <0.40> (44.63)

2.3.3.1.1 Class Session Palette <0.20> (60.00) 2.3.3.1.2 Participation/Collaboration Mechanisms <0.25> (62.50)

2.3.3.1.2.1 Hand Raising <0.25> (0)2.3.3.1.2.2 Class Member List <0.20> (100) 2.3.3.1.2.3 Synchronized Web Navigation <0.15> (100)2.3.3.1.2.4 Assistant Instructor Participation <0.20> (50)2.3.3.1.2.5 Workgroup Facility <0.25> (70)

2.3.3.1.3 Synchronous Resources. <0.25> (68.00)2.3.3.1.3.1 Streaming Slides <0.20> (0)2.3.3.1.3.2 Streaming Video <0.20> (100)2.3.3.1.3.3 Shared Applications (e.g., Whiteboard) <0.20> (50)2.3.3.1.3.4 Audio/Video Conference <0.20> (90)2.3.3.1.3.5 Chat <0.20> (100)

2.3.3.1.4 Virtual Lab <0.30> (0.00)

2.3.3.1.3 = 0.20 * 0 + 0.20 * 100 + 0.20 * 50 + 0.20 * 90 + 0.20 * 100 = 68 %

Límites del Modelo de Agregación Meramente Aditivo Límites del Modelo de Agregación Meramente Aditivo

Número limitado de componentes para la evaluación.Número limitado de componentes para la evaluación. peso promediopeso promediode cada componente es 1/n (o 100/n %). de cada componente es 1/n (o 100/n %).

Imposibilidad de modelar requerimientos obligatorios.Imposibilidad de modelar requerimientos obligatorios.

Imposibilidad de modelar requerimientos simultáneos. Imposibilidad de modelar requerimientos simultáneos.

Imposibilidad de modelar requerimientos suficientes.Imposibilidad de modelar requerimientos suficientes.

Malgasto en el esfuerzo de la evaluación. Malgasto en el esfuerzo de la evaluación.

Modelos de Estructuración y PuntajeModelos de Estructuración y Puntaje

Modelo LSP con 17 Operadores LógicosModelo LSP con 17 Operadores Lógicos

LSP LSP -- Tipos de Funciones de AgregaciónTipos de Funciones de Agregación

Funciones de Agregación SimplesFunciones de Agregación Simples (Relaciones de Entradas (Relaciones de Entradas Simétricas)Simétricas)

Funciones de Agregación CompuestasFunciones de Agregación Compuestas (Relaciones de Entradas (Relaciones de Entradas Asimétricas)Asimétricas)

Absorción Parcial Conjuntiva Absorción Parcial DAbsorción Parcial Conjuntiva Absorción Parcial Disyuntivaisyuntiva

Modelo LSP Modelo LSP -- Mecanismo de AgregaciónMecanismo de Agregación

1Usabilidad

2Funcionalidad

0.3

0.3

C-+ PreferenciaGlobal

3Confiabilidad

4 Eficiencia

0.2

0.2

Actividades en el Proceso de AgregaciónActividades en el Proceso de Agregación

Selección del tipo de relación lógica entre elementos y/o Selección del tipo de relación lógica entre elementos y/o componentes:componentes: es decir, cabe preguntarse: ¿es la relación entre las entradas es decir, cabe preguntarse: ¿es la relación entre las entradas con una polarización lógica conjuntiva, disyuntiva o neutra?con una polarización lógica conjuntiva, disyuntiva o neutra?

Selección del tipo de función conforme a la relación de Selección del tipo de función conforme a la relación de entradas entre elementos y/o componentes:entradas entre elementos y/o componentes: es decir, la cuestión es decir, la cuestión básica a considerar consiste en decidir ¿es la relación de entrabásica a considerar consiste en decidir ¿es la relación de entradas simétrica o das simétrica o asimétrica? asimétrica?

Selección del operador conforme al nivel de intensidad de Selección del operador conforme al nivel de intensidad de la polarización lógicala polarización lógicaSelección de la importancia relativa de cada entrada Selección de la importancia relativa de cada entrada conforme a los requerimientosconforme a los requerimientos (esto es, la selección de los pesos)(esto es, la selección de los pesos)

WebQEM_Tool WebQEM_Tool EjecuciónEjecución

Preferencias de Calidad GlobalPreferencias de Calidad Global

Characteristic and Sub-characteristics Amazon B&N Cúspide Díaz Stos Borders1. Usability 76.16 82.62 75.93 56.09 72.872. Functionality 83.15 80.12 61.69 28.64 61.452.1 Searching and Retrieving Issues 100 100 91 42.67 72.062.2 Navigation and Browsing Issues 70.71 69.85 73.25 64.12 51.952.3 Domain Specific Functionality and Content 81.99 76.53 45.81 14.42 61.552.3.1 Product Information 63.72 42.20 40.64 10.20 15.982.3.2 Purchase Features 91.76 84.84 67.72 17.11 81.922.3.3 Customer Features 100 85 20 28.08 652.3.4 Store Features 100 96.80 71.20 33.60 93.572.3.5 Promotion Policies 60 100 40 0 1003. Reliability 99.44 99.11 90.97 78.51 91.664. Efficiency 96.88 74.54 90.17 86.01 90.90Global Quality Preference 86.81 82.95 75.52 50.37 74.86

WebQEMWebQEM__Tool: Tool: InformeInforme





Consideraciones FinalesConsideraciones Finales

Los desarrollos Web tienen cada vez más Los desarrollos Web tienen cada vez más complejidad añadida y están creciendo rápidamentecomplejidad añadida y están creciendo rápidamente

Orientación a Documentación y a Funcionalidad de Orientación a Documentación y a Funcionalidad de AplicaciónAplicación

–– Sin embargo, las prácticas recientes para desarrollos Web han Sin embargo, las prácticas recientes para desarrollos Web han sido mas bien adsido mas bien ad--hochoc

–– Y el aseguramiento y el Y el aseguramiento y el control de la calidadcontrol de la calidad han sido, por lo han sido, por lo general, procesos poco tenidos en cuenta. general, procesos poco tenidos en cuenta.

–– Urge un cambio de paradigma para minimizar la crisis en la WebUrge un cambio de paradigma para minimizar la crisis en la Web

Web QEM realiza un aporte ingenieril mediante el uso de un Web QEM realiza un aporte ingenieril mediante el uso de un enfoque disciplinado y cuantitativo que se adecua a la enfoque disciplinado y cuantitativo que se adecua a la evaluación, comparación, análisis y recomendaciones de la evaluación, comparación, análisis y recomendaciones de la calidad Webcalidad Web

Describimos las fases y actividades principales y los Describimos las fases y actividades principales y los procedimientos para realizarlas.procedimientos para realizarlas.

Fase de Definición y Especificación de los Fase de Definición y Especificación de los Requerimientos de CalidadRequerimientos de Calidad

Determinación de Metas y Perfil de UsuarioDeterminación de Metas y Perfil de Usuario

Selección del Modelo de Calidad Selección del Modelo de Calidad –– Modelo fijo de CalidadModelo fijo de Calidad–– Defina su propio modeloDefina su propio modelo–– Modelo mixto de CalidadModelo mixto de Calidad

Especificación del Arbol de RequerimientosEspecificación del Arbol de Requerimientos–– Arbol de Requerimientos reusable para Dominios WebArbol de Requerimientos reusable para Dominios Web


Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación ElementalElemental

Criterios de Evaluación para cada Atributo CuantificableCriterios de Evaluación para cada Atributo Cuantificable–– Valores y RangosValores y Rangos–– Tipos de Criterios de Preferencia ElementalTipos de Criterios de Preferencia Elemental

Marco Descriptivo (Plantillas) de Características y Atributos Marco Descriptivo (Plantillas) de Características y Atributos –– Favorece la creación de documentos hiperenlazadosFavorece la creación de documentos hiperenlazados–– Modelo de TrazabilidadModelo de Trazabilidad

Recolección de datos Manual y Automático Recolección de datos Manual y Automático –– Website_MAWebsite_MA


Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación GlobalGlobal

Selección de un Modelo Cuantitativo que permita derivar y calculSelección de un Modelo Cuantitativo que permita derivar y calcular ar Subcaracterísticas y Características de más alto nivelSubcaracterísticas y Características de más alto nivel

–– Modelo meramente aditivo, linealModelo meramente aditivo, lineal–– Modelo noModelo no--lineal multiatributo, LSP lineal multiatributo, LSP

»» Fortalezas y DebilidadesFortalezas y Debilidades

Cálculo Automático Cálculo Automático –– WebQEM_ToolWebQEM_Tool


Fase de Análisis de Resultados y RecomendacionesFase de Análisis de Resultados y Recomendaciones

WebWeb--site QEM permite Comprendersite QEM permite ComprenderEl estado del arte de Sitios Web OperativosEl estado del arte de Sitios Web Operativos

–– Subcaracterísticas y Atributos Ausentes Subcaracterísticas y Atributos Ausentes –– Problemas de Diseño Problemas de Diseño (Interface, Navegación, Contenido, Performance, (Interface, Navegación, Contenido, Performance,

Funcionalidad ...)Funcionalidad ...)–– Requerimientos Pobremente ImplementadosRequerimientos Pobremente Implementados

Especificar y Controlar Requerimientos de Calidad para Nuevos Especificar y Controlar Requerimientos de Calidad para Nuevos ProyectosProyectos

WebWeb--site QEM permite realizar Recomendaciones para Mejorarsite QEM permite realizar Recomendaciones para Mejorarla Calidad de Productos Web la Calidad de Productos Web


EsquemaEsquema



El Método de Evaluación HeurísticaEl Método de Evaluación Heurística

---- InspecciónInspección

---- Basada en Guías HeurísticasBasada en Guías Heurísticas

---- ManualManual---- AutomáticoAutomático

FaseFase---- AnálisisAnálisis---- RecomendacionesRecomendaciones

---- Fácil de UsarFácil de Usar---- Efectivo en CostosEfectivo en Costos---- ImprecisoImpreciso


EvaluaciónEvaluaciónHeurísticaHeurística




En En EvaluaciónEvaluación Heurística Heurística uno o más uno o más evaluadores (expertos en el dominio) evalúan evaluadores (expertos en el dominio) evalúan independientemente un sitio Web, usando una independientemente un sitio Web, usando una Lista de Heurísticas. Lista de Heurísticas.

HeurísticasHeurísticas en el sentido de guías venidas de en el sentido de guías venidas de expertosexpertos

–– Principios, Rule of Thumbs (Reglas Prácticas)Principios, Rule of Thumbs (Reglas Prácticas)

Evaluación HeurísticaEvaluación Heurística, es la tarea de estimar el , es la tarea de estimar el estado de Usabilidad al aplicar RP establecidas y estado de Usabilidad al aplicar RP establecidas y derivar un puntaje para el sitio basado en cuan derivar un puntaje para el sitio basado en cuan próximo se cumplimentan los requerimientos próximo se cumplimentan los requerimientos establecidos (J. Nielsen).establecidos (J. Nielsen).

Método de Evaluación HeurísticaMétodo de Evaluación Heurística

En En EvaluaciónEvaluación HeurísticaHeurística el resultado del el resultado del proceso de evaluación es típicamente una lista proceso de evaluación es típicamente una lista de posibles problemas de Usabilidad; esto es, de posibles problemas de Usabilidad; esto es, violaciones RoT.violaciones RoT.

Los evaluadores luego de evaluar Los evaluadores luego de evaluar independientemente el sitio Web, determinan y independientemente el sitio Web, determinan y asocian grados de severidad para cada potencial asocian grados de severidad para cada potencial problema de Usabilidad. problema de Usabilidad.


Evaluación Heurística Evaluación Heurística es el método de es el método de inspección más informal aunque efectivo en inspección más informal aunque efectivo en costos. costos.

Con frecuencia, con RoT contradictorias!!!Con frecuencia, con RoT contradictorias!!!

Es un método rápido de aplicar, barato, fácil de Es un método rápido de aplicar, barato, fácil de usarusar..


Heurísticas para el atributo Texto de Página Heurísticas para el atributo Texto de Página Users prefer pages with more content as opposed to breaking Users prefer pages with more content as opposed to breaking content over multiple pages content over multiple pages (Landesman and Schroeder 2000).(Landesman and Schroeder 2000).Keep text short; use 50% less text than in print publications Keep text short; use 50% less text than in print publications

(Nielsen 2000).(Nielsen 2000).Break text up into smaller units on multiple pages Break text up into smaller units on multiple pages (Flanders 1998; (Flanders 1998;

Nielsen 2000).Nielsen 2000).

Heurísticas para el atributo Título de PáginaHeurísticas para el atributo Título de PáginaUse no more than 64 characters Use no more than 64 characters (Berners(Berners--Lee 1995).Lee 1995).

Use 2Use 2--6 words (406 words (40--60 characters) 60 characters) (Flanders 1998).(Flanders 1998).Use different page titles for each page Use different page titles for each page (Nielsen 2000).(Nielsen 2000).

Guías HeurísticasGuías Heurísticas

Heurísticas para el atributo Longitud del Texto del Heurísticas para el atributo Longitud del Texto del EnlaceEnlace

Use 2Use 2--4 words in text links 4 words in text links (Nielsen 2000).(Nielsen 2000).Use links with 7Use links with 7--12 “useful" words 12 “useful" words (Sawyer and (Sawyer and

Schroeder 2000).Schroeder 2000).

Heurísticas para el atributo Banner de PropagandaHeurísticas para el atributo Banner de PropagandaAds afect the user experience; integrate ads with Ads afect the user experience; integrate ads with content content (Klee and Schroeder 2000).(Klee and Schroeder 2000).Usability dictates that ads should be eliminated Usability dictates that ads should be eliminated

(Nielsen 2000).(Nielsen 2000).Ads increase credibility Ads increase credibility (Kim and Fogg 1999).(Kim and Fogg 1999).

Guías HeurísticasGuías Heurísticas

Heurísticas para ContenidoHeurísticas para Contenido..

Ultimately, users visit your website for its content. EverythingUltimately, users visit your website for its content. Everything else is just the else is just the backdrop ...backdrop ... J. NielsenJ. Nielsen

Contenido Contenido versusversus FuncionalidadFuncionalidadEscribir para la WebEscribir para la Web

Principio de la Pirámide InvertidaPrincipio de la Pirámide Invertida, Comenzar con la conclusión y , Comenzar con la conclusión y luego agregar detalleluego agregar detalleSer sucintoSer sucinto,, escribir no más del 50% del texto que hubiera usado escribir no más del 50% del texto que hubiera usado para cubrir el mismo material en un medio impreso para cubrir el mismo material en un medio impreso http://www.useit.com/alertbox/9703b.htmlhttp://www.useit.com/alertbox/9703b.html

(Testeos de lectura han mostrado que la lectura de un texto desd(Testeos de lectura han mostrado que la lectura de un texto desde las pantallas e las pantallas de PC es 25% más lento que desde un medio impreso)de PC es 25% más lento que desde un medio impreso)

»» Cantidad Total de Palabras en una PáginaCantidad Total de Palabras en una Página»» Promedio de Palabras por PáginasPromedio de Palabras por Páginas

Escribir para la WebEscribir para la WebLegibilidadLegibilidad,, usar colores con alto contraste entre el texto y el fondo usar colores con alto contraste entre el texto y el fondo

–– Legibilidad óptima requiere texto en negro y fondo blanco (textoLegibilidad óptima requiere texto en negro y fondo blanco (textopositivo)positivo)

–– Legibilidad casi óptima (texto negativo)Legibilidad casi óptima (texto negativo)

–– Porcentaje de Enfasis en las páginas del sitio Porcentaje de Enfasis en las páginas del sitio (medido como la cantidad de (medido como la cantidad de palabras en negrita, itálica y mayúscula, dividido la cantidad dpalabras en negrita, itálica y mayúscula, dividido la cantidad de palabras del sitio * 100)e palabras del sitio * 100)

Título de PáginaTítulo de Página,, diferentes páginas necesitan diferentes títulos diferentes páginas necesitan diferentes títulos (bookmark lists, history lists, overview diagrams, etc. Titles a(bookmark lists, history lists, overview diagrams, etc. Titles are also often used as the best way of re also often used as the best way of

listing retrieved pages in search engines)listing retrieved pages in search engines). . –– Cantidad de páginas con TITLE Cantidad de páginas con TITLE –– Porcentaje de presencia de páginas con TITLEPorcentaje de presencia de páginas con TITLE

Heurísticas para ContenidoHeurísticas para Contenido..

EsquemaEsquema



ConclusionesConclusiones

Web EngineeringWeb Engineering is concerned with the establishment is concerned with the establishment and use of sound scientific, engineering and and use of sound scientific, engineering and management principles and disciplined and systematic management principles and disciplined and systematic approaches to the successful development, approaches to the successful development, control, control, deploymentdeployment and maintenance of and maintenance of high quality high quality WebApps WebApps within budgetary constraintswithin budgetary constraints

Debemos seleccionar los métodos y prácticas Debemos seleccionar los métodos y prácticas apropiadas en el momento adecuado con el fin de apropiadas en el momento adecuado con el fin de Asegurar la Calidad de WebAppsAsegurar la Calidad de WebApps

One size does not fit all needs and preferences … however, we One size does not fit all needs and preferences … however, we ought to use some of them!ought to use some of them!

Dr. Luis Olsina Dr. Luis Olsina EE--mail:mail: [email protected]@ing.unlpam.edu.arURL:URL: http://gidis.ing.unlpam.edu.arhttp://gidis.ing.unlpam.edu.ar

Grupo de InvestigaciGrupo de Investigacióón y Desarrollo en Ingeniern y Desarrollo en Ingenieríía de Softwarea de SoftwareDepartamento de InformDepartamento de Informáática tica –– Facultad de IngenierFacultad de Ingenierííaa

Argentina©© 2002 GIDIS2002 GIDIS

Preguntas ?Preguntas ?Preguntas ?Preguntas ?

PROGRAMA CYTEDPROGRAMA CYTEDProyecto WEST: WebProyecto WEST: Web--OrientedOriented Software Software TechnologyTechnology

Documents

Tutorial: Métricas, Criterios y Estrategias para Evaluar … · Dr. Luis Olsina Tutorial: Métricas, Criterios y Estrategias para Evaluar Calidad Web • Métodos de Inspección