Mejorando SRec mediante el análisis de su utilización

1Antonio Pérez Carrasco - 16 / Mayo / 2012 - Mejorando SRec mediante el análisis de su utilización

Mejorando SRec mediante el análisis de su

utilización


• SRec, breve introducción• Cómo usan SRec los estudiantes• Archivos LOG: errores• Complemento para usabilidad• Conclusiones

índice


SRec, breve introducción


• Aplicación software para la representación de programas recursivos:– Vistas– Animación– Interacción

• Uso:– Cargar clase– Elegir método– Ejecutar– Visualizar

SRec, breve introducción


Cómo usan SRec los estudiantes


• Estudio en fase preliminar: cómo usan SRec los estudiantes– Queremos saber:

• Eficiencia en el uso (tiempo)• Número y tipo de los errores que tienen lugar• Cuántas visualizaciones crean hasta resolver el

problema• Tamaño de los ejemplos visualizados • …

– Recolección de datos de dos días de laboratorio (quinta evaluación de usabilidad de SRec)Tareas: depuración (1º) e implementación (2º)



• Estudio en fase preliminar: cómo usan SRec los estudiantes– Hemos recogido:

• Sesiones de trabajo• Errores

– Por cada sesión– De cada tipo

• Número de visualizaciones creadas• Número de veces que cargan clases• Número de exportaciones gráficas

– Queremos adaptar SRec a la manera en que ellos lo utilizan y necesitan



• Veces que se procesan clases JavaSpace

1048

21 (2,00%)

17 (1.62%)

GlobalSpace

565

11 (1,95%)

4(0,71%)

2º díaSpace

483

10 (2,07%)

13 (2,69%)

1º día

Procesamiento total de clases

Procesamientos con errores de valores

Procesamientos con errores de fichero



• Lanzamiento de métodosSpace

1020

802 (78,63%)

270

0,34

GlobalSpace

370

246 (66,49%)

93

0,38

2º díaSpace

650

556 (85,54%)

177

0,31

1º día

Total de métodos lanzados

Lanzamientos satisfactorios de métodos

Total de exportaciones gráficas

Ratio de exportaciones gráficas por visualización generada



• Tamaño de vectores usadosSpace

938

17 (1,8%)44 (4,7%)86 (9,2%)336 (35,8%)189 (20,1%)121 (12,9%)40 (4,3%)20 (2,1%)25 (2,7%)37 (3,9%)23 (2,5%)

GlobalSpace

338

12 (3,6%)32 (9,5%)62 (18,3%)177 (52,4%)31 (9,2%)14 (4,1%)3 (0,9%)1 (0,3%)1 (0,3%)4 (1,2%)1 (0,3%)

2º díaSpace

600

5 (0,8%)12 (2,0%)24 (4,0%)159 (26,5%)158 (26,3%)107 (17,8%)37 (6,2%)19 (3,2%)24 (4,0%)33 (5,5%)22 (3,8%)

1º día

Número total de vectores utilizadosArrays con longitud = 1Arrays con longitud = 2Arrays con longitud = 3Arrays con longitud = 4Arrays con longitud = 5Arrays con longitud = 6Arrays con longitud = 7Arrays con longitud = 8Arrays con longitud = 9Arrays con longitud = 10Arrays con longitud = 11



• Número de erroresSpace

362

89 (25%)

55 (15%)

176 (49%)

26 (7%)

16 (4%)

GlobalSpace

183

32 (17%)

25 (14%)

112 (61%)

4 (2%)

10 (5%)

2º díaSpace

179

57 (32%)

30 (17%)

64 (36%)

22 (12%)

6 (3%)

1º día

Errores totales

Errores de parámetros

Errores especific. DYV

Errores de ejecución

Errores de sist. ficheros

Otros

Depuración de algoritmo

dado

Programación desde cero

Archivos LOG: Errores

Métodos lanzados: 650-370 (8,6%)

Clases cargadas: 483-565 (6,2%-4,4%)


Archivos LOG: conclusiones


• Procesamiento de clases:– Genera un nivel muy bajo de problemas

relacionados con la usabilidad (~2%)

• Lanzamiento de métodos:– Número constante de errores al introducir valores

de parámetros (~8%)– Necesario mejorar gestión de errores en tiempo

de ejecución:• Más información sobre qué sucede y dónde• Alternativas para abrir/gestionar la visualización aun

en caso de errores



• Exportaciones gráficas:– Suele ser necesario primer uso para ver

restricciones y comportamiento de la funcionalidad, explica el decrecimiento de uso

• Uso de vectores extremadamente pequeños– 70%: no más de 5 posiciones– 50%: no más de 4 posiciones– Alta elección de números no potencia de 2

(4,5,6,3,2,7,10,9,11,8,1)



Complemento para estudiar la usabilidad


• Enmarcado en sesión de evaluación de usabilidad• Usabilidad es:

– la usabilidad es la capacidad de ser comprendido, aprendido, usado así como de resultar atractivo para el usuario, traduciéndose en eficacia, eficiencia y satisfacción a la hora de alcanzar ciertos objetivos para una serie de usuarios concretos en determinadas condiciones de utilización.

• Organización Internacional para la Estandarización (conocida por sus siglas ISO)



• Enmarcado en sesión de evaluación de usabilidad• En ella se obtuvo en total

– Cuestionarios

– Informe alumno

– Observaciones

– Registros LOG


Comprendido

Aprendido

Usado

Atractivo

Eficaz

Eficiente

Satisfacción


• Observaciones sobre los usuarios– 40,81% usó papel (20 estudiantes)

• Trazas, grafos, cálculos…• “Modo predicción” será un trabajo futuro

– 22,45% tuvieron al menos 1 problema (11)• Tuvieron que esperar hasta tener respuesta del

profesor

– 10,2% usó un IDE para programar (5)– 8,16% configuró el formato tipográfico de SRec

(4 alumnos) – 4,08% usó un editor de texto plano (2)



• Cuestionarios, conclusiones generales:– Mejorar visualización de árboles grandes– Simplificar el cargado de clases– Hacer más intuitivas las opciones de menú y los

iconos de la barra de herramientas• Cuestionarios, aceptación

personal:– Escala 1..5



• Conclusiones:– Errores:

• Decrecen rápidamente• No suponen un alto número• Dependen de la tarea

– Uso de papel para predecir y depurar– No usaron el editor de SRec

• Porque no era avanzado• Porque no era clara la manera de usarlo• Porque no supieron que podían editar código en SRec

Conclusiones


• Implicaciones:– Mejorar el editor de código

• Más posibilidades, más visibilidad

– Simplificar el proceso de carga de clases• Menos pasos o sólo si es necesario

– Mejorar la asistencia ante errores de ejecución• Más información, alternativas para visualización

– Ofrecer nuevos modos de funcionamiento• Permitir predicción

Conclusiones


¡Muchas gracias!

Documents

Mejorando SRec mediante el análisis de su utilización