Nueva norma 29119

Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015

Dr. Hermann Steffen

UDELAR

Dr. Hermann Steffen

UDELAR

La nueva norma

UNIT ISO/IEC/IEEE 29119

Pruebas de Software

La nueva norma

UNIT ISO/IEC/IEEE 29119

Pruebas de Software


2911929119

Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 3

Antecedentes y contexto

Descripción de la norma

Beneficios e implantación

Conclusiones

Normas, Institutos y Certificaciones


Producto final integrado…

4


Componentes fabricados en 4 países…

5


Y más de una docena de sitios principales…

6



Pruebas unitarias de stress para alas…

8


• Importancia creciente de la actividad de Pruebas de

Software

o Dispersión de esfuerzos y falta de coherencia/completitud

o ISO no poseía una norma específica

• Se proponen unificar e integrar normativa actual

proveniente de tres grandes fuentes

o BSI, IEEE e ISO JTC 1

o Debe ser aplicable para todo tipo de software y de sistemas de uso

intensivo de software

o Inicio de trabajos específicos en 2007

o las partes 1, 2 y 3 fueron publicadas en 2013.

Nueva norma UNIT ISO/IEC/IEEE 29119

9


• Importantes institutos de normalización

o Alemania, India, Gran Bretaña, Holanda, Corea del Sur, África del

Sur, China, Argentina, …

• Agencias nacionales de “software testing”

o China, US Department of Defense, Malasya, Corea del Sur,

• Grandes empresas de TI

o SAP, IBM, Microsoft, Sogeti, NEC, TCS, …

• Grandes empresas

o Lookhead Martin, UBS, Hitachi, Samsung, Sony, Fujitsu, Xerox

o Universidades y centros de investigación de Holanda, Francia,

India, China, Japón, España, Hong Kong, …

Miembros constituyentes….

10


• Aumento de la importancia y criticidad del software

embarcado en productos industriales

• Aumento de las exigencias de calidad en los productos

• Explosión de dispositivos, metodologías, lenguajes,

ambientes de desarrollo…

• Incremento de la importancia de las Pruebas de

Software por parte de la comunidad de TI

• Fuerte impulso a la profesionalización y certificación

de personas por parte de ISTQB y otros

Motivaciones y contexto

11


• Organizada en 4 Partes:

• ISO/IED/IEEE 29119-1 – Conceptos y Definiciones

• ISO/IED/IEEE 29119-2 – Procesos de Prueba

• ISO/IED/IEEE 29119-3 – Documentación de la Pruebas

• ISO/IED/IEEE 29119-4 – Técnicas de Prueba

• ISO/IED/IEEE 29119-5 – Pruebas Guiadas por Palabra-

Clave (en borrador…)

Familia de la norma 29119

12


• Parte 1: Conceptos y definiciones

o BS 7925-1: 1998 Vocabulary of Terms in Software Testing

o IEEE 661

o ISTQB Definición de Terminología

• Parte 2: Procesos de Prueba

o BS 7925-2: 1998 Software Component Testing Standard

o IEEE 1008-1989 y 2009: Unit Testing

• Parte 3: Documentación de Pruebas

o IEEE 829:2008 Test Documentation

• Parte 4: Técnicas de Prueba

o BS 7925-2: 1998 Software Component Testing Standard

Nueva norma 29119 – Antecedentes

13





Conclusiones



• Es de tipo informativa

• Presenta

o Definiciones que serán utilizadas en la serie ISO 29119

o Conceptos de Prueba de Software

o Pruebas en diferentes Ciclos de Vida

• Secuencial

• Ágil

• Incremental

o Roles y Responsabilidades

o Anexos : Métricas, Ejemplos, Bibliografía

o Establece directrices para otras normas de la Serie

Parte 1 – Conceptos y Definiciones

15


• Capítulo 5: Conceptos de pruebas de software

o 5.2. Pruebas de Software en un Contexto Organizacional y de

Proyecto

o 5.3. Procesos de Prueba genéricos en el Ciclo de Vida del Software

o 5.4. Pruebas basada en Riesgo

o 5.6. Prácticas de Prueba

• Basadas en Requerimientos, en Modelos, en la Experiencia, con Guion

o 5.7. Automatización de Pruebas

o 5.8. Gestión de Defectos

Parte 1: Conceptos y Definiciones

16


• Anexo A – Rol de la pruebas en la Verificación y

Validación

• Anexo B – Métricas y Medidas

• Anexo C – Pruebas en diferentes Modelos de Ciclo de

Vida (Agiles, Secuenciales, Evolutivas)

• Anexo D – Ejemplos (ilustrativos)

• Anexo E – Roles y Responsabilidades en las Pruebas

Parte 1 : Anexos con ejemplos

17


• Se identifican 3 niveles de procesos

o Procesos de Prueba en la Organización

• Política de Pruebas

• Estrategia de Pruebas

o Procesos de Gestión de las Pruebas

• Planificación

• Control y Seguimiento

• Cierre o Finalización

o Procesos de Pruebas Dinámicas

• Diseño e Implementación

• Gestión del entorno

• Ejecución

• Reporte de Incidencias

• Se presentan bajo formato gráfico (ISO 24774)

Parte 2: Procesos de Pruebas

18


3 niveles de Procesos de Pruebas

19

1

2

3


• Jerarquía de Procesos

o Propone momentos y responsabilidades diferentes

o Recoge principios de organización donde existen responsables de

alto nivel, con visión y responsabilidad amplia y de largo plazo

• Nivel 1: Definiciones a nivel Empresa

o Características comunes a todos los productos o servicios de la

Organización: Política y Estrategia de Pruebas

• Política de Pruebas

o Objetivos de las pruebas

o Procesos a ser seguidos

o Estructura organizativa

o Principios éticos a ser respetados

o Formación

o Normativas

Conceptos implícitos (nivel 1)…

20

• Estrategia de Pruebas

o Gestión del Riego

o Criterios de priorización de

pruebas

o Documentación a ser generada

o Identificación de herramientas

o Gestión de incidentes


1 2 3

Nivel 2 (Gestión)

Sub Nivel 2 (Gestión)


• Es necesario contar con un Plan de Pruebas

o Visión general del proyecto Pruebas, teniendo en cuenta la

integración con el proyecto de Desarrollo y de los Riesgos

o Identificar a las partes interesadas y generar canales de

comunicación

o Evaluar y determinar el alcance y recursos necesarios

o Obtener las aprobaciones gerenciales necesarias

• El Plan podrá ser modificado durante el proyecto

o Se asume que habrá un proceso interactivo, vinculado con la

realidad y descubrimientos ocurridos durante el proyecto

• Visión a largo plazo

o Instaura las actividades de “cierre de Pruebas”

• Resguardar todo y prepararse para futuras versiones. Puede ser por tipo

específico de pruebas y luego por la totalidad del proyecto

• Hacer síntesis de Lecciones Aprendidas para la mejora continua


22


2

Nivel 2 (Gestión)


1

2

3

4

Nivel 3


• Aplicable a fases de prueba (Unitaria, Integración,

sistema, aceptación)

• Aplicable a un tipo específico de prueba (desempeño,

seguridad, usabilidad…)

• Diseño/Concepción separado de Ejecución

o La concepción de las Pruebas (y casos de Prueba) es una tarea de

alto valor agregado y especialización. Es objeto de un proceso

específico y previo a la Ejecución.

o La construcción del Entorno de Pruebas es una actividad específica

y puede ser sumamente compleja

• Registrar los resultados de las pruebas

o Así sea de forma simple, permite medir el avance y hacer un

balance de los resultados. Es un insumo fundamental para la

decisión gerencial de “cierre de pruebas”


25


• Propone plantillas para generar la documentación

o Planes, seguimiento e informes generados durante la ejecución de

los procesos

o Se presentan ejemplos en los Anexos. Incluye versiones diferentes

si se trata de proyectos Agiles o “tradicionales”

• Sustituye a IEEE 829

o Reutiliza gran parte de las ideas, pero las simplifica

o Estructura la documentación en los 3 niveles de procesos

• Dosificar la documentación

o Evitar crear demasiada documentación. Recoge ideas

provenientes de enfoques Agiles.

o No definen un conjunto mínimo obligatorio de documentación. Los

usuarios deciden qué documentación es pertinente y necesaria

para su proyecto.

Parte 3 : Documentación

26


• Documentación asociada a los procesos

o Nivel Organizacional

• Política y Estrategia Organizacional

o Nivel Gestión

• Plan de Pruebas

– Puede haber un Plan de Pruebas a Nivel Proyecto y n Planes de Prueba

por Nivel (Unitario, Integración…) o Característica (Desempeño,

Usabilidad…).

• Informe de Cierre

o Nivel Pruebas Dinámicas (se repite a cada nivel o característica)

• Especificación de Concepción de Pruebas.

• Especificación de Casos de Prueba.

• Especificación de Procedimientos de Prueba

• Registro/Trazabilidad de ejecución de pruebas

• Informe de Incidentes

• ….

Parte 3 : Documentación en 3 niveles

27


• Técnicas para el diseño de pruebas

o Basadas en las Especificaciones (Caja Negra)

• Particiones de Equivalencia, Transición de Estados, Tablas de Decisión, Grafos

de Causa-Efecto, User Cases…

o Basadas en Estructura del código de los programas (Caja Blanca)

• Cobertura de Decisiones y de Condiciones, Flujo de Datos

o Basadas en la Experiencia

• Medidas de cobertura de las pruebas

• Anexos

o Características de la calidad del software (ISO 25010…) y pruebas

específicas : Accesibilidad, Compatibilidad, Interoperabilidad,

Performance, Seguridad, Usabilidad, Estabilidad…

o Guías y ejemplos de aplicación de las diferentes técnicas de diseño

o Efectividad en el cálculo de la cobertura

Parte 4: Técnicas Diseño de Pruebas

28





Conclusiones



• La norma tiene vocación de Referencial, de Guía

o Su adopción puede ser parcial y progresiva

• Elementos claves:

o Diferenciar los 3 niveles de actividad/responsabilidad

o Existencia de un equipo (interno) de Pruebas

o Definición de objetivos de calidad del Producto y de las Pruebas

o La implementación de Procesos permite trabajar por etapas y

realizar validaciones

o Especializar y profesionalizar la actividad de Concepción de

Pruebas, separada de la Ejecución de Pruebas (y obviamente de la

programación)

o Aplicar las principales técnicas de pruebas

o Utilizar la noción de Riesgo para el Plan de Pruebas

Beneficios e implementación

30





Conclusiones



• ISO 29119 llega oportunamente

• Propone ideas fundamentales, actuales y adecuadas

o Pruebas basadas en la noción de riesgo

o Tener en cuenta el contexto

o Usar Procesos

• Mantiene un buen nivel de flexibilidad

o Para adaptarse a gran variedad de tipos de proyectos

• Impulsa la profesionalización de la actividad de

Pruebas de Software y la calidad de los productos

Conclusiones

32


Muchas graciasMuchas gracias

Documents

Nueva norma 29119