Embed Size (px)
Citation preview
Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Таисия ТолстуноваНИЦ СПб ЭТУ, Санкт-Петербург, Россия
Оценки тестированияполезные и условные метрики
Толстунова Таисия
В тестировании - 9 летВ тест-менеджменте - 6 лет
Коммерческие, гос.проектыПоследние 5 лет в основном гос.проекты
Оценки тестированияполезные и условные метрики
Кто я?
Что такое метрики?
Оценки тестированияполезные и условные метрики
Необходимы для:
•оценки процесса
•оценки результата тестирования
Оценки тестированияполезные и условные метрики
Что такое метрики?
Метрики, навязанные сверху
• Количество дефектов / единица времени
• Количество найденных дефектов / количествопофикшенных дефектов
• Количество дефектов / тысяча строк кода
Оценки тестированияполезные и условные метрики
Что может демотивировать?
• % покрытия
• таблица по функциям плотность дефектов / количество переоткрытых дефектов
• время на настройку / время на тестирование в целом
• время на ожидание версии / время на тестирование в целом
Оценки тестированияполезные и условные метрики
Соревновательные “ноты”
Важно: одинаковые условия (схожие продукты, похожие
итерации, примерно одинаковый уровень групп разработки)
Оценки тестированияполезные и условные метрики
Соревновательные “ноты”
Важно: одинаковые условия (схожие продукты, похожие
итерации, примерно одинаковый уровень групп разработки)
Например:
-время до первого дефекта
-критичность найденных дефектов
Оценки тестированияполезные и условные метрики
Зачем нужен свой набор метрик?
Оценки тестированияполезные и условные метрики
Зачем нужен свой набор метрик?
Определение цели ввода метрик
-для корректировки процесса
-для корректировки временных оценок
-для анализа результата
-для ответов на вопросы начальства в своем формате
Оценки тестированияполезные и условные метрики
Примеры метрик для процессов
тестирование требований
Оценки тестированияполезные и условные метрики
Примеры метрик для процессов
тестирование требований
• соотношение дефектов в % с приоритетами;
• соотношения временных затрат по итерациям, либо наборам
требований;
• соотношение запросов пользователей к требованиям по
результатам разработки прототипа и самого программного
продукта
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
• тестирование пользовательской документации
Оценки тестированияполезные и условные метрики
• разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
• тестирование пользовательской документации
• таблица приоритеты / % найденных вне отдела дефектов
документации
Оценки тестированияполезные и условные метрики
Оценки тестированияполезные и условные метрики
• метрики в процессе тестирования • метрика личной эффективности (план / факт)
• метрика количества параллельных задач или процессов (в
том числе для расстановки приоритетов)
• метрики для временных оценок (как правило
считаются по отделам, от которых мы зависим)
• метрики в процессе тестирования • метрика личной эффективности (план / факт)
• метрика количества параллельных задач или процессов (в
том числе для расстановки приоритетов)
• метрики для временных оценок (как правило
считаются по отделам, от которых мы зависим)
• для разных групп разработки: количество итераций с
блокерами и инициативой к итерации от разработчиков
(не в случае agile :)
• для разных групп разработки отличие планируемых
дат от фактической выдачи
Оценки тестированияполезные и условные метрики
Коммерческие и гос.проекты
Что такое коммерческий проект?- потребитель- заказчик- обратная связь от пользователей- что важно?- что можно менять?
Оценки тестированияполезные и условные метрики
Коммерческие и гос.проекты
Что такое коммерческий проект?- потребитель- заказчик- обратная связь от пользователей- что важно?- что можно менять?
Что такое гос.проект? - ТЗ- приёмка госзаказа (заказчиком / ОТК / ВП)
Оценки тестированияполезные и условные метрики
• что можно измерять в коммерческих проектах?
Коммерческие и гос.проекты
Оценки тестированияполезные и условные метрики
• что можно измерять в коммерческих проектах?
• что можно измерять в гос.проектах?
Коммерческие и гос.проекты
Оценки тестированияполезные и условные метрики
• Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
Оценки тестированияполезные и условные метрики
Могут быть одинаковые метрики?
• Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
• Почему же на самом деле это разные метрики?
Оценки тестированияполезные и условные метрики
Могут быть одинаковые метрики?
• Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
• Почему же на самом деле это разные метрики?
Выбор метрик:
• Коммерческий проект – критичность / используемость в обратной
связи от пользователей;
• Гос.заказ - % соотношение типов и приоритетов дефектов от
ОТК+ВП
Оценки тестированияполезные и условные метрики
Могут быть одинаковые метрики?
Работающие и неработающие метрики.
Оценки тестированияполезные и условные метрики
Важные вопросы:
• Соответствуют ли ваши метрики целям?
• А спущенные сверху метрики?
Оценки тестированияполезные и условные метрики
Работающие и неработающие метрики.
Спущенные сверху метрики Выбранные в соответствии
с целями метрики
Количество дефектов
в единицу времени
Качественные соотношения
приоритетов дефектов от ОТК
Найденные / пофикшенные
дефекты
Соотношение типов
пропущенных дефектов от
ОТК
Количество дефектов
на тысячу строк кода
% покрытия функционала
Оценки тестированияполезные и условные метрики
Работающие и неработающие метрики.Сравнение наборов метрик.
Посмотреть, какие еще бывают метрики:
• Доклады с предыдущих SQA
• SQA Days #17 – Monthly Operations
Review
• SQA Days #16 – Использование метрик
в процессе обеспечения качества
сложных систем
• SQA Days #15 – Waterfall revisited:
практические метрики тестирования
• Доклад на BBST Testing Course
Оценки тестированияполезные и условные метрики
Нужны свои метрики
