Как задавать требования к качеству ПО в цифрах? Денис Бесков

Школа системного анализа

2

Вопросы:

1.Что такое качество?

2.Как его задать?

3.Как выбрать конкретные значения?

3

Обзор

1. Качество как явление

2. Модель качества

3. Атрибуты и показатели качества продукта

4. Атрибуты и показателикачества в использовании

5. Классы систем

6. Профили качества

7. Влияние стадии зрелости

8. «Инструкция» по применению

4

КАЧЕСТВО КАК ЯВЛЕНИЕ

5

Качество как явление

Качество X — это соответствие(свойств) Xожиданиям ключевых заинтересованных лиц

Оценка X

Ожидания от X

Нормальное ВысокоеНизкое

6

МОДЕЛЬ КАЧЕСТВА ПО

7

Модель качества ПО

ПО

Пользователь РазработчикДругое ПО

1.Внешнеекачествопродукта

2.Внутреннеекачествопродукта

3. Качество в использовании

8

АТРИБУТЫ КАЧЕСТВА

9

Рассматриваемые атрибутыАтрибуты качества продукта(product quality attributes)1. Производительно

сть2. Эффективность3. Надёжность4. Доступность5. Безопасность6. Масштабируемос

ть

Атрибуты качества использования(quality in use)1. Скорость работы2. Результативность3. Точность4. Скорость обучения5. Удовлетворённост

ь6. Утомляемость

10

УРОВНИ КАЧЕСТВА

11

Уровни качества

0 — Низкий1 — Средний2 — Высокий3 — Исключительный

12

АТРИБУТЫ И ПОКАЗАТЕЛИ КАЧЕСТВА ПРОДУКТА

13

Атрибуты качества продукта

1.Производительность2.Эффективность3.Надёжность4.Доступность5.Безопасность6.Масштабируемость

14

Производительность (П)

Показатель / Уровень

0 1 2 3

П1.1. Количество одновременно работающих пользователей

1+ 10+ 100+ 1 K+

П1.2. Частота запросовот пользователя в минуту - <= 4

<= 10

<=100

П1.3. Количество исполняемыхтранзакций в секунду

- 3+ 50+1500

+

П2.1. Длительность типовых операций/транзакций,для % случаев

80% -<=

5 сек<=

3 сек<=

1 сек

95% -<=10 сек

<=5 сек

<=3 сек

15

Эффективность (Э)

Показатель / Уровень 0 1 2 3

Э1.Количество операций /(секунду * стоимость оборудования, k$)

- 3 + 5 + 15+

16

Надёжность (Н)

Показатель / Уровень 0 1 2 3

Н1.Вероятность сбоя(без ущерба для безопасности)

- 5% 1%0,1%

Н2.Время восстановления после сбоя

-<=5

мин

<=30 сек

<=5

сек

17

Доступность (Д)

Показатель / Уровень

0 1 2 3

Д1.Коэффициент доступности

50% 96% 99% 99,9%

Д1.1.Допустимое времяпростоя в час, минут

30 мин

3 мин 1 мин 1 сек

Д1.2.Допустимое времяпростоя в день, часов

12 ч 1 ч15

мин15 сек

Д1.3.Допустимое времяпростоя в месяц, часов

360 ч 30 ч 7 ч 1 мин

18

Безопасность (Б)

Показатель / Уровень

0 1 2 3

Б1.Стоимость НСД/взлома, k$

0 1 + 30 + 1 000 +

Б2.Вероятность утечки данныхв результате сбоя

- < 0,1%

< 0,01

%

< 0,001

%

19

Масштабируемость (М)

Показатель / Уровень

0 1 2 3

М1.Характер зависимости времени выполнения транзакций или стоимости ресурсов от нагрузки

Степенной, где

показатель > 1

Линейный

Степенной, где

показатель < 1

Логариф-

мический

M2. Стоимость десятикратного увеличения мощности системы

> 1000% 400-900%

< 200% < 100%

20

АТРИБУТЫ КАЧЕСТВА ИСПОЛЬЗОВАНИЯ (QUALITY IN USE)

21

Атрибуты качества использования

1.Скорость работы2.Результативность3.Точность4.Скорость обучения5.Удовлетворённость6.Утомляемость

22

Скорость работы пользователя (СР)Показатель / Уровень

0 1 2 3

СР1.1Среднее время выполнения учётных* сценариев, в % случаев

80% - < 5 мин

< 3 мин < 1 мин

95% - < 15 мин

< 5 мин < 3 мин

СР1.2Среднее время выполнения сложных** сценариев, в % случаев

80% - < 15 мин

< 10 мин < 5 мин

95% - < 30 мин

< 15 мин

< 10 мин

СР1.2Среднее время выполнения поисковых сценариев, в % случаев

80% - < 3 мин

< 1 мин

< 20 cек

95% - < 10 мин

< 3 мин < 1 мин

* — учётные сценарии — не больше 2 экранов и 20 полей** — сложные сценарии — не больше 7 экранов и 100 полей

23

Результативность (Р)

Показатель / Уровень

0 1 2 3

Р1.Процент успешного завершения сценариев необученным пользователем

- > 66% > 80% >

95%

24

Точность (Т)

Показатель / Уровень

0 1 2 3

Т1.Процент совершённых ошибок

> 10% < 10% < 5% < 2%

25

Скорость обучения (СО)

Показатель / Уровень

0 1 2 3

СО1.Длительность обучения, необходимая для доведения результативности до 95%

> 4 часов

< 4 часов

< 10 минут

0 мин

26

Удовлетворённость (УД)Показатель / Уровень

0 1 2 3

УД1.Средняя оценка пользователями

Ниже ожидани

й

На уровне ожиданий

Выше ожидани

й

Один из лучших продуктов из

испробованных

27

Утомляемость (УТ)

Показатель / Уровень

0 1 2 3

УТ1.Время непрерывной работы, после которой число ошибок вырастает больше, чем на 20%

> 1 мин

> 5 мин

> 20 мин

> 45 мин

28

КЛАССЫ ПО И СИСТЕМ

29

Классы по ГОСТ 28195-89 5012 - программные средства управления базами данных;5013 - инструментально-технологические средства программирования;5014 - ПС интерфейса и управления коммуникациями;5015 - ПС организации вычислительного процесса (планирования, контроля);5016 - сервисные программы;5017 - ПС обслуживания вычислительной техники;503 - прикладные программы для научных исследований;504 - прикладные программы для проектирования;505 - прикладные программы для управления техническими устройствами и технологическими процессами;506 - прикладные программы для решения экономических задач;509 - прочие ПС.

30

Полезные сейчас классы1. Обычные сайты:1.1. Home Site1.2. Business Site

2. Мобильные приложения:2.1. Consumer Mobile App2.2. Enterprise Mobile App

3. Интернет-магазины инастольные приложения:

3.1. Consumer WebShop3.2. Consumer Desktop App

4. Компоненты:4.1. Заказной компонент4.2. Тиражируемый компонент

5. Заказное ПО:5.1. Custom Enterprise Desktop App5.2. Custom Enterprise Service

6. ПО для компаний:6.1. Enterprise Desktop App6.2. Enterprise Server App

7. Интернет-сервисы:7.1. B2C SaaS7.2. B2B SaaS

31

ПРОФИЛИ КАЧЕСТВА

32

Профили качестваКласс системы П Э Н Д Б М С

Р Р Т СО

УД

УТ

Home Site 0 1 1 0 0 0 0 0 0 2 - -

Business Site 1 1 1 1 1 1 1 2 1 3 1 2

Consumer Mobile App 1 1 1 1 1 1 2-3 2 2 3 2-

3 2

Enterprise Mobile App 1 1 2 1 2 1 1 1 1 2 - 2

Consumer Web Shop 2 2 2 1 2 2 3 3 3 3 2 2

Consumer Desktop App 2 1 2 2 2 1 2 2 2-3 2 2-

3 3

Заказной компонент 2 2 3 3 3 2 - - - - - -

Тиражируемый компонент 3 3 3 3 3 3 - - - - - -

Custom Enterprise Desktop App 2 2 2 1 2 1 2 1 2-

31-2 1 3

Custom Enterprise Service 2 1 3 2 3 2 - - - - - -

Enterprise Desktop App 2 2 2 2 3 2 2 2 3 1-2 1 3

Enterprise Server App 3 3 3 3 3 2 - - - - - -

B2C SaaS 3 3 3 3 3 3 2 3 3 2 2 2

B2B SaaS 3 3 3 3 3 3 2 2 3 2 1 3

33

Стадии зрелости ПО и коэффициенты

-3 Прототип-2 Ранняя бета-1 Демо-версия0 Промышленная версия

34

ИНСТРУКЦИЯ ПО ПРИМЕНЕНИЮ

35

Инструкция по применению1. Определите класс системы2. Определите уровень

зрелости3. Выберите нужный профиль

качества по классу системы4. Учтите уровень зрелости

36

СТАНДАРТЫ

37

Стандарты по качеству ПО• ГОСТ 28195-89Оценка качества программных

средств. Общие положения• ГОСТ 28806-90 Качество программных

средств. Термины и определения• ISO/IEC 25010:2011, Systems and software

engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models

• ISO/IEC 25030:2007, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements

38

СПАСИБО !