Измерение Production инцидентов: цена качества · Avito О себе. План: • Погружение в контекст • Типовые ситуации

Дмитрий Химион Avito

1

Измерение Production инцидентов: цена качества

2

Дмитрий Химион

Head of Quality Assurance в Avito

О себе

План:

• Погружение в контекст

• Типовые ситуации из опыта работы с инцидентами

• Как процесс работает в Авито

• Измерение инцидентов

• Тонкие моменты

• Итоги

• Вопросы

3

• ≈ 40 кросс-функциональных команд

Погружение в проблематику

4

• ≈ 40 кросс-функциональных команд

• > 1 инцидента в рабочий день


5

1 инцидент на команду в месяц

• ≈ 270 Production инцидентов в год


6

• №1 Well known

7

Погружение в проблематику. Прозрачность

8

Что-то упало, подняли… Не понятно, что это было…

Такое больше не повторится…

• №1 Well known

• №2 Who knows?!


9

• №1 Well known

• №2 Who knows?!

• №3 Полтергейст

RPS


10

Погружение в проблематику. Видимость&Опасность

User

Critical отчет

Бизнес данные

11


old connection

new connection

old master

new master

Read only

Микро-сервис

12


Микро-сервис

DNS resolving

replica

master

13

Инцидентов не избежать – учись с ними работать!

14

Как процесс Live Site Review построен в Авито

ВнешнийProduction incident

15


ВнешнийProduction incident

ВнутреннийInternal incident

16


1

17


1 2

18

Для простых, маленьких и понятных инцидентов


19


команда

1. Влияние

2. Первопричина

3. Триггер

4. Как ликвидировали

5. Как обнаружили

6. Action Items

7. Платформа

8. Команда

20


Ключеваяинформация по

инциденту

Влияние!

Первопричина

Триггер

Как ликвидировали

Как обнаружили

Action Items

Платформа

Команда

21


1.Пользователи2.Деньги3.Данные

> 20 «sorry-points» – на встречу

Влияние


Триггер



Action Items

Платформа

Команда

22


1. Не протестировали2. Нет анализа изменений3. Нет обратной совместимости4. Кривая конфигурация5. Игнорировали риск

Влияние


Триггер



Action Items

Платформа

Команда

23


Катализатор

проявлениядефекта

Влияние


Триггер



Action Items

Платформа

Команда

24


Time line:02-14 18:07 Выкатка релиза https://jr.ru/AV-5586302-14 18:26 Сработал триггер http://m.k.a.ru/triggerВ этот раз никто из команды не проверил, что триггер откатился обратно02-14 23:28 Появился тред https://slack от саппорта02-14 23:56 Мне позвонили, сообщили о проблеме02-15 00:04 Локализовали проблему, подняли кипиш02-15 01:24 Nikolay подготовил хотфикс http://stash02-15 02:14 Хотфикс раскатился02-15 02:16 Запросы пришли в норму

https://jr.avito.ru/browse/AVPM-55863

http://moira.k.ru/trigger

https://avito.slack.com/archives/C8HRW7G1M/p1550172538283500

https://jr.avito.ru/secure/ViewProfile.jspa?name=nmozharov

http://stash.msk.avito.ru/projects/AV/repos/avito-site/pull-requests/33583/overview

Влияние


Триггер



Action Items

Платформа

Команда

25


1. Исправили на Canary релизе2. Заметили быстрее пользователей3. Узнали из мониторинга4. Сообщение от саппорта5. От руководителя

6. Из СМИ

Влияние


Триггер



Action Items

Платформа

Команда

26


1. Настроить мониторинг2. Настроить alert3. Написать авто-тесты4. Добавить активность в грумминг5. Изменить инженерные практики6. Рефакторинг компонента

Влияние


Триггер



Action Items

Платформа

Команда

27


1. Android2. iOS3. Web4. API5. Service layer6. Storage layer7. Hardware layer8. Kubernetes layer

Влияние


Триггер



Action Items

Платформа

Команда

28


SellerX, BuyerX, Billing, Monetization, ….

29

Что измеряем?

1. Клиентский капитал

2. Финансовые потери

3. Потеря данных

30


1. Клиентский капитал



1. Пользователи видели баг2. Продуктовые конверсии3. Регистрации4. Авторизации

31

1. Клиентский капитала




1. Потенциально недополученная прибыль

2. Провалы в биллинге3. Монетизационные инструменты

32

1. Клиентский капитала




1. Аналитические данные2. Пользовательские данные3. Технические данные

33

Измерение инцидентов. Клиентский капитал

= { X*30 ; X*300 }

{ 11,4K; 114,3K }

34

Измерение инцидентов. Финансовые

«sorry-points»

Biggest ≈ 130 sorry-points

35

Измерение инцидентов. Потеря данных

≈2 million user requests

36


≈90 регистрацийпользователей

37


Контакты между пользователями

38

Тонкие моменты

1. Распространение практики

Development culture


2. Временной ресурс

39



2. Временной ресурс

3. «Люркинг» людей

40


Для инженеров:

• Инцидент?! - «Устраняй ➜ Описывай ➜ Обсуждай»

• «Мы готовы к инциденту» vs «Пытаемся избежать всёго»

• Источник аргументов для приоритезации технических задач

Для руководителей:

• Понимание влияния сбоев на результат работы бизнеса

• «Рука на пульсе» состояния инженерии в XL разработке

• Принятие сложных решений своевременно

Итоги

41

Дмитрий Химион Head of Quality Assurance

Вопросы?

42

dmitry.khimion

Дмитрий Химион Head of Quality Assurance

Всем спасибо!

43

dmitry.khimion

Documents

Измерение Production инцидентов: цена качества · Avito О себе. План: • Погружение в контекст • Типовые ситуации