Пост-мортем Робота на помилками

Юрий Литвиненко VP of Engineering @ Kreditech Partner @ SCRUMguides

Трохи історії

Що ви робите, коли виникає проблема?

Проблема• Виправити

• Проаналізувати причини

• Вжити запобіжних заходів

• Повернутися до роботи

Common sense

Common sense

Common practice≠

Проблема

• Виправити

• (іноді) Знайти і покарати винуватих

• Повернутися до роботи

Common practice

Шукати винуватих - шкідливо

• Не помиляється лише той хто нічого не робить

• Страх помилки паралізує

• Складні системи ламаються

• Помилки виникають тому що поточний підхід їх допускає

Якщо зупинитися і порозмислити…

Відповіді на питання• Що було справжньою причиною?

• Чи дійсно виправили її, а не симптом?

• Як швидко виявили проблему? Автоматично чи користувачі?

• Як швидко взяли в роботу? Чи був пінг-понг?

• Як довго виправляли?

• Як запобігти? Якщо неможливо, як знизити втрати?

• Як мінімізувати час на виявлення, виправлення і т.д.

• Скільки зусиль на це потратити?

Постмортем• Інструмент безперервного покращення і навчання

• Дозволяє запобігти повторення проблем

• База знань

• Ділитися досвідом з іншими

• Прозорість

Використовують• Google

• Amazon

• Etsy

• Facebook

• https://github.com/danluu/post-mortems

Зменшити збитки,

бажано до 0

Як зменшити збитки?

• Запобіжні заходи

• Зменшення часу від того як проблема з’явилася до її вирішення

Структура

• Запобіжні заходи

• Аналіз корінних причин

• Реконструкція

• Оцінка збитку

Шаг 1: Оцінка збитку• Як business value (гроші, KPI компанії)

• Прямий, непрямий та потенційний

• Приблизна оцінка

• Люди бізнесу знають краще!

Шаг 2: Реконструкція• Перелік ключових подій

• Тільки факти

• Достатній рівень деталізації

• Остерігайтесь повзучого детермінізму (hindsight bias)

Hindsight Bias

Шаг 3: Аналіз корінних причин

• 5 чому

• Без звинувачень (blameless)

• Hindsight bias

5 чому• Задавайте питання “Чому?”, доки не дійдете до суті.

• Часто 5 чому достатньо

• Вимагає практики

• З Toyota Production System

Без звинувачень

• Вася закомітив код с багом

• Вася закомітив код с багом тому що він тупий

• Вася, гад такий, закомітив код с багом в наш репозиторій

Шаг 4: Запобіжні заходи• Як

• запобігти

• зреагувати скоріше

• зменшити збиток

• Зусилля <==> Збиток

• Фокус – на те, що можемо змінити самі

Спосіб подачі

• Оцінка збитку

• Реконструкція

• Аналіх корінних причин

• Запобіжні заходи

Спосіб подачі• Запобіжні заходи

• Оцінка збитку

• Корінні причини

• Аналіз корінних причин

• Реконструкція

RCAImpact

Analysis Mitigation

• As business value • Direct, indirect, or potential • Approx. estimation • Ask business people!

• Key events with timestamps • Who was involved • How tried to fix • How it was fixed • To understand how quickly

reacted and fixed

Reconstruction • 5 Whys • Beware of hindsight bias • Blameless • No finger-pointing

• How to • … prevent • … react faster • … minimize impact • Effort <==> Impact

POSTMORTEM ANALYSIS• Blameless • Reasonable • Actionable • Timely

WHY• Continuous learning • Share experience • Knowledge base

by Yury Lytvynenko yury-lytvynenko.com

Q&A

Дякую!