18

How to Calculate Test Automation ROI

Embed Size (px)

Citation preview

Page 1: How to Calculate Test Automation ROI
Page 2: How to Calculate Test Automation ROI

ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО

Иногда попадаются прижимистые заказчики, которые не

соглашаются тупо отслюнявить названную им сумму на

содержание команды лоботрясов автоматизаторов.

«Почему столько много? Какие ваши доказательства?» –

кричат они. – «У нас вот есть парочка бизнес-аналитиков,

они и сами все нормально протестируют. Зачем нам

ваша сраная автоматизация?»

Господи, ну как можно быть такими жадными? «Вам

жалко, что ли?» – хочется спросить нам. Но мы этого не

делаем, потому что мы – профессионалы. Вместо этого

мы прибегаем к помощи такого полезного инструмента

как ROI.

Page 3: How to Calculate Test Automation ROI

ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО

Бывает и немного по-другому. Заказчик является с

чемоданом денег и говорит: «Хочу, чтобы у меня все

было по-богатому, чтобы там автоматизация туда-сюда и

вообще. Но я хочу знать, какой мне с этого будет навар.

А ну, посчитайте-ка, во что мне все это выльется».

«Навар? Ахаха! Он сказал, навар? Ололол, держите меня

семеро!» – хочется сказать нам в ответ на это признание

в собственной алчности. Но, будучи профессионалами,

мы поступаем иначе: мы прибегаем к помощи такого

важного инструмента как ROI.

Page 4: How to Calculate Test Automation ROI

ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО

Ну а что если заказчик уже заплатил, и теперь, по

окончании первой фазы разработки, желает услышать,

как он грамотно все распланировал и как вовсю идет к

успеху? «Значит так, пацаны, у меня тут немного

свободных деньжат нарисовалось – вот, думаю, то ли

яхту себе купить, то ли в автоматизацию вложиться. Как

она там у нас, кстати, поживает?»

«Да у нас тут пиздец полный, ни черта не работает», –

хочется ответить нам. Конечно, мы ведь честные люди, а

не какое-то там жулье. Но при всем при этом мы еще и

профессионалы, а потому мы прибегаем к помощи

такого безотказного инструмента как ROI.

Page 5: How to Calculate Test Automation ROI

КАНОНИЧЕСКИЙ ПОДХОД К ПОДСЧЕТУ ROI

Собственно говоря, каноническая формула придумана

давным-давно и по сути сводится к соотношению между

прибылью и тратами:

𝑹𝑶𝑰 =𝑵𝒂𝒗𝒂𝒓 − 𝑻𝒓𝒂𝒕𝒚

𝑻𝒓𝒂𝒕𝒚

Казалось бы, все просто. Бери да считай. Но не тут-то

было.

Page 6: How to Calculate Test Automation ROI

ЧТО НЕ ТАК?

Тут-то и начинаются вопросы. Как подсчитать прибыль?

Из чего она состоит? Обычно полагается, что прибыль

от автоматизации – это деньги, которые больше не

нужно платить тестировщикам. Иначе говоря, когда в

автоматизацию вложились и ее кое-как, помолясь,

сделали, можно поувольнять нахер всех тестировщиков

– как ручников, так и автоматизаторов – после чего

закинуть ноги на стол и наблюдать за тем, как лихо

тесты жмут на кнопки и ходят по ссылкам.

Page 7: How to Calculate Test Automation ROI

ВО-ПЕРВЫХ...

Думаю, многие уже поняли, в чем дело. Но я все равно

распишу подробно, потому что надо наваять хоть

сколько-нибудь приличное число слайдов.

Во-первых, такие расклады нас с вами никак не

устраивают. У нас тут не финансовая пирамида а-ля

«МММ», где жулик норовит прикарманить бабло и резко

свалить. Мы же, как профессионалы, норовим

прикарманивать бабло на перманентной основе, никуда

при этом не валя. Иными словами, увольнять

автоматизаторов нам вообще ни разу не катит.

Page 8: How to Calculate Test Automation ROI

ВО-ВТОРЫХ...

Во-вторых, мануальщиков мы тоже не хотим увольнять.

И дело даже не в том, что заказчик должен оплатить

также и их, с позволения сказать, труд: нам-то из этих

денег все равно едва ли что-нибудь перепадет. Но кто-то

же должен заниматься анализом наших, с позволения

сказать, автотестов? Уж не хотите ли вы сказать, что это

тоже будем делать мы? Стояночка, на такое мы не

подписывались! Нам еще вон код писать надо и

архитектуру наворачивать!

Page 9: How to Calculate Test Automation ROI

ИТАК...

Итак, команду мы ни распускать, ни даже сокращать, не

намерены, а это значит, что, даже если тестировщики

будут просто протирать штаны в офисе, с точки зрения

оплаты их работы все будет выглядеть так, будто они в

поте лица тестируют приложение. Откуда же здесь

взяться прибыли для заказчика?

Прибыль в данном случае – это не деньги. Прибыль –

это мера счастья закачика от осознания того, как умно он

распорядился средствами, а также мера чувства его

защищенности от багов.

Page 10: How to Calculate Test Automation ROI

ОКСТИТЕСЬ!

Теперь-то каждому должно быть понятно, что, если автоматизация уже однажды начата, в нее нужно либо продолжать вкладывать деньги до бесконечности, либо в какой-то момент зафиксировать убытки, выгнав всю команду и смыв все эти ее автотесты в унитаз.

Это, кстати, один из подводных камней автоматизации, о котором заказчику говорить не принято. Поддержку автотестов, фреймворка и CI-джобов в рабочем состоянии, а также анализ результатов если и упоминают при эстимациях, то примерно в таком ключе: «Ну и заложим еще 10% на maintenance и result analysis». Люди, окститесь! Эта активность – она как газ, занимает весь доступный ей объем.

Page 11: How to Calculate Test Automation ROI

ХМ, «ИТАК» УЖЕ БЫЛО...

Итак, как мы уже убедились, если прибыль – величина

эфемерная, то траты вполне себе материальны и

выражаются конкретными цифрами (которые, однако, не

всегда поддаются вычислению). Как можно одно

отнимать от другого, да потом еще и на что-то делить? У

нас тут строгая типизация, детка!

Page 12: How to Calculate Test Automation ROI

ЧТО ЖЕ ДЕЛАТЬ??

Решение существует! Истинный* ROI описывается следующей формулой:

𝑹𝑶𝑰 = 𝒆𝑵 − 𝟏

* то есть такой, который не стыдно показать стейкхолдерам.

Page 13: How to Calculate Test Automation ROI

ОПИСАНИЕ ИСТИННОЙ ФОРМУЛЫ!

Выглядит неплохо, а? Вроде все понятно, но что еще за N?

N – это эмпирический показатель наглости. Что значит, вы не знаете, как его вычислить? Я что, все подряд вам должен разжевывать? Ну хоть про e-то вы слышали?

Не «ето», блять, а e!!!

e!!!

Page 14: How to Calculate Test Automation ROI

ПОКАЗАТЕЛЬ НАГЛОСТИ

N вычисляется очень просто. Выбирается произвольноестартовое значение показателя, при помощи которого находится соответствующее ему значение ROI. Если первой вашей мыслью является «Что-то многовато вышло» или «Да ну, не проканает», показатель корректируется в меньшую сторону, после чего процедура повторяется. N можно считать определенным достаточно точно, когда вы начинаете думать «А что, может выгореть».

Если после этого вы продолжите итерации с декрементированием N, то вскоре должны попасть в зону «Да мне глаз на жопу натянут!». Это послужит сигналом, что вы пропустили правильное значение. Вероятно, был выбран слишком большой шаг декремента.

Page 15: How to Calculate Test Automation ROI

ОТРИЦАТЕЛЬНАЯ НАГЛОСТЬ

У кого-то может возникнуть вопрос, а что же на этом графике олицетворяет отрицательная часть оси абсцисс. Эта область известна под названием области отрицательной наглости.

Не следует путать отрицательную наглость с отсутствием таковой (для этого существует нулевая точка). Отрицательная наглость – это объем наглости, необходимой для того, чтобы сообщить стейкхолдеру, что:

• вы не заработали для него денег

• вы потратили его деньги

• и сделали это намеренно

• все 43 миллиона долларов

Page 16: How to Calculate Test Automation ROI

ВОЗРАЖЕНИЯ?

Особо въедливые могут возразить, что в описанномпроцессе мы искали зависимость не ROI от N, а скорее N от ROI, и будут отчасти правы. Так оно и получилось бы, если бы мы были неопытными и желторотыми юнцами в мире автоматизационных эстимаций.

Однако же мы – профессионалы, и вся эта утомительная канитель с блужданием по оси абсцисс нам ни к чему. Мы сразу видим, какое значение ROI имеет смысл озвучить, а о каком лучше умолчать. А всякие там формулы – для слабаков.

Да и вообще, зачем грузить заказчика какими-то цифрами. Просто скажите ему «Траст ми, айм эн энженир».

Page 17: How to Calculate Test Automation ROI

И В ЗАКЛЮЧЕНИЕ...

«Так как же все-таки подсчитать ROI автоматизации

тестирования?» – может спросить кто-то из вас.

Постойте-ка, дайте угадаю: вы – один из тех балбесов,

которые не знали, что такое e.

Объясняю. ROI подсчитывать НЕ надо. ROI есть

инструмент Запудривания, Вешания и Втирательства и

как таковой точной численной оценки не требует.

Выберите значение, которое устроит и вас, и вашего

заказчика, и не дурите себе голову.

А наглость надо тренировать, да.

Page 18: How to Calculate Test Automation ROI

ВОПРОСЫ?

=)