38
Анализ Результатов Нагрузочного Тестирования: Чурозавр и Холера Своровано у John Rauser Velocity 2011 и 2012 Web Performance & Operations Conference Использованы результаты обработки данных ЦИК РФ несколькими авторами Иосиф Иткин, Exactpro Systems

How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Embed Size (px)

Citation preview

Page 1: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Анализ Результатов Нагрузочного Тестирования: Чурозавр и Холера

Своровано у John RauserVelocity 2011 и 2012 Web Performance & Operations ConferenceИспользованы результаты обработки данных ЦИК РФ несколькими авторамиИосиф Иткин, Exactpro Systems

Page 2: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Своровано у John Rauser

Page 3: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Виды обработки данных

• Агрегация

• Распределение

• Детали

Page 4: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Население Лондона

http://geopub.narod.ru/student/agapova/1/4.htm

Page 5: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Холера

Andrea Resmini, 5th Italian IA Summit, Milano 2011The Broad Street Pump Or Where The Frenzy of Orlando Met Pulp Fiction

Page 6: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

John Snow / Ваня Снежок

15 March 1813 – 16 June 1858

Один из основателей

эпидемиологии

Page 7: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Агрегация

Page 8: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Вывод

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи

Page 9: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Примеры

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи:

Корреляция между результатом ЕР и наличием КОИБ-ов

Корреляция между результатом ЕР и явкой

Корреляция между результатом ЕР и присутствие наблюдателей на участке

Page 10: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Что это за цифры?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

Page 11: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Что это означает?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

10.6% vs. 19.0%

Page 12: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Какие Вам еще нужны доказательства?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

10.6% vs. 19.0%

Красивых – 100%

Page 13: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Рекомендация для Ивана

London Medical Gazette, 1849

«The experimentum crucis would be, that the water

conveyed to a distant locality produced the disease in

all who used it, while those who did not use it,

escaped»

Correlation is not causation

Page 14: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Эпидемия Холеры 1854 в Сохо

Pump handle removed

The majority of the deaths occurred during this period

Page 15: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Распределение

Page 16: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Распределение

Page 17: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Распределение

Page 18: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Кто такие Бины?

Page 19: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Кто такие Бины?

Page 20: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Кто такие Бины?

Page 21: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Гаусс?

Page 22: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Не совсем. А почему?

Page 23: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Что такое медиана?

Page 24: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Распределение по бинам

http://www.pnas.org/content/early/2012/12/19/1206770110.full.pdf

Page 25: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Turquoise MTF – Latency

Latency Distribution Average and Consistency

Metric uS

Average 100% 108

Average 99.9% 103

Max 99.9% 381

Max 99 191

Phil Penhaligan, EXTENT Trading Technology Trends & Quality Assurance 2012, Kostroma, Romanov Leshttp://extentconf.com

Page 26: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

И снова Холера

Page 27: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

И снова Холера

Pump handle removed

WorkhouseWorkhouse535 people 535 people Private borePrivate bore

BreweryBrewery70+ 70+

people people Private Private

boreboreFree beerFree beer

Street pattern an obstacle

People People evacuatedevacuated

earlyearly

Bad Bad waterwater

BROAD ST BROAD ST PUMPPUMP

Page 28: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

А при чем тут HФТ?

Page 29: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Самый быстрый и самый медленный сайты

Page 30: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Самый быстрый и самый медленный сайты

Page 31: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Система под нагрузкой

Page 32: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Выборы, выборы…

Page 33: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Наш друг Чурозавр

http://oude-rus.livejournal.com/542295.html

Page 34: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Лекцию обещали про Менеджмент…

Page 35: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Always Look for the Outliers

Page 36: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

А теперь с другой стороны шкалы

Page 37: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

А теперь с другой стороны шкалы

Вывод: детально изучая отстоящие случаи можно легко

понять означает ли корреляция причинно

следственную связь или нет

Disclaimer: Exactpro Systems and group companies, including Innovative Trading

Systems and ITS-EXPERT are Equal Opportunity Employers

Page 38: How to Analyze Non-Functional Test Results: Churosaurus and Cholera

Спасибо