Load Testing

«Обзор и сравнение инструменов

нагрузочного тестирования»

©2011. QuartSoft Corp.

Load testing of web applications

Евгений Дмитриченко,менеджер проектов компании «КвартСофт»[email protected]

www.quartsoft.com

2

Цели тестирования

Ответить на вопросы:• Выдержит ли сервер ожидаемую пиковую нагрузку?

• Какой запас прочности сервера?

• Где узкие места в системе?

©2011. QuartSoft Corp. www.quartsoft.com

3

Виды тестирования

• Performance testing (производительности)

• Resource utilization testing (утилизации ресурсов)

• Stress testing (стрессовое)

• Volume testing (объёмное)

• Scalability testing (масштабируемости)


4

Инструменты тестирования

• Локальные системы:• ApacheBench• Jmeter• WAPT• HP LoadRunner

• Онлайновые системы:• Load Impact • LoadStorm• BrowserMob


5

ApacheBench


Простой в использовании

Кроссплатформенный

Бесплатный

6

ApacheBench


$ ab -c 100 -t 30 -n 10000 -k http://www.example.com

Concurrency Level: 100Time taken for tests: 30.033 secondsComplete requests: 6912Failed requests: 0Write errors: 0Keep-Alive requests: 0Total transferred: 5840304 bytesHTML transferred: 4018240 bytesRequests per second: 230.14 [#/sec] (mean)Time per request: 434.511 [ms] (mean)Time per request: 4.345 [ms] (mean, across all concurrent requests)Transfer rate: 189.90 [Kbytes/sec] received

Connection Times (ms)min mean[+/-sd] median maxConnect: 136 188 200.4 175 3579Processing: 137 242 171.6 200 5425Waiting: 137 218 162.1 175 5399Total: 274 431 267.6 376 5602

Percentage of the requests served within a certain time (ms)50% 376…95% 74698% 94899% 1173100% 5602 (longest request)

7

Apache JMeter


запись сценариев через проксированиеподдержка источников динамических данных в виде

файлов CSVвозможность отладки сценария тестаподдержка сессий пользователей, авторизацииподдержка HTTPSнаглядное представление результатов тестирования,

развернутый отчетимеет возможность подключать сторонние плагины,

расширяющие его возможностивозможность распределенного тестированияКроссплатформенный–Требователен к ресурсам–Требуется время на изучение

8

Apache JMeter


9

Apache JMeter


10

WAPT


автоматизированная запись тестовудобный, понятный интерфейссимуляция реальных действий пользователейразличные типы пользователей в одном тестеподдержка сессий пользователей, авторизацииподдержка HTTPSнаглядное представление результатов тестирования,

развернутый отчетвозможность распределенного тестирования–только под Windows

11

WAPT


12

WAPT


13

HP LoadRunner


• Virtual User Generator (VuGen) — служит для разработки нагрузочных скриптов.• Load Generator — служит для генерации нагрузки (генерации

виртуальных пользователей).• Controller — служит для разработки и запуска сценариев

нагрузки.• Analysis — служит для анализа результатов нагрузочного

тестирования.

14

HP LoadRunner


Умеет все, что умеют остальные инструменты плюс: позволяет мониторить системные ресурсы сервера подробное логирование действий каждого виртуального

пользователя работает с Web 2.0 технологиями: Ajax, Silverlight, Java etc позволяет тестировать различные виды приложений:

мобильные, RIA, облачные. и многое другое– ценовая политика

15

HP LoadRunner


16

Минусы локальных инструментов


• высокое требование к ресурсам

• необходимость построения и поддержания

инфраструктуры для распределенного тестирования

• ограничения входящего интернет-канала

17

LoadImpact


автоматизированная запись тестов

удобный, понятный интерфейс

наглядное представление результатов

распределенное тестирование

18

LoadImpact

www.quartsoft.com©2011. QuartSoft Corp.

19

LoadImpact

www.quartsoft.com©2011. QuartSoft Corp.

20

LoadStorm


наглядное представление результатов распределенное тестирование

–создание сценариев вручную –запутанный интерфейс

21

LoadStorm


22

LoadStorm


23

LoadStorm


24

LoadStorm


25

BrowserMob


удобный, понятный интерфейснаглядное представление результатов тестированияраспределенное тестированиеимпорт скриптов из Seleniumможно использовать реальных пользователей наряду с

виртуальными

26

BrowserMob


27

BrowserMob


28

Выводы


•локальные системы более функциональные

•но локальные системы требуют построения

инфраструктуры для распределенного тестирования

•онлайновых для большинства случаев хватает

•онлайновые системы имеют гибкую ценовую

политику по принципу "платишь за то, что

используешь"

29

Вопросы? Спасибо!

Дмитриченко ЕвгенийМенеджер проектов компании «КвартСофт»

[email protected]


Technology

Load Testing