Сводный отчет лаборатории тестирования Miercom: Cisco ASA 5515-X, ASA 5525-X, ASA 5555-X

Сводный отчет лаборатории тестирования Miercom

Июль 2012 г.Отчет SR120514

КатегОрИя прОдуКта:

Корпоративный межсетевой экран

тестИрОван прОИзвОдИтелем:

Cisco

тестИрОванные прОдуКты:

ASA 5515-XASA 5525-XASA 5555-X

ОснОвные результаты И вывОды:

производительность устройств ASA 5515-X и 5525-X по корпоративному трафику (EMIX) не менее чем на 99% выше, чем у аналогов

производительность по протоколу UDP при использовании усредненного Интернет-трафика (IMIX) (протоколы IPv4 и IPv6) у устройств серии ASA 5500-X была на 57% выше, чем у аналогов

производительность по трафику HTTP на устройствах Cisco была на 60% выше, чем у аналогов

устройства серии ASA 5500-X могут обрабатывать на 10% соединений в секунду больше при использовании протокола IPv4 и на 24% больше при использовании протокола IPv6 по сравнению с аналогами

Компания Cisco привлекла компанию Miercom к оценке производительности недавно запущенных в производство многофункциональных устройств обеспечения безопасности серии ASA 5500-X в сравнении с их аналогами, выбранными с учетом целевых рынков и рекомендуемых розничных цен. Были опробованы три сопоставимых сценария сравнения изделий Check Point и Fortinet с их аналогами серии ASA 5500-X. Модель ASA 5515-X сравнивалась с Check Point 4210, ASA 5525-X — с FortiGate 310B, а ASA 5555-X — с устройствами Check Point 4807. Выбор этих продуктов объясняется их сходством по целевому назначению, что обеспечивает корректность сравнения.

Для определения реальной производительности устройств по протоколам TCP и UDP, а также для оценки их возможностей с использованием IP-протокола следующего поколения (IPv6) и системы предотвращения вторжений (IPS) был изучен ряд вариантов использования.

Регистрировался ряд параметров, включая использование ЦП и выделенной памяти, число соединений в секунду, одновременные соединения, реальная производительность по протоколам HTTP и TCP EMIX, для определения реальных возможностей каждого устройства.

сводный отчет лаборатории тестирования Miercom | Июль 2012 г., отчет SR1205142

производительности устройств в двух направлениях. Все межсетевые экраны использовали простую политику, предусматривающую разрешение всех действий. Кроме того, была включена система предотвращения вторжений (IPS) для моделирования реальной работы. Работа этой системы существенно зависит от настройки профиля сигнатур. Поэтому мы выбрали сопоставимый профиль сигнатур для устройств разных производителей, имитирующий реальные условия работы. Конечная цель состояла в измерении производительности устройств при работе межсетевого экрана вместе с системой IPS с погрешностью 5%, учитывающей неудачно выполненные операции.

Производительность устройства ASA 5515 по смешанному трафику составила 1,4 Гбит/с, что на 113% выше, чем у Check Point 4210.

Аналогичным образом, производительность у ASA 5525-X была на 99% выше, чем у FortiGate 310B, а у ASA 5555-X — на 6% выше, чем у Check Point 4807. Результаты показаны на рис. 1.

производительность по трафику IMIX

Для определения максимальной скорости передачи данных без потери пакетов для определенного диапазона фиксированных размеров пакетов, характерного для Интернет-

Устройства серии Cisco ASA 5500-X оснащены специальными многоядерными многопотоковыми процессорами для межсетевого экрана, VPN и сервисов безопасности IPS. Они также отличаются ОЗУ большого объема (от 4 Гбайт в моделях 5512-X и до 16 Гбайт в моделях 5555-X) и сочетают в себе функции межсетевого экрана, идентификации, системы IPS и VPN. У них предусмотрены режимы межсетевого экрана уровней 2 и 3, расширенные средства глубокого анализа пакетов, а также несколько других функций межсетевого экранирования с возможностью обновления и увеличения числа сервисов в будущем

производительность в условиях реального многопротокольного смешанного трафика

Для оценки работы каждого устройства использовался трафик с пакетами различного размера и по разным протоколам с преобладанием приложений на основе протокола TCP. См. рис 2. Также был рассмотрен профиль усредненного Интернет-трафика (IMIX) (см. следующий раздел), но мы считаем, что он не соответствует типовому корпоративному трафику, поскольку в качестве базового протокола в нем используется только UDP.

250 виртуальных узлов с тремя виртуальными серверами были размещены с каждой стороны межсетевого экрана для измерения

Система предотвращения вторжений (IPS) требует дополнительных ресурсов. В технической документации часто не указывается производительность устройств при ее включении. Работа всех устройств с включением системы IPS имитирует условия реальной эксплуатации.

Рис. 1. Тестирование в условиях реального смешанного трафика с включенными межсетевым экраном и системой IPS

0

200

400

800

600

1,000

1,200

1,400

ASA 5515-Xв сравнении с CP 4210



Про

изво

дите

льно

сть

(EM

IX),

Мби

т/с

УстройстваИсточник: Miercom, июль 2012 г.

Cisco

Check Point

Fortinet

331

91

624

210

1,23

0

1,152

сводный отчет лаборатории тестирования Miercom | Июль 2012 г., отчет SR120514 3

Устройства серии АSА работают заметно лучше аналогов (кроме FortiGate 310B), обрабатывая большее число кадров в секунду, что отражает их возможности маршрутизации, а также скорость обработки пакетов.

Исходный состав трафика EMIX на всех исследованных устройствах соответствует реальным условиям работы определенной сети.

FTP8.79%

SMTP8.79%

IMAPv416.48%

Bit Torrent21.98%

HTTP43.96%

Рис. 2. Структура трафика EMIX

Источник: Miercom, июль 2012 г.

трафика (IMIХ) использовался эталонный тест производительности RFC 2544. Некоторые производители межсетевых экранов публикуют только данные о производительности для пакетов UDP фиксированного размера, что, по нашему мнению, не соответствует реальным условиям. Производительность по протоколу UDP лучше отображается трафиком IMIX с пакетами разных размеров. См. рис. 7.

Данные в двух направлениях передавались 250 виртуальными узлами, разделенными межсетевым экраном. Также была измерена производительность для профиля трафика IMIX по 4 точкам с произвольным распределением пакетов по размерам (у исходного профиля такое распределение фиксированное). См. рис. 3 и рис. 8.

Проверка проводилась в течение 60 секунд с регистрацией результатов при отсутствии разрыва соединений. При потере данных она запускалась с начала с более низкими входными характеристиками и двоичным алгоритмом поиска для определения максимальной производительности каждого межсетевого экрана, при которой отсутствует разрыв соединения. Все показанные результаты характеризуются полным отсутствием потери пакетов и высочайшим уровнем облуживания для каждого проверяемого устройства.

Рис. 3. Производительность устройств серии ASA 5500-X по трафику IMIX (протокол IPv4 UDP)

1,38

2

1,53

9

1,10

4

1,36

6

1,64

9

1,81

0

1,93

3

1,93

3

1,67

7

1,81

0

1,16

1

1,31

7

0

500

1,000

1,500

2,000

2,500

ASA5515-X CP4210 ASA5525-X FG310B ASA5555-X CP4807

Про

изво

дите

льно

сть

(Мби

т/с)

Межсетевой экранИсточник: Miercom, июль 2012 г.

Исходный трафик IMIX, Cisco

Трафик IMIX, 4 точки, Cisco

Исходный трафик IMIX, Check Point

Трафик IMIX, 4 точки, Check Point

Исходный трафик IMIX, Fortinet

Трафик IMIX, 4 точки, Fortinet


Кроме того, при проверке трафика по протоколу IPv6 UDP использовалась схема маршрутизации IPv6 — IPv6 (6 — 6). Cм. рис. 4.

Производительность устройств Cisco ASA 5500-X была одинаковой для протоколов IPv4 и IPv6. Но у устройств Check Point и Fortinet она была заметно ниже для протокола IPv6, чем для протокола IPv4. В частности, такое снижение у устройства Check Point 4200 составило 41%, а у устройства Fortinet — 48%. Результаты проверки числа соединений в секунду (CPS) по протоколам IPv4 и IPv6 представлены на рис. 3 и 4 соответственно.

максимальная пропускная способность по протоколу HTTP

Для определения эффективности обработки межсетевым экраном трафика HTTP был создан сценарий с использованием web-трафика с пакетами разного размера. Контрольное оборудование было настроено для получения постоянной полезной нагрузки 1, 4, 11 и 16 килобайт по протоколу HTTP 1.1. Генерировался один запрос GET HTTP, и задержки генерирования отклика HTTP не происходило. Рассматривая широкое распределение полезной нагрузки, можно точно определить производительность всех устройств при обработке пакетов всех размеров и при всех

Устройства серии АSА работают заметно лучше аналогов, обрабатывая большее число кадров в секунду, что отражает их возможности маршрутизации, а также скорость обработки пакетов.

Рис. 4. Производительность устройств серии ASA 5500-X по трафику IMIX (протокол IPv6 UDP)

1,38

1

1,58

0

410

999

1,69

2

1,84

9

959

948

1,69

2

1,82

2

1,18

1

1,26

6

0

400

200

800

600

1,200

1,000

1,600

1,400

2,000

1,800

ASA5515-X CP4210 ASA5525-X FG310B ASA5555-X CP4807

Про

изво

дите

льно

сть

(Мби

т/с)

Межсетевой экранИсточник: Miercom, июль 2012 г.

Исходный трафик IMIX, Cisco

Трафик IMIX, 4 точки, Cisco

Исходный трафик IMIX, Check Point

Трафик IMIX, 4 точки, Check Point

Исходный трафик IMIX, Fortinet

Трафик IMIX, 4 точки, Fortinet

распределениях полезной нагрузки. Кроме того, система IPS была включена для всех устройств, чтобы снова имитировать реальные условия работы. Фиксировалась максимальная производительность каждого устройства без потери пакетов.

У ASA 5515-X она оказалась на 87% выше, чем у FortiGate 310B, у ASA5525-X — на 56% выше, чем у Check Point 4210, а у ASA 5555-X — на 37% выше, чем у Check Point 4807. См. рис. 5.

При максимальной загрузке процессора во время проверки производительности графический интерфейс пользователя устройства Fortinet переставал реагировать на команды, а управление устройствами Check Point и Cisco не нарушалось.

Кроме того, во время проверки с увеличенной полезной нагрузкой по протоколу HTTP наблюдалось прекращение проверки трафика системой IPS на устройствах Fortinet, когда полезная нагрузка превосходила 200 килобайт. В случае с устройствами Cisco и Check Point этого не происходило. Мы считаем, что это попытка оптимизации производительности за счет снижения уровня безопасности. К тому же соответствующая настройка была доступна только через интерфейс командной строки, а не через графический интерфейс пользователя.


Рис. 5. Cisco ASA серии 5500-X Максимальная производительность по протоколу HTTP — множество запросов GET

0

500

1,000

1,500

2,000

2,000

2,500

2,500

1 кбайт 4 кбайт 11 кбайт 16 кбайт

Про

изво

дите

льно

сть

(Мби

т/с)

Полезная нагрузка GET, кбайтИсточник: Miercom, июль 2012 г.

ASA5515-X

CP 4210

ASA 5525-X

FG 310B

ASA 555-X

CP 4807

Система предотвращения вторжений (IPS) требует дополнительных ресурсов. В технической документации часто не указывается производительность устройств при ее включении и предполагается отсутствие полезной нагрузки. Работа всех устройств с включением системы IPS и разной полезной нагрузкой имитирует условия реальной эксплуатации.

Проверка числа соединений в секунду на полной скорости работы канала на всех доступных интерфейсах при исключении потери пакетов показывает, что устройства ASA 5500-X нового поколения поддерживают более высокий уровнень обслуживания для протокола IPv6, чем их аналоги.

Рис. 6. Устройства Cisco ASA серии 5500-X, число соединений в секунду

21.7

0

20.0

0

26.0

0

22.6

3

51.0

0

46.6

5

17.0

0

16.0

0

26.0

0

15.0

0

45.0

2

40.0

0

0

20

10

30

40

50

60

ASA 5515-Xв сравнении

с CP4210 IPv4


с FG310B IPv4


с CP4807 IPv4


с CP4210 IPv6


с FG310B IPv6


с CP4807 IPv6

Сое

дине

ний

в се

кунд

у (т

ыся

ч)

Межсетевой экран

IPv4 IPv6


Количество соединений в секунду (CPS) по протоколу IPv4, устройство CiscoКоличество соединений в секунду по протоколу IPv6, устройство CiscoКоличество соединений в секунду по протоколу IPv4, устройство Check PointКоличество соединений в секунду по протоколу IPv6, устройство Check PointКоличество соединений в секунду по протоколу IPv4, устройство FortinetКоличество соединений в секундупо протоколу IPv6, устройство Fortinet


Состав трафика IMIX на всех проверенных устройствах задавался анализатором/генератором трафика Spirent TestCenter по смешанному профилю интернета с протоколом UDP.

Долгосрочное усредненное распределение трафика IMIX при этом примерно соответствует его исходному профилю, но случайное распределение обеспечивает более реалистичный сценарий применения.

Рис. 7. Исходный профиль трафика IMIX Структура трафика IMIX по объему


58 байтов,58.67%

62 байта,2.00%

594 байта,23.66%

1518байтов,15.67%

Рис. 8. Профиль трафика IMIX с осреднением по 4 точкам Структура трафика IMIX по объему


58-1518байтов,29.50% 56-70 байтов,

44.20%

1438-1518байтов13.00%

570-646байтов13.30%

В отличие от устройств Cisco и Fortinet, при использовании устройств Check Point наблюдалось ограничение, состоявшее в том, что в устройстве можно было использовать только один профиль защиты. Его нельзя было конфигурировать для каждой политики межсетевого экрана. Кроме того, «рекомендуемый профиль» для системы IPS в устройстве Check Point не включает сигнатуры, маркированные «средним — низким» (medium-low) уровнем уверенности или сигнатуры класса «низкий риск» (low-risk).

Также в устройствах Cisco была реализована защита с помощью системы IPS на основе информации о репутации. Аналогичная функция отсутствует в устройствах Fortinet и Check Point.

Число соединений в секунду

Цель этого теста состояла в определении максимального количества соединений в секунду (CPS), которое межсетевой экран может обрабатывать по протоколу TCP.

Каждое соединение моделировалось с использованием одного запроса GET HTTP 1.0 с полезной нагрузкой 64 байта в отклике HTTP без полезной нагрузки на стороне сервера. Соединение поддерживалось

в активном состоянии в течение всего теста путем включения параметра проверки активности (Keep-Alive) HTTP.

Максимальное достижимое количество соединений в секунду измерялось путем итерационного увеличения частоты соединений до достижения состояния отсутствия разрыва соединений. Тест проводился с HTTP-трафиком по протоколам IPv4 и IPv6. См. рис. 6.

Оказалось, что только ASA 5500-X обеспечило соответствие данным, опубликованным в информационном бюллетене. Возможная причина этого в том, что некоторые производители используют для такой проверки полезную нагрузку TCP 1 байт, при которой число соединений в секунду получается выше, хотя такая нагрузка нереальна в условиях практической эксплуатации.

При использовании протокола IPv6 число соединений в секунду у устройств Cisco, снижалось на 10%, у устройств Fortinet — на 34%. а у устройств Check Point — на 20%. Также на устройствах Check Point наблюдалось частое прерывание передачи пакета при максимальном числе соединений в секунду. На устройствах Cisco и Fortinet это не происходило.


выводы

На основе лабораторных тестов многофункциональных устройств обеспечения безопасности Cisco ASA 5515-X, 5525-X и 5555-X компания Miercom подтверждает, что их производительность выше, чем у их аналогов Check Point 4210, FortiGate 310B и Check Point 4807.

Производительность устройств 5515-X, 5525-X и 5555-X при одновременном включении межсетевого экрана и системы IPS с реальным трафиком была на 113%, 99% и 6% выше (соответственно), чем у их аналогов. При трафике UDP (протоколы IPv4 и IPv6), производительность межсетевого экрана на устройствах ASA 5500-X была на 57% выше, чем у аналогов. Число соединений в секунду у устройства ASA 5500-X также было выше 10% по протоколу IPv4 и на 24% по протоколу IPv6 по сравнению с аналогами.

Устройства Cisco ASA 5515-X, 5525-X и 5555-X обеспечивают высокий уровень безопасности, масштабирования и производительности, необходимый для корпоративных сетей, центров обработки данных и приложений Web 2.0. Рабочие и защитные функции устройств Cisco ASA 5515-X, 5525-X и 5555-X подтверждены Сертификатом проверки рабочих характеристик, выданным компанией Miercom.

Как мы этого достигли

Для полной демонстрации производительности наших изделий при проведении испытаний использовались продукты BreakingPoint Storm и Spirent TestCenter. Трафик в 2 направлениях создавался с использованием решений BreakingPoint версии 2.2.3, strikebuild версии 78528 и анализатора/генератора трафика SpirentTestCenter v3.90. Тесты по протоколу HTTP в реальных условиях эксплуатации были выполнены с использованием HTTP 1.1 при передаче объектов разных размеров. Проверки числа соединений в секунду были проведены с помощью BreakingPoint Storm для генерирования 64-байтного HTTP-трафика. Большинство эталонных тестов выполнялись без полезной нагрузки, но для получения реалистичных результатов мы дополнительно предусмотрели 64-байтную полезную нагрузку для операции Syn-Fin HTTP. При проверках производительности UDP использовался анализатор/генератор трафика Spirent TestCenter для отправки кадров фиксированного и произвольного размера, от 64 до 1518 байтов.

Устройство Cisco ASA 5515-X было оснащено шестью интерфейсами 1GE, 5525-X — восемью интерфейсами 1GE, а 5555-X — восемью интерфейсами 1GE. При тестировании использовалось ПО Cisco Adaptive Security Appliance (ASA) Software v8.6.1.1 с системой предотвращения вторжений (IPS) версии 7.1.4 и обновлением сигнатур S615. Размер MTU по умолчанию для трафика TCP составлял 1380 байтов для учета служебного трафика. Размер MTU по умолчанию для трафика UDP составлял 9216 байтов.

Устройство Check Point 4210 было оснащено четырьмя интерфейсами 1GE, Fortinet FortiGate 310B — десятью интерфейсами 1GE, а Check Point 4807 — восемью интерфейсами 1GE. На обоих межсетевых экранах Check Point было установлено ПО версии R75.40, а на устройстве FortiNet использовался выпуск 4.0MR3 с исправлением 6. Хотя во всех устройствах были предусмотрены дополнительные порты, они обеспечивали расширение набора функций, а не увеличение производительности. Максимальная нагрузка была достигнута только с использованием двух интерфейсов 1GE на одном устройстве.

На всех устройствах была выполнена аппаратная настройка на параметры по умолчанию. К устройствам не подключались дополнительные платы, процессоры или другие дополнительные устройства. Все устройства размещались в отдельных виртуальных сетях для предотвращения случайного взаимодействия друг с другом, и все тесты запускались по отдельности через значительные промежутки времени, чтобы на результаты не влияли остаточные пакеты.

Решения BreakingPoint Storm и Spirent TestCenter использовали двоичный алгоритм поиска для определения максимально возможной производительности для каждого устройства в процессе каждого теста. Каждый тест повторялся с использованием конечного значения еще два раза для получения надежных и воспроизводимых результатов. Во время тестирования велся тщательный текущий контроль памяти и загрузки ЦП, в основном для проверки работоспособности коммутаторов.

Тесты, указанные в настоящем отчете, могут быть воспроизведены желающими на соответствующем контрольно-измерительном оборудовании. Наши заказчики и потенциальные клиенты, заинтересованные в повторении этих результатов, могут обратиться по адресу [email protected] за подробной информацией о конфигурации проверяемых устройств и контрольных систем. Компания Miercom рекомендует клиентам перед выбором продуктов выполнить анализ их собственных потребностей и провести тестирование конкретно в условиях ожидаемой среды размещения продуктов.

Рис. 9. Схема организации тестирования


BreakingPointStorm

Регистрирующий сервер

Станция управления

Spirent Spirent

BreakingPointStorm

Проверяемоеустройство

сертификат проверки производительности, выданный компанией Miercom

Компания Miercom проверила производительность многофункционального устройства обеспечения безопасности Cisco ASA 5500-X. В практическом тестировании продемонстрирована повышенная производительность, в частности:

• среднее число соединений в секунду на 10% выше по протоколу IPv4 и на 24% выше по протоколу IPv6, чем у аналогов

• рабочие характеристики устройств Cisco при включенной системе предотвращения вторжений (IPS) выше заявленных изготовителем в отличие от их аналогов

• включение системы IPS не влияет на производительность системы

• Максимальная производительность по протоколу HTTP у платформы ASA в среднем на 79% выше

Рабочие и защитные функции устройств Cisco ASA 5515-X, 5525-X и 5555-X подтверждены Сертификатом проверки рабочих характеристик, выданным компанией Miercom.

Об услугах тестирования продуктов, предоставляемых компанией Miercom

За многие годы компания Miercom опубликовала сотни статей о результатах сравнительного анализа продуктов в ведущих отраслевых периодических изданиях по сетевым технологиям, в том числе Network World, Business Communications Review, Tech Web — NoJitter, Communications News, xchange, Internet Telephony и других ведущих изданиях. Репутация компании Miercom в качестве ведущего, независимого центра тестирования продуктов неоспорима.

Предоставляемые компанией Miercom частные услуги тестирования включают в себя анализ продуктов конкурирующих производителей, а также оценки отдельных продуктов. В компании Miercom предусмотрены комплексные программы сертификации и тестирования, в том числе: Сертификат совместимости, Сертификат надежности, Сертификат безопасности и Сертификат экологичности. Программа проверки производительности обеспечивает тщательную и достоверную оценку возможности использования и производительности продукта.

Указанные в настоящем отчете наименования продуктов или услуги являются зарегистрированным товарными знаками соответствующих владельцев. Компания Miercom стремится обеспечить точность и полноту содержащихся в ее отчетах информации, но несет ответственности за ошибки, неточности или пропуски. Компания Miercom не несет ответственности за ущерб, причиненный в результате или в связи с информацией, содержащейся в настоящем отчете. Для выполнения анализа в соответствии с конкретными потребностями клиента обратитесь в компанию, предоставляющую профессиональные услуги, например, Miercom.

© 2012 Cisco Systems, Inc. Все права защищены. Cisco и логотип Cisco являются торговыми марками или зарегистрированными торговыми марками Cisco и/или ее филиалов в США и других странах. Перечень товарных знаков компании Cisco можно найти по адресу www.cisco.com/go/trademarks. Торговые марки третьих лиц, упомянутые в данном документе, являются собственностью их владельцев. Использование слова «партнер» не означает наличия партнерских отношений компании Cisco с какой-либо другой компанией.

[email protected]

Cisco ASA серии 5500-X

Cisco Systems, Inc.170 West Tasman DriveCan-Xoce, шт. Калифорния1-800-553-6387www.cisco.com

Technology

Сводный отчет лаборатории тестирования Miercom: Cisco ASA 5515-X, ASA 5525-X, ASA 5555-X