Построение и развитие сети крупного ЦОД

Построение и развитие сети крупного ЦОДАндрей Кардаманов

• Обзор• Дизайн центра обработки данных• Построение ЦОД «с нуля»• Миграция на новую архитектуру• Заключение

Программа

2

Архитектура ЦОДРаньше жить было проще.....ну или нам так казалось...

Дизайн ЦОДа базировался на иерахическом дизайне и мы использовали это везде Три уровня: доступ,

распределение и ядро L2/L3 граница на уровне

распределения Сервисные модули

Что изменилось? Почти всё Новый Layer 2 базирующийся на

протоколах Layer 3 Унификация SAN и LAN Виртуализация везде Взрывной рост облачных

сервисов

Layer 2

Layer 3

Доступ

Ядро

Сервисные модули

Распределение

3

НаучноНаучно--исследовательская исследовательская деятельностьдеятельность

ЭкспериментальныеOpenFlow/SDN компоненты

Огромные ЦОДыОгромные ЦОДы((MSDCMSDC))

Настраиваемая платформа под конкретную задачу

Сервис провайдерыСервис провайдеры

Монетизация услуг, оптимизация и контроль

ПредприятияПредприятия

Виртуализация серверов, Виртуализация рабочих мест

Сетевая “изоляция”

Управление потоками данных

Быстрый запуск новых сервисов

Частные облака

ОблакаОблака

Автоматизация и виртуализация

Поддержка большого количества клиентов

Разная функциональность для всех типов сегментовРазная функциональность для всех типов сегментов

Архитектура ЦОДБольше нет единого дизайна

Эволюция ЦОДЭволюция ЦОД

Ultra Low Latency

• Высокочастотный трейдинг• Layer 3 & Multicast• Без виртуализации• Небольшой рост• Nexus 3000 & UCS• Миграция 10G -> 40G

MSDC

• Layer 3 граница (iBGP, ISIS)• 1000 шкафов• Однородная среда• Безгипервизорная

виртуализация• Миграция 1G ->10G• Nexus 2000, 5500, 7000 & UCS

slot 1slot 2slot 3slot 4slot 5slot 6slot 7slot 8

blade1blade2blade3blade4blade5blade6blade7blade8























Виртуализированные ЦОД

• SP and Enterprise• Гипервизорная виртуализация• Общая инфраструктура• Неоднородная среда• Миграция 1G -> 10G • Nexus 1000v, 2000, 5500, 7000 &

UCS

HPC/GRID

• Layer 3 & Layer 2• Без виртуализации• iWARP & RCoE• Nexus 2000, 3000,

5500, 7000 & UCS • Миграция 10G -> 40G

Требования к сети ЦОД нового поколенияРеализация в решениях Cisco

• Повышение производительности подключения серверов и магистрали10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath

• Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX

• Более простая и «плоская» архитектура сети ЦОД без опоры на STPVirtual Portchannel, FEX, TRILL/FabricPath

• Сетевая поддержка виртуализацииNexus 1000V, VM-FEX, VDC

• Надёжная и производительная связь ЦОДOTV, LISP

Семейство коммутаторов Cisco NexusРеализация требований ЦОД нового поколения

• Высокая доступность (ISSU, Модульная OS, Non-Stop Forwarding)• Виртуализация (VDC, VRF, VLAN, VN-link)• Fibre Channel over Ethernet(FCOE) и Fibre Channel(FC)• Полное портфолио продуктов для центров обработки данных

1K1KCisco Nexus

1000V

2008

x86

NX-OS Data Center Operating System

Data Center Network Manager

Nexus 2000 FEX

Nexus 4K Nexus 5K

Nexus 7KNexus 1000V Virtual Switch

Nexus 3K

7

Платформа Cisco Nexus 7000

Интерфейсныемодули

Шасси

Управляющие модулиМодули с различной плотностью и типом портов, коммутация и маршрутизация на аппаратном уровне обычных и групповых пакетов, списки доступа ACL/классификация QoS, NetFlow.

Управляющие функции, полная изоляция уровней управления и коммутации.

Фабрикикоммутации

4 варианта шасси коммутаторов

Неблокируемые фабрики коммутации с пропускной способностью до 550Gbps (Fab2) на слот.

Платформа Nexus 7000. ПортфолиоNext Generation

Модули

Nexus 7000 и NX-OS • 9, 10 & 18 шасси• 15+ Terabit (7018)• Унифицированная фабрика• Модульная архитектура NX-OS• Виртуализация• ISSU• Высокая доступность

Supervisor

Cisco NX-OS Операционная системаData Center Network Manager (DCNM)

10G Ethernet – M Series• 32 Port SFP+ 10G - XL• 8 Port X2 10G - XL

1G Ethernet – M Series• 48 Port 10/100/1000 -XL• 48 Port 1G - XL

10G Ethernet – F Series• 32 Port SFP+ 10G (F1)• 48 Port SFP+ 10G (F2/F2E)

9

MM--СерияСерияИнтерфейсы

1/10/40/100 GE интерфейсы

Максимальная плотность (7018)

768 10Mb/100Mb/1GE или384 10GE или96 40GE или

32 100GE

ФункционалLayer 2 и Layer 3MPLS, OTV, LISP

Data CenterData Center

N7K-M202CF-22L100G2-порта 100GbE

N7K-M206FQ-23L40G6-портов40GbE

N7K-M132XP-12(L)

N7K-M108X2-12L

N7K-M224XP-23L

10G

24-порта10GbE

8-портов 10GbE

32-порта 10GbE

N7K-M148GT-11(L)

N7K-M148GS-11(L) 1G

48-портов10/100/1000

48-портов 1GE SFP

Большой выбор линейных карт

Платформа Nexus 7000. Портфолио

Модуль F2Е 48 портов SFP+ 1/10GN7K-F248XP-25E

N7K-F248XP-25E

Общие возможности для F2 и F2E: 48 портов 1/10GE (SFP+) Неблокируемая коммутация Layer 2 / Layer 3 Поддержка FCoE, FabricPath, FEX

Дополнительные возможности F2E (* - в планах, потребуется новая версия NX-OS): Может работать (в L2 режиме) в одном VDC с M1XL/M2 картами* MACSec (802.1AE) – 8 портов* Bidir PIM* IPv6 DSCP-to-Queue Mapping

Возможности, открываемые взаимодействием F2E и M1XL/M2 карт: Интеграция FabricPath сети с MPLS и LISP Масштабирование числа MAC адресов

Семейство Nexus 5000/5500 и 2000Универсальный уровень доступа

Nexus 5548UP32-48 портов 1/10G Ethernet or 1/2/4/8 FCнеблокируемая архитектура 10G/FCoE/IEEE DCB1 слот расширенияIEEE 1588, FabricPath & Layer 3

Nexus 5596UP48-96 портов 1/10G Ethernet or 1/2/4/8 FCнеблокируемая архитектура 10G/FCoE/IEEE DCB 3 слота расширенияIEEE 1588, FabricPath & Layer 3

Nexus 2248TP-E48 серверных портов 100/1000 UTP4 uplink порта 10GE SFP+

Функциональность FEX в блейд-шасси HP / Fujitsu

Nexus 2232TM-E32 серверных порта 1/10GBASE-T8 uplink портов 10GE SFP+

B22HP / B22F

Nexus 2232PP32 серверных портов 1/10GE SFP/SFP+8 uplink портов 10GE SFP+Поддержка консолидации ввода-вывода (FCoE)

Блейд шасси сCisco Nexus B22 Series

Блейд шасси сCisco Nexus B22Series



Единая архитектура для блейд систем и стоечных серверов

Enhanced Ethernet and FCoE Ethernet Fibre Channel

LAN SAN BSAN A

Cisco Nexus

Отдельностоящие сервера с ToRFabric Extenders

Отдельностоящие сервера с ToRFabric Extenders

Распределеннаямодульная системаРаспределеннаямодульная система

Cisco Nexus 1000V

• Наиболее функциональный коммутатор для платформыVMWare vSphere

• Единый интерфейс Cisco NX-OS• Совместим со всеми

коммутаторами• Совместим со всеми серверами в

списке VMware Hardware Compatibility List

• Будущая поддержка MS Hyper-V, Xen, Linux KVM (в планах)

vSphere

Nexus1000V

VM VM VM1000VVSM x 1

Server

vSphere

Nexus1000VVEM

VM VM VM

Server

VM

Cisco Nexus 1110

1000VVSM x 4

Physical Switches Physical Switches

VSM on Nexus 1010/1110VSM on Virtual Machine

VSM: Virtual Supervisor ModuleVEM: Virtual Ethernet Module

14

Virtual Port Channel (VPC) на Cisco Nexus Уход от опоры на STP при сохранении дизайна

• Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора

• Уход от активной опоры на STP• Использование полосы всех имеющихся соединений• Быстрая сходимость при отказе устройства или

канала• Обеспечение отказоустойивости и

масштабируемости при подключении серверов• Сокращение CAPEX и OPEX• Поддерживается на Nexus 2000/3000/5000/7000

Без vPC

С использованием vPC

FabricPath в корпоративном ЦОДАльтернатива традиционной архитектуре с STP

• Существенное повышение производительности• Сокращение числа устройств• Повышение надёжности• Упрощение эксплуатации• Поддерживается на Nexus 5500/7000

Традиционная сеть со Spanning Tree Сеть на базе FabricPath

Fully Non-B

locking

8 Access Switches2, 048 Servers

64 Access Switches

2, 048 Servers

Blocked Links

Ove

rsub

scrip

tion

16:

1

8:1

2:1

4 Pods

FabricPath

• Обзор• Дизайн центра обработки данных• Построение ЦОД «с нуля»• Миграция на новую архитектуру Nexus• Заключение

Программа

17

Физическая инфраструктура и сетевая топология

Эффективность охлаждения и электропитания влияют на размещение вычислительных ресурсов в POD’е

Гибкость в сетевой архитектуре позволяет строить более гибкую СКС

Изменения в подключении серверов и систем хранения приводят к изменениям в СКС

What Makes Designing Networks forthe Data Center Different?

• Extremely high density of end nodes and switching• Power, cooling, and space management

constraints• Mobility of servers a requirement, without DHCP• The most critical shared end-nodes in the network,

high availability required with very small service windows

• Multiple logical multi-tier application architectures built on top of a common physical topology

• Server load balancing, firewall, other services required

19

Дизайн – эволюционный или прогрессивный?Выбор вариантов

Иерархический трёхуровневый• Эволюция классического дизайна со

Spanning Tree• Знакомая идеология• Модульное наращивание• Резервирование 1+1• Расширение L2 - проблема• Для современных внедрений в ЦОД - vPC

Двухуровневый• Изменение парадигмы• Архитектура «Spine-Leaf» (сеть Клоза)• Простота настройки• Горизонтальное масштабирование• Резервирование N+1• Для внедрений сейчас - FabricPath

Ядро ЦОД

Сеть компании


Доступ

Layer 3

Layer 2

Иерархический дизайнЭлементы и функции

• Уровень ядра– Маршрутизируемый уровень, отделяет сеть

компании от ЦОДа– Обеспечивает масштабирование для подключения

других агрегирующих блоков• Уровень распределения

– Граница между L3 и L2 блоками– Место подключения дополнительных сервисных

модулей• Уровень доступа

– Сервера, сеть хранения и др. ресурсы– Обычно это L2 коммутация

21

Cisco Virtualized Multiservice Data CenterМультисервисный, виртуализированный ЦОД

22

Референсная модель VMDC(Cisco Virtualized Multiservice Data Center) для построения хорошо масштабируемой, высокодоступной, гибкой, безопасной архитектуры

Трехуровневая модель

Уменьшаем риски

Увеличиваем гибкость

Улучшаем управляемость

http://www.cisco.com/en/US/solutions/ns340/ns414/ns742/ns743/ns1050/landing_vmdc.html

Cisco Virtualized Multiservice Data CenterVMDC 3.0

23

VMDC 3.0 описывает альтернативу vPC – Cisco FabricPath

Первая референсная модель, базирующая на FabricPath.

Уровень ядра ЦОДОсновные требования

24

• Высокая производительность• Маршрутизируемый транспорт• Разграничение между основной сетью и

сетью ЦОДа• Граница между зонами ЦОДв• Большая таблица маршрутизации• Быстрая сходимость L3 протокола

Ядро ЦОД



Доступ

Layer 3Layer 2

• Платформа: Nexus 7K• Модули M1/M2 или F2/F2E

– M1/M2: L2/L3/L4 большая таблица коммутации. Богатый функционал

– F2: Низкая стоимость, высокая плотность и производительность, низкая задержка и низкое энергопотребление

• Большая таблица L3: M1/M2• Большая плотность портов 10G: F2• MPLS: M1/M2

25

Software 4.0 and later* 6.0(1) and later

Fabric Connection 80G/240G 480G (Fab2)L3 IPv4 Unicast 128K/1M 32K

L3 IPv4 Multicast 32K 16K

L3 IPv6 Unicast Up to 350K 32K

L3 IPv6 Multicast 16K 8K

ACL Entries 128K 16K

MPLS ✓ ✗

LISP and OTV ✓ ✗

M1/M2-10G LC F2-Series LC

Уровень ядра ЦОДПлатформы и линейные карты

Уровень агрегированияОсновные требования

• Уровень распределения обеспечивает– Граница L2 / L3– Шлюз по умолчанию– Место подключения дополнительных

сервисов– Сетевые политики и функции: ACL,

FHRP, DHCP Relay

Ядро ЦОД



Доступ

26

NX-OS 4.0* 5.1(1) 6.0(1) 5.0(3)N1(1)

Fabric Connection 80G/240G 230G 480G (Fab2) -L3 IPv4 Unicast 128K/1M L3 прокси 32K 8K

L3 IPv4 Multicast 32K L3 прокси 16K 2K

MAC Entries 128K 16K (на SoC) 16K (на SoC) 32K

Поддержка FEX Yes (M132/M2) No Yes Yes

L2 Portchannel 8 active 16 active 16 active 16 active

LISP и OTV ✓ ✗ ✗ ✗

FabricPath ✗ ✓ ✓ ✓

Поддержка FCOE ✗ ✓ ✓ ✓

Уровень агрегированияПлатформы и линейные карты

• Платформа: N7K/N5K• Функциональность (L3,

MPLS, OTV и т.д.)• Масштабируемость

(таблицы L2/L3)• Производительность и

плотность портов

27

F2-Series LCM1/M2-10G LC F1-Series LC N5500 с L3

Уровень агрегированияДополнительные соображения

•Физическая инфраструктура ЦОДаСтруктура блоков (pod) и кабельная инфраструктураРазмер домена L2

•Уровень переподпискиПотоки трафикаКоличество коммутаторов уровня распределенияТребования к масштабированию

•Сервисные модулиМодули или отдельная платформаБезопасностьБалансировщик

28

Ядро ЦОДа



Доступ

Уровень доступаПодключение серверов и виртуализация

29

• Уровень доступа обеспечиваетТочка подключения серверов: 1/10G, оптика/медьL2 сервисы: LACP, VLAN TrunkingПолитики безопасности на входе в сетьКонсолидация ввода-вывода до серверов (при использовании FCoE на доступе)

• Уровень доступа для виртуальных ресурсов

Точка подключения виртуальных серверовВиртуализированные сервисыСетевые политики

30

Производительность 960G/1.92T 230G/480G

Плотность портов 48/96 32/48 per LC

Количество Vlan 4096 4096MAC Entries 32K 16K (per SOC)

Количество FEXs 24 32 (F2 only)

1G FEX 1152 24/32/48 портов

10G FEX 768 32/48 портов

8G Native FC порты 48/96 -

FabricPath ✓ ✓

N5548/N5596 N7K F-Series LC Физическая инфраструктура‒ TOR или MoR‒ Оптика / Витая пара /Twinax‒ Непосредственное подключение

или Fabric Externder Сервера

‒ 1 G или 10G‒ Резервирование

(LACP/Teaming) Переподписка

‒ Количество серверов Требования к виртуализации

‒ Мобильность‒ Управление

Уровень доступаВопросы к рассмотрению. Платформы и интерфейсы

Подключение Cisco UCSК уровню доступа или агрегирования?

• К уровню доступа– Аналогия с традиционными серверами– Однородный способ применения политик

на коммутаторах– Сокращение СКС

• К уровню агрегирования– Уровень доступа - UCS Fabric Interconnect– Ниже переподписка

• В обоих случаях– Port channel до вышестоящей VPC пары– Использование end-host mode как

предпочтительный вариант

VPC пара

UCS FabricInterconnect

Доступ/агрегирование

Data Center InterconnectЗачем нужен L2 между ЦОДами

• Распределенный Layer 2 домен– Перераспределение нагрузки и

масштабируемость с vMotion– Геокластеры– Непрерывность сервисов

• Система хранения и репликация

EoMPLSL2 L2

Main Data Center

BackupData Center

EoMPLSoGRE

StorageStorage

IP Routed Service

DWDM/CWDM

L3L3

SAN SAN

L2L2

FC FC

WAASWAAS

32

• Изоляция STP домена• Образование петель• Broadcast штормы и flooding• FHRP резервирование и

локализация• Масштабируемость и время

сходимости• Основные технологии(Nexus)

vPCOTVFabricPath

33

Data Center InterconnectКлючевые вопросы

Программа• Обзор• Дизайн центра обработки данных• Построение ЦОД «с нуля»• Миграция на новую архитектуру Nexus• Заключение

34

Построение ЦОД «с нуля»

• Банк• Около 10.000 сотрудников• Примерно 1200 серверов и 600

VMs в 5 территориально распределенных ЦОДах

• Текущие ЦОД невозможно дальше расширять (проблема с местом, электричеством, охлаждение)

• Решение построить два новых ЦОД для консолидации ресурсов и обеспечить отказоустойчивость

Описание заказчика

Архитектура базирующаяся на 10G+ Топология без STP Базовые политики безопасности на

уровне доступа(port security, dhcpsnooping, etc)

Поддержка vMotion между ЦОДами Сетевая группа обеспечивает

полное управление сетью(включая виртуальную среду)

Требования к ЦОД

35

Требования к инфраструктуре

400 серверов на скорости 10G 30 ESX серверов( примерно 600 VM) 800 серверов на скорости 1G (внешняя сеть

управления - out of band) Поддержка network teaming Возможный переход на технологию FCoE

Сетевая группа управляет сетью Серверная группа управляет серверами и

виртуальной инфраструктурой Сетевые политики «привязаны» к серверу, даже

в случае vMotion

36

Дизайн уровня доступа

Комбинация EoR (End of Row) и ToR (Top of Rack)

Nexus 5000/2000 ToR & EoR

. . .

Использование FEX N2K. Уменьшаем количество управляемых устройств

Миграция на 10GE сервера (установка соответствующихFEX).

Гибкость СКС для будущих проектов

37

Количество серверов и переподписка

38

Для 10G серверов: 5596Всего 10G портов = 20*32 = 640Сетевая утилизация = 50%Аплинк BW = 16*10 = 160GПереподписка = (640*0.5*10)/160= 20:1

Для 1G серверов 5548Всего 1G портов = 20*48 = 960Сетевая утилизация = 50%Аплинк BW = 8*10 = 80GПереподписка = (960x0.5) / 80= 6:1

39

N1KV Позволяет управлять виртуализированной инфраструктурой

Cisco NexusCisco Nexus™™ 1000V1000VSoftware Based

На основе Cisco NX-OS Совместим со всеми

коммутаторами Для серверной группы

управление серверами остается таким же, черезvCenter. Сетевая группа управляет сетью.

PolicyPolicy--Based Based VM ConnectivityVM Connectivity

PolicyPolicy--Based Based VM ConnectivityVM Connectivity

Mobility of Network and Mobility of Network and Security PropertiesSecurity Properties

Mobility of Network and Mobility of Network and Security PropertiesSecurity Properties

NonNon--DisruptiveDisruptiveOperational ModelOperational Model

NonNon--DisruptiveDisruptiveOperational ModelOperational Model

vSphere

NexusNexus1000V1000V

Nexus 1000VNexus 1000V

VVMM

VVMM

VVMM

VVMM

Дизайн уровня доступа

40

Не удается отобразить рисунок. Возможно, рисунок поврежден или недостаточно памяти для его открытия. Перезагрузите компьютер, а затем снова откройте файл. Если вместо рисунка все еще отображается красный крестик, попробуйте удалить рисунок и вставить его заново.

Требование РешениеГибкая модель для СКС N5K/2K обеспечивает комбинацию ToR &

EoR архитектур

Подключение серверов на скорости 1G, 10G, объеденение двух подключений

FEX поддерживает Active/Active, Active/Standby для NIC teaming

vMotion внутри ЦОДа N5K в режиме L2

Сетевая группа управляет сетью, серверная группа управляет серверами

N1KV обеспечит эту границу


Доступ

Ядро B

L

R

N

E

BPDUguard

LoopguardRootguard

Network portEdge or portfast port type

- Normal port type

B

RR

N N

- - -

-

-

- - -RRRRRR

--

BE

BBE

BE

Layer 3

Layer 2 (STP + Rootguard)

Layer 2 (STP + BPDUguard)

L

E

SecondaryRoot

SecondaryRoot

HSRPSTANDBY

HSRPSTANDBY

PrimaryRoot

PrimaryRoot

HSRPACTIVEHSRP

ACTIVE

E

-

vPCPrimary

vPC vPCSecondary

vPCvPC

DomainvPC

Domain

Spanning Tree рекомендации

41

42

vPC рекомендации

функция характеристика описаниеvPC auto-recovery(reload restore)

Увеличивает надежность Позволяет одному vPC устройству взять на себя основную функцию и поднять все свои локальные vPCs в случае если сосед отключился из проблем электропитания

vPC Peer-Gateway Непрерывность Позволяет vPC коммутатору быть активным коммутатором для пакетов предназначеных MAC адресу соседнего vPC устройства

vPC orphan-ports suspend

Увеличивает надежность Когда vPC peer-links отключается, второй vPC коммутатор, выклюает все порты в том числе и устройств, подключенных одним кабелем. Что бы этого избежать можно использовать эту функцию

vPC ARP SYNC Улучшает сходимость Улучшает сходимость для Layer 3 после того как vPC peer-link поднялся

Дизайн уровня распределения

43

Data Center Core

Enterprise Network

Aggregation

Access

Layer 3 LinksLayer 2 Trunks

Требование РешениеОтсутствие блокирования STP

vPC между 7K и 5K позволят избежать блокирования портов

Безопасность Виртуализация N7K (VDC) обеспечит логическую изоляцию (например для DMZ)

Web сервера требуют балансировки

LB в прозрачном режиме

Высокая пропускная способность и возможный рост

Модульная архитектура, совместимость и защита инвестиций.

Возможное использование FCoE

F2 10G линейные карты

Дизайн ядра

• Nexus 7010 с M2 картами• 10G layer 3 port channels к уровню

распределения• Маршрутизация OSPF

44

Ядро ЦОДа



Доступ

Layer 3Layer 2

DCI: требования и возможные варианты

Требования• L2 для vMotion• Репликация данных между ЦОДами• Возможно подключение 3го ЦОДаВарианты DCI• vPC• OTV• FabricPath

Дизайн DCICisco OTV

• Работа поверх любого транспорта (IP, MPLS)

• Изоляция доменов сбоев (STP)

• Независимость сайтов • Легкость добавления сайтов• Оптимальное использование

полосы • Встроенная

отказоустойчивость • Встроенная защита от

«петель»• Связь многих сайтов

OTV OTV VDCVDC

OTV OTV VDCVDCVPCOTV OTV

VDCVDCOTV OTV VDCVDCVPC

Ядро ЦОД


ЦОД А ЦОД Б

L3 ядро

46

VM VM VM VM

Nexus1000VVEM

VM VM VM VM

Nexus1000VVEM

Nexus 1000VVSM

Windows 8 Hyper-VNexus 1000VVSM

VMware vSphere

VMware vCenter SCVMM

Nexus 1010 обеспечит прозрачность при управлении виртуальными коммутатороми, установленными на разных гипервизорахNexus 1010 обеспечит прозрачность при управлении виртуальными коммутатороми, установленными на разных гипервизорах



Cisco Nexus 1000V for Hyper-V Общая архитектура для всех гипервизоров

Nexus 1000v сценарий использованияЕдиный Layer 2 домен поверх OTV

ЦОД БЦОД А

Stretched ClustervSphere

vCenter SQL/OracleDatabase

Replicated vCenter SQL/OracleDatabase

vSphere vSphere vSphereVirtualized Workload Mobility

Layer 2 Extension(OTV)

Dark Fiber

Активный и резервный VSM могут находиться в разных ЦОДах vMotion (5-10ms latency) для распределенного кластера

48

VSM(Active)

vCenter(Active)

VSM(Standby)

Nexus 1000V VEM Nexus 1000V VEMNexus 1000V VEM Nexus 1000V VEM

Оптимальный путьВ чём именно проблема?

Layer 3 Core

AccessAccess

AggAgg

AccessAccess

AggAgg

10.1.1.0/24 advertised into L3Backup should main site go down10.1.1.0/24 advertised into L3Backup should main site go down

10.1.1.0/25 & 10.1.1.128/25 advertised into L3DC A is the primary entry point10.1.1.0/25 & 10.1.1.128/25 advertised into L3DC A is the primary entry point

Node ANode A

ESX ESXVirtual Machine Virtual Machine

VMwarevCenter

Data Center 1 Data Center 2

Оптимальный путьХотелось бы так...

AccessAccess

AggAgg

AccessAccess

AggAgg

Node ANode A

ESX ESXVirtual Machine

VMwarevCenter

Data Center 1 Data Center 2

Проблема ассиметричных потоков трафикаvMotion между ЦОДами

51

Виртуальная машина продолжает использовать ACE и маршрут по умолчанию после vMotion

Internet

Устройство IPv4или IPv6

Текущая ситуацияLoc/ID “переписывается”

x.y.z.1 Когда устройство перемещается, оно получает новый IPv4 илиIPv6 адрес для своего нового место положения (identity или

location)w.z.y.9

Адрес IPv4 или IPv6это только identity .

Когда устройство перемещается, оно сохроняет

свой IPv4 или IPv6 адресidentity остается тем же

LISPLoc/ID “разделены”

Internet

a.b.c.1e.f.g.7

изменяется location

x.y.z.1

x.y.z.1

Местоположение (location) определенно здесь!

Location ID/Separation Protocol(LISP) Сетевая технология следующего поколения

Итоговый дизайнНе удается отобразить рисунок. Возможно, рисунок поврежден или недостаточно памяти для его открытия. Перезагрузите компьютер, а затем снова откройте файл. Если вместо рисунка все еще отображается красный крестик, попробуйте удалить рисунок и вставить его заново.

53

Требование Решение

Поддержка x10G подключения и виртуализированая сетевая архитектура

Nexus 7K,5K,2K обеспечивают большую плотность 10GE портов

Отсутствие блокирования STP Двухсторонний vPC между 7K и 5Kпозволяет использовать все каналы связи

Поддержка vMotion между ЦОДами

Технология OTV помогает «растянуть» L2домен между несколькими сайтами

Управление виртуальными коммутаторами

Nexus 1000v обеспечивает «прозрачное» управление виртуальной сетевой инфраструктурой

Программа

54

• Обзор• Дизайн центра обработки данных• Построение ЦОД «с нуля»• Миграция на новую архитектуру• Заключение

Миграция на новую архитектуруПрактический пример

• Финансовая организация• Текущая сеть на Cisco Catalyst

6500• 300+ стоечных серверов• 20+ ESX серверов 500+ VM• Миграция существуещей сети

ЦОДа на новую архитектуру

Архитектура базирующаяся на x10G Топология без STP Поддержка vMotion между ЦОДами Миграция серверов vlan за vlan’ом

Заказчик Требования к ЦОД

55

Текущая ситуация

• Catalyst 6500 в ядре, распределении и на доступе

• L2/L3 граница на уровне распределения

• vMotion только в пределах одного ЦОДа

• Коммутатора уровня доступа имеют только гигабитные порты, новым ESXсерверам требуется 10Gigподключение

• Для топологии EoR, замена СКС требует значитильных инвестиций

56

Новая архитектура

57

• Catalyst 6500 в ядре, N7K уровень распределения, N5K/2K доступ

• Граница L2/L3 на уровне распределения N7K

• vMotion в пределах ЦОДа• Подключение серверов на скорости

10Gig• Топология СКС: ToR

Стратегия миграции

• Создание новой инфраструктуру на базе Nexus

• Подключаем новую инфраструктуру к существующейМиграция Layer 2 домена с помощью технологии VDCОтделение Layer 2 домена без использования STP

• Миграция серверов (целиком один vlan)

• Миграция «шлюза по умолчанию»(опять же, один шлюз на каждый vlan)

58

Шаг 1: Построение новой инфраструктуры

59

Шаг 2: Создание VDC для миграции

60

Тестируем доступность по layer 2 между новой инфраструктурой и VDCОтключаем SVI интерфейсы и понижаем HSRP priority

SVI downHSRP LP

SVI downHSRP LP

BPDUFilter

BPDUFilter

BPDUFilter

BPDUFilter

Шаг 3: Подключение коммутаторов N7K к существующему ядру

61

Проверяем маршрутизацию между N7K и остальной сетью

SVI downHSRP LP

SVI downHSRP LP

Шаг 4: Добавляем необходимые Layer 2 связи

62

Тестируем доступность layer 2 между Catalyst 6500 и новой инфраструктурой

STP leaf

STP leaf

SVI downHSRP LP

SVI downHSRP LP

Шаг 5: Миграция серверов

63

GatewayHSRP A

GatewayHSRP S

SVIdown

SVIdown

Шаг 6a: Миграция шлюза «по умолчанию»

64

Поднимаем SVI интерфейсы на Nexus 7K(возможна асимметричная маршрутизация)

GatewayHSRP A

GatewayHSRP S

SVI upHSRP L

SVI upHSRP L

Шаг 6b: Миграция шлюза «по умолчанию»

65

Увеличиваем HSRP priority на N7K (делаем N7K активным шлюзом)замечание: Может быть асимметричная маршрутизация. Минимальные потери пакетов

GatewayHSRP L

GatewayHSRP L

GatewayHSRP A

GatewayHSRP S

Шаг 6c: Миграция шлюза «по умолчанию»

66

Выключаем все SVI на 6500Замечание: возможны потери пакетов

GatewayHSRP L

GatewayHSRP L

GatewayHSRP A

GatewayHSRP S

Шаг 7: Миграция всех серверов, для всех Vlan’ов

67

Повторяем шаги 5 и 6

GatewayHSRP L

GatewayHSRP L

GatewayHSRP A

GatewayHSRP S

Шаг 8: Отключение лишних связей

68

Отключаем коммутаторы 6500 уровня распределенияОтключаем временный VDC для миграции

Результаты проекта миграцииОсновные шаги• Использование VDC для

миграции существующей и новой инфраструктуры

• Использование vPC как не блокируемой топологии

• Механизм HSRP preemption для миграции шлюза по умолчанию

• Миграция шлюза по умолчанию

Дополнительные шаги• Идентифицировать возможные

потери трафика• Избежать асимметричной

маршрутизации в случае использования firewall’ов

• Зафиксировать STP root на время миграции

• Различное поведение NX-OS и IOS• QoS, NTP

69

Заключение• Платформа Nexus и NX-OS разработаны специально для ЦОДов• Трехуровневая модель (ядро, распределение и доступ) для обеспечения

высокой доступности и масштабируемости• Nexus 5K/2K предлагается использовать на уровне доступа• Nexus 7K/5K можно использовать с двухсторонним vPC и поддержкой

неблокируемых портов. Так же можно использовать FabricPath.• OTV/FabricPath/vPC упрощают применение в качестве DCI решения• Nexus 1000v обеспечивает безопасность, контроль, применение сетевых

политик к VM. А так же удобную интеграцию с виртуальными сервисами(VSG, vWAAS, NAM, ASA)

70

Спасибо!Заполняйте анкеты он-лайн и получайте подарки в Cisco Shop: http://ciscoexpo.ru/expo2012/questВаше мнение очень важно для нас!

Technology

Построение и развитие сети крупного ЦОД