Upload
cisco-russia
View
2.858
Download
18
Tags:
Embed Size (px)
Citation preview
1 © 2011 Cisco and/or its affiliates. All rights reserved.
Сергей Лобов Инженер службы технической поддержки
26 октября 2012
2 © 2011 Cisco and/or its affiliates. All rights reserved.
© 2011 Cisco and/or its affiliates. All rights reserved. 3
• Технический комитет T11
Занимается стандартизацией протоколов Fibre Channel
Входит в состав Международного комитета по стандартам в сфере ИТ
(International Committee for Information Technology Standards - INCITS)
Ссылка: www.t11.org/index.html
• Основные стандарты
FC-BB-6 - Fibre Channel Backbone
FC-FS-4 - Fibre Channel Framing and Signaling
FC-LS-3 - Fibre Channel Link Services
FC-PI-6 - Fibre Channel Physical Interfaces
FC-SP-2 - Fibre Channel Security Protocols
FC-SW-6 - Fibre Channel Switch Fabric
Ссылка: www.t11.org/t11/docreg.nsf/draftlr
© 2011 Cisco and/or its affiliates. All rights reserved. 4
FC-0
FC-1
FC-2
FC-3
FC-4 VIA SCSI IPv4 IPv6 SBCCS
FC-VI FCP-4 RFC4338 FC-SB-5 others
Common Services
Signaling Protocol
Transmission Protocol
Transmitters and Receivers
Media FC-PI-6
FC-FS-4
FC-LS-3
© 2011 Cisco and/or its affiliates. All rights reserved. 5
• FC-4 Отображения протоколов
Предоставляет возможность инкапсуляции протоколов верхнего уровня (Upper Level Protocols - ULP).
• FC-3 Общих служб
Определяет базовые и расширенные службы для транспортного уровня.
• FC-2 Кадрирование и сигнализация
На этом уровне происходит разбиение данных на кадры. Определяет правила передачи данных. Описывает управление потоком.
• FC-1 Кодирования
Описывает процесс кодирования, контроль ошибок, определяет специальные символы.
• FC-0 Физический
Описывает среду передачи, передатчики и приемники сигнала.
© 2011 Cisco and/or its affiliates. All rights reserved. 6
• Point-to-point (точка-точка)
Порты устройства соединены напрямую
Передатчик одного устройства соединён с приемником второго и наоборот
Для построения не требуется коммутатор
TX
TX RX
RX
© 2011 Cisco and/or its affiliates. All rights reserved. 7
• Arbitrated Loop (управляемая петля)
Передатчик каждого устройства соединён с приемником следующего
Добавление устройства в петлю приводит к приостановке передачи данных между уже подключенными устройствами
Выход из строя одного устройства может привести к отказу всей петли
RX
RX TX
TX
RX
RX TX
TX
© 2011 Cisco and/or its affiliates. All rights reserved. 8
• Fabric (коммутируемая связная архитектура)
Позволяет объединять большое количество устройств
Добавление устройств не влияет на передачу данных между уже подключенными устройствами
Для построения требуется коммутатор
Fabric
© 2011 Cisco and/or its affiliates. All rights reserved. 9
• N_Port (Node port)
Порт устройства с поддержкой топологии Point-to-point (точка-точка) или топологии Fabric (коммутируемая связная архитектура)
• NL_Port (Node Loop port)
Порт устройства с поддержкой топологии Arbitrated Loop (управляемая петля)
• F_Port (Fabric port)
Порт коммутатора который используется для подключения портов типа N_Port
• FL_Port (Fabric Loop port)
Порт коммутатора который используется для подключения портов типа NL_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 10
• E_Port
Порт коммутатора который используется для соединения коммутаторов
• B_Port
Порт устройства выполняющего функцию преобразования трафика (Fibre Channel Bridge)
• G_Port (Generic port)
Порт коммутатора который может автоматически определять тип порта E_Port или F_Port
• GL_Port (Generic Loop port)
Порт коммутатора который может автоматически определять тип порта E_Port, F_Port и FL_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 11
• TE port (Trunking E port)
Это расширенный E_Port который поддерживает возможность передачи кадров Fibre Channel с дополнительным тегом содержащим информацию о VSAN (Virtual SAN)
• NP port (proxy N port)
Порт устройства работающего в режиме NPV. Используется для подключения к портам коммутаторов типа F_Port.
• TF port (Trunking F port)
Это расширенный F_Port который c возможностью передачи информации о VSAN . Используется для подключения устройств работающих в режиме NPV.
• TNP port (Trunking NP port)
Это расширенный NP_Port c возможностью передачи информации о VSAN
© 2011 Cisco and/or its affiliates. All rights reserved. 12
N_Port
TE_Port TE_Port F_Port
FL_Port
NL_Port
E_Port E_Port
N_Port
F_Port
F_Port
NP_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 13
• Позволяет передавать через порт трафик нескольких VSAN
кадры Fibre Channel дополняются тегом содержащим информацию о VSAN (Virtual SAN)
поддерживается на портах типа E_Port и F_Port
• Cisco Port Trunking Protocol (PTP)
Используется при создании соединения между коммутаторами для согласования списка разрешенных VSAN и обнаружения ошибок в конфигурации портов
11
21
VSAN 11 VSAN 11
VSAN 21 VSAN 21
© 2011 Cisco and/or its affiliates. All rights reserved. 14
• Увеличение пропускной способности
Объединение нескольких физических соединений в один логический канал с большей пропускной способностью
• Возможно объединение следующих типов портов
E_Port и E_Port
F_Port и NP_Port
TE_Port и TE_Port
TF_Port и TNP_Port
TE_Port TE_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 15
• Повышение отказоустойчивости
Отказ одного из физических соединений не приводит к отказу логического канала
Рекомендуется использовать порты расположенные на разных модулях
• Аппаратная балансировка
Поддерживаются два режима балансировки - Flow based (src-id/dst-id) и Exchange based (src-id/dst-id/oxid). Режим балансировки определяется на уровне VSAN.
MDS-9513# show vsan 10
vsan 10 information
name:VSAN10 state:active
interoperability mode:default
loadbalancing:src-id/dst-id/oxid
operational state:up
© 2011 Cisco and/or its affiliates. All rights reserved. 16
• Уровень FC-2 определяет правила передачи данных
На этом уровне определены кадр (Frame), пакет (Sequence) и обмен (Exchange)
Пакет (sequence) состоит из одного или нескольких кадров
Кадры бывают двух типов:
передачи данных (Data frames)
управления (Link Control frames)
Набор пакетов которыми обмениваются узлы называется обменом
Exchange
sequence sequence sequence
frame frame frame
SEQ_ID
OX_ID RX_ID
SEQ_CNT
© 2011 Cisco and/or its affiliates. All rights reserved. 17
• World Wide Name (WWN) - уникальный идентификатор
Встраиваются в устройство на этапе изготовления
• Оригинальный формат World Wide Name (WWN)
Первые 2 байта шестнадцатеричные 10:00 или 2x:xx
где значение x:xx - определяется производителем
Следующие 3 байта - идентификатор производителя
Следующие 3 байта - определяются производителем
• WWN адаптеров узлов регистрируются во время FLOGI
2 Port Identifier Locally Assigned Identifier
4 бита 12 бит 24 бита
IEEE Organizational Unique ID (OUI)
24 бита
© 2011 Cisco and/or its affiliates. All rights reserved. 18
• Switch WWN - уникальный идентификатор коммутатора
MDS-9513# show wwn switch
Switch WWN is 20:00:00:0d:ec:24:f4:c0
• Port WWN - уникальный идентификатор порта
MDS-9513# show interface fc4/1
fc4/1 is up
Hardware is Fibre Channel, SFP is 10GBASE-LR
Port WWN is 20:c1:00:0d:ec:24:f4:c0
<…>
© 2011 Cisco and/or its affiliates. All rights reserved. 19
• FC ID - 24 битный идентификатор узла который состоит из
идентификатора домена (Domain_ID)
идентификатора области (Area_ID)
идентификатора порта (Port_ID)
• FC ID назначается коммутатором во время FLOGI MDS_9513# show flogi database interface fc 3/38
----------------------------------------------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
----------------------------------------------------------------------------------------------------------------------
fc3/38 100 0x010423 21:00:00:04:cf:db:3e:a7 20:00:00:04:cf:db:3e:a7
Port Area Domain
8 бит 8 бит 8 бит
© 2011 Cisco and/or its affiliates. All rights reserved. 20
• На основании Domain_ID производится доставка кадров
FC ID 0x8d0100 FC ID 0x010423
VSAN 11 VSAN 11
Domain_ID 0x01 (1)
VSAN 11
Domain_ID 0x8d (141)
VSAN 11
Domain_ID 0x6f (111)
VSAN 11
Domain_ID 0x47 (71)
VSAN 11
© 2011 Cisco and/or its affiliates. All rights reserved. 21
• FSPF - протокол маршрутизации в сетях Fibre Channel.
Стандартизирован техническим комитетом T11 (FC-SW6 раздел 8 )
• FSPF протокол обладает следующими свойствами
- доставка кадров осуществляется по нескольким маршрутам с одинаковой стоимостью (multipath routing)
- маршрутизация производиться на основании Domain_ID
- основан на технологии отслеживания состояния канала (link-state)
- обеспечивает построение топологии без петель
- в каждом VSAN исполняется свой независимый протокол FSPF
- исполняется только на портах типа E_Port и TE_Port
- быстрое время схождения в случае изменения топологии
- использует стоимость (cost) в качестве метрики при выборе маршрута
© 2011 Cisco and/or its affiliates. All rights reserved. 22
• Узел определяет наличие или отсутствие коммутатора
• Происходит обмен параметров между узлом и коммутатором
количество B2B_Credit
поддерживаемые классы обслуживания (classes of service)
размер кадра
значения таймаут (E_D_TOV и R_A_TOV)
• Коммутатор назначает Fibre Channel ID (FCID)
FLOGI
N_Port F_Port
FLOGI
F_Port N_Port
0xFFFFFE 0xFFFFFE
© 2011 Cisco and/or its affiliates. All rights reserved. 23
• Выполняется между узлами, которые хотят установить соединение
• Процесс похож на FLOGI
• В топологии точка-точка (point-to-point) во время процесса PLOGI определяется количество буферов BB_Credit
PLOGI
N_Port F_Port F_Port N_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 24
• NPV позволяет уменьшить количество идентификаторов домена (Domain_ID)
Коммутатор работающий в режиме NPV выполняет FLOGI
FLOGI серверов конвертируются коммутатором NPV в FDISC (Discover F_Port Service Parameters)
FC ID назначаются серверам вышестоящим (upstream) коммутатором
N_Port
F_Port F_Port NP_Port
Сервер приложений
Сервер приложений
Сервер приложений
Сервер приложений
Сервер приложений
N_Port F_Port
FLOGI
FLOGI
FDISC
NPV NPIV
© 2011 Cisco and/or its affiliates. All rights reserved. 25
• NPIV позволяет назначать несколько FC ID устройствам подключенным к одному порту N_Port
Первый FC ID назначается в ответ на FLOGI запрос отправленный N_Port
Последующие FC ID назначается в ответ на запросы FDISC (Discover F_Port Service Parameters)
NPIV позволяет использование одного порта Fibre Channel несколькими приложениями
Повышается уровень безопасности за счет разграничения доступа (Zone)
F_Port N_Port 1 Web сервер
Mail сервер
DB сервер
N_Port 2
N_Port 3
N_Port
FLOGI FDISC NPIV
© 2011 Cisco and/or its affiliates. All rights reserved. 26
• Зонирование позволяет контролировать доступ к устройствам хранения данных
• Контроль обеспечивается путем проверки полей FC ID в заголовке кадра
• Только пользователи входящие в зону могут общаться друг с другом
zone name BLD_SRV-01-STR-01 vsan 10
pwwn 20:12:00:0d:ec:9e:e5:40
pwwn 21:01:00:e0:8b:bb:91:97
• Зоны входят в состав наборов зон (zoneset) zoneset name UCS vsan 10
member BLD_SRV-01-STR-01
member BLD_SRV-02-STR-01
FC Fabric
Initiator Target
FC
FC Zone
© 2011 Cisco and/or its affiliates. All rights reserved. 27
• BB_Credit (buffer-to-buffer credit) - механизм управления потоком передачи данных
Служит для предотвращения потери кадров
Значение BB_Credit определяется в момент инициализации порта
Передача кадра разрешена только при наличии BB_Credit у порта
После передачи кадра значение BB_Credit уменьшается на единицу
После получения подтверждение передачи отправленного кадра (R_RDY) значение BB_Credit увеличивается на единицу
кадр кадр кадр
R_RDY R_RDY R_RDY
28 © 2011 Cisco and/or its affiliates. All rights reserved.
© 2011 Cisco and/or its affiliates. All rights reserved. 29
FC
FICON
iSCSI
VSAN SAN Extension
Security FC
FICON
FCIP FCoE
FC
Сеть хранения данных (SAN)
Zoning
QoS
© 2011 Cisco and/or its affiliates. All rights reserved. 30
• T11 - FCoE определен в стандарте FC-BB-5
• IEEE – разработка стандартов направленных на предотвращение потерь (lossless Ethernet) в сетях Data Center Bridging (DCB)
FCoE
FC on
other
network
media
FC on Other
Network
Media
FC-BB-5
PFC ETS DCBX
802.1Qbb 802.1Qaz 802.1Qaz
Lossless
Ethernet
Priority
Grouping
Configuration
Verification
T11 IEEE
DCB
© 2011 Cisco and/or its affiliates. All rights reserved. 31
• PFC расширяет функционал IEEE 802.3x PAUSE
Class of Service (CoS) позволяет определить до 8 приоритетов трафика
PFC позволяет управлять потоком в зависимости от приоритета
Transmit Queues Ethernet Link Receive Buffers
One One
Two Two
Three Three
Four Four
Five Five
Seven Seven
Eight Eight
Six Six
STOP PAUSE
© 2011 Cisco and/or its affiliates. All rights reserved. 32
• PFC расширяет функционал IEEE 802.3x PAUSE
Различия между кадрами IEEE 802.3x PAUSE и PFC
© 2011 Cisco and/or its affiliates. All rights reserved. 33
Позволяет создавать классы для трафика с различным приоритетом
Обеспечивает гарантированную полосу при передаче трафика
Классам разрешается использование доступной пропускной способности канала других классов
Offered Traffic
t1 t2 t3
10 GE Link Realized Traffic Utilization
3G/s HPC Traffic
3G/s
2G/s
3G/s Storage Traffic
3G/s
3G/s
LAN Traffic
4G/s
5G/s 3G/s
t1 t2 t3
3G/s 3G/s
3G/s 3G/s 3G/s
2G/s
3G/s 4G/s 6G/s
Guaranteed
Bandwidth
30%
30%
40%
© 2011 Cisco and/or its affiliates. All rights reserved. 34
• Протокол DCBX используется для согласования конфигурационных параметров
Использует Link-Layer Discovery протокол (LLDP)
Возможно согласование следующих параметров:
- FCoE CoS (значение 802.1p используемое для кадров FCoE)
- QoS (per-priority-pause, scheduling, MTU)
- состояние логического соединения
Протокол точка-точка
© 2011 Cisco and/or its affiliates. All rights reserved. 35
• С точки зрения Fibre Channel:
Передача FC использует новый тип среды - Ethernet
• С точки зрения Ethernet:
Новый протокол верхнего уровня ULP (Upper Layer Protocol)
Отображения протоколов
Общих служб
Кадрирование и сигнализация
FCoE Logical End Point
Доступ к среде (MAC)
FC-4
FC-3
FC-2
Отображения протоколов
Общих служб
Кадрирование и сигнализация
Кодирования
Физический
FC-4
FC-3
FC-2
FC-1
FC-0
Физический уровень (PHY)
© 2011 Cisco and/or its affiliates. All rights reserved. 36
• Fibre Channel over Ethernet
Протокол передачи данных (data plane protocol)
Используется для передачи кадров Fibre Channel и трафика SCSI
Ether Type 0x8906 в заголовке Ethernet кадра
• FCoE Initialization Protocol (FIP)
Протокол управления (control plane protocol)
Используется для обнаружения узлов FC в сети
Установления (login) и разрыва (logout) соединений
Ether Type 0x8914 в заголовке Ethernet кадра
FCoE использует два различных протокола
© 2011 Cisco and/or its affiliates. All rights reserved. 37
Eth
ern
et
He
ad
er
FC
oE
Hea
der
FC
Hea
der
FC Payload 2112 байт
CR
C
EO
F
FC
S
FCoE требуется поддержка
передачи кадров большого размера
(“baby jumbo”- 2500 байт)
Максимальный размер кадра 2180 байт
Определен в стандарте FC-BB-5
© 2011 Cisco and/or its affiliates. All rights reserved. 38
• Типы портов
VN_Port - виртуальный N_Port
VF_Port - виртуальный F_Port
VE_Port - виртуальный E_Port
VE_Port
VE_Port
VF_Port
VN_Port
N_Port
E_Port
F_Port
E_Port
Enode Enode
FCF
FCF
FCF
FC
FCoE
SAN 2
SAN 1
© 2011 Cisco and/or its affiliates. All rights reserved. 39
• FCoE Link End-Point (FCoE_LEP)
Отвечает за инкапсуляцию и декапсуляцию кадров Fibre Channel
Производит прием и передачу инкапсулированных кадров через виртуальный канал
• FCoE Controller
Элемент в котором реализованы функции протокола FCoE Initialization Protocol (FIP)
• FIP Snooping Bridge
Коммутатор способный просматривать содержимое FIP пакетов в момент обнаружения узлов и установления соединения
© 2011 Cisco and/or its affiliates. All rights reserved. 40
• Функциональная модель узла (Enode)
© 2011 Cisco and/or its affiliates. All rights reserved. 41
• Функциональная модель FCoE Forwarder (FCF)
© 2011 Cisco and/or its affiliates. All rights reserved. 42
• Представляет собой логический коммутатор FC внутри коммутатора FCoE
Требует идентификатор домена (Domain_ID)
FLOGI происходит в FCF
Содержит FCF-MAC адрес
• Выполняет инкапсуляция и декапсуляцию кадров FCoE
• Коммутатор работающий в режиме NPV не может выполнять функцию FCF в виду отсутствия идентификатор домена (Domain_ID)
© 2011 Cisco and/or its affiliates. All rights reserved. 43
Eth
port
Eth
port
Eth
port
Eth
port
Eth
port
Eth
port
Eth
port
Eth
port
Lossless Ethernet Bridge
FC
port
FC port
FC port
FC port
Коммутатор FC FCG
FCG (Fibre Channel Gateway)
© 2011 Cisco and/or its affiliates. All rights reserved. 44
• FCoE виртуальное соединение (Virtual Link)
© 2011 Cisco and/or its affiliates. All rights reserved. 45
• FIP протокол используется для
обнаружение FCoE VLAN (FIP VLAN discovery)
поиска FCoE FCF (FIP FCF discovery)
создание виртуального канала FCoE (FCoE Virtual Link instantiation)
поддержание работоспособности виртуального канала (FCoE Virtual Link maintenance)
• FIP протокол работает на уровне VLAN-ов.
• Рекомендуется использовать VLAN по умолчанию во время процесса FIP VLAN Discovery.
© 2011 Cisco and/or its affiliates. All rights reserved. 46
Enode FCoE forwarder (FCF)
VLAN Discovery
FCF Discovery
FLOGI/FDISC
FC commands
FIP
FCoE
© 2011 Cisco and/or its affiliates. All rights reserved. 47
• CNA может обнаружить несколько FCF одновременно
• FCF с меньшим приоритетом предпочтителен
• Значение приоритета по умолчанию 128
FCF# show fcoe
Global FCF details
FCF-MAC is 00:0d:ec:a3:9d:80
FC-MAP is 0e:fc:00
FCF Priority is 128
FKA Advertisement period for FCF is 8 seconds
• Если значение приоритета совпадает - CNA выбирает FCF случайным образом
© 2011 Cisco and/or its affiliates. All rights reserved. 48
• При доставке кадров FCoE
MAC изменяется с каждым переходом (hop-by-hop)
FC ID остается неизменным (end-to-end)
Ethernet Fabric
FC Domain 7
MAC A
FC Domain 3 FCID 7.1.1
MAC C
FCID 1.1.1
D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1
FC кадр
D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1
MAC B
FC Domain 1
D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1
Dst. = MAC B
Src. = MAC A
D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1
Dst. = MAC C
Src. = MAC B
FC кадр
FCoE кадр FCoE кадр
Ethernet Fabric FC Fabric FC Fabric
FC Storage
© 2011 Cisco and/or its affiliates. All rights reserved. 49
• Портам VE_Port и VF_Port MAC адреса назначаются из пула адресов коммутатора
• MAC адреса портам VN_Port могут быть назначены сервером или коммутатором:
SPMA - Server Provided MAC Address
FPMA - Fabric Provided MAC Address
• В настоящее время Cisco использует только FPMA механизм назначения MAC адресов портам VN_Port
• FIP протокол используется для определения MAC адреса портов VN_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 50
• MAC адрес выделяется для каждого FC ID
• MAC адреса состоит из двух частей - FC-MAP и FC ID
FC-MAP - старшие 24 бита MAC адреса
FC ID - младшие 24 бита MAC адреса
• Доставка кадров FCoE осуществляется по нескольким маршрутам на основании Domain_ID в FC ID
FC-MAP
(0E-FC-xx)
FC-ID
02.00.04 FC-MAC адрес
FC-MAP
0E-FC-00 FC-ID
02.00.04
© 2011 Cisco and/or its affiliates. All rights reserved. 51
• Priority Flow Control (PFC)
http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/white_paper_c11-542809.pdf
• Enhanced Transmission Selection (ETS)
http://www.ieee802.org/1/pages/802.1az.html
• Data Center Bridging Exchange (DCBX)
http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-rev0.2.pdf
• Data Center Bridging (DCB)
http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns783/at_a_glance_c45-460907.pdf
Thank you.