Nexus DataCenter Switch の概要 (2014/8/06 webcast)

Nexus DataCenter Switch の概要�

Yuichi Ito�

Customer Support Engineer�

Aug 06 2014�

Cisco Support Community�Expert Series Webcast:�

Cisco Confidential 2 © 2013-2014 Cisco and/or its affiliates. All rights reserved.

§  Nexus の概要�

§  Nexus と Catalyst の比較�

§  Nexus の特徴�

§  Nexus のラインナップ紹介�

§  Nexus のトラブルシューティング手法�

§  トラブルシューティングツール�Cisco Log Viewer の紹介�

§  参考資料の紹介�

§  質疑応答�

Nexus 7010�

Agenda�


伊藤裕一 (Yuichi Ito)�

Cisco Systems, TAC CSE�

データセンタチーム及びSDNチームに所属�

Cisco Log Viewer 及び他の社内ツールの開発�

�

得意分野�

§  Layer2/3 ネットワーク�

§  Nexus 全般�

§  ネットワークのトラブルシューティング�

§  SDNソリューション及びプログラミング�

スピーカーの紹介�

CCIE : 38918�

@Interop2014 SDN ブース�


•  時間配分�•  全90分の予定(オーバーした場合は自由解散)�•  途中に10分の休憩�•  最後に10 - 15分程度の質疑応答時間�

•  質疑応答�•  チャットで随時質問を受け付け。質疑応答時間に回答�•  全質問に対応できない場合は後日に回答�•  確認可能な情報(カタログスペック、販売時期等)はCCOや弊社営業に確認�

•  資料や配布物について�•  本資料、及び参考資料は Cisco Support Community で公開�

本セッションにおける諸注意�


•  データセンター向けのスイッチ�

•  高いスループットとミッションクリティカル向けの設計�

•  目的に応じた幅広いラインナップ�

IO統合型�スイッチ�

金融業界向け�超低遅延スイッチ�

HyperVisor用�仮想スイッチ�

ネットワーク延伸用スイッチ�(親機のポート増設)�

クラウド基盤�構築用スイッチ�

ハイエンドスイッチ�

Nexus の概要�


•  耐障害性の高い設計のOSであるNX-OS を利用�

•  パフォーマンスと可用性を重要視した設計�

•  データセンタ向けの機能(後述)に特化�

NEXUS�(NX-OS)�

高帯域�

高可用性�DC�

機能�

SAN-OS�

IOS�

耐障害性�

Network技術�

Nexus の概要�










Nexus 7010�

Agenda�


アクセス層�

ディストリ�ビューション層�

コア層�

Nexus 2000�

Nexus 5000�Nexus 3000�

Nexus 7000�

Catalyst�2960,3750�

Catalyst�6500�4500�

比較製品のポジショニング�


•  Catalyst�o OS に IOS (Internetwork OS) を利用�o キャンパスネットワーク(ユーザ周辺)での利用を想定�o Ciscoの最もベーシックなコマンドラインを提供�o 特徴: 豊富な搭載機能 �

•  Nexus�o OS に NX-OS (NeXt-generation OS) を使用�o データセンタ(多数のサーバ周辺)での利用を想定�o  IOSをベースにした新しいコマンドラインを提供�o 特徴: 高いパフォーマンスと高可用性(HA: High Availability)を重視�

��データセンターに特化した機能を搭載�

ソフトウェアの比較�


(4) N7K と OSPF neighbor を張る�(5) showコマンドの比較�(6) ping で到達性の確認�

比較するシナリオ�Catalyst 3750 と Nexus 5548 の間で Ping を通す設定�

(1) ログインし設定モードに入る�(2) VLAN と SVI の設定�(3) Interface の設定�

vlan 101 (access)� vlan 102 (access)�

192.168.101.0/24� 192.168.102.0/24�

g1/0/1�

.100� .100�

e1/1�Catalyst 3750� Nexus 5548�

Nexus 7010�(設定済み)�

IOS と NXOS のコマンド比較�


(1) login し、 config mode に入る�

Catalyst�

Nexus�


User Access Verification Password: Catalyst>enable Password:

Catalyst#conf t Catalyst(config)#

User Access Verification Nexus login: admin Password: Nexus# conf t

Nexus(config)#

# enable モードに入る�

# enable モードは存在しない�

# デフォルトでログインにユーザ名が必要�

# ログインにユーザ名は不要�


(2) VLAN と SVI の設定�

Catalyst�

Nexus�


Catalyst(config)#vlan 101 Catalyst(config-vlan)#exit Catalyst(config)#interface vlan 101 Catalyst(config-if)#ip address 192.168.101.100 255.255.255.0

Catalyst(config-if)#no shutdown

Nexus(config)# vlan 102 Nexus(config-vlan)# exit Nexus(config-if)# feature interface-vlan Nexus(config)# interface vlan 102

Nexus(config-if)# ip address 192.168.102.100/24 Nexus(config-if)# no shutdown

# subnet mask は 255 で設定�

# subnet mask は /X で設定�

# feature で SVI 機能を有効化�(featureで使う機能のみ有効化)�


(3) Interface の設定�

Catalyst�

Nexus�


Catalyst(config)#interface g1/0/1 Catalyst(config-if)#switchport Catalyst(config-if)#switchport mode access Catalyst(config-if)#switchport access vlan 101

Nexus(config)# interface e1/1 Nexus(config-if)# switchport Nexus(config-if)# switchport mode access Nexus(config-if)# switchport access vlan 102 Nexus(config-if)# no shutdown

# interface の指定は速度を指定�

# interface の指定は全て ethernet�


(4) OSPF の設定�

Catalyst�

Nexus�


Catalyst(config)#ip routing Catalyst(config)#router ospf 1 Catalyst(config-router)#network 192.168.101.0 0.0.0.255 area 0 Catalyst(config-router)#router-id 0.0.0.2

Nexus(config)# feature ospf Nexus(config)# router ospf 1 Nexus(config-router)# router-id 0.0.0.3 Nexus(config-if)# int vlan 102

Nexus(config-if)# ip router ospf 1 area 0

# routerコマンド配下でネット指定�

# interface 配下でOSPFに参加させる�

# feature で OSPF を有効化�

# ip routing でL3スイッチングを有効化�


(5) show ip route の確認�

Catalyst�

Nexus�


Catalyst(config-router)#show ip route ^ % Invalid input detected at '^' marker. C3K-F09(config-router)#end C3K-F09#show ip route

192.168.101.0/24 is variably subnetted, 2 subnets, 2 masks C 192.168.101.0/24 is directly connected, Vlan101 L 192.168.101.100/32 is directly connected, Vlan101 O 192.168.102.0/24 [110/41] via 192.168.101.1, 00:18:57, Vlan101

Nexus(config-if)# show ip route 192.168.101.0/24, ubest/mbest: 1/0 *via 192.168.102.1, Vlan2102, [110/80], 00:17:42, ospf-1, intra 192.168.102.0/24, ubest/mbest: 1/0, attached *via 192.168.102.100, Vlan2102, [0/0], 00:46:24, direct

192.168.102.100/32, ubest/mbest: 1/0, attached *via 192.168.102.100, Vlan2102, [0/0], 00:46:24, local

# config mode で show を使えない�

# config mode で show を使える�


(6) ping で到達性確認�

Catalyst�

Nexus�


Catalyst#ping 192.168.102.100 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 192.168.102.100, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 1/2/9 ms

Nexus(config-if)# ping 192.168.101.100 PING 192.168.101.100 (192.168.101.100): 56 data bytes 64 bytes from 192.168.101.100: icmp_seq=0 ttl=253 time=8.283 ms 64 bytes from 192.168.101.100: icmp_seq=1 ttl=253 time=1.89 ms 64 bytes from 192.168.101.100: icmp_seq=2 ttl=253 time=2.479 ms

64 bytes from 192.168.101.100: icmp_seq=3 ttl=253 time=4.786 ms 64 bytes from 192.168.101.100: icmp_seq=4 ttl=253 time=12.35 ms --- 192.168.101.100 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 1.89/5.957/12.35 ms

# ping の到達性は「!」で確認�

# Linux のような ping の出力�


WS-C3750X-48T-L�

1G x 48 + α(10G x 2)�

N5K-C5548UP�

10G x 32 + α(10G x 16)�

N5K-C5672UP�

10G x 48 + 40G x 6�

Catalyst Box Type� Nexus Box Type�

ボックス型のパフォーマンス比較�


N77-F312CK-26�

100G x 12�

WS-X6816-10T-2TXL�

10G x 16�

WS-X6548-GE-TX�

1G x 48�

N7K-M132XP-12�

10G x 32(8)�

Nexus Chassis Type�Catalyst Chassis Type�

シャーシ型のパフォーマンス比較�


L2/L3� L2/L3�

WAN�

Security�

Load Balancer�

DC 向け機能�(後述)�

Catalyst�機能が豊富�

Nexus�DCに特化�

製品機能の比較�


L2/L3� L2/L3�

WAN�

Security�

Load Balancer�

Catalyst�機能が豊富�

Nexus�DCに特化�

製品機能の比較�

DC向け機能(後述)�VPC�FabricPath�

ISSU� その他多数�

VOQ�

ACI�


Catalyst� Nexus�

OS� IOS� NX-OS�

想定される�利用環境�

キャンパス�ネットワーク� データセンタ�

コマンド� IOS標準� IOSベースの�新しい体系�

パフォーマンス� 1-10G/port� 10-100G/port�

機能� 豊富� DCに特化�

比較まとめ�










Nexus 7010�

Agenda�


•  プロセス(機能)ごとにメモリ空間を分離�•  プロセスがクラッシュしてもシステムはクラッシュしない�

(Windows 上でアプリケーションがクラッシュした状態に近い)�•  クラッシュしたプロセスは自動でリスタートされる�

NX-OS のアーキテクチャ�

NX-OS Architecture�


• 一筐体を仮想的に複数筐体として扱う�• VRF(Routing情報の分離)を発展させたソフトウェアレベルの�

システムの分離�

一筐体�

一筐体�

VDC1-4 に分割�(Port を割り当て)�

1

VDC (Virtual Device Contexts)�




一筐体�

一筐体�


1 2





一筐体�

一筐体�


1 2

3





一筐体�

一筐体�


1 2

3 4





一筐体�

一筐体�


1 2

3 4


商用系社内

開発管理


•  無停止でソフトウェアのバージョンアップが可能�•  Standby 側をバージョンアップし、次にStandby, Active を�

切り替えて元�Active 側をバージョンアップ�

active�

standby�(version up)�

待機状態(standby) の�supervisor を version up�

ISSU (InService Software Upgrade)�




active�


standby�

active�

active と standby を�切り替える�






active�


standby�

active� active�


active と standby を�切り替える�





• 2台の筐体を仮想的に一台に見せかける手法�• 帯域を有効活用でき、障害時の収束速度も向上させる�

STP�- 帯域制限�- STP収束まで� パケットドロップ�

VPC (Virtual PortChannel)�



STP� VPC�- 帯域制限�- STP収束まで� パケットドロップ�

- 帯域有効活用�- 収束が不要� (耐障害性高)�

物理 2台�論理 1台�




STP� VPC�- 帯域制限�- STP収束まで� パケットドロップ�

- 帯域有効活用�- 収束が不要� (耐障害性高)�


物理 2台�論理 1台�


• VPC: コントロールプレーンは独立�• VSS(Cat6K): コントロールプレーンを共有�•  Stack(Cat3750): Stackケーブルを使ってシャーシをまとめる �

VPC と VSS, Stack の比較�

VPC(Nexus)� VSS(Cat6K)� Stack(Cat3K)�

Peer�Link�

Stack Cable�

VSL�


• VPC: コントロールプレーンは独立 (片方が落ちても共倒れしない)�• VSS(Cat6K): コントロールプレーンを共有�•  Stack(Cat3750): Stackケーブルを使ってシャーシをまとめる �

VPC と VSS, Stack の比較�

VPC(Nexus)� VSS(Cat6K)� Stack(Cat3K)�

Peer�Link�

Stack Cable�

VSL�


•  Layer2 セグメントに Routing の概念を導入�• 同一L2セグメントのサイズをスケーラブルに拡張可能にする�

STP� STP�

FabricPath 網�

1

2

3

S D

FabricPath�

Layer2ドメイン�



STP� STP�

FabricPath 網�

1

2

3

S D

eth�

FabricPath�



STP� STP�

FabricPath 網�

1

2

3

S D

の宛先は� 3eth�

FabricPath�

eth�


FPヘッダ付与�


eth�FP�

STP� STP�

FabricPath 網�

1

2

3

S D


FabricPath�

eth�




eth�FP�

STP� STP�

FabricPath 網�

1

2

3

の宛先は� 3FP�

S D


FabricPath�

eth�




eth�FP�

STP� STP�

FabricPath 網�

1

2

3


S D


FabricPath�

eth�FP�

eth�




eth�FP�

STP� STP�

FabricPath 網�

1

2

3


S D


の宛先は� D

FabricPath�

eth�FP�

eth�

eth�




eth�FP�FPヘッダ除去�

STP� STP�

FabricPath 網�

1

2

3


S D


の宛先は� D

FabricPath�

eth�FP�eth�FP�

eth�

eth�




eth�FP�FPヘッダ除去�

STP� STP�

FabricPath 網�

1

2

3


S D


の宛先は� D

FabricPath�

eth�FP�eth�FP�

eth�

eth�

eth�


• 従来のキューイングは出力側(Egress)でバッファリング�• 出力側が詰まると最終的に入力側がBlockされてドロップ発生�

eth 1/2�

eth 1/3�

eth 1/1� Fabric�従来のキューイング方式�(出力側でバッファリング)�

VOQ (Virtual Output Queue)�

出力側でバッファリングする�

eth 1/3�入力側のバッファは極少量�


eth 1/2�

eth 1/3�





eth 1/2�

eth 1/3�



輻輳発生中�



eth 1/2�

eth 1/3�



輻輳発生中�



eth 1/2�

eth 1/3�



輻輳発生中�BLOCK 発生�



eth 1/2�

eth 1/3�




溢れたパケットは�ドロップする�



eth 1/2�

eth 1/3�







• Nexus はバッファリングを出力側ではなく入力側で行う�• 出力側がつまっても、そのポート以外は影響を受けない�

eth 1/1�

eth 1/3�Fabric�

Virtual Output Queue 方式�(入力側でバッファリング)�

eth 1/2�

VOQ for eth 1/2�


VOQ for eth 1/3�

eth 1/3�入力ポートには「出力ポート�ごとのバッファ」が存在�

出力側のバッファは極少量�


eth 1/1�

eth 1/3�Fabric�


eth 1/2�

VOQ for eth 1/2�

VOQ for eth 1/3�




eth 1/1�

eth 1/3�Fabric�


eth 1/2�

VOQ for eth 1/2�

VOQ for eth 1/3�


輻輳発生中�



eth 1/1�

eth 1/3�Fabric�


eth 1/2�

VOQ for eth 1/2�

VOQ for eth 1/3�


輻輳発生中�

BLOCK 発生�



eth 1/1�

eth 1/3�Fabric�


eth 1/2�

VOQ for eth 1/2�

VOQ for eth 1/3�


輻輳発生中�

BLOCK 発生�




• Nexus のログの特徴�

o ログの種類が多い�

o 各ログのAge(保存期間)が長い��

• プロセスの Event History を追うことで事象発生時に�どのようなイベントが発生していたかを調査可能�

• TAC-PAC(圧縮された"show tech detail") で主要なログコマンドを�まとめて取得できる�

• OBFL に不揮発性(リセットしても残る)のログが記載される�

Logging�










Nexus 7010�

Agenda�


•  シャーシ型のL2/L3 Switch�

o Nexus 7000�

•  ボックス型のL2/L3 Switch�

o Nexus 3000�

o Nexus 5000�

o Nexus 6000�

•  ネットワーク延伸用の機器�

o Nexus 2000�

o Nexus 4000�

•  HyperVisor 上の vSwitch�

o Nexus 1000v�

•  クラウド構築用の機器�

o Nexus 9000�

Nexus シリーズ一覧�


アクセス層�


コア層�


Nexus 7000�

Nexus 1000v�(仮想スイッチ)�


Nexus 3000�(低遅延スイッチ)�

Nexus 9000�and�

ACI Solution�

Nexus シリーズのポジショニング�


Nexusを使ったデータセンタ構成例�

Nexus7010�

Nexus5548�

Nexus2232�

Server�

アクセス層�


コア層�

VPC�

VPC�


• Nexus シリーズの最上位機種�• シャーシ型でコア、ディストリビューション層で利用�• VDC, ISSU 機能をサポート�

•  IO Module ごとに機能が異なる�

Nexus7000 の特徴�

Nexus 7710�





Nexus 7710�

シリーズ名世代ポート数テーブルサイズ

例) N7K-M 1 32XP-12L

Nexus の Line Card の命名規則





Nexus 7710�

シリーズ名世代ポート数テーブルサイズ

例) N7K-M 1 32XP-12L

Nexus の Line Card の命名規則

通称「M1-32L」と呼ぶ




型番 Interface 特徴

M1-32 10G x 32(8) テーブルサイズ大高機能

M1-48 1G x 48 Fiber or Copper

M2-24 10G x 24 M1の後継機

F1-32 1/10G x 32 L2 Only. FP対応

F2-48 1/10G x 48 L2/L3. FP対応 F3-24 40G x 24 次期主力


Nexus 7710�


スーパーバイザー(SUP)�2 slots�

ラインカード(IO Module)�8 slots�

ファブリック (XBar) 5 slots

電源(PSU) 3 slots

Fans - 2 System - 2 Fabric

前面背面

• シャーシタイプ製品で高いパフォーマンスと可用性を持つ�• コア層、ディストリビューション層で主に利用される�

Nexus7000 の外観�


Nexus7000 モジュール間の接続概念図�

Fabric�

EOBC(シャーシ経由)�

•  EOBC: SUP と「Fabric Card 及び IO Module」間を繋ぐ制御用のパス�•  Fabric: IO Module 及び�SUP 間のデータ通信(punt含む)のパス�

Fabric�

Fabric�



Fabric�



Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�



Fabric�


SUP�

Line Card�

Line Card�

Line Card�

Fabric Module の�内部概念図�

clock sync�


Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�



Fabric�



Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�


SUP�

Line Card�

Line Card�

Line Card�

clock sync�



Fabric�



Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�


SUP�

Line Card�

Line Card�

Line Card�

clock sync�



Fabric�



Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�


SUP�

Line Card�

Line Card�

Line Card�

clock sync�



Fabric�



Line

Car

d (L

C)�

Fabric�

Fabric�

SUP�

Line

Car

d (L

C)�


SUP�

Line Card�

Line Card�

Line Card�

clock sync�


SUP�(CPU)�

Fabric�Modules�

Line�Card�

Nexus7000 の Punt の仕組み�

Forwarding�Engine� CoPP�

netstack�

telnet(vty)� snmp etc�L2/L3 Protocols� . . .�

Packet In�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet In�

自分宛て ?�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�

自分宛て ?�NO�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�

punt !!�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�

通信量は許容範囲内 ?�

punt !!�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�


NO�

punt !!� drop !!�


SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�


YES�

NO�



SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�


YES�

NO�

どのプロセスあての通信 ?�



SUP�(CPU)�

Fabric�Modules�

Line�Card�



netstack�


Packet 転送�

Packet In�


YES�


YES�

NO�

どのプロセスあての通信 ?�telnet �

arp etc �



. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

Nexus7000 の転送テーブル作成手順�

ハードウェアのフォワーディング�テーブル (TCAMを利用)�

ソフトウェアのフォワーディング�テーブル (RAM上で管理)�いわゆるルーティングテーブル�


. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF� UFDM�


(1) 自分宛てのパケット(Protocol � など)はCPU(Control Plane) へ�� Punt する�


. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

(2)�Punt されたパケットを� 適切なプロセスに託す�

UFDM�




. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF� UFDM�

(3)�プロセスごとに経路を決定�





. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

(4)複数のプロトコルの情報を� RIB(ソフト)が集約する�

UFDM�

(3)�プロセスごとに経路を決定�





. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

(5)�経路情報をLCごとに� 適した形に修正�

UFDM�

(3)�プロセスごとに経路を決定� (4)複数のプロトコルの情報を� RIB(ソフト)が集約する�





. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

(5)�経路情報をLCごとに� 適した形に修正�

UFDM�

(6)�LCは経路情報を� FIB(ハード)で保持�

(3)�プロセスごとに経路を決定� (4)複数のプロトコルの情報を� RIB(ソフト)が集約する�


Fabri 経由ではなく�EOBC 経由でプログ�ラミングする�




. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

FIB TCAM�

ADJ TABLE�

Nexus7000 の Packet Forwarding 方式�

FIB の内部構造�


. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�

FIB TCAM�

ADJ TABLE�


自分宛てのパケットでない�

FIB の内部構造�Packet In�


. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�


パケットを適切な出口へ転送�


FIB TCAM�

ADJ TABLE�

Packet In�Packet Out�


. . .�

SUP�(CPU)�

Fabric�Modules�

Line�Card�

RIB�

FIB�FIB�FIB�

OSPF�OSPF�

OSPF�


パケットを適切な出口へ転送�

転送にRIB(CPU)は利用しない�


Fabric はフローごとにトラフィックをロードバランス�

FIB TCAM�

ADJ TABLE�

Packet In�Packet Out�


Nexus 7010�2 SUP, 8 IO Module�

Nexus 7710�2 SUP, 8 IO Module�

新しい Card�新しい Fabric�

Nexus 70XX�N7K 販売開始�

Nexus 77XX�シャーシごと刷新�

NOW!!�

F2�

Nexus7000 のラインナップ�

M2�

SUP2�

Fab2�Fabric�Module�

IO Module�

Super Visor�Module�


• ボックスタイプでディストリビューション層で主に利用される�• 機能が多くコストパフォーマンスに優れる�• VDC, ISSU(※) はサポートしない�

• Nexus 7000 と異なる点�o Layer3 Routing はドータカードが必要(現在は標準装備)�o FP, SAN などを一筐体でサポート�o サーバ仮想化技術に強い�

(Cisco UCS と直結した場合)�

Nexus 5548 UP�


※ 特定条件付きでISSUをサポート


1/10G x 32 unified port �(Ethernet, FC)�

console, management port�

拡張モジュール �

Fan Module�(Air flow の向きに注意)�

PSU�

正面�

背面�

• ボックスタイプでディストリビューション層で主に利用される�•  L3機能を使うにはドータカードが必要(現在は標準でインストール済)�



L2/L3 ドータカード�交換可能�

L2 ドータカードには�L3 ASICがない��

L3 ドータカードには�L2/L3 ASICがある��

•  L3機能を使うにはドータカードが必要(現在は標準でインストール済)�

Nexus5500 の L2/3 ドータカード�


Control Plane�(CPU)�

Nexus5500 の Architecture�

L2 ASIC�

Fabric�

L2 ASIC� L2 ASIC�

L2 ASIC� L2 ASIC� L2 ASIC�

L3 ASIC�

L2 A

SIC�

L3 ドータカード�

Nexus5548シャーシ�




L2 ASIC�

Fabric�



L3 ASIC�

L2 A

SIC�


(1) PUNT�Protocol�MAC学習�





L2 ASIC�

Fabric�



L3 ASIC�

L2 A

SIC�



(2) L2/3 の転送情報を決定�





L2 ASIC�

Fabric�



L3 ASIC�

L2 A

SIC�



(2) L2/3 の転送情報を決定�(3) L3 情報を� 書き込み�

(3) L2 情報を� 書き込み�





L2 ASIC�

Fabric�



L3 ASIC�

L2 A

SIC�


L2 転送は L2 ASIC で完結�





L2 ASIC�

Fabric�



L3 ASIC�

L2 A

SIC�


L3 転送は L3 ASIC へ任せる�

L3 転送は L3 ASIC が判断�出口の L2 ASIC へ内部転送�



Nexus 50XX�(L2 only)�

Nexus 55XX�(L3に拡張可能)�

Nexus 56XX�(L3に標準対応)�

NOW!!�

Nexus 5010�10G x 20 port�

Nexus 5548 UP�10G x 32 port� Nexus 5672 UP�

10G x 48 port�40G x 6 port�



•  FEX (Fabric EXtender) と呼ばれることが多い�• Nexus7000/5000 などと異なり単体では機能しない�

• 上位のNexusを延伸(後述)するために使われる�(外出しのラインカードのような扱いだと思うと分かりやすい)�

• 価格が安く、TOR(Top Of Rack)のスイッチとしてサーバに直結�• Nexus2000 配下へのスイッチの接続は非サポート�

Nexus 2232 TM�

Nexus2000(FEX) の特徴�


HIF(Host InterFace) 1/10G x 48� NIF(uplink) 10G x 8�

PSU�FAN�

• 単体で利用されないためコンソールやmgmt I/F が存在しない�• ホスト接続用、Uplink (親機との接続)用のポートは決まっている�

正面�

背面�

Nexus2248TM の外観�


設定�

Nexus2000(FEX) の利用方法�

L2/3FW� CPU�

HIF� HIF�

UPLINK�

I/F�

HIF� HIF�

UPLINK�

I/F�

Nexus2248(LC)�Nexus2248(LC)�

Nexu5548 (RP : Route Processor)�

Virtual 1 Big Switch�10G eth�の�Channel で�Fabricを�EXtend�

コントロール�プレーン�転送処理�

FEX用の�設定�

接続するだけで�動作する�


設定�


L2/3FW� CPU�

HIF� HIF�

UPLINK�

I/F�

HIF� HIF�

UPLINK�

I/F�


Virtual 1 Big Switch�

転送は親機に任せる�

Nexu5548 (RP : Route Processor)�


設定�


L2/3FW� CPU�

HIF� HIF�

UPLINK�

I/F�

HIF� HIF�

UPLINK�

I/F�


Virtual 1 Big Switch�

転送は親機に任せる�

コントロールプレーン宛の�通信は親機で処理�Nexu5548 (RP : Route Processor)�


N5K/N7K�

Nexus2000(FEX) の Architecture�

HIF� HIF� HIF�

ASIC�

packet�

NIF� NIF� NIF�

packet�fex� packet�fex�

packet�fex�

packet�

L2/L3 Switching�

Fex に関する情報�

通常のパケット�

packet�fex�

FEX�


N5K/N7K�

Nexus2000(FEX) の Architecture�

HIF� HIF� HIF�

ASIC�

packet�

NIF� NIF� NIF�

packet�fex� packet�fex�

packet�fex�

packet�

packet�fex�

FEX�

同一世代でもASICが異なる�場合がある。�ASIC によりアーキテクチャや�バッファの実装が大きく異る�ので注意が必要。�

L2/L3 Switching�


Nexus 21XX� Nexus 22XX � Nexus 23XX �

Nexus 4001 Switch Module for IBM�

Nexus 2248 TP�1G x 48 + 10G(uplink) x 4�

Nexus 2232 TM�1/10G x 32 + 10G(uplink) x 8�

NOW!!�

BladeServer に挿すFEX�UCS でいう IOM に相当�

Nexus2000(FEX) のラインナップ�


• シャーシ型の 9500 とボックス型の�9300 がある�• 通常のスイッチ(standalone mode) と�ACI Mode がある�


•  Standalone Mode�o L2/L3 Switch として動作する�o Nexus 7000, 5000 と大きな違いはない�

• ACI Mode�o ACIで動かすための専用モード�o APIC(ACI のコントローラ)の指示に従い�

クラウドのハードウェア基盤として動作�

Nexus 9508�

Nexus 9396�


IO Module�40G x 36�10G x 48 �

SUP�2 slot�

PSU��

Fabric�Module�

Fan Trays�

System Control�Card�(SUPの役割を一部肩代わり)�

ミッドプレーンは�存在しない�

正面� 背面�

• シャーシタイプの Nexus 9000�



IO Module�

SuperVisor Module�

PSU�SCC�

Fabric Module�

Fan Module�

IO Module�

側面�

正面� 背面�

IO�

IO�

SUP�

FAB

RIC�

従来のシャーシ�

基板を介して�LC と Fabric が�接続する�

基板がなく、�LC と Fabric が�直結する�

Nexus9500 のシャーシ構造�


Nexus9500 のシャーシ構造�

シャーシのみ(基盤がない)�


• ボックスタイプの Nexus 9000�

10G x 48� 拡張モジュール (40G x 12) �

Fan Module� PSU�

Console�Mgmt I/F�

正面�

背面�



VM�

VM�

WEB�

VM�

APP� DB�FireWall�

QoS� QoS�

お客様�

ACI概要: Webサービスと三階層モデル�

FW� FW�

サービスのロジック� 永続データ�表示データ作成�プレゼンテーション層� アプリケーション層� データ層�


VM�

VM�

WEB�

VM�

APP� DB�

QoS� QoS�

ACI概要: 従来のWEBサービスのインフラ構築手順(1)�

FW� FW�

インフラ設計�

FireWall�

インフラ責任者�


VM�

VM�

WEB�

VM�

APP� DB�

QoS� QoS�

ACI概要: 従来のWEBサービスのインフラ構築手順(2)�

FW� FW�

サーバとスイッチの設置と設定� ストレージの割り当て�

GO!!�

数日以上の�プロジェクト�

テクノロジーごとのインフラエンジニア�

FireWall�

インフラ責任者�


VM�

VM�

WEB�

VM�

APP� DB�

QoS� QoS�

ACI概要:�ACI によるWebサービスのインフラ構築(1)�

FW� FW�

インフラ利用者�

Cisco ACI�

サービス設計�

FireWall�


VM�

VM�

WEB�

VM�

APP� DB�

QoS� QoS�

ACI概要: ACI によるWebサービスのインフラ構築(2)�

FW� FW�

ブラウザのGUIで簡単に作成�(インフラの詳細知識は不要)�

Cisco ACI�

FireWall�



VM�

VM�

WEB�

VM�

APP� DB�

QoS� QoS�

ACI概要: ACI によるWebサービスのインフラ構築(3)�

FW� FW�

プログラムを使って自動でインフラを構築�(同様の構成をいくつでもすぐに作れる)�

Cisco ACI�

GO!!� OK!!�

FireWall�



Nexus 95XX, Nexus 93XX�

Stand Alone Mode (通常のスイッチ)�

ACI Mode�

NOW!!�

Nexus 9508�

Nexus 9396�











Nexus 7010�

Agenda�


• 心構え�o CCNA/CCNP レベルの知識に不安がない状態にしておく�o 障害対応ではなく障害が起きない方法を考える�o シスログの発生する仕組みを理解し深追いする�o 障害機器の特定後はナローダウンで原因を切り分ける(上級)�

• テクニック�o 確認すべきログを見つける方法を知る�o EEM, Scripting の使用�o 不具合の可能性が高い場合は keyword 検索(bugsearch tool)�o ドキュメントや過去の対応を個人(社内)でまとめておく�

トラブルシューティングアプローチ�


トラブル発生時の調査範囲�

Process の Event が発生�(外部、内部より)�

• 各プロセスは Event Driven(イベント駆動)で動いている�




Process が Event 処理�

state�


history�





Syslog に出力される�

state�


history�

特定条件�Log level�


一般的なネットワークエンジニアの調査範囲�





state�


history�



腕利きネットワークエンジニアの調査範囲�

debug�

web� - CCO� - bugtoolkit� - google�

検証� - 再現性� - 正常時との比較�





history�

state�








history�

state�

debug�

?�

?�

?

CPU使用率の問題が起きたけど、�そもそも取るべきコマンドが分から�ないな。。�

とりあえず打ってみる ?��n7kb# show cpu ?� ^�% Invalid command at '^' marker.��エラーが出た。。。�

確認すべきログを知る方法�


show tech コマンドは「コマンド群をまとめて取得」するためのコマンド。�show tech xxx とすると、xxx の機能に関連したコマンドを取得可能��補完機能で目的のコマンドの有無を確認�Nexus# show tech ?� aaa Display aaa information� aclmgr ACL commands...� xxx # <- この機能の情報が欲しい!!� yyy yyy についての情報を取得する��Nexus# show tech xxx�' show ip xxx ... '�.....�

とりあえず show tech を�見てみるか。�

メジャーな機能は "show tech xxx" を利用可能�

history�

state�

debug�

?�

?�

?


show tech commands�

出力のフィルタ�特定文字列を含む�

show tech commands は以下のコマンドのリストを取得� - N7K: show tech brief� - N5K: show tech detail�N7Kは取得コマンドが少ないため、(2)の手法を推奨��パイプ( | ) と include(grepも可) を使って「任意の文字列」を含むコマンドを探す。��cpu を含むコマンドを確認する場合は以下のようにする�N5K# show tech commands | inc cpu�show process cpu�show processes cpu history�...�show hardware internal cpu-mac inband stats�

show tech から欲しいコマンドを grep (1)�


show tech detail�

コマンド名のみ�ファイルに出力�

Nexus 7000 は show tech commands の結果に不足があるため、この方法を推奨��1. show tech detail のコマンドをファイルに出力�n7k# sh tech details | inc `show > commands.log��2. 1 の出力ファイルを出力し、結果をフィルタリング�n7k# show file commands.log | inc cpu�`show processes cpu �̀`show processes cpu history �̀`show hardware internal cpu-mac inband stats �̀...�`show hardware internal cpu-mac mgmt events �̀�show tech detail の出力には時間がかかるため、ファイルへの出力を推奨。一度しかやらないのであればワンライナーでも構わない�

show tech から欲しいコマンドを grep (2)�

ファイルを標準出力�

出力をキーワードで�フィルタリング�

※ N7Kでコマンドを取得し、N5Kで利用するのも良い手法�






• 機器の内部構造を考慮し問題箇所をボトムアップで探す�• 主にコントロールプレーン(Protocol)系と転送系の問題で使う手法�• 事例: N5K(HSRP Standby) にて VIP 向けの L2 Packet が�

SVI の ACL に引っかかり Drop する�

上級編:�アーキテクチャを知り、問題を解決�

HSRP Standby�L2 転送�

HSRP Active�L3 転送�DG:VIP�

HSRP VIP�

vlan X� vlan Y�





HSRP Standby�L2 転送�

HSRP Active�L3 転送�DG:VIP�

HSRP VIP�

SVI X の ACL で DROP�(L2転送ではSVIは使わない)�

vlan X� vlan Y�




L2 ASIC�

Fabric ASIC�L2�

ASIC�

L2 ASIC�

L3�ASIC�

想定していた�内部通信パス�





L2 ASIC�

Fabric ASIC�L2�

ASIC�

L2 ASIC�

L3�ASIC�


実際の通信パス�(特定L2パケットは�L3ASICを経由)�





L2 ASIC�

Fabric ASIC�L2�

ASIC�

L2 ASIC�

L3�ASIC�


実際の通信パス�(特定L2パケットは�L3ASICを経由)�

原因�HSRP の Active, Standby は� L2 ASIC で判断できないため� L3 ASIC に投げる。�Standby でもそこで落ちてしまう。�(現時点の挙動は違う可能性あり)��不具合とは判断せず、ACLに穴を�開けるWorkAroundを提示�



• パケットが落ちている箇所をボトムアップで探す�• プロセスが正常にパケットを処理できているか確認�

上級編:�経路学習できない場合の手法例�

Routing Table のチェック�

CoPP は通っているか(show)�

Control Plane に届いているか�(Ethanalyzer で packet capture)�

プロセスにパケットは届いて、正常に扱えているか�(process の debug)�

登録されていない�

I/Fにプロトコルのパケットが来ているか(SPAN)�


• ハードウェアの転送テーブルを確認�• ASICへのパケット到達性と書き換えたヘッダが正しいか確認�

上級編:�転送できない場合の手法例�

そもそもI/Fにパケットが来ているか(SPAN)�

ハードウェアの転送テーブルは正しいか�

Ingress (入力側)のASICでパケットが見えるか�

ヘッダの書き換え、内部宛先設定はできているか�

Egress(出力側)のASICでパケットが見えるか�

Routing Table のチェック�

登録されている�






•  Script を使った自動化を検討すべき検証作業�o 膨大な量のコンフィグ(static route や ACL など)の作成�o 何度も繰り返す設定コマンド(shut/no shut)や show コマンド�

Python Script�

EEM�

自動化に利用しているツール群�

Scripting を使った検証作業�

Nexus上で実行�


•  Script を使った自動化を検討すべき検証作業�o 膨大な量のコンフィグ(static route や ACL など)の作成�o 何度も繰り返す設定コマンド(shut/no shut)や show コマンド�

Python Script�

EEM�TeraTerm Macro�

Expect� Pexpect�

console�vty�

Scapy�

snmpget�

scripting�

Test Traffic�SNMP など�

自動化に利用しているツール群� Linux cmd�

Scripting を使った検証作業�

Nexus上で実行� ローカルPCやサーバで実行�


•  EEM は「機器の状態を監視」し、「設定された条件」を満たした際に「設定されたアクション」を行う機能�

•  「CPU使用率が一定の水準を超えた際に process 使用率を書き出す」といった使い方ができる�

時間�

CPU

使用

率�

閾値�

EEM を使った事象発生時の状態取得手法�




時間�

CPU

使用

率�

閾値�


check�

張り付いて監視は負担が多い�




時間�

CPU

使用

率�

閾値�

CPU使用率がX%を超えたら�CPU 関連のログを書き出し�

EEM(自動)�


Log�File�

Write�Report�




時間�

CPU

使用

率�

閾値�

Log�File�

EEM(自動)�

Write�Report�

check�

smart engineer�


CPU使用率がX%を超えたら�CPU 関連のログを書き出し�


• 新しい NX-OS ではプログラミング言語 Python を内部で利用可能�•  EEM で特定条件を満たした際に「問題解決のためのスクリプト」を走らすこ

とで状態に応じた柔軟な WorkAround を実現可能�

EEM と Scripting を使った WorkAround の作成�




VDC 1�

VDC 2�

VDC 1�

VDC 2�

システムアップ時に特定条件を�満たすまで VDC1 の SVI X を�落としておく。�(ドロップを防ぐため)�

EEM�Python�

事例1�


EEM�Python�




VDC 1�

VDC 2�

VDC 1�

VDC 2�


条件X を満たした場合、VPC�Secondary のみ特定リンクを�down させる。�(ドロップを防ぐため)�

EEM�Python�

事例1� 事例2�


EEM�Python�

EEM�Python�

EEM�Python�




VDC 1�

VDC 2�

VDC 1�

VDC 2�


条件X を満たした場合、VPC�Secondary のみ特定リンクを�down させる。�(ドロップを防ぐため)�showコマンドの解析。�

従来のEEMでは対応�できない�

EEM�Python�

事例1� 事例2�


EEM�Python�

EEM�Python�

EEM�Python�










Nexus 7010�

Agenda�


•  TAC-PAC や Show Tech のコマンド数は非常に多い�(サイズは50MB以上の場合あり)�

•  ログをカテゴライズすることで確認すべき箇所を見つけやすくなる�

vs�

Cisco Log Viewer�

通常のテキストエディタ� 分類機能付きエディタ�


Cisco Log Viewer Demo�

デモの内容�

1)  ログを解析し、データファイルを作成�

2)  そのデータファイルを読み込み�

3)  Cisco Log Viewer の代表的な機能を紹介�


Cisco Log Viewer の機能�

コマンドの分類�

サマリーの表示�

コマンドの検索�

注意箇所の自動ハイライト�


Cisco Log Parser の機能�

プロダクトの切り替え�(現在はNexusのみ)�

ログデータの圧縮�

クラウドからのパース�ルールのアップデート�

複数のログのマージ�


Cisco Log Parser の対応製品の追加�

•  機能拡張プラン (開発協力の承諾が得られている製品)�

- Nexus : 完了�

- MDS, ACE: ログ形式が同じため、すぐに実装可能�

- IOS Router/Switch(Catalyst): 次のリリースで搭載予定�

- Wireless: Planning�

- Voice: Planning�

- Security: Planning�

- SP: Planning�


•  アプリケーション�o  以下のページにて Windows用、Mac用を配布中�o  https://supportforums.cisco.com/ja/document/12270086��

•  ソースコード�

o  Githubプロジェクトにてソースコードを配布中�o  ライセンスは Qt5 のLGPLを継承�o  GitHubのリポジトリへのリンクは上記ページに記載��

•  サポートについて�o Cisco 公式のツールではないためサポートは保証しない�

o 善意のサポート体制�

Cisco Log Viewer の入手�


Cisco Live�

BRKARC-3471 Cisco NX-OS Software Architecture�

BRKARC-3470 Cisco Nexus 7000 Switch Architecture�

BRKARC-3452 Cisco Nexus 5000 5500 and 2000 Switch Architecture�

BRKDCT-3640 Nexus 9000 Architecture�

BRKDCT-3144 Troubleshooting Cisco Nexus 7000 Series Switches�

�

以下のページにて過去のNexusトレーニング資料を配布�

https://supportforums.cisco.com/ja/document/12270281�

- Nexus7000 のアーキテクチャ概要ならびにトラブルシューティング(桝見敏弘)�

- FabricPath再入門 : 基礎からvPC+まで (山下薫)�

- Virtual Port Channel (vPC) 再入門(岸田拓也)�

参考資料の紹介�


次回情報のページ作成をお願いします。�

次回 webcast の紹介�


質疑応答�

Thank you for Your Time�

Please take a moment to complete the evaluation�

Engineering

Nexus DataCenter Switch の概要 (2014/8/06 webcast)