16
ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~ Brocade 1 【イーサネット・ファブリック活用講座】 ビッグデータ(Hadoop)環境編

ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~

  • Upload
    brocade

  • View
    273

  • Download
    0

Embed Size (px)

Citation preview

ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~

Brocade

1

【イーサネット・ファブリック活用講座】

ビッグデータ(Hadoop)環境編

• PC,モバイル端末の普及

• 回線の高速化

• 半導体の性能向上

• 単位性能当りのコスト削減

• 多様なデバイスの電子情報

• 端末利用者層の拡大

ビッグデータ(Hadoop)のもたらす価値

2

高精度な予測に基づくビジネス展開

大量の情報処理 ITコストの効率化 多様な情報の解析

ビッグデータ(Hadoop)型ネットワークの特徴

3

増え続ける大量の サーバ間トラフィック

超分散環境

ビッグデータ ファブリック

DWH

Stream data

Social/Open data

• リアルタイム処理の要求 • ソースとなるデータ量が爆発

バースト性トラフィック

ビッグデータ(Hadoop)用インフラの考察

4

現状

バースト性トラフィック

分散環境

問題点 ソリューション

増え続ける大量の

サーバ間トラフィック 効率的な帯域利用

が困難

パケット消失

増えたデバイスの

管理負荷増大

拡張計画が困難

Optimized Resource

機器の有効利用

Smart Management

運用負荷の低減

Simple Network

シンプルネットワーク

シンプルネットワーク(Simple Network)

• 自由なスイッチの接続と簡単スケールアウト

• スイッチ間リンクは設定不要

• 複数リンクの自動アグリゲーション

• 複数経路の自動バランシング

• ループ排除のためのSTPの設定不要

5

fabric port

edge port

ネットワーク

デバイス

サーバ ストレージ

RBridge

ID = 1

RBridge

ID = 3

RBridge

ID = 2

RBridge

ID = 4

RBridge

ID = 5

ポート属性の設定

© 2013 Brocade Communications Systems, Inc.

設定の必要がないポート

ループの心配がなく

設定項目も少ない

機器の有効利用(Optimized Resource)

• アクティブ・アクティブマルチパスによる全帯域活用

• スイッチ間リンクの中をフレームレベルでロードバランシング

• バーストトラフィック対応の深いダイナミックバッファ

次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用)

© 2012 Brocade Communications Systems, Inc. 6

投資を無駄

にしない

自社ASICによるフレーム

ベース、ロードベースの

負荷分散

5G 5G 5G

VDX

VDX

15G

必要なポートへバッファの動的割り当て

FC技術を応用したアクティブ・アクティブマルチパス

動的バッファ領域

1ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能

© 2014 Brocade Communications Systems, Inc.

Virtual IP

CLI

運用管理者 オーケストレーションツール

API Open stack Restful API Netconf Openflow ...

ロジカルシャーシの主な特長 • 最大48台の物理スイッチ

• 1つの設定ファイル • 各種APIをサポート

• 管理工数、運用負荷低減

7

運用負荷の低減(Smart Managemnet)

オペレーションの

簡略化と自動化

Virtual IP ログイン

VDX

VDX VDX VDX VDX

Virtual IP ログイン

VDX

VDX VDX VDX VDX

Virtual IP ログイン

show xxx

configuration

管理スイッチのフェイルオーバー

showコマンド、コンフィグを

一台のスイッチから実行

ファブリック内の全てのスイッチを

一台のスイッチからアップグレード

各スイッチへのログイン、

showコマンド等も可能

VDX VDX VDX VDX

© 2014 Brocade Communications Systems, Inc. 8

運用負荷の低減(Smart Management) ロジカルシャーシ : 自律と一元管理の共存

設定方法

9 © 2014 Brocade Communications Systems, Inc.

ファブリック の導入

• ファブリック形成手順:

1. RBridge ID, VCS ID の設定

2. デバイスポートの設定

• 冗長化(vLAG)設定

• 必要であれば VLAN 設定

シンプル!

© 2014 Brocade Communications Systems, Inc. 10

RBridge ID = 1

RBridge ID = 2

RBridge ID = 3

VCS設定 コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable sw0# vcs logical-chassis enable rbridge-id 2-3 default-config sw0# conf t sw0(config)# interface Port-channel 1 sw0(config-Port-channel-1)# switchport の設定 sw0# conf t sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard

必要な冗長化 チャネルの分だけ(RBID1,3)

vLAGで使用する インタフェースだけ

vLAG

vLAG vLAG

導入事例

11

• 課題

• 自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して30%を占める構築費用を内製化し、システム全体のコスト効率の追求

• ソリューション

• Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化

12 © 2013 Brocade Communications Systems, Inc.

Hadoop ファブリック

ビッグデータ処理の事例 KDDI Hadoop 基盤

http://www.brocadejapan.com/news/20120807

「Brocade VDXシリーズは、STPの排除以外に設定や運用 を自動化する機能が備わっています。実際、今回のプロジェクトでは 想像以上のシンプルさでネットワークの構築が完了し、従来に比べて 約2割のコスト削減を実現できました」 (KDDI株式会社)

リアルタイム・ビッグデータ処理の事例

• アクセス分析とリコメンデーションのためのリアルタイム・ビッグデータ処理基盤

• 4000台の Hadoop/Storm サーバによる超大規模分散システム

Yahoo! JAPAN Hadoop/Storm/DWH 基盤

13

http://www.brocadejapan.com/news/20140403

「Hadoop間通信に加えてデータバック アップなど、サーバー間で生じる“東西 トラフィック”が増えてきた。 イーサネットファブリックなら、サーバー をスケールアウトしやすい (ヤフー株式会社)」

ファブリック導入ユーザからみる効果 VDXユーザアンケートの結果

© 2014 Brocade Communications Systems, Inc. 14

削減できた

削減できた 74.1%

削減できた 81.5%

ネットワークの設定・運用工数 サービス化にかかる時間

74.1%のお客様がサービス化に かかる時間削減を実感

81.5%のお客様が設定・運用 工数削減を実感

まとめ ビッグデータ(Hadoop)用インフラに必要な3つの要素

15

Simple

Smart Optimized

© 2014 Brocade Communications Systems, Inc.

• Simple Network

→ループの心配がなく設定項目も少ない

• Optimized Resource

→投資を無駄にしない

• Smart Management

→オペレーションの簡略化と自動化

ブロケードのイーサネット・ファブリックで

ビッグデータを救え!

© 2014 Brocade Communications Systems, Inc. 16

Brocade, No2

in Data Center Networking.

www.brocadejapan.com/DCNW_No2

本件に関するお問合せはこちら https://www.brocadejapan.com/form/contact