94
Intel Inside ® s パワフルな データセンターを Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア・ソフトウェア・ リーダーシップ企業である理由 2016/11/8 デル株式会社 エンタープライズ ソリューションズ&アライアンス部 BigDataビジネス開発 マネージャー 堀田 鋭二郎 (Hotta Eijiro) Cloudera World Tokyo 2016

Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Embed Size (px)

Citation preview

Page 1: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

Dell EMC がHadoop/Spark Cluster基盤におけるハードウェア・ソフトウェア・リーダーシップ企業である理由

2016/11/8

デル株式会社エンタープライズ ソリューションズ&アライアンス部BigDataビジネス開発 マネージャー堀田 鋭二郎 (Hotta Eijiro)

Cloudera World Tokyo 2016

Page 2: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

2

Intel Inside®s

パワフルな

データセンターを

Agenda

1) 自己紹介

2) 新生 デルテクノロジー ご紹介

3) IoT/ビッグデータ&アナリティクスの本質と課題

4) Dell EMCのビッグデータソリューション・アプローチ

5) Dell EMC Apache Hadoop Solutions

6) まとめ&ご案内

Page 3: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

3

Intel Inside®s

パワフルな

データセンターを

自己紹介

堀田 鋭二郎 Eijiro Hotta

- [email protected]

- @hotty_2015

- エンタープライズ ソリューション&アライアンス部 (ES&A)

BigDataビジネス開発 マネージャー

- 各種BigData関連のコンソーシアム、評議会のメンバー

・Big Data ビジネスの虜

・実は、関西人。情に厚---ぃ人

・実は、本日、徹夜明け… 猛烈に働いています…。でも、楽しい。

Page 4: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

4

Intel Inside®s

パワフルな

データセンターを

本セッションでお伝えしたい事

1) Dell EMC は、強力なテクノロジー・リーダーシップ企業。End to End で製品、ソリューションを提供できる

唯一のHardware・Software会社

*もちろんCloudera社のHadoopサブスクリプションのみでも業界一の安値にてご提供

2) Blueprints により、ワークロード毎に適した事前検証済み

ソリューションモデルをご提供

3) 協業エコモデルを最大限に活かし、IoTに関する

オープンソース テクノロジー、アプローチにも果敢に挑戦中

Page 5: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

新生 デルテクノロジーズ ご紹介

Page 6: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

66

Intel Inside®s

パワフルな

データセンターを

デル エンタープライズ製品の沿革

PCでスタートしたデルのビジネスは、1994年にサーバ、1998年にストレージ、2001年にネットワークと製品ラインアップを着実に拡大2016年にEMCグループと統合合併、Dell Technologies を設立

2010年: ストレージ/システム管理/クラウド管理/ソフトウェアである、Boomi®, Exanet, InSite One®, KACE™, Ocarina™ Networks, Scalent™ and Dell Compellent®を獲得

2011年: Secure Works, RNA Networks and Dell Force10 Networksを獲得

2012年: End to endを実現するためAppAssure, SonicWALL, Clerity, Make Technologies, Wyse, Quest, Gale Technologies and Credantを獲得

1984-1987 1988-1991 1992-1995 1996-1999 2005-20082000-2004 2009-2012 2013

1984年: マイケル・デル(当時19歳)が創業

1994年 PowerEdgeサーバラインをリリース

1998年: PowerVaultストレージラインをリリース

2008年: ストレージ業界のリーダーEqualLogic ™を獲得

2001年: 米国でIntel搭載サーバシェアNo.1

PowerConnectネットワークラインをリリース

2002年 最初のBladeServerをリリース

2013年: 株式非公開化

2016

Dell Technologies設立EMCグループと統合合併

Page 7: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

77

Intel Inside®s

パワフルな

データセンターを

新体制

持ち株会社:デルテクノロジーズ

クライアントソリューショングループ

インフラストラクチャーソリューション グループ サービス

ブランド: ブランド: ブランド:

Page 8: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

88

Intel Inside®s

パワフルな

データセンターをDell Technologies のご紹介

2016年9月8日、Dell Technologies が下記企業のホールディング・カンパニー(持ち株会社)として発足しました

Dell Technologiesは、デジタルの未来を構築し、ITを変革し、もっとも重要な資産、情報を守ることで、組織に優れたインフラストラクチャをご提供します

Dell

Dell EMC

Pivotal

RSA

SecureWorks

Virtustream

VMware

本社: テキサス州ラウンドロック拠点: 販売活動拠点180ヵ国

製造拠点25ヵ所R&D拠点17ヵ所

社員数: 世界約140,000人

年間売上高: 約7.4兆円 (2016年1月末までの年度で合計)顧客: Fortune 500企業の98%が顧客過去3年開発費:1兆2,700億円超特許: 2万件以上(アプリケーション含む)

Page 9: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

99

Intel Inside®s

パワフルな

データセンターを

今後15年間

ビジネス中心

クラウドネイティブアプリケーション

エンゲージメントとインサイトのシステム

データストリームと解析

Internet of Everything

過去15年

IT 中心

従来のアプリケーション

記録システム

トランザクションデータとレポート作成

インターネット

Page 10: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1010

Intel Inside®s

パワフルな

データセンターを

従来のアプリケーション最適化を重視からクラウド ネイティブ アプリケーションへの投資

時間2000 2030

IT投

資額

(ド

ル)

従来のアプリケーション

戦略的なパートナー関係が重要

「投資」モードデジタル トランスフォーメーション

「最適化」モードIT変革

クラウド ネイティブアプリケーション

2015年:2.7兆ドル

従来のインフラストラクチャやアプリケーションに費やした約2.7兆ドルの支出を新しい投資、つまり将来に備えた変革に向ければ、ビジネスをより効果的に支援でき、ますますます多様化する優先事項に対処できます。これをご支援する

お客様のパートナーが< デルテクノロジーズ >です

Page 11: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1111

Intel Inside®s

パワフルな

データセンターを

将来現状

ビジネス主体

関わりと洞察のシステム

クラウドアプリケーション

データ分析

IoE(Internet of Everything)

Dell Technologiesビジネス上の位置づけ

5年ごとに処理能力、ストレージ容量、使用可能な帯域幅がすべて10倍に拡大 15年で103 =1000倍に拡大

2031年には2016年以降

IT主体

レコードのシステム

既存アプリケーション

データ移管とレポート

インターネット

テクノロジーの発達・拡大はすべてのものにインパクトを与えます

Dell Technologies

企業が対処すべき3つのトランスフォーメーション

IT 人材 セキュリティ

ハードウェア

アプリケーション

PAAS

オーケストレーション

仮想化

Intel Inside®s

パワフルな

データセンターを

Page 12: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

12

No.1*2 No.1 *4No.1*1

*1:Dell/VMware*2:Pivotal*3:Dell/EMC/VCE*4:Dell EMC*5:Source: IDC Worldwide Quarterly Server Tracker 2016Q2

2016Q2の出荷台数シェア デルとしての実績

Dell Technologiesは仮想化ソフトウェア、ストレージをはじめ、各領域でグローバルでのリーダーシップポジションを確立しており、お客様にパワフルな価値をお届けします

Dell Technologiesの業界における位置づけ

No.1 20 No.2No.3

サーバ仮想化ソフトウェアクラウドシステム

マネジメントソフトウェア

統合システムエンタープライズ

ストレージシステム

x86 サーバ*5

ガートナー社のマジック・クアドラント レポート

における「リーダー」評価領域

Fortune’s World’s Most Admired

Companies 2016(コンピュータ業界)

PC

No.1*3

Intel Inside®s

パワフルな

データセンターを

Page 13: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1313

Intel Inside®s

パワフルな

データセンターを

出展: IDC Worldwide Quarterly x86 Server Tracker CY16Q2

PCサーバで、世界No.1 !お客様に支えられ、サーバ ビジネスを開始して21年目でついにデルは出荷台数世界一*になりました(CY16Q2)

Page 14: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1414

Intel Inside®s

パワフルな

データセンターを

出典: IDC Worldwide Quarterly x86 Server Tracker CY16Q2

注記(*)CY2016Q2のx86サーバ出荷台数で世界シェアNo1

サーバ ビジネス開始21年目で初 世界一 !

デルは1995年にx86サーバビジネスを開始

Page 15: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

15

Intel Inside®s

パワフルな

データセンターを

Dell EMCのアプローチがもたらす優れた成果 - Dell EMCの差別化

エンド ツー エンドソリューション包括的なポートフォリオ、併用による相乗効果

オープンで、標準ベースのアプローチ意図的なロックインはなく、最新のイノベーションを容易に利用可能

お客様の選択技術およびビジネス上のニーズに合わせて選択できる包括的なポートフォリオ

優れたサービスとサポートグローバルな サービスとサポートを一元化

柔軟な拡張制約または総入れ替えが強制されない

TCOの向上事前コストと運用コストの軽減、柔軟なファイナンス

Intel Inside®s

パワフルな

データセンターを

Page 16: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1616

Intel Inside®s

パワフルな

データセンターを

デル 製品戦略/設計アプローチ

デルでは、ユーザーを独自仕様やレガシーシステムで縛らず、オープンで拡張性が高く、管理のしやすい製品を提供することが、製品戦略の基本思想

• 閉鎖的な管理スタック

• 限定的な相互運用性

• 囲い込みのリスク

新たな独自仕様のソリューション

• 複雑でモノリシック

• トランザクションあたりの高額なコスト

• 単一ベンダーの独自仕様

レガシーシステム

• 付加価値のないハードウェア

• 技術移行問題

• 限定的なベンダーサポート

汎用システム

拡張性に優れたエンドツーエンドのアプローチのメリット:

未来志向のエンタープライズ

• 価値の早期実現• 優れた使い勝手• 極めて柔軟な対応

運用コストの増加

運用コストの減少

購入コストの減少

購入コストの増加

初期導入コスト

継続運用コスト

初期導入コスト

継続運用コスト

初期導入コスト

継続運用コスト

初期導入コスト

継続運用コスト

Page 17: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

1717

Intel Inside®s

パワフルな

データセンターを

エンドツーエンドで提供する製品ポートフォリオデルでは、エンタープライズ製品をエンドツーエンドですき間なくご用意

これらの製品を、誰でも利用可能なオープン技術をベースに、お客様に合わせて機能をモジュラー式でご提供し、将来の柔軟な拡張を可能にしているのが、デルの製品ポートフォリオの特徴

ネットワーク製品

ワークロード

パートナーエコシステム

オープンなシステム

グローバルISVとのアライアンス(MS, SAP, Redhat, vmware,

SUSE, Oracle …)

モジュラー型

Blueprint

サーバ製品

PC製品

ストレージ製品

Page 18: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

IoT/ビッグデータ&アナリティクスの本質と課題

Page 19: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

19

Intel Inside®s

パワフルな

データセンターを

Petabyte

Exabyte

Zettabyte

Terabyte

ビッグデータ市場トレンド:データの爆発的急増

トランザクションデータ生成されデータベースに格納

• 構造化

• 予測・計画的な増加

人手により作成されたファイル作成されたコンテンツはデータベース外に保存

• Facebook, Twitter, RFID, モバイル端末

• マルチフォーマット、多様なデータ生成スピード

• 爆発的増加• 文書、イメージ、ビデオ

• マルチフォーマット

• 急速な増加

ソーシャル&センサーデータ急速に増加中

多様なデータソースから多種のデータタイプが生成

Page 20: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

20

Intel Inside®s

パワフルな

データセンターを

Petabyte

Exabyte

Zettabyte

Terabyte

ビッグデータ市場トレンド:データの爆発的急増

トランザクションデータ生成されデータベースに格納

• 構造化

• 予測・計画的な増加

人手により作成されたファイル作成されたコンテンツはデータベース外に保存

• Facebook, Twitter, RFID, モバイル端末

• マルチフォーマット、多様なデータ生成スピード

• 爆発的増加• 文書、イメージ、ビデオ

• マルチフォーマット

• 急速な増加

ソーシャル&センサーデータ急速に増加中

多様なデータソースから多種のデータタイプが生成

Electronic Medical Record

(非構造データ)

Twitter Post

(半構造化データ)

Page 21: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

21

Intel Inside®s

パワフルな

データセンターを

顧客に共通の問題

小売 製造 製薬 運輸ヘルスケア 金融 公共通信

サイズ、業界、地域に関係なく…

…顧客はデータの管理、取り込み、処理、そして分析で苦労している

エンタープライズのデータはこれから5年で650%増加する

- IDC

エンタープライズの87%が、自社が属する業界の競合環境が、ビッグデータ・アナリティクスによって3年以内に再定義されるだろう、と考えている

- Accenture/GE Study

EDWの70% が、パフォーマンスとキャパシティで制約を受ける

- Gartner

アナリティクスはより深くなるが、あらゆるところに見えない形で組み込まれるようになるだろう。

- Gartner

Intel Inside®s

パワフルな

データセンターを

Page 22: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

22

Intel Inside®s

パワフルな

データセンターを

分析に向けて

どのようにデータを準備・収集・統合・蓄積・処理するか?

データ収集・統合・蓄積・処理

どこでデータが生み出されるのか

データベース

ソーシャルメディア

センサーデータ

各種デバイス

アプリケーション

クラウド

外部ソース

どこでデータが分析されるべきか

IoT/ビッグデータ&アナリティクスの本質

分析エンジン

BAシステム

BIシステム

インメモリーコンピューテ

ィング

エンタープライスDWH

データマート

データを活用(分析)して結果を出すこと

Page 23: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

23

Intel Inside®s

パワフルな

データセンターを

高度分析ツールの中でも高い評価を獲得していたDell Statistica

Page 24: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

24

Intel Inside®s

パワフルな

データセンターを

ビッグデータ- 主要なIT動向の実施率と変化の伸び率(現在~3年後)

資料公開にあたり、割愛させていただきます。ご了承ください。

スライド内容について必要な方は個別にご連絡ください。

Page 25: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

Dell EMCのビッグデータソリューション・アプローチ

Page 26: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

26

Intel Inside®s

パワフルな

データセンターを

Navigating data analytics landscape is a complex job

Page 27: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

27

Intel Inside®s

パワフルな

データセンターを

IoTを構成するテクノロジー

■ IoTを構成する要素

– IoTは以下のような要素から成り立っています

(デバイス・センサー・ゲートウェイ・ネットワーク・IoTサービス・データ解析)

センサー

デバイス

IoT

ゲートウェイ

IoT

サービスデータ

解析

ネットワーク

Page 28: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを殆どのITベンダが展開するビジネスを自動車業界に置き換えてみると?

新しいビジネス革新が困難な理由

• 息が詰まるほど複雑な状況/環境

• 統合化が難しすぎる

• 価値を生み出すまでの時間が長い

• 相互運用性の欠如

• 誇張された”万能な製品”の導入

• 脆弱かつ複雑な管理機能とハードウエアエコシステム

• 断片化された保守サポート

28

Page 29: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

29

Intel Inside®s

パワフルな

データセンターを

29 Confidential – Internal Use Only

Intel Inside®s

パワフルな

データセンターを

ワークロードを最適化するために開発された包括的ソリューション

低リスクでトランスフォーメーションを加速

6つのワークロードを最適化するBlueprint

BIG DATA

& Analytics

HPCクラウド UC&C仮想化 仮想デスクトップ

導入済み・RA 完全検証済みパフォーマンス

最適化運用最適化 保守窓口統合

Page 30: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

30

Intel Inside®s

パワフルな

データセンターを

Dellの提案するソリューションの形

DIY

エンジニアソリューションリファレンスアーキテクチャ

Dell Blueprint

Page 31: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

31

Intel Inside®s

パワフルな

データセンターを

31

導入

の簡

易性

カスタマイズの柔軟性

Dell Blueprint

複雑性を排除する Dell Blueprint

エンジニアソリューション

緻密なデザイン

プリインストール

単一保守窓口

リファレンスアーキテクチャ

管理ツール

カスタマイズソリューション

DIY&カスタム

Customer-built or turnkey services

ワークロード最適化

柔軟な構成

サービスオプションEngineered Solution

Reference Architecture

Intel Inside®s

パワフルな

データセンターを

Page 32: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

32

Intel Inside®s

パワフルな

データセンターを

32

Intel Inside®s

パワフルな

データセンターを

Portfolio: Blueprint for Big Data and Analytics

SA

P H

AN

A T

DI

PE

FO

RM

AN

CE

AN

DC

AP

AC

ITY

ソリ

ュー

ショ

Microsoft ® Analytics Platform System Premium

Microsoft SQL Server ® Fast Track Data Warehouse

Microsoft SQL ServerVirtualized

Validated System for SAP HANA, Edge Edition for Predictive Analytics

Validated System for SAP HANA, single node

Validated System for SAP® HANA®, scale out

De

ll | C

loud

era

Ap

ach

e H

ado

op

Dell | Cloudera™Apache® Hadoop®

Reference Architecture

Dell QuickStart for Cloudera Hadoop

Dell | SAP® Predictive Maintenance Reference Architecture

Dell | Software AG | Kepware Predictive Maintenance Reference Architecture

IoT

En

ab

led

Dell | Cloudera | Syncsort™ Data Warehouse Optimization – ETL Offload

購入 構築

利点 幅広い利用ケース

価値創生の時間短縮利用ケースに最適化大幅にリスク回避ソリューションレベルのライフサイクルを自動化

最高の柔軟性利用ケースにて検証

多様性でリスクを経験コンポーネントレベルのライフサイクルを自動化

Page 33: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

33

Intel Inside®s

パワフルな

データセンターを

蓄積/処理の比較(一般論)- HadoopとRDBMSは、互いに双方の得意領域に歩み寄る傾向

資料公開にあたり、割愛させていただきます。ご了承ください。

スライド内容について必要な方は個別にご連絡ください。

Page 34: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

34

Intel Inside®s

パワフルな

データセンターを

蓄積/処理の比較(一般論)

RDBMS DWH MPP NoSQL Hadoop

- HadoopとRDBMSは、互いに双方の得意領域に歩み寄る傾向

Dell EMC

ソリューション:

Hadoop

エコシステム郡で対応可能

Spark (In-Memory)

HBase (NoSQL)

Impala(SQLクエリ処理)

等々

Dell EMC

ソリューション:

SAP HANAで

対応可能

OLTP/DWH処理を

メモリー上で実現

Dell EMCソリューション

PivotalGreenplum

Dell EMC ソリューション: SAP HANA Vora (HANAとSparkの連携)

MPP: Massively Parallel Processing

多数のマイクロプロセッサーを結合し、並列処理による高速化を図ったコンピューター。一般に普及しているマイクロプロセッサーを使うことで、スーパーコンピューター並みの演算速度をもちながら、安価に抑えることが可能 Source: Wiki

Page 35: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

35

Intel Inside®s

パワフルな

データセンターを

Intel Inside®s

パワフルな

データセンターを

Page 37: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

37

Intel Inside®s

パワフルな

データセンターを

IoTのシステム技術

端末側でのジョブ実行により、運用の効率化を実現

複数機器の連携による処理分散や故障時代行を機器側で実施。サーバ側の機器管理工数を軽減

端末側での判断・実行により、リアルタイムに機器制御を実現

端末側での機能分担により、サーバ負荷を軽減

データ蓄積・利用・分析

収集加工蓄積

判断制御送信

製造

インフラ

医療

交通

②通信端末側でのデータ加工と軽量通信プロトコルにより、送信データを軽量化し通信費用を軽減

③サーバ負荷

⑤リアルタイム性

①セキュリティ

データベースの暗号化機能により、蓄積データの漏えいリスクを軽減

⑥機器管理 ④運用効率化

エッジコンピューティング

大量のマシンデータ

ネットワーク(インターネット)

エッジ コンピューティングが必要な6つの理由

*日立ソリューションズ様とのコラボレーション例

Page 38: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

38

Intel Inside®s

パワフルな

データセンターを

Dell Edge (IoT) Gateway

空調装置

エッジコンピューティング ソリューション(エッジ側をスマート化・インテリジェント化)

IoT 組込み基盤

機器固有アプリ

軽量通信 センサ接続

OSJava VM

データ加工・蓄積

工場

自律型JoB自動化基盤

車載

スマートメータ

カメラ

アプリケーション実行基盤

風力

SCADAPLC生産ライン

デルのIoTソリューション エッジ機器のスマート化対応とIoT化に適切なIT基盤環境構築をサポート

オンプレ or クラウド

Dell VRTX

*日立ソリューションズ様とのコラボレーション例

Page 39: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

39

Intel Inside®s

パワフルな

データセンターを

Dell Edge Gateway 5000 / 5100

HWスペックCPU/Memory : Intel Atom 1.33GHz, 2コア、または 1.75GHz, 2コア /

2GB~4GB メモリ (5000は最大8GB)

Storage : 32GB または 64GB mSATA SSD (m.2)

使用環境 :動作温度 : 0°C~ 70°C (5000)、5100はより幅広い温度域

I/O

デュアル独立ギガビットイーサネット(RJ-45)

USB :2 x USB2、1 x USB3

シリアルインタフェース : 1 x RS-232、2 x RS-485。 | 1 x RS-422/485

オプションのCANbus カード* | オプションのモジュラー I/O 拡張インタフェース*

802.11n Wifi + Bluetooth Low Energy(LE)、WWAN(3GまたはLTE)

オプションのワイヤレスメッシュモジュール : IEEE 802.15.4 Zigbee/6LoWPAN コンボモ

ジュール*、Z-Waveモジュール*

さらに、ISV アプリケーションのサポートを通して、各種のレガシーおよび最新デバイス接続プロ

トコルに対応

SW

Ubuntu Snappy CoreまたはWind River Linuxの工場インストールオプション、

Windows 10 IoT Industry / LTSB*

IoTデータをエッジで収集、分析、中継 多種多様なセンサーとの通信

Intel ATOM プロセッサー搭載

ITとOTのための製品 OT(オペレーションテクノロジー)を主力とするデル認定

ISVパートナー

デルのIT専門知識

多様な環境に対応する耐久性 インダストリグレードの頑丈な筐体

ファンレス設計、高温化での24時間連続稼働

データセキュリティの確保 TPMチップ搭載

未使用ポートのBIOSレベルの遮断

デルのサービス&サポート グローバル・サポート・ネットワーク

カスタムソフトウェアイメージの工場インストール

Rugged Enclosure

Page 40: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

40

Intel Inside®s

パワフルな

データセンターを

IoT戦略:パートナーエコシステム

デルIoTパートナープログラム

• 現在50社が参加

• 様々なレイヤとユースケースで協力

• 検証済みの相互運用性

業界団体への参加とリード

• 標準化団体への加盟、仕様策定への貢献

• パートナーエコシステムの拡大

http://delliotpartners.com/

OpenFog Consortium

Page 41: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

41

Intel Inside®s

パワフルな

データセンターを

デルIoTコンテスト– “Connect What Matters”

• デルIoT製品を使ったビジネス事例

• 2016年6月に結果発表(募集期間:2015年10月~2016年3月)

• 900社を超える応募、様々な業種と利用アイデア

V5 SYSTEMS ソーラーパワー・ポータブル・セキュリティシステム

Eigen Innovations 自動車工場におけるビジョンシステム

iamus スマート街灯と様々なアプリケーション

n.io センサーとアナリティクスによるワインぶどう園のスマート化

RipitideIO レストランや小売店舗など小規模スペースで使えるスマートビルSaaS

Software AG リアルタイム・エッジアナリティクスによる予知保全ソリューション

ゴールド賞

プラチナ賞

Page 42: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

42

Intel Inside®s

パワフルな

データセンターを

予知保全

• 課題

米国製造業エグゼクティブへのアンケート (*)

– 40% ・・・ 最大のリスクは機械設備の故障

– 46% ・・・ タレントギャップの対策を実施/検討

– 40% ・・・ 作業平準化のためデータ分析を利用

• 効果– 故障の事前予知

– 緊急停止による故障の防止

– 最適なメンテナンス時期の決定

– 稼働環境と使用方法の最適化Month Week

sDays 故障

メンテンナンス・モデル

予知的(使用と摩耗の状況を分析)

状態監視(一般的な装置管理)

予防的(定期的またはオペレーションサイクル)

事後的(故障への対応)

モーターの故障

摩耗を示すデータ

処理能力の低下 異常音

高温

振動センサー

故障までの時間

(*) Source: Aberdeen Group, Report: Building the Business Case for the Executive, December 2013

3

4

2

振動センサー1超音波センサー

赤外温度センサーオイル中の金属粉

を検査

PLC / SCADA / MES / ERP 等からもデータを取得

稼働実績、不良数、温度、停止時間、回転速度、環境データ、会計情報、販売情報、保守履歴 ・・・

Page 43: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

43

Intel Inside®s

パワフルな

データセンターを

予知保全 – システム構成

プロトコル変換

エッジアナリティクス

ビッグ・データアナリティクス

様々な産業用プロトコルをトランスレート

エッジ・アナリティクスとビジュアリゼーション

ビッグ・データ分析

Page 44: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

44

Intel Inside®s

パワフルな

データセンターを

スマートビルディング

• 課題– エネルギー消費の無駄 ・・・米国の商業用ビルディングでは30%が無駄 (*)

– 効率的な管理ツール ・・・およそ50%のビルディングでは効率的な管理ツールがない (*)

• 効果– エネルギー消費とオペレーションコストの最適化

– ビル管理システムの自動制御による快適性の向上

– 新しいアプリケーションの実現

(*) “Improve Energy Use in Commercial Buildings”https://www.energystar.gov/buildings/about-us/how-can-we-help-you/improve-building-and-plantperformance/improve-energy-use-

commercial

ホテル:スマホアプリ

チェックイン機能、ルームキー機能、空調・ライト制御機能など

レストラン:テナントのセルフサービス

多数の温度センサーで空調管理、人感センサーやモーションセンサーで利用率に応じたスペースプランニング

オフィス:スマート会議室予約

人感センサーやモーションセンサーで利用状況を把握、予約に合わせて空調や照明を自動制御

[ 新しいアプリケーションの例 ]

Page 45: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

45

Intel Inside®s

パワフルな

データセンターを

スマートビルディング – システム構成

多様なプロトコルをIPに変換

スマートビルディング管理ソフト

履歴データベース&ビジュアリゼーション

データ統合とアナリティクス

Page 46: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

Dell EMC Apache Hadoop Solutions

Page 47: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

47

Intel Inside®s

パワフルな

データセンターを 各種コンポーネント、エコシステムの発展があり、それらを組み合わせて利用することで

データ基盤としての利便性が増大

Hadoopとは ?

データ収集・蓄積、SQLクエリ処理、検索、列試行分散DB(NoSQL)、ストリーム処理、機械学習、アクセス制御も可能な 唯一無比のデータ プラットフォーム

Page 48: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

48

Intel Inside®s

パワフルな

データセンターを

2006 2008 2009 2010 2011 2012 2013

Core Hadoop(HDFS,

MapReduce)

HBaseZooKeeper

SolrPig

Core Hadoop

HiveMahoutHBase

ZooKeeperSolrPig

Core Hadoop

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

Core Hadoop

FlumeBigtopOozie

HCatalogHue

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

YARNCore Hadoop

SparkTez

ImpalaKafkaDrill

FlumeBigtopOozie

HCatalogHue

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

YARNCore Hadoop

ParquetSentrySparkTez

ImpalaKafkaDrill

FlumeBigtopOozie

HCatalogHue

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

YARNCore Hadoop

2007

SolrPig

Core Hadoop

KnoxFlink

ParquetSentrySparkTez

ImpalaKafkaDrill

FlumeBigtopOozie

HCatalogHue

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

YARNCore Hadoop

2014 2015

KuduRecordService

IbisFalconKnoxFlink

ParquetSentrySparkTez

ImpalaKafkaDrill

FlumeBigtopOozie

HCatalogHue

SqoopAvroHive

MahoutHBase

ZooKeeperSolrPig

YARNCore Hadoop

Enterprise

Production

Basics

2016年は、Hadoop誕生10周年

*Cloudera Japan様の資料を参考に記載

Page 49: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

49

Intel Inside®s

パワフルな

データセンターを

親和性の高いコンポーネントのエコシステムで収集から分析まで対応可能

参考:Nathan Marz, ラダムアーキテクチャ

クエリ機構:バッチレイヤー :全量データに対するバッチ処理。精度の高い集計や、ロングテールをつかむ細かな集計サービスレイヤー:バッチレイヤーの集計結果を提供。HbaseやHiveをインターフェースとして利用する例もありスピードレイヤー:リアルタイム処理の結果を提供する層。直近数秒、数分、数十分のイベントの集計結果を提供

Page 50: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

50

Intel Inside®s

パワフルな

データセンターを

事例:DellとIntel社のIoTに関する取り組み Intel IoT Smart Manufacturing のサポート

1工場で年間 $9Mの効果

Page 51: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

51

Intel Inside®s

パワフルな

データセンターをP

erf

orm

an

ce

-ce

ntr

ic

Sto

rag

e-c

entr

ic

High performance Hadoop with

industry’s fastest HBase

Compute

GigE

Data

High Performance low cost Hadoop

Ability to scale down at cost

DASOne or

more

Storage scaling faster than compute

Enterprise Grade Storage Mgmt.

Consolidation of IT Workloads

Aggregate capacity > 50 TB

One or

moreDataCompute

GigE

Geo-distributed single namespace

Hadoop

Compute

GigE

Data

Engineered System for

Hadoop

Engineered System for

Hadoop

Enterprise Data Lake

• Dell EMC | Cloudera Enterprise Solution

Engineered System for

Hadoop

Engineered System for

Hadoop

Data Warehouse Optimization

• Dell EMC | Cloudera | SyncsortTARGET SOLUTIONS

REQUIREMENTS CONFIGURATIONS

Dell EMC Cloudera-Hadoopアプローチ基本路線

Page 52: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

52

Intel Inside®s

パワフルな

データセンターを

デルが考えるHadoop/Spark Cluster環境へのアプローチ

1) Data NodeとCompute Nodeの効率的な利用

→ Ceph利用によるData階層化利用

→ Dell DSS7000/7500, Isilon スケールアウトNASストレージ

2)既存Hadoop環境の高速化ソリューション

→ DSSD D5利用によるHBase・RDB環境の高速化。Hadoop NodeへNVMe接続

3)オープン ネットワーキングによるNetwork機器のサーバ型一括管理

→ Linux-OSからFabric-OSまで対応したネットワーク機器によるDevOpsの実現

4)Hadoop/Spark環境のモデリング、シュミレーション

→ Intel社と協業した CoFluentツールの活用

→ Job, Hadoop/Spark周辺システムを理解し、適切なCluster環境の設計をサポート

Page 53: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

53

Intel Inside®s

パワフルな

データセンターを

“Dell has emerged as a top four player in the data center networking space measured by port shipments. It has also been the most-innovative and most-disruptivemainstream data center networking vendor in the market over the past 12 months.”Gartner “Vendor Rating: Dell” April

2015

Vis

ion

ary

furth

est to

the rig

ht

http://www.dell.com/learn/us/en/uscorp1/analyst-relations-research-and-reports

Dellが最もビジョンを持ったネットワーク企業として選ばれる

Latest Gartner rating for Dell

Page 54: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

54

Intel Inside®s

パワフルな

データセンターを

2014年 デルがネットワーキングの新しいドアを開けた

Proprietary Networking Hardware

Proprietary Networking Software

Open Networking Hardware

Open Networking Software

+ +

レガシー・ネットワーキング オープン・ネットワーキング

Page 55: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

55

Intel Inside®s

パワフルな

データセンターを

従来のネットワーキング オープン ネットワーキング

オープン標準ハードウエア

選択可能なOS

Optional SDN / NVOコントローラ

オーケストレーション自動化ツール

汎用チップ独自のASIC

独自OS

多種のプロトコル

独自アークテクチャ独自管理ツール

Dellの考えるオープンネットワーキング

Page 56: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

56

Intel Inside®s

パワフルな

データセンターを

ネットワークにも敏捷性を

Data Center

OS10

• Converge operations across server, storage, networking elements

• Leverage common open source tools and best-practices (Data models, commit rollbacks)

• Implement advance use-cases: e.g. application level routing, container networking

Page 57: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

57

Intel Inside®s

パワフルな

データセンターを

様々な環境に適合するネットワークOS

• CiscoライクなCLIと豊富な機能、ミッションクリティカルでの採用、ハイパフォーマンスDell Networking OS

• ネットワークスイッチをLinux化するためのOS、サーバーエンジニアが使いやすいLinuxネイティブのインタフェースとLinuxで開発されたツール群をそのまま利用できる柔軟性

Cumulus

Linux

• 普通のスイッチを専用タップデバイスとして使うためのBigTap

• 複数台のスイッチを論理的に1台として管理するためのBig Cloud FabricBig Switch Networks

Switch Light OS

• キャリアで多く利用されているMPLSなどの機能にフォーカスして実装IP Infusion

OcNOS™

• コントローラレスで分散ファブリックを組むためのOS、解析機能も充実Pluribus Networks

NetVisor™ OS

Page 58: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

58

Intel Inside®s

パワフルな

データセンターを

様々な環境に適合するネットワークOS

• CiscoライクなCLIと豊富な機能、ミッションクリティカルでの採用、ハイパフォーマンスDell Networking OS

• ネットワークスイッチをLinux化するためのOS、サーバーエンジニアが使いやすいLinuxネイティブのインタフェースとLinuxで開発されたツール群をそのまま利用できる柔軟性

Cumulus

Linux

• 普通のスイッチを専用タップデバイスとして使うためのBigTap

• 複数台のスイッチを論理的に1台として管理するためのBig Cloud FabricBig Switch Networks

Switch Light OS

• キャリアで多く利用されているMPLSなどの機能にフォーカスして実装IP Infusion

OcNOS™

• コントローラレスで分散ファブリックを組むためのOS、解析機能も充実Pluribus Networks

NetVisor™ OS

Hadoop Cluster もオープンネットワーキング志向へ

Page 59: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

59

Intel Inside®s

パワフルな

データセンターを

Open Networkingスイッチスマートオフィス(OS10)

S3048-ON

センサー・照明・エアコン・セキュリティロックなど

マネージメント・ネットワーク

Webアクセス

*OS10上に管理サーバーを構築

マネージメント・ネットワーク側にログ・分析サーバーを構築することも可能

警報装置などDell S3048-ON

switch

* 展示会場でデモしています

Page 60: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

60

Intel Inside®s

パワフルな

データセンターを

Open Networkingスイッチスマートオフィス(OS10)

- デプロイメントの図

* 展示会場でデモしています

Page 61: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

61

Intel Inside®s

パワフルな

データセンターを

Open Networkingスイッチスマートオフィス(OS10)

- ダッシュボードの図* 展示会場でデモしています

Page 62: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

62

Intel Inside®s

パワフルな

データセンターを

Dell EMC Hadoop ソリューションを選択する理由

パフォーマンス# 1

TPCx-HSによる Hadoop性能検証ベンチマークにて、競合製品比較

最大64%高いコストパフォーマンス

デルとClouderaの共同検証により、最先端のHadoopソリューションを業界最短でリファレンスアーキテクチャー(技術資料)として提供

Cloudera Enterpriseのライセンス・サポートを含めたサーバ、ネットワーク製品をワンストップで提供

Cisco/Huawei

Dell

出展:

2016/11/8 時点のTPCx-HSベンチマーク

http://www.tpc.org/tpcx-hs/results/tpcxhs_price_perf_results.asp

最適化# 1

負荷削減# 1

(Dell PowerEdge R730xd)

Page 63: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

63

Intel Inside®s

パワフルな

データセンターを

Hadoop/Spark Cluster基盤(基本的な)利用構成例

Hadoop/Spark

Cluster基盤

検索エンジン

RDB

DWH

ユーザアプリ

BIBA

可視化ソフトウェ

データソース

RDB

複数のシステムと組み合わせて利用 DWH処理(SQL処理等)をHadoop/Spark基盤上で実施するケースも増加

e.g)・生データ格納・データクレンジング処理・データ突き合せ・事前のデータ処理

e.g)・事前計算済みデータの格納・オフロードした処理結果の書き戻し

Dell EMC

リファレンスアーキテクチャー推奨構成図

Page 64: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

64

Intel Inside®s

パワフルな

データセンターを

Dell | Cloudera 5.9 Solution

1) リファレンス アーキテクチャ

2) 拡張性を想定した構成パターン

3) 事前動作検証済み

4) デルのServer(PowerEdge),

Network機器(Force10) 上に構築

Dell QuickStart 5.9 for Cloudera

1) HW購入と導入における手間を簡素化

2) Cloudera エンタープライズをサポート

3) 5 Nodes & Network:

- PoC向け廉価なエントリー価格

4) 本番環境へ向け容易に拡張可能な構成

In-Memory Appliance for Cloudera

1) リアルタイム データを洞察的に利用可能なモデルへ転換し、

システムとして利用可能とする事前検証済み構成

2) 規範的なデプロイメントが可能なHWデザイン

3) Clouderaのハイレベルなソフトウェア特徴と

機能をサポート

– EDH & Spark

Dell | Cloudera | Syncsort Data Warehouse Optimization for ETL Offload

1) ETLオフロードを最適化させるベスト構成

2) データ管理に係る効率化を①低コスト②セキュア

③簡易スケール にて実現可能なソリューション基盤

3) 高度データ分析を実現可能とする

事前検証済みシステム構成

Dell EMC| Cloudera Apache Hadoop Solutions モデル

Page 65: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

65

Intel Inside®s

パワフルな

データセンターを

Dell | Cloudera 5.9 Solution

1) リファレンス アーキテクチャ

2) 拡張性を想定した構成パターン

3) 事前動作検証済み

4) デルのServer(PowerEdge),

Network機器(Force10) 上に構築

Dell QuickStart 5.9 for Cloudera

1) HW購入と導入における手間を簡素化

2) Cloudera エンタープライズをサポート

3) 5 Nodes & Network:

- PoC向け廉価なエントリー価格

4) 本番環境へ向け容易に拡張可能な構成

In-Memory Appliance for Cloudera

1) リアルタイム データを洞察的に利用可能なモデルへ転換し、

システムとして利用可能とする事前検証済み構成

2) 規範的なデプロイメントが可能なHWデザイン

3) Clouderaのハイレベルなソフトウェア特徴と

機能をサポート

– EDH & Spark

Dell | Cloudera | Syncsort Data Warehouse Optimization for ETL Offload

1) ETLオフロードを最適化させるベスト構成

2) データ管理に係る効率化を①低コスト②セキュア

③簡易スケール にて実現可能なソリューション基盤

3) 高度データ分析を実現可能とする

事前検証済みシステム構成

Dell EMC| Cloudera Apache Hadoop Solutions モデル

本資料公開時にはおそらくリリースしていますが、

最新CDH 5.9対応の

Cloudera社と共同事前検証した

Dell EMC Cloudera Hadoop Solutions version 5.9 Reference Architecture Guide

公開されます。(一応はリリースは内緒事項ですが、Hadoop Clusterのサイジング手法等で

ご興味ある方は個別ご連絡ください)

Page 66: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

66

Intel Inside®s

パワフルな

データセンターを

Dell EMC Hadoop/Sparkソリューション 適用領域

Page 67: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

67

Intel Inside®s

パワフルな

データセンターを① Hadoop/Spark リファレンスアーキテクチャー ⑤リファレンス コンフィグレーション② Hadoop/Spark ディプロイメントガイド③ Hadoop/Spark 環境サイジング④ Jobから推察する適切なCluster環境モデリング

Compute-Dense Configuration with (4) PowerEdge FC430 Server Blocks and (2) PowerEdge FD332 Storage Blocks

PowerEdge FX2 Compute-Dense Data Nodes Rack Diagram

Hadoop/Spark基盤へのサポート

Page 68: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

68

Intel Inside®s

パワフルな

データセンターを

Dell EMC Clouderaリファレンス アーキテクチャーHW構成例

Page 69: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

69

Intel Inside®s

パワフルな

データセンターを

Dell EMC | Syncsort Data WarehouseOptimization for ETL Offload

- データ連携、統合、処理に関する課題を解決し、データレイクやDWH構築を支援してデータ活用を促進

バッチ処理の遅延、ボトルネック解消SQLによる開発や、他社EAI, ETLツールでは対応できない大量データの集計、結合、ソート、コピー、マージ等の処理において、特許取得済みの自動ダイナミック最適化エンジンにより、処理時間を大幅に短縮

レガシーやDWHの負荷、コスト削減メインフレーム、オフコン、DWH専用機で実施しているデータの加工、変換処理を安価なプラットフォームへオフロードし、開発と運用保守コストを削減

セルフサービスでのデータ加工、準備簡易なテンプレート形式のGUIツールにより、IT部門だけでなくビジネスユーザー自身がデータを加工、BIや分析ツール向けのデータを準備することが可能

導入効果

ETL:Extract、Transform、Loadの略企業内に存在する複数のシステムからデータを抽出し、抽出したデータを変換/加工した上でDWH等へ渡す処理、およびそれを支援するソフトウェア

Page 70: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

70

Intel Inside®s

パワフルな

データセンターを

Dell EMC | Syncsort Data WarehouseOptimization for ETL Offload

特徴

米国保険会社でのベンチマーク結果例

3000万レコードのマージ(Upsert)

700万レコードのテーブル集計

処理時間を大幅に短縮

ハイパフォーマンス 簡単

• インストールは数分で完了

• 半日のハンズオントレーニングで習得が容易

• テンプレート化された項目に設定するだけ

省リソース 実績

• 他社ETLツールと比較して約70~85%CPU, メモリ, ストレージの消費を削減

• 高価でハイスペックなサーバーは不要

• フォーチュン100のうち87社で利用

• 国内実績400社以上

• 数十年に渡る業務系、基幹系での安定稼働実績

Page 71: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

71

Intel Inside®s

パワフルな

データセンターを

最適なHadoop/Spark Clusterの構築とは?

お客様固有のJob, Workload 処理が多段に発生

最適な環境とは、お客様固有の処理するJobをモデリング化、稼動シュミレーションすること

Dell EMCであれば、実態にマッチした適切なHadoop Clusterのアドバイス・構築が可能

Dell EMC | Intel で実現できる

最適なCluster環境の机上シュミレーション

お客様 PoC環境 or

Dell EMCの都内ソリューションセンター

Dell EMCの都内ソリューションセンター

Page 72: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

72

Intel Inside®s

パワフルな

データセンターを課題例:60GB fileを 200 秒以内でソート処理したい。既存のServerのSpecから、どのようなNode構成が最適なのか?

JoBプログラムはあるが、本番環境を想定した環境がないためClusterのサイジングが出来ない

本番環境で利用するJobが、想定するClusterで問題なく稼動するか安心材料が欲しい

解決案:

- Intel® CoFluent™ Technology を利用することで、CPU、ストレージ、メモリ、ネットワークのバランス構成を踏まえ、

最適なクラスターのシュミレーション, プランニング、パフォーマンスを机上予測

- データ処理のJob内容、周辺機器類、既存システムの構成をもとにモデリングを実施し最適Node Spec構成を推察

最適なHadoop/Spark Clusterの構築とは?- Cluster環境での稼動シュミレーション

Page 73: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

73

Intel Inside®s

パワフルな

データセンターを

Isilon スケールアウトNASについて

• スケールアウトNASのマーケットリーダー

– 10年以上の歴史

– 世界中で7,000社を超えるお客様

– 飛躍的な成長率2億ドル (2010年) → 14億ドル (2015年)

• さまざまな市場で幅広く採用

– 商用IT: メディア/エンターテイメント、ライフサイエンス製造、 Web2.0、金融、石油・ガス

– エンタープライズIT: ファイル共有、ホームディレクトリ、アーカイブ

• OneFSソフトウェア

– 業界で実証済みかつ革新的なスケールアウト・オペレーティング環境(最新バージョン:OneFS 8.0)

Page 74: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

74

Intel Inside®s

パワフルな

データセンターを

スケールアウトNAS DELL EMC ISILONの概要

1ボリューム- 最大 144 node- 最大物理容量 68PB

外部接続- Ethernet10Gbps & 1Gbps

IB Switch(QDR)

ノード間接続- InfiniBand

IB Switch(QDR)

HD HD HDHD

SSD( Option )CPU Memory

搭載コンポーネント CPU/Memory/HD/SSD/NIC

最大144ノードまで1クラスタ・1ボリュームとして構成が可能

NIC

SMB, NFS, HTTP, FTP, HDFS, SWIFT

サポートクライアント・プロトコル

Isilonノード

最少3ノード構成

Page 75: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

75

Intel Inside®s

パワフルな

データセンターを

スケールアップ型とスケールアウト型の比較

一般的なNAS(コントローラ+ディスク) IsilonスケールアウトNAS

従来型NAS

Page 76: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

76

Intel Inside®s

パワフルな

データセンターを

CPU, Cache, I/O, Disks

ENTERPRISE CLASS

ISILON NODES

Isilonスケールアウト

(Intra-cluster InfiniBand)

Controller

Disk Shelves

Scale

Cap

acit

y

• オールインワン型ノード、最大144ノード/68PB

• 全てのノードがActive、互いにピアの関係(完全対称型クラスタ)

• OneFS分散ファイルシステム

• シングルボリューム / シングルネームスペース⇒ 単一の管理ポイント

• コントローラ と ディスクシェルフ

• コントローラはHA (Active-Active/Active-Standby)構成

• 複数のファイルシステム / ボリューム

• 大規模の場合、複数システムで構成⇒ 多くの管理ポイント

一般的なスケールアップ

Page 77: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

77

Intel Inside®s

パワフルな

データセンターを

HREngOps

最大86PB16 - 150 TB

Sales

Network Attached Storage Isilon – Scale-Out NAS

一般的なスケールアップvs..

一般的なスケールアップ Isilonスケールアウト

Page 78: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

78

Intel Inside®s

パワフルな

データセンターを

Z:\=30TB

Z:\=60TB

Z:\=90TB

Z:\=120TB

ボタン

性能&容量を簡単に追加• 144ノード、68PB、200GB/sまで

1ボリュームのままでスケールアウト

• ノードの追加はケーブリング後、ボタンを押すだけ

• ノード追加 = CPU、メモリ、NVRAM、NIC、ディスクの追加

• ノード数に比例して容量、パフォーマンスが線形的に向上

Page 79: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

79

Intel Inside®s

パワフルな

データセンターを

Hadoopに対する Isilon の利点Hadoopをネイティブ統合したスケールアウト ストレージ

インプレース分析

• ネイティブ統合により洞察を得るまでの時間を短縮例: SMBで書き込んだデータを直接Isilon上で分析

エンタープライズ データの保護

• 迅速なスナップショット、バックアップ、データ リカバリ

• 災害復旧のためのシンプルで効率的なデータ レプリケーション

コストの低減

• 専用Hadoopインフラストラクチャが不要

• DASベースのアプローチよりも効率的

柔軟性の向上

• すべてのApache準拠Hadoopディストリビューションを同時サポート

• 管理、監視、プロビジョニング用にAmbariを統合

Page 80: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

80

Intel Inside®s

パワフルな

データセンターを

NAS

SAN CLOUD

TAPE

DAS

OBJECT

NEXT-GEN WORKLOADSTRADITIONAL WORKLOADS

HPC

Backup/Archive

Analytics

Mobile

File Shares

Cloud Apps

Page 81: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

81

Intel Inside®s

パワフルな

データセンターを

TAPE

NAS DAS

CLOUDSAN

OBJECT

Dell EMCIsilon

Data Lake

NEXT-GEN WORKLOADSTRADITIONAL WORKLOADS

HPC

Backup/Archive

Analytics

Mobile

File Shares

Cloud Apps

Page 82: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

82

Intel Inside®s

パワフルな

データセンターを

Dell EMC Isilon DataLake様々なプロトコルにより様々なデータをIsilonに保存・活用

FILE

FILE

HPC

Backup/Archive

Analytics

Mobile

File Shares

Cloud Apps

Page 83: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

83

Intel Inside®s

パワフルな

データセンターを

Archive &

Backup Target

File shares

Home

Directories

BLOBS

Design, Test

& ManufactureRetail &

Monetization

Splunk

Transaction

Hadoop &

Analytics

Sync ‘n Share

Images & Video

Content

Social &

Next-Gen

Surveillance

Isilon - For All TYPES of Data

Page 84: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

84

Intel Inside®s

パワフルな

データセンターを

- OSCA(Open Standard Cloud Association)の活用www.osca-jp.com

・デルが中心となり企業・団体とオープンソース・マルチベンダ推進団体を設立

・2012年に設立

- 性能検証を実施するラボ環境のご提供

・Dell Solution Center(DSC)の活用・都内ラボ環境にて性能ベンチマーク等の検証を実施可能

Hadoop/Spark基盤へのサポート

Page 85: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

85

Intel Inside®s

パワフルな

データセンターを

分析ソフトウェア/コンサルティング

上記に記載されている会社名、商品名はそれぞれ各社の商標または登録商標です。

センサー Gateway

Dell IoTGateway

センサー/拠点DB

拠点DB

Bigdata基盤

- Sqoop

- Embulk

データ転送/レプリケーション

Gateway/データ統合/転送 DataStore/DWH 分析/予測/レポート

SNS/Cloud DATA収集/統合/管理

デル | KSKアナリティクス Bigdata/IoT分析フレームワーク

- Dell Apache Hadoop

ソリューション

デスクトップ機からHadoop実行も可能

Radoop(RapidMinerのHadoop拡張機能)

・Apache Hadoop Hive

経由でのデータアクセス

・Apache Mahout を使用した

予測モデル生成

BI

BA

AI

ディープラーニング

- Dell Boomi

- Kafka

- Flume

- Fluentd

分析ソフトウェア/コンサルティング

Page 86: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

86

ワークショップからマネージドサービスまで一貫したご支援を行います。

ETSグローバルのコンサルティング手法

お客様が真に取り組むべきITの課題を顕在化させ、その解決の為の方向性を見極める、方向性を決定する作業

AS-I

S

TO

-BE

GAP

定義された方向性やお客様のあるべき像に対して、ITとして具体的な有るべき像の定義や現状調査、TO-BE/AS-ISから明らかになるギャップをいかにして解決するか、設計や作業計画を立てる作業

新しいあるべきITを新しい運用へ引き継ぐために運用設計を行い、新しいITがお客様に円滑に利用開始と既存環境からの世代交代が行える様に準備する作業

お客様ITの進化

デジタルトランスフォーメーション

IT課題の顕在化と解決のための仕様確認 課題解決のための詳細設計や作業計画 運用設計と製品引き渡し作業

AS-IS INTRO

TO-BE

JOURNEY CLOSE

Consulting Work Shop W A D I MSINTRO

Page 87: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

87

デルのITインフラ関連サービスの種類と詳細をご紹介デルはお客様にコンサルティングサービスから製品導入サービスまでご提供

DELL ITインフラ向けサービスの概要

ITコンサルサービス

テクニカルコンサルサービス

製品導入サービス

DELL製品が含まれていなくてもご利用可能です

コンサルティング・サービスお客様個別のテイラーメイドサービス

エンジニアード・サービス定型サービス

サービスの特徴

お客様のITインフラ全般に対して、あるべき

像の策定や、その変革を実現する為の方法論、

計画立案、予算策定などお客様のIT戦略の立

案・実行をご支援致します。

サードパーティー製品を含め、 お客様システ

ム全体の最適な 設計や複雑なカスタマイズ、

既存環境からの移行作業、運用設計やトレー

ニングなど、最上級の製品向けテクニカルサ

ービスをご提供します。

ProDeploy(http://goo.gl/cInlR4)に代表

される、製品別に予め用意された定型導入

作業です。

DELL製品(OEMを含む)を安心・安価・迅速

にお客様のお手元へお届け致します。

Intel Inside®s

パワフルな

データセンターを

Page 88: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

88

Intel Inside®s

パワフルな

データセンターを

お客様のソリューション活用方針作成をお手伝い

コンサルティング ワークショップ (CWS)

事前準備

ワークショップ

フォローアップ

議題設定

お客様参加メンバーのノミネート

お客様意思決定者のご参加

半日ワークショップ

“AS-IS”ヒアリング

“TO-BE”ディスカッション

移行ステップチェック

次回アクションの確認

半日ワークショップ

ワークショップのサマリ

概要ご提案

該当ソリューションに関するテクノロジーの解説

戦略的ビジネス目標を設定

ワークショップ形式

現状(AS-IS)-将来像(TO-BE)の理解

将来像への適切なアプローチ方針をご提案

プリセールスの一環として無償でご提供

デルのコンサルタントと半日無償セッション

Page 89: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

まとめ & ご案内

Page 90: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

90

Intel Inside®s

パワフルな

データセンターを

デルからのご提案

1) 複数のデータソース、異なるデータ種別、複雑複数のJob処理、統合したデータ分析プロットフォームの必要性

→ OSSを活用し、Hadoop/Spark Clusterの統合データ・プラットフォーム利用のトライアル

2) 超高速データベースの必要性

→ SAP HANAによるインメモリーDB処理のトライアル

3) 上記1) と 2) の融合したシステム環境の必要性

→ SAP HANA VoraによるHadoop/Spark Clusterと超高速インメモリーDB処理の並列処理トライアル

4) 様々なインターフェースを持つデータ派生元側からのデータ・コントロールの必要性

→ Dell IoT Gatewayによるデータ統合・処理

5) データ分析の必要性

→ OSSを活用し、低コスト、低リスク、高ROIを目指した分析トライアル

6) IoT/ビッグデータ活用における課題整理の必要性

→ 無償カスタマーワークショップを活用した現状の課題整理と最適解に向けたディスカッション

Page 91: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

91

Intel Inside®s

パワフルな

データセンターをまとめ

1) Dell EMC は、強力なテクノロジー・リーダーシップ企業。End to End で製品、ソリューションを提供できる

唯一のHardware・Software会社

*もちろんCloudera社のHadoopサブスクリプションのみでも業界一の安値にてご提供

2) Blueprints により、ワークロード毎に適した事前検証済み

ソリューションモデルをご提供

3) 協業エコモデルを最大限に活かし、IoTに関する

オープンソース テクノロジー、アプローチにも果敢に挑戦中

Page 92: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

92

Intel Inside®s

パワフルな

データセンターを

ご案内

本講演以外に、以下の内容でライトニングトークを実施します。是非、ご聴講ください。

講演題目:

- デルのオープンネットワーキング製品で実現できるHadoop Cluster構築運用の新体系

15:20‐15:30:Dell EMC ライトニングトーク

17:45‐17:55:Dell EMCライトニングトーク

Dell EMCブース

Dell EMC ライトニングトーク

Page 93: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

93

Intel Inside®s

パワフルな

データセンターを

ご清聴ありがとうございました

Page 94: Dell EMC が Hadoop/Spark Cluster基盤における ハードウェア

Intel Inside®s

パワフルな

データセンターを

Contacts:

[email protected]