44
次世代ストレージでビッグデータを 知性ある「スマートデータ」に データマネージメント2015 2015年3月12日 クラウディアン株式会社 代表取締役 太田

次世代ストレージでビッグデータを 知性ある「ス …次世代ストレージでビッグデータを 知性ある「スマートデータ」に データマネージメント2015

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

次世代ストレージでビッグデータを

知性ある「スマートデータ」に

データマネージメント2015

2015年3月12日

クラウディアン株式会社

代表取締役 太田 洋

AGENDA:

© Copyright 2015 Cloudian KK. All rights reserved. P-2

CLOUDIAN の会社紹介

データの氾濫と企業が抱える課題

ストレージに課題を解決するオブジェクトストレージ

CLOUDIAN HYPERSTORE の特長

ビッグデータからスマートデータへ

CLOUDIAN HYPERSTORE のメリット

ユースケースおよび事例

CLOUDIAN プロフィール

© Copyright 2015 Cloudian KK. All rights reserved. P-3

主な拠点 東京:クラウディアン株式会社, シリコンバレー:Cloudian Inc.

創 業 2001年 7月(通信事業者向けメールシステム クラウドストレージ製品)

事 業ビッグデータ対応のクラウドストレージ製品「クラウディアン・ハイパーストア

(CLOUDIAN HyperStore®)」の開発および販売

豊富なBIG DATA経験

• EMC, NetApp, SGI, Dell, Oracle, Inktomi, Intel, Vodafone, NTT などの経験者

によって構成

• NTT東日本, NTTコミュニケーションズ, ニフティ, Vodafone, ドコモ, Nextel 等

にキャリアグレードの大規模システムを提供

投 資インテルキャピタル、産業革新機構、フィデリティー・グロースパートナーズ、

ゴールドマンサックスなど

URL http://www.cloudian.jp(日本語), http://www.cloudian.com(英語)

製品のご紹介

© Copyright 2015 Cloudian KK. All rights reserved. P-4

Hardware

Preconfigured Commodity Server Choose Your Server…

Turn Key : Hardware, HyperStoreSoftware and Solutions (option)

are all in one packaged

Software

Install on supportedRedHat and CentOS

データの氾濫と企業が抱える課題

The Data Deluge:データの氾濫

© Copyright 2015 Cloudian KK. All rights reserved. P-7

0

20

40

60

80

100

120

140

2011 2012 2013 2014 2015 2016 2017

Unstractured CAGR 43%

Structured CAGR 23%

世界エンタープライズストレージ出荷容量

非構造化データが高成長

(Exabyte)

Source: IDC Japan

Source: IDC Digital Universe 2014

地球上で一年間に新たに増えるデータ量

2013年 4.4 ZB(4.4兆GB)

2020年 44 ZB(44兆GB)

20134.4 ZETTABYTES

202044 ZETTABYTESX 10

• 爆発的な勢いで増え続けるデータ Unstoppable Grows

• そのうち 80% 以上が非構造化データとよばれる多種多様なデータ

その一方で企業が陥っている課題は…

© Copyright 2015 Cloudian KK. All rights reserved. P-8

「ストレージの需要は右肩上がりだが、予算は同様には伸びない。」

「急にデータが増えたため、ストレージの増設が追いつかず、容量不足になってしまった。」

「予算取りや増設計画で苦労しないよう、期間や寿命に適したストレージの予測と常に取り組んでいる。」

「データは無秩序に増える一方だ。テラバイトのストレージを各部門へ大量に配った。」

「バックアップやDR対策は永続的な問題だ。心配はしているがいつも後回しになってしまっている。」

「『孤島』のようにバラバラに存在する様々なストレージの管理が課題だ。」

「弊社ではすべて保存する為、データのアーカイブは大変だ。」

「最大の問題はストレージの移行だ。データ移行には稼働を止めなくてはならない。」

非構造化データは企業内でサイロ状に増加中

• 定型・構造化データを扱う業務系システムと異なり、ユーザ部門の

データストレージには、非構造化データが急増しているのでは?

© Copyright 2015 Cloudian KK. All rights reserved. P-9

「事業部門のストレージ調達は、事業部門に任せています」(複数の企業IT担当者)

「事業部門からストレージ容量を制限するなと言われています」(製造業IT担当者)

「情報システム部門では既存システムの運用/保守に多くの時間が割かれている」(Japan IT Market 2015 TOP10 Predictions J15990181,December, 2014)

業務系 情報系

ユーザ部門

研究開発

情報システム部門

設計製造 営 業運 用 マーケ 管 理

•ファイル•メール•アクセスログ

• 実験データ

• 顧客情報

• 電子書類

• DBデータ •設計図面• 製造品質

ログ

•モニタ• 運用監視

ログ

•画像•動画•写真•SNSログ

個人契約クラウドを業務利用しデータを外部保存(BYOC)

• IT部門の管理が及ばない個人契約クラウド(Bring Your Own

Cloud)を業務で使用している社員が増えているのでは?

© Copyright 2015 Cloudian KK. All rights reserved. P-10

IT部門(CIO)

「社内調査をしたら、300人以上が個人契約クラウドを使い開発業務をしていました。実際にはもっといると思います」(米国大手ソフトウェア開発企業CIO)

個人契約クラウド

パブリッククラウドに全てのデータは預けられない

• 柔軟性が高く、経済的なパブリッククラウドの活用を始めたものの、

「外部には預けられない」データがあり、自社内システムと重複管

理をしているのでは?

© Copyright 2015 Cloudian KK. All rights reserved. P-11

「全てのデータをクラウドには預けません」(多数IT担当者)

「クラウドの利用は禁止されています」(官公庁関係者)

Public Cloud

複数拠点におけるデータ保護と管理の手間や費用が重荷

• 災害に備えた地域冗長の必要性は認識しているものの、複数拠点に

データ保護するコストが重荷となり、プロジェクトの優先度が下

がっているのでは?

© Copyright 2015 Cloudian KK. All rights reserved. P-12

「日本だけではなく、海外拠点も含

めて3重にバックアップする

プロジェクトの最終承認に時間がか

かっています」(機器製造IT担当者)

Backup / DR 対策

長期保管データは、実際には使わない、使えない

• テープ等の低コストの記録媒体にデータを長期保存はするものの、実際には「死蔵データ」になっているのでは?

© Copyright 2015 Cloudian KK. All rights reserved. P-13

「過去データはテープに記録してい

ます。使うことではなく、保管する

ことが目的です」(メディアIT担当者)

「過去の記録を所轄官庁に提出する

必要がありましたが、倉庫に行って、

テープからデータを読み出すのは大

変でした」(外資系金融IT担当者)

「テープが劣化するので3年毎に書き

換えています」(製造業IT担当者)

「商品売上の季節変動をビッグ

データ分析しますが、過去10年間

のデータをテープから読み出すだ

けで、かなりの時間を使いまし

た」(コンサルティング担当者)

CLOUDIAN HYPERSTORE の特長

ストレージの課題を解決するオブジェクトストレージ

2極化する「次世代ストレージ」

• 次世代ストレージのトレンドは、「高速」又は「大容量」に2極化

© Copyright 2015 Cloudian KK. All rights reserved. P-15

15

大容量 クール/コールドデータ

オブジェクトベース

スケールアウト (数ペタバイト)

ソフトウェア中心

クラウド互換

高速 “ホット” データ

フラッシュ活用

IOPS 中心

VM/VDI最適化

多種多様なアプローチ

ブロック&ファイル

オブジェクト

オブジェクトストレージのポジション

© Copyright 2015 Cloudian KK. All rights reserved. P-16

フラッシュ

SSD

SAN

NAS

オブジェクト

ストレージ

スケールアウト

ペタバイト拡張性 / ビッグデータスケールアップ

テラバイト

低価格ビット単価高 価

COOL, COLD遅延時間HOT

大 量同時トランザクション数限定的

遠 隔アクセスローカル

対 応堅牢性 / 災害対策限定的

テープ

光ディスク(オフライン)

オブジェクトストレージ:Software Defined 仮想ストレージ

© Copyright 2015 Cloudian KK. All rights reserved. P-17

LAN

汎用サーバー+内蔵ディスク

データセンター(東京)

データセンター(大阪)

データセンター(九州)

WANインターネット

モバイル

クライアント

クライアント

• 分散するサーバーストレージを1つの巨大なストレージに見せる仮想化ストレージ技術

• コモディティー サーバーを使用

オブジェクトストレージ

• フラットなオブジェクト構造

• ネットワーク上の移動や複製が容易 分散型ストレージ

• 階層型ファイルシステムが抱える複雑さや拡張性の問題は存在しない

オブジェクト構造

http://s3.cloudian.com/abc123def4...

オブジェクト構造(CLOUDIAN HS)

VolumeA/MyFolder/Favorite/Music VolumeB/John/Music

ファイル構造(従来)

(HTTP形式のオブジェクトID)

• オブジェクトの移動が自由で柔軟

• オブジェクト毎にメタデータを付与

• オブジェクト毎にアクセスの許可/非許可を設定

• オブジェクト数を無制限に拡張(ディレクトリサイズに制限を受けない)

• ユーザー間でオブジェクトの共有が容易

オブジェクト構造の特長

© Copyright 2015 Cloudian KK. All rights reserved. P-18

クラウドストレージ

• インターネットとの親和性が高いプロトコル(HTTP REST)を使用 遠

隔からストレージへのAccessibilityに優れている

• PCやスマートデバイスなどのモバイル対応が可能

• IoT/M2Mにも最適

リモートアクセス

InternetFixed / Mobile

クラウドストレージ

HTTP

REST API

従来のブロック/ファイルベースのプロトコルは、遅延が発生しないデータセンター内での利用に

適しているが、地理的に分散した遅延が予測不能なクラウドには向いていない

© Copyright 2015 Cloudian KK. All rights reserved. P-19

BIG DATA

• 経済的なIAサーバーによるスケールアウト 何台ものIAサーバーを仮想的に一つの巨大なストレージとして扱うことが可能

• 柔軟な拡張性 最低2台(スモールスタート)から数百台規模(Peta級のBIG DATA)へ拡張が可能

• 無停止での増設が可能

大規模・スケールアウト

ハードウェアを追加することによって無停止で簡単にクラスタサイズを拡張

論理リング

Scale Up

従来の拡張法

Scale Out

© Copyright 2015 Cloudian KK. All rights reserved. P-20

広域・分散ストレージ(DR対策)

• オブジェクトの複製を複数ノードに保存 冗長性と高可用性を実現

• いずれかのノードが故障してもサービス継続に影響なし

• 複製数は任意に設定可能

• 複製オブジェクトの地域分散

• ローカルセンターの被災時にリモートからサービス提供

リモート(遠隔地)データセンター

Remote Replica

ローカル(近傍)データセンターLocal Replicas

書き込み要求

書き込み完了通知

リモートデータセンターへのバックグラウンド書き込み

読み出し要求

読み出しオブジェクト

Object

CoordinatorNode

(仮想リング上の

任意のサーバー)

Storage Nodes

※3複製の例(複製数は設定可能)

書込完了

③①②③ 任意のタイミングで書き込み完了通知を返信することが設定可能

Network

Consistency Level

の設定が可能

Client書込要求

複製

複製

複製

© Copyright 2015 Cloudian KK. All rights reserved. P-21

Erasure Coding(イレージャーコーディング)

• ストレージ効率の大幅改善 2倍の容量 ※3複製との比較

• 2台のサーバーが故障してもデータの保障が可能

• パフォーマンスとのトレードオフ アーカイブに最適

© Copyright 2015 Cloudian KK. All rights reserved. P-22

オーバーヘッドが 1/4

Parity

1

Parity

2

Replication 方式

3複製を3台のサーバーに配置

※3複製の場合

Erasure Coding 方式

4分割+2パリティーを6台のサーバーに配置

※3複製の場合

バケット単位で選択が可能

S3 互換・ハイブリッドクラウドストレージ

• アプリケーションやツールをAWSと相互利用 クラウドの使い分け

• データ種別に応じた適正なクラウドへの保存

Public

Private

ManagedPrivate

s3fs

• パブリッククラウドの特長

• 簡単に容量を拡大・縮小

• 運用・保守のアウトソーシング

• 必要な容量だけ利用し完全な従量制課金

• プライベートクラウドの特長

• 自社(グループ)内でデータを管理

• データの所在が明確

• セキュリティーの確保が容易

クラウド間インターフェースの統一

S3 API

S3 APIS3 API

S3 API

Hybrid

Cloud

© Copyright 2015 Cloudian KK. All rights reserved. P-23

Hybrid Cloud Auto-Tiering 機能

• 企業内の CLOUDIAN HS から AWS S3/Glacier 等へ自動階層化

利用例:

1. 使用頻度または 秘匿性・機密性が 高いデータ オンプレミス Cloudian

2. バースト時(一時的に容量が足りなくなった場合) パブリック AWS S3 / Cloudian

3. 使用頻度が低い長期保存データ AWS Glacier

オンプレミス

S3

GlacierS3

S3

S3 Tiering

GlacierTiering

CloudianTiering

No Tiering(Erasure Cding) S3

S3

バケット単位で設定

S3 Client / Application

March 10, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P24© Copyright 2015 Cloudian KK. All rights reserved. P-24

No Tiering(Replication)

© Copyright 2015 Cloudian KK. All rights reserved. P-25

Object Object

NOSQL ReplicationOn-MemoryNOSQL

Mgmt Console

Web GUI

S3 REST API Mgmt API

S3 Client / Application

Object

ErasureCoding

S3 Server

CMC

File System

CLOUDIANHyperStore

Auth UserMgmt

Reports DataExplorer

Admin Server

Auth ReportsAccount & QoS

Browser

Auth, Report,Account & QOS

オブジェクトに最適なストレー

ジ空間を選択することが可能

管理コンソール(Web GUI)

から豊富な管理機能を利用

CLO

UD

IA

N H

yp

erS

tore

Packag

e SystemMgmt

CLOUDIAN HyperStore のアーキテクチャ

S3

Glacier

HyperStore Manager

ストレージの課題を解決するために

© Copyright 2015 Cloudian KK. All rights reserved. P-26

#1

ハイブリッドクラウド

プライベートクラウド

パブリッククラウド

#3

スマートデータ

BIG DATA ストレージ

分 析

#2

コスト効率

ソフトウェアデファインド

コモディティーサーバー

CLOUDIAN HyperStore

CLOUDIAN HYPERSTORE のメリット

ビッグデータからスマートデータへ

スマートデータストレージの概念

© Copyright 2015 Cloudian KK. All rights reserved. P-28

DATA STORAGE = problem SMART DATA STORAGE = solution

Active

Timely Insight

Meaning

Actionable

Business Value

DATA

Passive

Delayed Analytics

Static Data

OBJECT STORE

HYPERSTORE ANALYTICS

INFORMATION

BIG DATA SMART DATA

スマートデータ分析の全体像

© Copyright 2015 Cloudian KK. All rights reserved. P-29

ソーシャルメディア

INTERNET OF THINGS

<メリット>

• 効率的なバルクデータ分析

• 素早く分析結果の出力しビジネスに反映

• またより多くの分析が可能に

• データのバックアップシステムが不要

• 保存データのDR対策が可能

• データの増加に伴ってスケールアウト(ノードの追加でペタバイト級に対応)

• スマートデータをサブシステム等に転送可能スマートデータストレージ

大規模データ分析基盤

非構造化データの蓄積

Big Data Analytics

各種分析

O2OM2M分析結果

素早く、効率的にビジネスに反映デバイストラッキング

ログの収集

消費者の行動情報(Events, GPS, WiFi, Beacon)

データを賢く(スマート)に活用

• メタデータによる対象分析データの絞り込み(フィルタリング)によって、分析システムのリソースおよび時間を大幅に節約

© Copyright 2015 Cloudian KK. All rights reserved. P-30

大規模データ分析基盤

Big Data Analytics

各種分析BLOB

(Object)

Metadata

オブジェクトストレージのデータ構造

メタデータ+BLOB

1対1

システム領域

ユーザ領域

メタデータのユーザ領域に分析対象にしたいデータを絞り込むための、任意情報を予め付加することが可能

・データ取得期間

・データ種別

・ロケーション

などの任意情報

分析結果

Smart Data – Hortonworks Certified

© Copyright 2015 Cloudian KK. All rights reserved. P-31

AP

PL

ICA

TIO

NS

DA

TA

S

YS

TE

MS

OU

RC

ES

OLTP, ERP,CRM

Systems

Documents, Emails

Web Logs,Click

Streams

Social Networks

Machine Generated

SensorData

Geolocation Data

Go

vern

an

ce

& In

teg

rati

on

Secu

rity

Op

era

tio

ns

Data Access

Data Management

StatisticalAnalysis

BI / Reporting,Ad Hoc Analysis

Interactive Web& Mobile

Applications

EnterpriseApplications

Enterprise Hybrid Cloud

Storage for Big Data

Reference : http://hortonworks.com/partner/cloudian/

応用例:スマートサポート

© Copyright 2015 Cloudian KK. All rights reserved. P-32

Cloudian Support

HyperStoreAppliances

HadoopCluster

HyperStoreAppliances

S3n://bucket/…

Smart SupportAnalytics

CUSTOMER CLOUDIAN

Telemetric Data

Smart Support

• 暗号化

• アクセス・コントロール

• 利用容量/流量 制限

• レポート/アラート機能

• ユーザ・グループ別課金

• 各種監視・管理機能

• CMC/SNMP & JMX

• オンプレミス/オフプレミス

• シングル/マルチリージョン

• オープン S3 エコシステム

• S3/Glacier 自動階層化

• マルチテナント

• コモディティ・サーバー

• スケールアウト

• 安全性・堅牢性

• マルチストレージ方式

• レプリケーション

• イレージャーコーディング

• データ圧縮

スマートデータストレージのコンセプト

© Copyright 2015 Cloudian KK. All rights reserved. P-33

at WebscaleEconomics

Your Data

with HybridFlexibility

Your Cloud

with EnterpriseControl

Your Way

HyperStore: Software Defined Storage

ユースケースおよび事例

ユーザー事例

代表的なユースケース

© Copyright 2015 Cloudian KK. All rights reserved. P-36

バックアップDR/BCP

アーカイブ(eメール等)

ファイル検索共有・同期

クラウド統合型ストレージ

ゲートウェイ

S3

S3 S3

S3

オンラインストレージ

STaaS

クラウドコンピューティングの2次ストレージ

Public Cloud

Private Cloud

Hybrid Cloud

with S3 Ecosystem

Cloud Computing

DC1 DC2

BIG DTA分析

エンタープライズ向けバックアップ / アーカイブ

© Copyright 2015 Cloudian KK. All rights reserved. P-37

バックアップ アーカイブ

データベースメインフレームIBM iビッグデータ

ファイル/EメールVMwareNASROBO

バックアップ利用例

ファイル/Eメール

ビッグデータ

仮想マシーン

アーカイブ利用例

コンテンツ管理

ストレージ階層化

データベース

コンテンツ管理ファイルシェア/サーバー

仮想マシーンデータベース 企業向けアプリケーションデータソース Eメールサーバー

顧客の事例:バックアップ用プライベートクラウド・ストレージ

• 顧 客

• 大手メディア・コンテンツ企業

• 課 題

• 最大30PBのメディア・コンテンツをバックアップしたい

• データの価値や性能により、パブリッククラウドとプライベートクラウドを使い分けられるハイブリッドストアが欲しい

• ソリューション

• Cloudian HyperStoreにより、バックアップ用に経済的なプライベートストレージを構築

• パブリッククラウドとティアリング

• 社内のデザイナーやクリエーター向けにプライベートクラウドでのコンピューティングサービスやクラウドストレージをHyperStoreで提供

© Copyright 2015 Cloudian KK. All rights reserved. P-38

※ 提案中の案件

S3アプリケーション

Glacier Amazon S3

パブリッククラウド

ハイブリッドクラウド

プライベートクラウド

バックアップサービス

クラウドサービス

顧客の事例:安全なリモートアクセスとバックアップ

• 顧 客

• スイスの化学薬品会社

• 課 題

• 多数のコンサルタントの端末からファイルへ遠隔アクセスさせる

• DR対策として、複数のデータセンターの仮想サーバーへのバックアップが必要

• ソリューション

• 自社のDCとSwisscomのDCにCloudian HyperStoreを展開

• HyperStoreによるファイル同期や、アプリケーション共有を実現

• 「Veeam」(Vmwareバックアップ・アプリケーション)をHyperStoreと共に実装

• 未使用だったサーバーを有効活用

© Copyright 2015 Cloudian KK. All rights reserved. P-39

顧客の事例:20箇所のDCにまたがるプライベートクラウド

• 顧 客

• コンテンツ配信のグローバル企業

• 課 題

• 世界20箇所のデータセンターに数十PBのデータを持つ

• 2年でデータ量が倍増し、既存のストレージシステムを費用対効果をもたせて置き換えたい

• ソリューション

• Cloudian HyperStoreによるスケールアウト型オブジェクトストレージを展開することで、毎回ストレージを置換えなくて済む

• 20箇所のDCにデータを分散し、各地のデータ量を均等化できる

• S3準拠 – プライベートクラウドとパブリッククラウドの両方で、同じアプリケーションを利用できる

© Copyright 2015 Cloudian KK. All rights reserved. P-40

※ 提案中の案件

プライベートクラウドで結ぶ世界各地のデータセンター

顧客の事例:複数のデータセンター間の同期

• 顧 客

• グローバルなソフトウェアベンダー

• シリコンバレーとインドでソフトウェアを開発

• 課 題

• 地域間でデータを同期したい

• セルフサービス式のストレージを備えた、拡張性や効率性が高いプラットフォームを提供したい

• ソリューション

• 両データセンターにCloudianHyperStoreを展開(単一のジオクラスター)

• 異なる一貫性ポリシーを設定した複数の仮想ストレージ・プールを提供

• 拠点間の協働作業向けに、マルチ・データセンター間の複製を活用

© Copyright 2015 Cloudian KK. All rights reserved. P-41

協働作業グループ

広域共通ストレージ基盤による統合

• あらゆるデータに効率よく対応しなければならない時代

• 統合バックアップ・DR は現状の延長線では対応できない

• Cloudian で「広域共通ストレージ基盤」を構築し、全てを同時解決

仮想サーバ

VDI BYOD監視

カメラ拠点統合

BI/DWH

HPC/メディア

ビッグデータ

オンラインストレージ

March 10, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P42© Copyright 2015 Cloudian KK. All rights reserved. P-42

垂直型アプリケーション/クライアント 群

BIG DATA 分析CEP, Hadoop 等

広域共通プラットフォーム/アプリケーション

SAN / NAS

ストレージゲートウェイキャッシュ・暗号化・重複排除・圧縮

エントリーNAS

Windows仮想 NAS

同時解決

クラウディアンで構築する広域共通ストレージ基盤

• 統 合

• バックアップ

• DR / BCP

• アーカイブ

• ハイブリッド化

Multi-Region / Multi-DC

CIFS統合

THANK YOU !

参考情報

ホームページ(日) http://cloudian.jp/

ホームページ(英) http://www.cloudian.com/

ブログ: http://www.cloudian-blog.com/

Facebook: https://www.facebook.com/cloudian.cloudstorage.S3

Twitter: https://twitter.com/Cloudian_KK

Slideshare http://www.slideshare.net/geminimobile

CLOUDIAN HyperStoreに関するお問い合わせ

電話: 03-6418-6466

メール: [email protected]