VMware vForum/VSS2013にて発表されたNetAppセッションコンテンツ

vExpertが語る！ネットアップで実現する「Software Defined Storage」

ベストプラクティスネットアップ株式会社

システム技術本部テクノロジーSE部シニアシステムズエンジニア

大西宏和

VC4T020

2013年11月19日ネットアップ株式会社システム技術本部テクノロジーSE部シニアシステムズエンジニア⼤⻄宏和vExpert 2013

vExpertが語る！ネットアップで実現する「Software Defined Storage」ベストプラクティス

2

3

VMware SDS – NetApp SDS

vSphere SDS VM単位のストレージ管理

サーバサイドフラッシュの仮想化

仮想環境のストレージ性能を最適化ハイパーバイザーに統合

されたクラスタストレージ

NetApp SDSFlash Accel

Flash Cache

Flash Pool

NVRAM

FlexClone

NFS DatastoreポリシーベースQoS

Clustered Data ONTAP(ストレージOS)

実は、同等の機能を全てストレージ側で実装済み

VMware SDDCSDDCを実現する上でストレージ機能は最重要課題の一つ

4

進化を続ける Data ONTAP

Data ONTAP 8■ Clustered Data ONTAP(Clustered Mode/cDOT)■ 7-Mode (従来からの Data ONTAPが正統進化したOS)

.1 .2

Data ONTAP GXSpinFS

Data ONTAP Data ONTAP 7G

FlexVolume

FlexShare

vFiler

2005年 - DOT7.0: ストレージ上のボリュームを仮想化

2006年 - DOT7.2: ボリューム単位のQoSを実装

2002年 - DOT6.2: マルチテナント向け仮想ストレージ機能を搭載10年以上も前から

仮想化特有のワークロードSDSに必要な技術を実装

お客様が安心してすぐにでも利⽤できる技術

2012年 2013年

2011年

ONTAPI 2002年 - DOT6.3: 自動化に必要なAPIを提供

FlexCache (PAM2) 2009年 - DOT7.3.2: Flashを使ったアクセラレータモジュール

2004年に買収したSpinnaker Networksの製品

NVRAMWAFL

FlexClone 2005年 - DOT7.0: 容量を消費しない高速クローン

創業以来のテクノロジーあらゆるワークロードをストレージ上で最適化するネットアップFAS根幹となる標準機能の一つ

ハイパーバイザー側の機能と比べて、よりたくさんのSDS機能を提供

5

vSAN� vSphereハイパーバイザーにビルトインされたスケール

アウトストレージ機能– 各ESXi上のローカルストレージを共有ストレージとして利⽤可能

� 用途としては– Tier2、Tier3環境– リプリケーション先のvSphere環境– VMware Horizon View環境

� SSDによる高速化– リード・ライトキャッシュとして動作可能

� Distributed RAIDにより単一障害ポイントを排除– バックグラウンドでESXi間のデータ複製– 保護⽤のディスク本数、領域– vSAN用ネットワークを用意

� 現状ベータプログラム中– 2013 H2より開始

クラスタスケールアウト

ストレージvSphere SDS

6

vSphere

Clustered Data ONTAP®

Best storage for VMware Public and Private clouds

Server Hypervisor

クラスタネットワーク

(10GbE x2)

Storage VMは各ノード間を

自由に移動可能

NetApp FAS(物理)

IA Server(物理)

clustered Data ONTAP

SAS Disk SAS Disk SAS Disk SSD SATA Disk

~ストレージレイヤーを完全に仮想化~

Infra ERPVDI MailDB Dev

SVM SVMSVM SVM SVMSVM

Storage Hypervisor VSC

WFA

SystemManager

QoS設定

QoSポリシー・ IOPS/s, MB/s・ VM単位・ Datastore単位・ SVM(テナント)単位

ネットアップは標準機能としてクラスタ・スケールアウト機能を提供

vSphereのSDS・SDDCと高い次元で連携

FlexVolume(Datastore)単位で各ノード上のストレージ間を無停止で移動！


ストレージNetApp SDS

7

Clustered Data ONTAP® (続き)Best storage for VMware Public and Private clouds

� Clueterd Data ONTAPでは、OS自体がストレージハイパーバイザーとして動作– ストレージコントローラをStorage Virtual

Machine(SVM)として仮想化– SVMを使った⾼度なセキュリティを実現

(セキュアなマルチテナント)– SVMは各物理コントローラー上を⾃由に移動– VMwareの SDS・SDDCとも高い次元で連携できるSVM

のストレージ機能– FlexVolume(データ格納領域)が各物理ディスク領域間

を自由に移動� 20Gbpsのクラスタインタコネクトを通して高速に移動� Storage vMotionに比べて圧倒的に高速

– 計画停⽌時間が不要な運⽤を実現� 各種メンテナンス時には、事前にデータを別ノード上に高速移動

スケールアウトストレージアーキテクチャー

Data ONTAPストレージ仮想マシン(SVM)

� ネットアップストレージ以外のストレージにもインストール可能- 他社ストレージ- IAサーバーローカルディスク

(VMware ストレージ・アプライアンス)- クラウド

(NetApp Private Storage for AWS)(NetApp Private Storage for vCHS)



8

Clustered Data ONTAP® (続き)Best storage for VMware Public and Private clouds

� 24ノードまで一つのクラスタとしてスケールアウト� 最⼤容量51PB (3TBドライブ利⽤時)� ハイパフォーマンス

– 数GB/秒のスループットを実現– World leading SPECsfs and SPC-1

� ストレージレベルで細かなQoSの設定が可能� vSphere, VMware Horizon View,

vCloud Directorと密な機能連携– VSC Provisioning, Backup Recovery, VASA,

NFS-VAAI(FlexClone), VCAI(FlexClone)� ストレージ削減効果50%を保証

– 重複排除, Snapshot、FlexClone� 要件に合わせてフラッシュストレージをホスト・コントローラ

・アレイレベルで搭載可能� ONTAP-Edge(ネットアップ版virtual storage

appliance)を使ったリモートオフィスまで含めたストレージ統合管理



9

設定変更OSアップグレード

リプレース

Clustered Data ONTAP®

完全無停止でのオペレーションを実現

clustered Data ONTAP

Infra ERPVDI MailDB Dev

SVM SVMSVM SVM SVMSVM

ストレージの保守、ハードウェアのライフサイクル処理、ソフトウェアのアップグレードを、ビジネスを中断することなく実⾏



VDI VDI

VDI

メンテナンス

サービスに影響なし

10

VMware Virsto� Virsto機能概要

– Virsto vLog� 仮想化特有のランダムライト負荷を最適化

– Virsto vSpace� ソフトウェアベースのティアリング

– Virsto vClones� 性能劣化のない、VMクローン、スナップショット

� Virstoアーキテクチャ– バーチャルアプライアンスを使って機能を提供

� Virsto vMaster� Virsto Global Namespace Server� Virsto vService

– Virsto vDisk� 新しいディスク形式� シック形式VMDKと同等のパフォーマンス� Linked Cloneと同等のストレージ容量効率

Virsto vSpace Virsto vClonesVirsto vLog

仮想環境のストレージ

性能を最適化vSphere SDS

11

ネットアップは標準機能でパフォーマンスを最大化� NVRAM

– ネットアップ創業時以来、すべてのモデルのコントローラ上に搭載している標準モジュール� バッテリで保護されたメモリモジュール� 万が一、予期せぬシステム停止が発生したとしてもデータは

消失しない仕様– ファイルシステムのレイヤーで動作し、NVRAMに書込データが入

った時点で、ESXi側に書込応答� 一般的なストレージのライトキャッシュとは異なる動作� ネットアップだけの独自技術

– ランダムライトI/OであってもNVRAM上でシーケンシャルに変換– さらに、NVRAM内のデータを使ってパリティ計算処理を事前に実

⾏し、RAIDグループ上パリティディスクへの書き込みペナルティを最小化� ファイルシステムレイヤだけでなくRAIDグループに対しても

シーケンシャルに書き込み

Random I/O

RAID4をベースにしたネットアップ独自のRAID-DP※ストライプ書き込み(RAID0)に近い性能を実現

ランダムな書き込み処理が非常に多い仮想環境と非常に相性の良いテクノロジー

即時に書き込み応答(ディスク上の書き込み終了を待つ必要無し)

ランダムI/OをシーケンシャルI/Oに変換


性能を最適化NetApp SDS

12

ネットアップはストレージ機能で性能劣化の無いVMクローンを実現

① クローン元のVMを指定しProvisioning Clone Wizard 実⾏

② FAS上でオリジナルのVMと同じブロックを使用してVMDKファイルをクローン

③ 必要な数の vmdk ファイルをクローンした後、vCenterに登録

④ さらにVMware Horizon View連携も可能⑤ 個々のVMの更新は別ブロックに書き込み

(同⼀ブロックは次回スケジュール実⾏時に重複排除)→ Service PackやHotFixなどの更新ブロックも更に集約可能

10GB x 100 VM = 1000GB10GBNetAppのFlexCloneを使えば

ONTAP 8.0 : MAX 255 ブロックONTAP 8.1 : MAX 32767 ブロックONTAP 8.1.1 : NFS VAAI連携 → VMware View Composer連携

参照ブロック仕様

通常のVMDKフォーマット(-flet.vmdk形式)で展開するため性能劣化が発⽣しない

ストレージの機能でシンプルに⼤量の仮想マシンを展開


性能を最適化NetApp SDS

13

vSphere Flash Read Cache (vFRC)� ローカルサーバに搭載されたSSDがリードキャッシュ、

ライトスルーキャッシュとして機能– 仮想マシンの性能向上– ストレージ負荷の軽減

� SSD上にvFlash File System (VFFS)を作成� VFFSに指定したSSDは、VMFS領域やvSAN領域として利⽤することは出来ない

� ESXi 5.5、仮想マシンバージョン10以降にて対応– VM毎にvFRCを有効

� vMotionにも対応– vFRC領域のコピー有無によって負荷・時間が変動

フラッシュの仮想化

vSphere SDS

14

ストレージ側のFlashを使ってシンプルに高速化� ストレージ側のFlashを使えば

– vSphere側の設定不要– vSphere配下全てのESXi/VMに対して有効– 通常のDatastoreとして動作するため、制約が無い

� Flash Cache(Read)– フラッシュメモリを搭載したPCI-eカード– 512GB, 1TB, 2TB/card –

Max8TB/Controller– ⼀度読み込んだ同⼀ブロックに対するRead処理は

コントローラ内で実⾏� Flash Pool (Read/Write)

– Flash Cacheより⼤きな領域が必要な場合– ランダムライトI/Oの要件が重要視される場合

� Flash Accel– 仮想マシンの性能、応答速度を劇的に改善

Controller Layer

Disk Layer

Server Layer(VM or host)

Flash Accel

Flash Cache

Flash Pool

フラッシュメモリを搭載したPCI-eカード


NetApp SDS

お客様の性能要件、予算に合わせて柔軟にカスタマイズ可能

15

重複排除機能を使って更にパフォーマンス向上⾼密度ブロックとFlash Cacheは抜群の相性� VDI 数千台の仮想マシンが数十GBに集約� 数台起動した後はFlash Cache上に全体の仮想マシンのイメージが

展開された状態

� Flash Cache実績– サーバ仮想化環境において50%以上のお客様が利⽤– 仮想デスクトップ環境においてほぼ100%のお客様が利⽤

� Flash Cache効果例– VM起動時間 47%削減 → 10分以内に1000VMが起動– ストレージ負荷 50%削減 → より多くのVMをストレージ上に展開– パフォマンスを71%向上 → 上位モデルと同等の性能値を実現

設置スペース、消費電⼒、冷却コストも⼤幅に削減� ディスク、シェルフを追加せずに、VDI環境の性能向上を実現

VMDK 重複排除

⾼密度ブロック

VMDK

Flash Cache

数百・数千台分のVMをフラッシュメモリ上に展開

毎回ディスクから読み込む必要なし FlexVolume

Datastore

VDIPerformance47%短縮

50%削減

VM起動時間ディスク負荷スループット

70%向上

Flash Cacheとの相性は抜群

NetApp FAS

300GB 15K RPMのディスクを収容する標準的なディスクシェルフ1台あたり340Whの消費電⼒、最⼤1,394BTU/hの放熱量

Flash Cache消費電⼒はわずか18Wh、放熱量もわずか90BTU/h

年間3,000kWhも削減さらに3Uのラックスペースも削減！


NetApp SDS

16

仮想化が引き起こしてしまったストレージの課題~ VVOL登場の背景~

物理サーバで運⽤していた時代(仮想化登場以前)

ServerServerApp App App

LUN LUN LUN LUN

Storageアプリケーションが必要とするストレージ領域の単位と、物理ストレージ上の領域の単位が異なる運用が強いられる⼀般的なストレージでは運⽤管理が複雑化(特にバックアップ・リカバリ、パフォーマンス管理)

VMVMApp App App

vdisk vdisk vdisk vdiskDatastore

Storage

VMVMApp App App

vdisk vdisk vdisk vdisk

Storage

VVOLによる管理

アプリケーションごとにLUNを割り当て

仮想化環境におけるDatastoreを使ったストレージ管理

アプリケーション・仮想マシン単位で仮想ディスクをアサインすることによ

り、柔軟な運用が可能

NetAppのNFSならNFS Datastore上でVMDK単位のリストアやQoSが従来から設定可能

NetApp FASがvSphere環境で爆発的に普及した最⼤の理由

VM単位のストレージ管理

vSphere SDSVM単位の

ストレージ管理NetApp SDS

17

VVOLを使ったVM単位の運用によってQuality of Service � 他の仮想マシン・アプリケーションに用意した性能リソースを食いつぶしてしまうよ

うな、仮想マシン・アプリケーションのパフォーマンスをコントロールSnapshots� 仮想マシン単位でストレージスナップショットの保護ポリシーを設定

ディザスタ・リカバリ� 仮想マシン毎のRPO設定とリカバリ操作

管理権限の移譲(デリゲーション)� 仮想マシン毎にストレージレイヤー上で管理権限を細かく設定

⾃動化、ポリシーベースの運⽤管理� 数千VMに対するストレージ関連のポリシーを簡単に設定・管理




18

ネットアップはいち早く VVOL に対応� VVOL(NFS)のデザインパートナー、リファレンスプラットフォーム

– NFS Datastore自体もデザインパートナー、リファレンスプラットフォーム– FC, FCoE, iSCSIにおいてもVVOL機能提供

� NetAppのVVOLなら(実装例)– VMスナップショットがNetApp FASのFlexCloneと連携

� 従来、性能劣化してしまう差分管理⽤VMDKの代わりに、VMスナップショット発⾏時点のVMDK全体のイメージをストレージ上で瞬時にクローン

� VMスナップショットからのリストアもFlexCloneを使うことにより瞬時に復元– 数TBの仮想マシンのバックアップ・リストアが秒単位に– バックアップ、リストア運用の代わりに使うことも可能– バックアップベンダの製品がNetAppの⾼速処理と連携可能




19

ObjObj ObjObj Obj Obj Obj Obj Obj

Best Effort

NetApp VVOL アーキテクチャ概要

PEPE PEPE PEPE Protocol Endpoints (PE) マッピング• SAN: LUN(proxy LUN)• NFS: mount point

Storage containerマッピング• 一つもしくは複数のStorege VM(SVM)• Storege VM(SVM)内のVolume

NetApp オブジェクトマッピングVMware オブジェクト

VVOLマッピング• SAN: LUN• NFS: File• vvols tracked by GUIDs

Bronze SLOGold SLO Silver SLO

vvols

IOPS Reserve: 6,000Latancy Target: FastPriority: High

IOPS Reserve: 10,000Latancy Target: MidiumPriority: Midium

IOPS Reserve: 3,000Latancy Target: SlowPriority: Low

Obj

Obj Obj Obj Obj ObjObjObj ObjSAP Collaboration

ObjMessaging

Clustered Data ONTAP 8

現時点での実装計画を紹介




20

VVOL エコシステム

vSphere

VDISK VDISK VDISK VDISK

API

vCloud Director SRM Backup

Vendors

VASA Vendor Provider

VSC� ストレージプロファイル� 仮想ディスク(vdisk)配置� SLO設定、適用

現時点での実装計画を紹介

ObjObj ObjVolume

Clustered Data ONTAP 8

ObjObj ObjVolume System

Manager




Quality of Service � クラウド環境における、仮想マシン・アプリケーションの性能保証

⾃動化、ポリシーベースの運⽤管理� 数千VMに対するストレージ関連のポリシーを簡単に設定・管理

ディザスタ・リカバリ� 仮想マシン毎のRPO設定とリカバリ操作設定

Snapshots� 仮想マシン単位のバックアップ・リカバリをストレージ側にオフロード� ストレージスナップショットの保護ポリシーを設定

21

VVOLの正式リリースを待たなくても~NetAppの機能だけでもQoSを実現~

� 残念ながらVVOL自体、vSphere5.5上は公開されていない機能– ネットアップとしては

� Data ONTAP8.2.1(次のマイナーバージョンアップリリース)で対応予定

� ベータプログラムも計画中

� ネットアップFASを使えば、VVOLの正式リリースを待たないでも、SDSのQoS機能を利⽤可能– VSCから設定

もしくは– OnCommand Workflow

Automation(WFA)から設定VSC5.0管理画⾯

VM単位のストレージ管理NetApp SDS

22

QoS機能比較~現時点で利⽤可能なvSphere/NetApp FAS QoS機能~

VMware - SIOC� シェア、IOPSリミット/VM

VMware - NetIOC (vDS)� シェア、MB/sリミット/トラフィックタイプ

(NFS, iSCSI, vMotion, FT etc.)

Clustered ONTAP

NetApp - ONTAP 8.2 QoS� SVM: IOPS or MB/s limits

(VMFS/NFS)or

� Datastore: IOPS or MB/s limits(VMFS/NFS)

or� VMDK: IOPS or MB/s limits

(NFS only)

VMFS NFS


23

QoS機能比較(続き)~現時点で利⽤可能なvSphere/NetApp FAS QoS機能~

SIOC QoS競合時に有効化常時有効化の設定が可能

MB/s 設定IOPS/s 設定シェア設定vCenter内で有効複数のvCenter間で設定可能

(その他アプリケーション、ハイパーバイザーに対応）

VM on NFSVM on VMFS LUN/Volume(Datastore単位)SVM(テナント単位)

SIOCに対応したライセンス($$$)

標準機能として提供(無償)

vSphere NetApp FAS

VM毎にリミットを設定(ポリシー設定不可)

ポリシーグループ内のワークロード間でスループットを共有


24

vSphereのストレージ新技術との関係NetApp – Clustered Data ONTAP• OS自体がスケールアウトストレージ• 性能劣化のないRAID-DPでデータ保護• 容量のオーバーヘッドもパリティ２本分だけ

• リードキャッシュ(Flash Cache)• リードライトキャッシュ(Flash Pool)• vSphere上からは通常のDatastoreとして認識• vSphere、VMのバージョンに依存せず利⽤可能

• ネットアップ創業以来、全てのモデルにNVRAMを搭載• ファイルシステムレイヤだけでなくRAIDグループに対してもシーケン

シャルに書き込み• 性能劣化のない、通常形式でVMクローン可能なFlexClone• VVOLコンセプトとなるVM単位のストレージ管理はすでに NFS

Datastoreで実現済み• VM、Datastore、テナント(SVM)単位でQoSの設定が可能• IOPS単位、MB/s単位の設定が可能• QoSポリシーはVSC(vCenterプラグイン)もしくはWorkflow

Automationから設定• VVOLにも対応

vSphere - SDSvSAN • Tirer2・３向けソリューション

• 容量が⼆倍必要となるデータ保護• バックグラウンドの複製I/O• 現状ベータ機能

vFRC • リードキャッシュとして動作• 指定したデバイスはvFRCだけでしか利⽤できな

い• vMotion時にvFRC領域のコピー設定• vSphere5.5, VM ver10以降

Virsto • ランダムI/Oをシーケンシャルに変換• 性能劣化のないVMクローン• 機能を利⽤するために仮想マシンアプライアンス

が必要VVOL • GAまでもう少し時間が必要

CPU,メモリ,ディスクリソースを準備して利⽤ESXi 障害時、デグレード動作の懸念

ストレージの機能は専用ストレージにオフロード専用ストレージの信頼性

インフラストラクチャ・ソフトウェアUnified Storage High Reliability Storage Efficiency Data Protection Disaster Recovery High Performance

• FC / iSCSI / FCoE

• NFS / CIFS• RAID-4/DP• NVRAM, WAFL• SyncMirror

• FlexVol• ThinProvisioning• Deduplication

• Snapshot• SnapRestore

• HA-Cluster• MetroCluster

• FlexCache• ClusterMode

レプリケーションアーカイブクローニングアプリケーション管理統合管理

• SnapMirror• Protection Manager

• SnapVault• SnapLock• OpenSystem SnapVault

• FlexClone • SnapManager • Operations Manager

NetApp FASのユニファイドアーキテクチャー

性能と容量

の決定エントリ・モデルFAS2200シリーズ

ミッドレンジ・モデルFAS3200シリーズ

ハイエンド・モデルFAS6200シリーズ

性能・容量3種類のストレージ・コントローラ・モデル

NetApp DataONTAP ：シングル・アーキテクチャエントリモデルにおいてもサービスプロバイダ、クラウド事業者向けの機能を利⽤可能

ハイパーバイザー側SDS機能利⽤時のコストと⽐較しても競争⼒が有る製品位置付け

FlexVolume - Datastoreの仮想化(拡張・縮小に対応)SVM(ストレージコントローラの仮想化) - セキュアなマルチテナントVM単位の高速バックアップ、リストア

ネットアップFASなら、さらにネットアップのSDS機能も追加で利⽤可能

26

NetApp Data ONTAP®は、オープン系のネットワークストレージOS別にみた2012年のシェアで1位を獲得

*出典：IDC『Worldwide Quarterly Disk Storage Systems Tracker』2012年第4四半期（2013年3月）版

売上げ1位ストレージOS別にみた2012年の売上世界市場シェアトップ5

NetApp Data ONTAP®は、IDCの最新の調査レポート『Disk Storage Systems Tracker』で、オープン系のネットワーク接続型ディスクストレージシステムとして売上げおよび出荷済み容量のいずれでも1位にランクイン

0%2%4%6%8%

10%12%14%16%18%

NetApp Data

ONTAPEMC

EnginuityEMC VNX

OEHitachi

BOSEMC DD OS

出荷済み容量1位ストレージOS別にみた2012年の出荷済み容量世界市場シェアトップ5

0%

5%

10%

15%

20%

25%

NetApp Data

ONTAPEMC VNX

OEHitachi

BOSEMC

EnginuityData

Domain OS (DD OS)

27

まとめ - SDSを実現するにあたって� ネットアップとしては

– 仮想化導入の敷居を下げ、より多くのお客様に仮想化を提供する素晴らしい機能群– 競合する機能としては捉えていない– むしろ、お客様がストレージの重要性と向き合う、非常に良い機会！

� vSphere SDS機能を利⽤するためのコストに注意！– パフォーマンス向上用SSD、データ保護用途ディスク、仮想アプライアンス用CPU、メモリ

ーリソースを準備� ２，3台のホスト環境であれば、高い費用対効果

– ホスト台数が増えるのであれば、エントリモデルの共有ストレージを導⼊したほうが良い場合も� SDS機能用のIAサーバ1,2台分のリソース vs NetApp FASエントリモデル� さらにストレージ側のSDS機能もフルに活用、ストレージの信頼性も格段に向上

28

NetApp Innovation 2014オフィシャルサイトから先⾏登録開始http://NetAppEvent.com

大阪、福岡、名古屋開催も決定

Technology

VMware vForum/VSS2013にて発表されたNetAppセッションコンテンツ