85
Windows とととととととととととと ととととととととと とととと Windows Server 2016 (vNext) とととととと SDS Microsoft MVP for File System Storage Masahiko Sada

Windows と標準的なハードウェアで構築するストレージ サーバー

Embed Size (px)

Citation preview

Page 1: Windows と標準的なハードウェアで構築するストレージ サーバー

Windows と標準的なハードウェアで構築するストレージ サーバー

~ Windows Server 2016 (vNext) で強化される SDS~

Microsoft MVP for File System Storage

Masahiko Sada

Page 2: Windows と標準的なハードウェアで構築するストレージ サーバー

2

自己紹介

Masahiko Sada

貞 祐光

通信キャリア( MNO )でクレジット/決済サービスのビジネス企画、戦略立案業務に従事

職業

略歴 2014 年 7 月 ~ Microsoft MVP for File System and Storage

ブログ 「薩摩藩中仙道蕨宿別邸」… http://satsumahomeserver.com/

執筆 ホワイトペーパー:「 Windows Server 2012 R2 記憶域スペースのアーキテクチャと設計・管理のベストプラクティス」

2009 年 7 月 ~ Microsoft MVP for Server Solutions – Windows Home Server

Page 3: Windows と標準的なハードウェアで構築するストレージ サーバー

3

ストレージのおかれた現状

データ量の急激な伸び

ストレージコストの増大( TB 単価↓ , データ量↑ ,円安)

ストレージの管理

データの保護

ビッグデータ分析等パフォーマンスへの要求

クラウドサービス事業者や大企業だけでなく、中小規模のビジネス環境においても同じ

Page 4: Windows と標準的なハードウェアで構築するストレージ サーバー

4

こんな課題は Microsoft SDS で解決できるかも

SIer の皆さん ユーザー企業の皆さん

お客様のワークロードを考えた場合に、その高価なストレージ、本当に必要ですか?

予算のない案件では、高可用性、スケーラビリティ、 BPR/DR をお客様に割り切らせていませんか?

実は機器よりも、基盤設計/構築にかかるSAN ベンダー有スキル者の人件費のほうが高い案件ありませんか?

システム導入にあたって、基盤コストが高くて導入に際して障害になったことはありませんか?

「高可用性」「スケーラビリティ」「 BPR/DR 」の実現は手の届かないほど高いものだと思っていませんか?

社内基盤でストレージコストが占める割合がどんどん高くなっていませんか?

Page 5: Windows と標準的なハードウェアで構築するストレージ サーバー

5

SDS とは

ストレージリソースを提供する物理機器(数、サイズ、メーカー、 etc )に依存することなく、一元的にストレージを利用、管理できる技術

専用ハードウェアが不要となり、標準的なハードウェアで、専用ハードウェアに比肩する機能を実現 技術者が慣れ親しんだ Windows の管理ツール(サーバーマネージャー、 PowerShell 、 SCVMM )でスト

レージの構築、運用管理が可能に。

ソフトウェアによって

Software Defined Storage

定義される ストレージ

Page 6: Windows と標準的なハードウェアで構築するストレージ サーバー

6

SDS w/ DAS で高可用性ストレージを安価に構築

DAS NAS SAN SDS with DAS

Pros

•導入コストが低い•高度なスキルは不要

•導入が用意•導入コストは比較的安い•ストレージを共有することで使用効率が比較的高い•ストレージの使用効率が高い

• ストレージ専用のネットワークでアクセス速度が速い•冗長化構成がとれ、可用性

が向上• ストレージの使用効率が高

•汎用ハードウェアを用いることができ、導入コストは比較的安い•冗長化構成をとり、可用性

を向上させることも可能• 高度なスキルは不要• ストレージの使用効率が高

Cons

•サーバーに障害が発生するとストレージにアクセスできない•運用管理が煩瑣に•ストレージ容量の使用効率が低い

• LAN への負荷が大きく、ネットワーク速度低下も• NAS が単一障害点にも

• 導入、運用管理には専門スキル・ノウハウが必要• 専用機器が必要。高価で導

入コストが高い

• Shared JBOD はなじみが薄い• サポートされるハードウェ

アが少ない→ Storage Space Direct が  課題を解消 (2016)

サーバーにストレージを

直接接続

ストレージをネットワーク経由で接続し共有 SAN によるストレージの

統合

SAN

汎用的なハードウェアで構成する HA ストレージ

Shared JBOD

New

Page 7: Windows と標準的なハードウェアで構築するストレージ サーバー

7

SAN と比較しても安価でパフォーマンスも比肩

出典:「 Storage overview Windows Server 2012 R2 Preview 」

Page 8: Windows と標準的なハードウェアで構築するストレージ サーバー

8

たとえば

PC サーバー4台 サーバーに内蔵されたSATA接続の HDD,SSD 1G LAN

Windows Server 2016 TP2 の「 Storage Space Direct 」を利用すると

のような、普通のサーバーと普通のハードディスクで、ダウンタイムゼロの高可用性ストレージが構築できる

Page 9: Windows と標準的なハードウェアで構築するストレージ サーバー

9

① 4ノードのフェールオーバークラスター上に

② サーバーに直接接続されたストレージで CSV を作成し

③ スケールアウトファイルサーバーを構築

④ ファイルサーバー上に VHDX を保存し、 VMを稼働

Page 10: Windows と標準的なハードウェアで構築するストレージ サーバー

10

デモ環境

Storage Pool (S2DStoragePool)

Storage Space (S2DVirtualDisk)

Scale-Out File Server (\\S2DSOFS\S2DShare1)

Cluster Shared Volumes (C:\ClusterStorage\Volume1)

Software Storage Bus

Network(SMB3)

(WS201601) (WS201602) (WS201603) (WS201604)

Failover Cluster (S2DCluster)

SMB3 STORAGE NETWORK FABRIC

Hyper-V Host

Virtual Machine

(WS2012)

(WS2016onSOFS)

括弧内は各名称

※今回はデモのため、ファイルサーバーの各ノードには VM を利用します。実際には物理マシンを利用します。

  Storage Space Direct で利用できるハードウェアの要件は現在未確定です。

※ストレージはすべてサーバーに直接接続されていて、SAN や JBODエンクロージャーは利用していません。

192.168.11.0/24

192.168.1.0/24

DC,Hyper-Visor

(WS2012.CONTOSO.local)

(WS201601) (WS201602) (WS201603) (WS201604)

クラスターノード

クライアントアクセスノード

(WS2016onSOFS)

Scale-Out File Server クラスター

Page 11: Windows と標準的なハードウェアで構築するストレージ サーバー

11

鍵は「 SOFS + SMB3.x 」と「記憶域スペース」

1. 高可用性とシームレスなスケールアウトを実現する Scale-Out File Server (SOFS)

2. 高パフォーマンスとスケールを支えるファブリックSMB3 ファイルストレージネットワーク

3. 柔軟で信頼性の高い記憶域スペース

4. コストが低く入手が容易な標準的なストレージハードウェア

記憶域スペース

Hyper-V Clusters

SMB3 Storage Network Fabric

Shared JBODStorageまたは DAS

2

4

11

3

Scale-Out File Server Clusters

Page 12: Windows と標準的なハードウェアで構築するストレージ サーバー

12

Scale-Out File Server ( SOFS )と SMB3.x

記憶域スペース

Hyper-V Clusters

SMB3 Storage Network Fabric

Shared JBODStorageまたは DAS

2

4

11

3

Scale-Out File Server Clusters

Page 13: Windows と標準的なハードウェアで構築するストレージ サーバー

13

SOFS とは~ Active-Active クラスター~SOFS汎用的なファイルサーバー

• クラスターは複数のノードから構成されるが、アクティブなノードは1つ

• 障害時には待機ノードに切り替わるが、接続、ハンドルが失われると同時にアプリにはIOエラーが通知される

• ワークロードは再開操作が必要

正常時 フェールオーバー

Node A

(Active)

Node B

(Passive)

共有ストレージ(CSV)

File Server Cluster

SQL Server

Node A

(error)

Node B

(Active)

共有ストレージ(CSV)

File Server Cluster

SQL Server

\\fs1\share

\\fs1\share

• クラスターは複数のノードから構成され各ノードがアクティブ状態

• 障害時には接続とハンドルが失われるがIOは一時的に停止するもののアプリにはエラー通知なし。

• 他の運用ノードに透過的にフェールオーバーされ、IOは自動的に再開

正常時 フェールオーバー

Node A

(Active)

Node B

(Active)

共有ストレージ(CSV)

File Server Cluster

SQL Server

Node A

(error)

Node B

(Active)

共有ストレージ(CSV)

File Server Cluster

SQL Server

\\fs1\share

\\fs1\share

~ 2008 R2

2012~ 2012~

Page 14: Windows と標準的なハードウェアで構築するストレージ サーバー

14

汎用ファイルサーバーとSOFSの用途

領域 機能汎用

ファイルサーバー

Scale-OutFile Server

NFS NFS Server Yes NoHyper-V 非推奨 YesMicrosoft SQL Server 非推奨 YesNTFS Yes NAResilient File System (ReFS) Yes NACluster Shared Volume File System(CSV)

NA Yes

SMB Continuous Availability Yes YesSMB Multichannel Yes YesSMB Direct Yes YesSMB Encryption Yes Yes

SMB Transparent failover Yes1 Yes

BranchCache Yes NoData Deduplication(Windows Server 2012)

Yes No

Data Deduplication (Windows Server 2012 R2)

Yes Yes3

SMB

ファイルシステム

アプリ

ファイル管理

領域 機能汎用

ファイルサーバー

Scale-OutFile Server

DFS Namespace (DFSN) root server root

Yes No

DFS Namespace (DFSN)folder target server

Yes Yes

DFS Replication (DFSR) Yes NoFile Server Resource Manager(Screens and Quotas)

Yes No

File Classification Infrastructure Yes NoDynamic Access Control (claim-based access, CAP)

Yes No

Folder Redirection Yes 非推奨Offline Files (client side caching) Yes Yes2

Roaming User Profiles Yes 非推奨Home Directories Yes 非推奨Work Folders Yes No

ファイル管理

Scale-Out File Server は Hyper-V/SQL サーバー用途のファイルサーバ

Page 15: Windows と標準的なハードウェアで構築するストレージ サーバー

15

SOFS を支える SMB3.x

Hyper-VHyper-VHyper-VHyper-VHyper-VHyper-V

ファイルサーバー

ファイルサーバー

共有ストレージ(CSV)

Hyper-V

SQLServer

IIS

VDIデスクトップ

Hyper-V

SQLServer

IIS

VDIデスクトップ

Hyper-V

SQLServer

IIS

VDIデスクトップ

Hyper-V Cluster

Scale-OutFile Server

SMB 3.x ファブリック

可用性

管理性

SMB スケールアウトActive/Active ファイル共有

SMB マルチチャネルネットワーク帯域の統合

SMB 透過フェールオーバーVM に対してノードフェールオーバーを透過的に

SMB マルチチャネルネットワークフォールトトレランス

SMB ダイレクト低遅延、高スループット、 CPU負荷小

SMB のパフォーマンスサーバーアプリと IP プロファイルに最適化

スケーラビリティ

パフォーマンス

SMB PowerShellあらゆるノードから遠隔で管理が可能

SMB Analysisパフォーマンスカウンター

Page 16: Windows と標準的なハードウェアで構築するストレージ サーバー

16

Scale-Out File Server にはCSVが必要

SOFS の要件

アプリケーションサーバーとファイルサーバーの両方が Windows Server 2012 以降で動作していること

クラスター共有記憶域( CSV )を有するWindows フェールオーバークラスター

Page 17: Windows と標準的なハードウェアで構築するストレージ サーバー

17

クラスター共有記憶域 (Cluster Shared Volume)

Shared StorageVHD VHD VHDShared LUN

Rad/Write

SAS SANiSCSI SANFibre Channel SANFCoE SAN・・・

Shared SAS JBOD+

記憶域スペース

Page 18: Windows と標準的なハードウェアで構築するストレージ サーバー

18

記憶域スペース:標準的なハードでCSVを構築ディスク

HBA

エンクロージャー

RAID 機能を OFF にでき、ディスクを抽象化せず OS に対してディスクをそのまま認識させることのできる HBAエンクロージャーとは SAS接続

仮想プール

仮想ディスク 仮想ディスク記憶域スペー

記憶域プール

サーバー

物理ディスク( DAS )

Shared JBOD

Cluster Shared Volume

Windows Server Failover Cluster

Scale Out File Server

SMB 3.0 Fabric

Hyper V SAS (デュアルポート)

SCSI Enclosure Services (SES) Version 3 に対応し、 Windows ロゴ認証を取得した JBODエンクロージャー

デュアルドメイン構成

●Windows ロゴ認証 は Windows Serverカタログで確認できる。

Dual EMM’s

Dual power supply units

SAS SAS( SAS ファブリック)Shared SAS JBOD が必要

Page 19: Windows と標準的なハードウェアで構築するストレージ サーバー

19

Shared SAS JBOD

SANと比較して安価HBAも安価なものが利用可能

対応ハードウェアが少なく、入手が困難

導入実績が少ない仮想化といいながら、実は共有

ディスクが必要 スケールアウトしようとすると

ファブリックが複雑に

Page 20: Windows と標準的なハードウェアで構築するストレージ サーバー

20

Shared SAS JBOD は台数が増えるほど複雑に

http://en.community.dell.com/techcenter/b/techcenter/archive/2015/02/11/matching-data-requirements-with-flexible-storage

Page 21: Windows と標準的なハードウェアで構築するストレージ サーバー

21

Windows Server 2016 の新機能     ~ Storage Space Direct ~

Windows Server 2016 については、現在公開されている Technical Preview に基づく情報であり、今後発表される製品においては搭載される機能などに変更が生じる可能性があります。

記憶域スペース

Hyper-V Clusters

SMB3 Storage Network Fabric

Shared JBODStorageまたは DAS

2

4

11

3

Scale-Out File Server Clusters

Page 22: Windows と標準的なハードウェアで構築するストレージ サーバー

22

Storage Space Direct の何がすごいのか?

これまで、共有ストレージ が必要だった CSV の作成が

複数台のサーバーと、サーバーに直接接続されたストレージだけで

実現できるようになる

入手性が低かった Shared SAS JBOD に頼らず、SOFSが手軽に構築できる

Storage Replica と合わせると、 HA だけでなく DR までもが安価なHWで可能に

Page 23: Windows と標準的なハードウェアで構築するストレージ サーバー

23

SDSの第3の波がやってくる

Dependent on Traditional Storage • Relied on 3rd

party SAN vendors

1st wave SDS• Introduction to

Storage Spaces • “Remote File solution

for Hyper-V using shared JBOD

• Introduced Scale Out File Server ( SOFS)

• RDMA and Multichannel

• SAN independence

Storage Spaces Direct • Remote File solution for

Hyper-V using shared nothing hardware

• Unlock use of DAS• Reduce Cost  Software Storage Bus• SATA and NVMe• Node Fault Tolerance• Health Services Storage Spaces Enhancements• Scalable pools• Data Rebalancing

2nd wave SDS• Storage Tiering • WriteBack Cache

(WBC) • Scale Out File

Server improvements • SMB Direct

Improvements • Volume

Rebalancing• Multiple

instances• JBOD monitoring

Windows 2012

Windows 2012 R2

Windows 2016

Active/Passive クラスター SDS により、 Active/Active クラスターがより安価に汎用的に構築できパフォーマンスも進化

Page 24: Windows と標準的なハードウェアで構築するストレージ サーバー

24

Storage Space Direct(S2D) とは? Windows Server 2016 では、サーバーの内蔵ディスクを用いて記憶域スペースでCSVを構築可能

に SAS ファブリック/ SAS ディスクは不要。 SATA ディスクでも HA が実現可能に。 NVMe も利用可

Storage Pool

Storage Space Virtual Disks

Scale-Out File Server \\FileServer\Share

Cluster Shared Volumes C:\ClusterStorage

Storage Space Direct

Software Storage Bus

Storage Pool

Storage Space Virtual Disks

Scale-Out File Server \\FileServer\Share

Cluster Shared Volumes C:\ClusterStorage

Storage Space w/ Shared JBOD

SharedJBOD

SAS SAS SAS SAS

New

SAS ファブリック/ SAS ディスク不要MPIO 不要

Network(SMB3) 内蔵ディスク/直接接続ディスクを 利用

Network(SMB3)

Page 25: Windows と標準的なハードウェアで構築するストレージ サーバー

25

Compute NodeStorage Node

S2D展開の形態

SOFS

Private Cloud Hyper-converged Private Cloud Storage

Hyper-V CLUSTER

Cluster Shared Volume

Storage Space

Storage NodeSOFS

Cluster Shared Volume

Storage Space

SMB3 STORAGE NETWORK FABRIC

Hyper-V CLUSTER

Compute Node

Compute Node と Storage Node を同居• 管理対象ノード数の削減• 中小規模環境に最適

Compute Node と Storage Node を分離• 明確な管理上の境界と柔軟な拡張性• 大規模環境に最適

役割/機能 ハードウェア 役割/機能 ハードウェア

Network(SMB3) Network(SMB3)

Page 26: Windows と標準的なハードウェアで構築するストレージ サーバー

26

Shared SAS か DAS か?

SCALE-OUT FILE SERVER CLUSTERSCALE-OUT FILE SERVER CLUSTER

SharedJBOD

SAS SAS SAS SAS

Storage Space Direct w/ DASStorage Space w/ Shared JBOD

Pros

Cons

• 最小 2台のサーバーノードから構成可能• 少ないハードウェア数でデュアルパリティを

構成可能

• SAS ファブリック、 Shared JBOD 不要• SATA(SSD,HDD),NVMe が利用可能• スケールアウトが柔軟に

• SAS ファブリック、 Shared JBOD が必要• スケールアウトは SAS ファブリックが複雑に

• 最小 4台のサーバーノードが必要

Shared JBOD を用いた構成は今後も正式にサポートされる。 Pros/Cons を比較し構成を選択可能。 ただし、 Shared SAS と DAS は排他利用

Page 27: Windows と標準的なハードウェアで構築するストレージ サーバー

27

S2D の動作環境

• Active Directory DS 環境必須

• ノード数:最低 4 ~最大 12ノード

• 記憶域プールあたり最大 240台の物理ディスク

• 各ノードにはシステムディスク以外に最低2台の物理ディスクを推奨

• 記憶域階層は構築不要になり、領域管理が簡素に

( SSD は Journal ディスクに指定することでパフォーマンス向上)

Page 28: Windows と標準的なハードウェアで構築するストレージ サーバー

28

Storage Space Direct のデータ配置

ノード 1

A B

C’ D

ノード 2

A’ C

ノード 3

A’’ B’’

D’

ノード 4

B’ C’’

D’’

Extent A Extent B Extent C

エクステント

Extent D

仮想ディスクは、エクステント( 1GB )の集合体 各エクステントは各ノード/物理ディスクに配置される 回復性のタイプに応じ、エクステントは複製される

仮想ディスク(3方向ミラー)

Page 29: Windows と標準的なハードウェアで構築するストレージ サーバー

29

ノード 5

スケールアウト

ノード 1

A B

C’

ノード 2

A’ C

ノード 3

A’’ B’’

D’

ノード 4

B’ C’’

D’’

Extent A Extent B Extent C

エクステント

Extent D

ノードやディスクを追加するだけでスケールアウトが実現。 新しいエクステントは、追加したノード、ディスクにも配置される 既存のエクステントをリバランシングするには、管理者が” Optimize-StoragePool” コマンドを実行

仮想ディスク(3方向ミラー)

D

Page 30: Windows と標準的なハードウェアで構築するストレージ サーバー

30

S2D のデータ再配置( 1.セクター障害の場合)

ノード 1

A B

C’ D

ノード 2

A’ C

ノード 3

A’’ B’’

D’

ノード 4

B’ C’’

D’’B

Extent A Extent B Extent C

エクステント

Extent D

HDDのセクター障害が発生した場合、他のノードに存在するコピーから正常なディスクに復元される

仮想ディスク(3方向ミラー)

Page 31: Windows と標準的なハードウェアで構築するストレージ サーバー

31

S2D のデータ再配置( 2. ディスク障害の場合)

ノード 1

A B

C’ D

ノード 2

A’ C

ノード 3

A’’ B’’

D’

ノード 4

B’ C’’

D’’C’

Extent A Extent B Extent C

エクステント

Extent D

仮想ディスク(3方向ミラー)

HDD障害が発生した場合も、他のノードに存在するコピーから正常なディスクに復元される

Page 32: Windows と標準的なハードウェアで構築するストレージ サーバー

32

S2D のデータ再配置( 3.ノード障害の場合)

ノード 1

A B

C’ D

ノード 2

A’ C

ノード 3

A’’ B’’

D’

ノード 4

B’ C’’

D’’C A’

Extent A Extent B Extent C

エクステント

Extent D

仮想ディスクは、エクステント( 1GB )の集合体 各エクステントは各ノード/物理ディスクに配置される 回復性のタイプに応じ、エクステントは複製される

仮想ディスク(3方向ミラー)

Page 33: Windows と標準的なハードウェアで構築するストレージ サーバー

33

Storage Space Dicret の構成手順

Page 34: Windows と標準的なハードウェアで構築するストレージ サーバー

34

Tips

1. NIC は各マシンに複数接続して、冗長化するただし、デフォルトゲートウェイや DNS を設定する NIC は1つに絞るDNS や DHCP をマルチホーム上に構成する場合は、設定も忘れずに

DNS のインターフェイス設定 DHCP のバインディング設定

Page 35: Windows と標準的なハードウェアで構築するストレージ サーバー

35

Tips2. 物理 HDD には識別用の印をつけ、 FriendlyName も設定しておく

JBODエンクロージャーと異なり、 DAS ではスロット識別用の LED がない/SESコントロールができないため、障害発生時に対象ディスクの物理的識別が困難に

Page 36: Windows と標準的なハードウェアで構築するストレージ サーバー

36

Storege Space Direct を利用して SOFS を構成する

3. 「ファイルサービス」、「フェールオーバークラスタリングのインストール」<全各ノードで実行>

Install-WindowsFeature –Name File-Services, Failover-Clustering –IncludeManagementTools

4. クラスターの検証 Test-Cluster –Node WS201601, WS201602, WS201603, WS201604 –Include “Storage Spaces Direct”,Inventory,Network,”System Configuration”

1. 各ノードに Windows Server 2016 TP2 をインストール

2. 事前設定

• IP アドレスの設定(複数のNICが存在する場合はそれぞれに)• 各ノードを同じ Active Directory に参加させる

5. クラスターの作成

New-Cluster –Name S2DCluster –Node WS201601, WS201602, WS201603, WS201604 –NoStorage

New-Cluster –Name S2DCluster –Node WS201601, WS201602, WS201603, WS201604 –NoStorage –StaticAddress 192.168.1.254

a) DHCP が有効な場合

b) IP アドレスを静的に割り当てる場合

【参考】Storage Spaces Direct in Windows Server Technical Preview

Page 37: Windows と標準的なハードウェアで構築するストレージ サーバー

37

Storege Space Direct を利用して SOFS を構成する5-1. 作成したクラスターの確認

PS C:\Users\administrator.CONTOSO> Get-ClusterNetwork

Name    State Metric   Role----     ----- ------    ----Cluster Network 1 Up 70240 ClusterAndClientCluster Network 2 Up 70241 ClusterAndClient

PS C:\Users\administrator.CONTOSO> Get-ClusterNetworkInterface

Name     Node      Network State----      ----        ------- -----WS201601 - Ethernet WS201601 Cluster Network 1 UpWS201602 - Ethernet WS201602 Cluster Network 1 UpWS201603 - Ethernet WS201603 Cluster Network 1 UpWS201604 - Ethernet WS201604 Cluster Network 1 UpWS201601 - Ethernet 2 WS201601 Cluster Network 2 UpWS201602 - Ethernet 2 WS201602 Cluster Network 2 UpWS201603 - Ethernet 2 WS201603 Cluster Network 2 UpWS201604 - Ethernet 2 WS201604 Cluster Network 2 Up

5-2. ネットワークの役割の変更a) クライアント アクセス ポイントで使用するネットワーク

(get-ClusterNetwork "Cluster Network 1").Role = "ClusterAndClient"

b) クラスターノードのみで使用するネットワーク

(get-ClusterNetwork "Cluster Network 2").Role = "Cluster"

192.168.11.0/24

192.168.1.0/24

Page 38: Windows と標準的なハードウェアで構築するストレージ サーバー

38

Storege Space Direct を利用して SOFS を構成する

7. Storage Pool の作成

(Get-Cluster).DASModeEnabled=1

6. Storage Space Direct の有効化

New-StoragePool -StorageSubSystemName "S2DCluster.CONTOSO.local" -FriendlyName S2DStoragePool -WriteCacheSizeDefault 0 -FaultDomainAwarenessDefault StorageScaleUnit -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror -PhysicalDisk (Get-StorageSubSystem -Name "S2DCluster.CONTOSO.local" | Get-PhysicalDisk)

7-1. ストレージのメディアタイプの設定

a) SSD

b) HDD

Set-PhysicalDisk –FriendlyName "PhysicalDisk1 " –Mediatype “SSD"

Set-PhysicalDisk –FriendlyName "PhysicalDisk2 " –Mediatype “HDD"

7-2. SSD をジャーナルディスクに指定Get-StoragePool S2DStoragePool | Get-PhysicalDisk |? MediaType -eq SSD | Set-PhysicalDisk -Usage Journal

ストレージのメディアタイプが正しく認識されていない場合、 Storage Pool作成後に手動でメディアタイプを設定

Page 39: Windows と標準的なハードウェアで構築するストレージ サーバー

39

Storege Space Direct を利用して SOFS を構成する

9. ファイルサーバーの作成

New-Volume -StoragePoolFriendlyName S2DStoragePool -FriendlyName S2DVirtualDisk -PhysicalDiskRedundancy 2 -FileSystem CSVFS_REFS –Size 4TB

8. 仮想ディスク、 CSV の作成

New-StoragePool -StorageSubSystemName "S2DCluster.CONTOSO.local" -FriendlyName S2DStoragePool -WriteCacheSizeDefault 0 -FaultDomainAwarenessDefault StorageScaleUnit -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror -PhysicalDisk (Get-StorageSubSystem -Name "S2DCluster.CONTOSO.local" | Get-PhysicalDisk)

8-1. ReFS の整合性ストリームのデフォルト無効化Set-FileIntegrity C:\ClusterStorage\Volume1 –Enable $false

10. 共有フォルダーの作成とアクセス権の設定md C:\ClusterStorage\Volume1\S2Dshare1New-SmbShare -Name S2DShare1 -Path C:\ClusterStorage\Volume1\S2Dshare1 -FullAccess CONTOSO\WS2012$, CONTOSO.local\administratorSet-SmbPathAcl -ShareName S2Dshare1

CSV では ReFS を利用できる。ただし、 Storage Replica を利用する場合は NTFS でフォーマットし、 [-AccessPath]属性で仮想ディスクにドライブレターを割り当てておく

Page 40: Windows と標準的なハードウェアで構築するストレージ サーバー

40

Hyper-V仮想マシンの VHD/X やSQL Server のデータベースを作成した共有フォルダー( \\S2DSOFS\S2DShare1 )に保存

Page 41: Windows と標準的なハードウェアで構築するストレージ サーバー

41

Hyper-V仮想マシンの VHD/X は、 Hyper-V マネージャーの移動ウィザードで移動可能

Page 42: Windows と標準的なハードウェアで構築するストレージ サーバー

42

ReFS の整合性ストリームの無効化の必要性

VHDX を移動する際に、移行先のフォルダーで ReFS の整合性ストリームが有効になっているとエラーとなるため、あらかじめ無効に設定しておく

Page 43: Windows と標準的なハードウェアで構築するストレージ サーバー

43

Storage Space Direct 開発パートナー

Quanta D51PH

HP Apollo 2000 System

Dell PowerEdge R730xdCisco UCS C3160 Rack Server

Intel® Server Board S2600WT-Based Systems Lenovo System x3650 M5

Fujitsu Primergy RX2540 M1

Storage Space Direct を動作保証するハードは今後各パートナーから登場予定

Page 44: Windows と標準的なハードウェアで構築するストレージ サーバー

44

Windows Server の SDS は SAN/NAS に並ぶレベルに

Block protocol fabric

Low latency network with FC

Management of LUNs

Data deduplication

RAID resiliency groups

Pooling of disks

High availability

Copy offload, Snapshots

Storage tiering

Persistent write-back cache

Scale up

Storage QoS

Replication

Firmware updates

Partner SAN/NASFile protocol fabric

Low latency with SMB3Direct

Management of shares

Data deduplication

Flexible resiliency options

Pooling of disks

Continuous availability

SMB copy offload, Snapshots

Performance with tiering

Persistent write-back cache

Automatic scale-out rebalancing

Storage QoS

Storage replica

Rolling cluster upgrades

Storage spaces direct

Azure-consistent storage

Windows SDS Hyper-V compute nodes

Shared SAS JBOD or DAS

Scale Out File Serverwith Storage Spaces

SMB3 Fabric (File)

Hyper-V compute nodes

FC/SAS disk shelf

SAN/NAS

FC/iSCSI Fabric (Block)

NEW in

2016

Hyper-converged cluster

OR

Storage Spaces Direct

「 SMB3 」と「安価な汎用ハードウェア/ストレージを用いた Windows SDS 」で、 SAN に並ぶ機能を実現用途に応じて、 SAN/NAS と Windows Server SDS を使い分け、ストレージ投資を最適化する時代に

Page 45: Windows と標準的なハードウェアで構築するストレージ サーバー

45

ご清聴ありがとうございました

Page 46: Windows と標準的なハードウェアで構築するストレージ サーバー

46

以降は参考

Page 47: Windows と標準的なハードウェアで構築するストレージ サーバー

47

SDS の流れ

Page 48: Windows と標準的なハードウェアで構築するストレージ サーバー

48

Windows Server が推し進める SDx対応の流れ

MICROSOFT AZURE RUNS ON WINDOWS SERVER

XBOX ONE RUNS ON WINDOWS SERVER

BING RUNS ON WINDOWS SERVER

オンラインサービスのサービス事業者として Microsoft が得た経験が

Page 49: Windows と標準的なハードウェアで構築するストレージ サーバー

49

Windows Server が推し進める SDx対応の流れ

Windows Server の中に SDx 技術として組み込まれていくことで

Fabric – シンプルで一貫した リソースの管理

ハードウェア

Hyper-V仮想マシン

Hyper-V仮想スイッチ

記憶域スペース

Syste

m C

en

ter

Page 50: Windows と標準的なハードウェアで構築するストレージ サーバー

50

Windows Server が推し進める SDx対応の流れ

Fabric – シンプルで一貫した リソースの管理

ハードウェア

Hyper-V仮想マシン

Hyper-V仮想スイッチ

記憶域スペース

Syste

m C

en

ter

管理も Windows の慣れ親しんだ UI や System Center から可能

大企業だけでなく、中小規模の環境でもその恩恵にあずかることができる

Page 51: Windows と標準的なハードウェアで構築するストレージ サーバー

51

プライベートクラウドでの「 SDS 」活用

Microsoft Software Defined Storage (SDS) Breadth offering, unified platform for Microsoft workloads and LinuxPublic Cloud scale and cost economics for Private Cloud customers

SAN and NAS storage

Private Cloud with partner storage

Windows SMB3 Scale Out File Server (SoFS) + Storage Spaces

Private Cloud with Microsoft SDS

StorSimple + Microsoft Azure Storage

Hybrid CloudStorage

Microsoft Azure storage

Public CloudStorage

出典:「 Software Defined Storage in the Next Release of Windows Server 」 - TechEd Europe 2014

SDS 技術を活用した、オンプレミス環境/プライベートクラウド環境での低コストで高可用性を備えたストレージ構築

本日の範囲

Page 52: Windows と標準的なハードウェアで構築するストレージ サーバー

52

記憶域スペース

Page 53: Windows と標準的なハードウェアで構築するストレージ サーバー

53

記憶域スペースとは

仮想プール

仮想ディスク 仮想ディスク記憶域スペー

記憶域プール

サーバー

Windows Server 2012 ( Windows 8 )以降に搭載されたブロックレベルストレージ仮想化技術。サーバーに接続された DAS を、 Windows がコントローラとなり仮想ディスクとして構成。SAN のような高価なファブリックや RAID コントローラーなどの専用ハードウェアは不要。

複数の物理ディスクを束ねて、1つの物理ディスクのように取り扱うことができる

記憶域プール上に作成される、仮想論理ディスク

記憶域プール( Storage Pool ):

記憶域スペース( Storage Space ):

物理ディスク( DAS )

or

SASSATAUSB

JBOD

①汎用的なハードウェアで

②柔軟性と可用性を備えた仮想ストレージを実現

Page 54: Windows と標準的なハードウェアで構築するストレージ サーバー

54

記憶域スペースで利用可能なハードウェア(1)

ディスク

HBA

エンクロージャー

ローカルディスクとして利用する場合

SATA,SAS,USB

SCSI Enclosure Services (SES) Version 3に対応し、 Windows ロゴ認証を取得したJBODエンクロージャー

RAID 機能を OFF にでき、ディスクを抽象化せず OS に対してディスクをそのまま認識させることのできる HBAエンクロージャーとは SAS接続

仮想プール

仮想ディスク 仮想ディスク記憶域スペー

記憶域プール

サーバー

物理ディスク( DAS ) or

SASSATAUSB

JBOD

( USB は 3.0 を推奨)

オプション

●Windows ロゴ認証 は Windows Serverカタログで確認できる。

Page 55: Windows と標準的なハードウェアで構築するストレージ サーバー

55

記憶域スペースで利用可能なハードウェア(2)ディスク

HBA

エンクロージャー

クラスター共有ボリュームとして利用する場合

RAID 機能を OFF にでき、ディスクを抽象化せず OS に対してディスクをそのまま認識させることのできる HBAエンクロージャーとは SAS接続

仮想プール

仮想ディスク 仮想ディスク記憶域スペー

記憶域プール

サーバー

物理ディスク( DAS )

Shared JBOD

Cluster Shared Volume

Windows Server Failover Cluster

Scale Out File Server

SMB 3.0 Fabric

Hyper V

SAS (デュアルポート)

SCSI Enclosure Services (SES) Version 3 に対応し、 Windows ロゴ認証を取得した JBODエンクロージャー

デュアルドメイン構成

●Windows ロゴ認証 は Windows Serverカタログで確認できる。

Dual EMM’s

Dual power supply units

SAS SAS( SAS ファブリック)

CSV では Shared SAS が必要

Page 56: Windows と標準的なハードウェアで構築するストレージ サーバー

56

Shared SAS は複数のサーバーノードから同じ物理ディスクにアクセスが可能な DAS

JBOD

ファイルサーバークラスター

ファイルサーバー 1NIC NIC

ファイルサーバー 2NIC NIC

SAS HBA

SAS HBA

JBODエンクロージャー

B ports

A ports

SAS Expander

SAS Expander23…10

Page 57: Windows と標準的なハードウェアで構築するストレージ サーバー

57

「記憶域スペース」の主な特徴分類 特徴 概要

柔軟性 記憶域プール 複数のディスク領域を1つにまとめることで、単一のディスクの物理容量を超えた大容量の仮想ディスクの作成を可能とする。

シンプロビジョニング 物理的な利用可能容量にとらわれず、仮想ディスクサイズを指定可能。

パフォーマンス 列(ストライピング) データを複数のディスクに分割して保存することで、ディスク IO 性能を向上。

WBC データ書込時に SSD をキャッシュとして利用することで、ディスク IO 性能を向上。

記憶域階層 高速階層( SSD )と標準階層( HDD )を構成し、頻繁に利用するデータを高速階層に保存することで、実質的なディスク IO を向上。

回復性/冗長性 回復性タイプ ワークロードに合わせて、シンプル/ミラー/パリティから、回復性を指定。

エンクロージャー認識 複数の JBODエンクロージャーを利用している際、エンクロージャーを意識したデータの配置を行うことで、あるエンクロージャー全体が利用できない障害が発生した場合においてもデータの正常性を確保。

ReFS との連携 ReFS と組み合わせることで、 ReFS がデータ破損を検出した際に、データの自動修復が可能。

高速リビルド 物理ディスク障害時、プール内の他のディスクの空き容量を利用して、プールを修復。

高可用性 クォーラム 仮想ディスクに用いられる物理ディスクの過半数以上が正常でない場合に、残りの正常なディスクにデータの変更が生じると複数の物理ディスク間のデータの整合性を確保出来なくなることから、仮想ディスクをオフラインにして更新を防ぐことで、全体の整合性を担保する。

CSV / SOFS への活用 クラスターの共有記憶域に仮想ディスクを用いることが可能。

Page 58: Windows と標準的なハードウェアで構築するストレージ サーバー

58

「記憶域プール」は物理ディスク内の領域を束ねる

物理ディス

記憶域プール

記憶域スペース仮想ディス

(プロビジョニングスラブ)

Disk1

Disk2

Disk3

Disk4

使用済 未使用

Disk1

Disk2

Disk3

Disk4

記憶域プールは、物理ディスクのスペースを束ねて1つのプールに。

スラブ

Page 59: Windows と標準的なハードウェアで構築するストレージ サーバー

59

固定プロビジョニング

記憶域スペース仮想ディス

ク( 8TB )

(プロビジョニングスラブ)

① 仮想ディスク作成時に、プロビジョニングタイプに「固定プロビジョニング」を指定。

② プロビジョニングスラブは、物理ディスク内の空きスペースを引き当て各スラブと紐付けし、仮想ディスクを作成。

③ 仮想ディスクの使用容量にかかわらず、記憶域プール内のスペースは確保される。記憶域プールの空きスペース以上の仮想ディスクは作成できない。

未使用

物理ディス

記憶域プール

Disk1

Disk2

Disk3

Disk4

Disk1

Disk2

Disk3

Disk4

未割当

使用済

割当済未使用

Page 60: Windows と標準的なハードウェアで構築するストレージ サーバー

60

固定プロビジョニング

記憶域スペース仮想ディス

ク( 8TB )

(プロビジョニングスラブ)

④ 仮想ディスクにファイルが保存されると、各物理ディスク内のスラブに保存される。使用済 未使用

物理ディス

記憶域プール

Disk1

Disk2

Disk3

Disk4

Disk1

Disk2

Disk3

Disk4

未割当

使用済

割当済未使用

Page 61: Windows と標準的なハードウェアで構築するストレージ サーバー

61

シンプロビジョニング

① 仮想ディスク作成時に、プロビジョニングタイプに「シンプロビジョニング」を指定。

② プロビジョニングスラブは、物理ディスク内のスペースを引き当てることなくディスクを作成。

③ 物理ディスクの空きスペースにかかわらず、空きスペースを超えるサイズの仮想ディスクの作成が可能。物理

ディスク

記憶域プール

Disk1

Disk2

Disk3

Disk4

Disk1

Disk2

Disk3

Disk4

記憶域スペース仮想ディス

ク( 30TB )

記憶域プールの容量を超える仮想ディスクの作成が可能

未使用(プロビジョニングスラブ)

未割当

使用済

割当済未使用

Page 62: Windows と標準的なハードウェアで構築するストレージ サーバー

62

シンプロビジョニング

④ 仮想ディスクにファイルが保存する際に、各物理ディスク内のスラブを実際に引き当てて保存。

⑤ 物理ディスクの空きスペースが無くなった場合、プールに物理ディスクを追加すればよい。

物理ディス

記憶域プール

Disk1

Disk2

Disk3

Disk4

Disk1

Disk2

Disk3

Disk4

記憶域スペース仮想ディス

ク( 30TB )

使用済 未使用(プロビジョニングスラブ)

未割当

使用済

割当済未使用

Page 63: Windows と標準的なハードウェアで構築するストレージ サーバー

63

物理ディス

列の数によるディスクストライピングファイル

1 2

3 4

1

2

3

4

1 2 3 4

NumberofColumns=1

仮想ディス

NumberofColumns=4

記憶域プール

物理ディス

クDisk

1Disk

2Disk

3Disk

4Disk

1Disk

2Disk

3Disk

4

列の数は GUI からの仮想ディスク作成時には OS が自動設定。

GUI から設定した場合の最大の列の数は8 。

自身で任意の列の数を指定したい場合は、PowerShell を利用して仮想ディスクを作成する。(シングルパリティの最大値は PowerShell から設定する場合も 8 、デュアルパリティは最大 17 )

Page 64: Windows と標準的なハードウェアで構築するストレージ サーバー

64

ディスク数が増えるほど、 IOPS は向上

1 2 3 4 5 6 70

1,000

2,000

3,000

4,000

5,000

6,000

7,000

8,000

9,000

10,000

100% Random Read, 8KB

Series1 Series2

Number of Disks

IOP

S

1 2 3 4 5 6 70

1,000

2,000

3,000

4,000

5,000

6,000

7,000

8,000

9,000

10,000

100% Random Write, 8KB

Series1 Series2

Number of Disks

IOP

S

Tested with 7200 RPM SAS HDDs, no WBC, maximum of 8 columns, 2-way mirror. Queue depth was maintained

consistent between tests at an effective 3 QD/Disk to attain an average latency of at most 30ms

Page 65: Windows と標準的なハードウェアで構築するストレージ サーバー

65

SSD の活用によるパフォーマンスの向上

ライトバックキャッシュ(WBC)

記憶域階層

ハイブリッド記憶域プール

SSD階層 HDD階層

ホットデータ

コールドデータ

階層化記憶域

記憶域プール

HDDSSD

キャッシュ

●Windows Server 2012 R2 では、 NVMe のドライバーを標準で搭載

Page 66: Windows と標準的なハードウェアで構築するストレージ サーバー

66

回復性のタイプ

シンプル(回復性なし)

ミラー双方向ミラー

仮想ディスクを作成する際に、回復性タイプを指定する回復性は以下の5種類

3方向ミラー

パリティ

シングルパリティ

デュアルパリティ( 2012 R2 以降)

Page 67: Windows と標準的なハードウェアで構築するストレージ サーバー

67

シンプル(≓ RAID0 ) データの冗長性はなし。ディスク障害時にはデータは失われる データの冗長性がない分、ディスク容量の 100% を利用できる。 列数を増やすことで、読み書きともに IOPS は向上。

物理ディス

1 2①各データを(列の数)個のチャンクに分割する

②各チャンクをそれぞれのディスクに書込む 記憶域プール

Disk1

Disk2

Disk3

Disk4

仮想ディス

シンプル

ストライプ行

1 2

NumberofColumns=2

最低必要ディスク台数=1

Page 68: Windows と標準的なハードウェアで構築するストレージ サーバー

68

ミラー(双方向ミラー≓ RAID1 ) データを2つに複製して保持。1つの物理ディスクの障害からデータを守ることができる。 データを2つに複製する分、保存するデータの2倍のディスクスペースが必要。 列数を増やすことで、読み書きともに IOPS は向上。

物理ディス

1 2①各データを(列の数)個のチャンクに分割する

②各チャンクをそれぞれ異なる2つのディスクに書き込む。

記憶域プール

Disk1

Disk2

Disk3

Disk4

仮想ディス

双方向ミラー

ストライプ行1 2 1 2

NumberofColumns=2

最低必要ディスク台数=3

Page 69: Windows と標準的なハードウェアで構築するストレージ サーバー

69

ミラー(3方向ミラー) データを3つに複製して保持。2つの物理ディスクの障害からデータを守ることができる。 データを3つに複製する分、保存するデータの3倍のディスクスペースが必要。 列数を増やすことで、読み書きともに IOPS は向上。

物理ディス

1 2①各データを(列の数)個のチャンクに分割する

②各チャンクをそれぞれ異なる3つのディスクに書き込む。

記憶域プール

Disk1

Disk2

Disk3

Disk4

仮想ディス

3方向ミラー

ストライプ行1 2 1 2

NumberofColumns=2

Disk3

Disk4

1 2

最低必要ディスク台数=5

Page 70: Windows と標準的なハードウェアで構築するストレージ サーバー

70

パリティ(シングルパリティ≓ RAID5 ) データ書き込み時に、1ストライプ行に1つパリティ情報を付与。データ障害時にはパリティから消失データを復元することで、1つの物理ディスクの障害からデータを守ることができる。

パリティ情報を付与する分、ディスクスペースを消費するが、ミラーよりもディスク使用効率は高い。

列数を増やすことで読み込み性能は向上するが、書き込み(更新含む)はパリティ計算が生じるため、遅い。

物理ディス

1 2①各データを(列の数 -1 )個のチャンクに分割する

②パリティを計算する

記憶域プール

Disk1

Disk2

Disk3

Disk4

仮想ディス

シングルパリティ

ストライプ行

1 2

NumberofColumns=3

P1

③データとパリティをそれぞれ異なるディスクに書き込む P

1

最低必要ディスク台数=3

Page 71: Windows と標準的なハードウェアで構築するストレージ サーバー

71

パリティ(デュアルパリティ≠ RAID6 ) データ書き込み時に、1ストライプ行に2種類(3つ)のパリティ情報を付与。データ障害時には

パリティから消失データを復元することで、2つの物理ディスクの障害からデータを守ることができる。

パリティ情報を付与する分、ディスクスペースを消費するが、ミラーよりもディスク使用効率は高い。

列数を増やすことで読み込み性能は向上するが、書き込み(更新含む)はパリティ計算が生じるため、遅い。

物理ディス

1 2①各データを(列の数 -3 )個のチャンクに分割する

②2つのグループに分けそれぞれパリティを計算する(ローカルパリティ)

記憶域プール

Disk1

Disk2

Disk3

Disk4

仮想ディス

デュアルパリティ

ストライプ行

1 2

NumberofColumns=7

P1

④データとパリティをそれぞれ異なるディスクに書き込む

P1

3 4

P2

③全体のパリティを計算する(グローバルパリティ)

P3

Disk5

Disk6

Disk7

3 4 P2

P3

イレージャーコーディングを採用

最低必要ディスク台数=7

Page 72: Windows と標準的なハードウェアで構築するストレージ サーバー

72

デュアルパリティでは、イレージャーコーディングを導入

【参考】 LRC Erasure Coding in Windows Storage Spaceshttp://research.microsoft.com/en-us/um/people/chengh/slides/LRC_in_Spaces.pdf

RAID6 などで用いられるリード・ソロモン符号は、通信/放送/光学ディスク等幅広く用いられているが、元来ストレージ用に設計された訂正方式ではない。

ストレージ容量の増大や、多数のディスクを接続してプールを構成する現在のストレージ領域において、リード・ソロモン符号ではデータ消失リスクを補うには不十分。既に RAID5 はベンダーも推奨しない傾向にある。 2019 年には RAID6 も推奨されなくなるという予測がある。

ストレージ障害が発生した場合、復元に要する時間は長時間化。復元時間の長時間化は、復元中に正常であった他のディスクに障害が発生するリスクが高まる。

そのためストレージ領域では、特にデータ容量が膨大なデータセンター用途を中心に、伝統的なRAID から、イレージャーコードへの転換が進みつつある。

Windodws Server 2012 R2 のデュアルパリティでは伝統的な RAID ではなく、イレージャーコーディングを導入。パフォーマンスの観点から、ストライプを2つのグループに分けそれぞれローカルパリティを付与し、グローパルパリティと併せて3つのパリティストライプを使用。

Microsoft Azure で用いられているストレージでも、イレージャーコーディングが採用されている。

Page 73: Windows と標準的なハードウェアで構築するストレージ サーバー

73

回復性のタイプのまとめ

回復性のタイプ データの複製数

障害が発生してもデータの正常性を維持できる物理ディスクの数

記憶域の利用効率

最低必要

ディスク台数

推奨用途

シンプル 1 0 100% 1

回復性が必要とされないあるいは、他の方法で回復性を担保している場合。

ミラー双方向ミラー 2 1 50.0% 2 全てのワークロード

3方向ミラー 3 2 33.3% 5 全てのワークロード

パリティ

パリティ 1 1 3書込/更新が少なく参照が中心となる用途。アーカイブなど。

デュアルパリティ (x+3 LRC) 1 2 7

書込/更新が少なく参照が中心となる用途。特にデータサイズが大きく長時間保存するアーカイブ用途。

(列数 -1 )(列数)

( 66.6%~)

(列数 -3 )(列数)

( 57.1%~)

2012 R2 以降

Page 74: Windows と標準的なハードウェアで構築するストレージ サーバー

74

【参考】必要となるディスクの数は、回復性と列の数(+クォーラム)によって決まる

双方向ミラー:NumberofDataCopies=2列の数: NumberofColumns=2

2 列 データの複製=2

1 2 3 4

記憶域階層を構築する場合は、 SSD階層とHDD階層それぞれに物理ディスクが必要。

双方向ミラーは、列の数が 2 になると、最低 4台の物理ディスクが必要

SSD階層

HDD階層

1 2 3 4

Page 75: Windows と標準的なハードウェアで構築するストレージ サーバー

75

【参考】記憶域プールへの物理ディスクの追加も同様

双方向ミラー、列の数 2 の場合、記憶域プールにディスクを追加する場合は、最低 4台の物理ディスクを追加するのが基本。

1 2 3 4 5 6 7 8

追加ディスクも最低4台なければ、2×2=4列の書き込みができない。

Page 76: Windows と標準的なハードウェアで構築するストレージ サーバー

76

【参考】 WBC を構成するのに必要な SSD の数

回復性のタイプ シンプル 双方向ミラー

3方向ミラー

シングルパリティ

デュアルパリティ

WBC に必要な SSD の最低数 1 2 3 2 3

Page 77: Windows と標準的なハードウェアで構築するストレージ サーバー

77

エンクロージャーを意識したデータ配置

JBODエンクロー

ジャー

サーバー

SAS HBA

SAS HBA

記憶域スペース(双方向ミラー)

SASmodule

SASmodule

SASmoduleコピー コピー

エンクロージャー 1 エンクロージャー 2 エンクロージャー 3

回復性/冗長性

EnclosureAwareness属性を設定することで、データを保存する際に、エンクロージャー筐体を意識したデータ配置を行う。

エンクロージャー全体にアクセスできなくなる障害が発生しても、データを利用することができる。

双方向ミラーで、 1台のエンクロージャー全体の障害を許容するには、 3台以上のエンクロージャーが必要。3方向ミラーで、 2台のエンクロージャー全体の障害を許容するには、 5台以上のエンクロージャーが必要。デュアルパリティで、1台のエンクロージャー全体の障害を許容するには、 4台以上のエンクロージャーが必要。

Page 78: Windows と標準的なハードウェアで構築するストレージ サーバー

78

ReFS と記憶域スペース

NTFSボリューム

スクラバ

ReFSボリューム

記憶域プール

データ

Copy0

データ

Copy1

データ

Copy2

読み取れない場合、 NTFS は他のデータのコピーを取得する

NTFS では , スクラバが全てのファイルを読み取れるか確認する

データのコピーのチェックサムを全て検査破損が検出された場合、正常なデータを読み出して、破損したデータは自動修復をトリガ

ReFS の場合、スクラバは全てのデータのチェックサムを確認し、修復が必要な場合は自動修復をトリガする

Copy1

データCHK

Copy2

データCHK

Copy0

データCHK

記憶域スペース(ミラー)

記憶域スペース(ミラー)

ReFS はファイルの読み出し時のチェックサム確認や、定期的なディスクのスキャンを通じ、データ破損を検出。

回復性/冗長性

Page 79: Windows と標準的なハードウェアで構築するストレージ サーバー

79

ReFS と記憶域スペース 回復性/冗長性

ミラースペースを ReFS でフォーマットしていた場合、 ReFS がデータ破損を検知した際には、 ReFSはアプリケーションにはコピーデータを返却しつつ、正常なデータのコピーから破損したデータの自動修復を行う。

ReFS は記憶域スペースの持つ冗長性と組み合わせることではじめて、本来持つデータの自動修復能力を発揮することができる。

Mirror Space

Copy0

Metadata Copy1

Metadata

2012 2012R2

ReFS の自動修復

ミラースペース ミラースペース、パリティスペース

CSV の ReFSフォーマット

× ○

出典:「 Windows Server 2012 Storage Capabilities for Everyone 」 - TechEd 2012

Page 80: Windows と標準的なハードウェアで構築するストレージ サーバー

80

高速リビルド( Parallelized rebuild ) 物理ディスク障害が発生した際、プール内(エンクロージャー使用時は同一エンクロージャー内)の他の

ディスクの空きスペースを用いて、ディスクの修復を行う。 必要ディスクの数を1つ、あるいは2つ程度上回る物理ディスクを接続しアクティブ( Used )にしてお

くことで、物理ディスク障害時に対象ディスクに保存されていたスラブのコピーを保持しているディスクから、プール内の他のディスクにデータをコピー。

複数のディスク間で並行してデータをコピーすることで、高速なリビルドが可能に。

3TB HDDs, 2-way, 4-column Mirror SpaceSource: Internal Testing, No Foreground Activity

出典:「 Delivering Exceptional IOPS/$ with Windows Server 2012 R2 」 - TechEd North America 2014

Page 81: Windows と標準的なハードウェアで構築するストレージ サーバー

81

高速リビルドの動作 必要ディスクの数を上回る物理ディスクがあり、空き容量が存在していることが、高速リビルド動作の条件。

Windows Server 2012 では高速リビルド機能がないため、スペア専用ディスクをホットスペアとして用意しておく必要がある。ホットスペアには、リビルド時に書込 IO が集中し、リビルド時間が長時間化するため、 2012 R2以降ではホットスペアは推奨されない。

1 2 3 4 5 6

1 2 1 2

3 4 3 4

56 65

1 2 3 4 5 6

1 2 1 2

3 4 3 4

56 65

1

3

6

双方向ミラー:NumberofDataCopies=2列の数: NumberofColumns=2>必要台数は 4台

必要台数よりも多い物理ディスクが接続されていることで、障害発生ディスクに保存されていたスラブを他のディスクに移すことが可能。

Page 82: Windows と標準的なハードウェアで構築するストレージ サーバー

82

重複除去との併用も可能

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

ユーザー ドキュメント

一般的なファイル共有

ソフトウェア開発共有

VHD ライブラリ

記憶域スペースと重複除去の併用により、冗長性を維持しつつ、ストレージ領域の有効活用が可能に。

出典:「 Reduce Storage Costs with Data Deduplication 」 - TechEd North America 2013

Page 83: Windows と標準的なハードウェアで構築するストレージ サーバー

83

重複除去のオーバーヘッドは小さい

ConfigurationMD1220,4*400GB SSD, 20*7.2k 1TB150 Persistent users with tiering , with and without dedupe

67% savings on Read IOPS1.5X write penalty with dedupe. No impact to performance as most IOPS were served from SSD due to Tiering.No impact to Total IOPS

Up to 90% Capacity savings after provisioning

1 2 30

500

1000

1500

2000

2500

3000

3500150 users- Non-Dedupe vs

Dedupe

Series1Series2

1 20

1000

2000

3000

4000

5000

6000

7000

Capacity savings with dedupe

Series1

Capacit

y in G

B

出典:「 Maximizing Storage efficiency   with Dell and Microsoft Storage Spaces 」 - TechEd North America 2014

Page 84: Windows と標準的なハードウェアで構築するストレージ サーバー

84

記憶域スペースのまだ少し敷居の高いところ オペレーション上重要な属性でも、 PowerShell からしか設定/変更できない属性がいくつか存在。

Page 85: Windows と標準的なハードウェアで構築するストレージ サーバー

85

【参考】 CiB ( Cluster-In-a-Box )

• Windows Server 2012 R2 をベースにした、高可用性をサポートするアプライアンスサーバー

• 予め構成、接続がなされており、追加のセットアップ手順は不要

• 1筐体だが、内部では2つのサーバーに Shared SAS JBODエンクロージャーが接続されている

• 複数のベンダー( HP,DataON, コアマイクロシステムズ等)が CiB ソリューションを提供している

Hyper-V Host Hyper-V Host

Share

VHD

Share

VHDX

Hyper-V host Hyper-V host

Share

VHD

Share

VHDX

Hyper-V Host Hyper-V Host

Share

VHD

Share

VHDX

Hyper-V host Hyper-V host

Share

VHD

Share

VHDX

RAID array

RAID array

RAID array

Shared SAS

Clu

ste

r in

a b

ox

File server File serverFile server

Clu

ste

r in

a b

ox

File server

Storage spaces

予めベンダーが1つの筐体の中に、サーバーと JBODエンクロージャーをクラスター構成化した、 CiB(Cluster-In-a-Box) ソリューションも販売されている。

ベンダー検証済のクラスター構成が簡便に入手できる。