SPARC M10 / Oracle VM Server for SPARC設計のポイント

Copyright 2014-2016 FUJITSU LIMITED

SPARC M10 / Oracle VM Server for SPARC設計のポイント

2016年 6月（第1.1版）富士通株式会社

1 Copyright 2014-2016 FUJITSU LIMITED

はじめに

目的 SPARC M10 は、サーバ仮想化機能 Oracle VM Server for SPARC を使用できます。

Oracle VM Server for SPARC は豊富な機能を有しておりますが、本書では特に有用な機能と当社がお勧めする仮想化設計の方式を解説します。

対象読者 SPARC M10とOracle VM Server for SPARC の導入を検討されている方

Oracle Solaris, Oracle VM Server for SPARC の基礎知識を有している方

対象環境サーバ： SPARC M10 （SPARC M10-1, SPARC M10-4）

Oracle VM Server for SPARC のバージョン： 3.1

OS ： Oracle Solaris 11.1 / 11.2※この環境以外では一部の機能や設計方法が使用できない場合があります。ご注意ください。

留意事項本書では、Oracle Solaris を「Solaris」、Oracle VM Server for SPARC を「Oracle VM」と省略して表記する場合があります。

参考情報 Oracle VM Server for SPARC を使ってみよう

• http://jp.fujitsu.com/platform/server/sparc/technical/document/#ovm-use-11

Oracle VM Server for SPARC Documentation （オラクル社）• http://www.oracle.com/technetwork/documentation/vm-sparc-194287.html

http://jp.fujitsu.com/platform/server/sparc/technical/document/#ovm-use-11

http://www.oracle.com/technetwork/documentation/vm-sparc-194287.html


目次

1. Oracle VM の基礎知識 Oracle VM Server for SPARC の概要

Oracle VM を構成するドメイン

2. Oracle VM の構築パターンパターン1. 基本パターン

パターン2. 独立性重視パターン

3. リソース設計のポイントリソース割り当ての基礎知識

CPUの割り当て

メモリの割り当て

物理I/Oの割り当て

仮想I/O（ネットワーク）の割り当て

仮想I/O（ディスク）の割り当て

仮想コンソールの割り当て

4. 設計サンプルパターン1. 基本パターン


パターン3. 応用パターン

5. ライブマイグレーションライブマイグレーションの概要

留意事項

設計のポイント


1. Oracle VM の基礎知識

最初に、Oracle VMの概要や基本的な用語について解説します。


Oracle VM Server for SPARC の概要

ハードウェア

ファームウェア

ドメインA

Solaris

ドメイン＝仮想マシン

Solaris

Solaris

Solaris

仮想化集約（Oracle VM）

Oracle VM Server for SPARC の構造Oracle VMは、ファームウェア層でサーバを論理的に分割する仮想化機能です。筐体内に、「ドメイン」と呼ばれる仮想マシンを構築し、各ドメインで独立したSolaris（Solaris 10 or Solaris 11）環境を実現できます。

ドメインの管理

各ドメインには、CPU・メモリ・（仮想）I/Oを自由に割り当てることができます。また、ドメインは個々に起動・停止することができます。

ドメインの操作性ドメイン（仮想環境）のOSの設定や操作方法は、従来（物理環境）とほとんど変わりません。既存の物理環境を仮想環境に移行しても、同等の運用・管理が可能です。

ドメインB

Solaris

ドメインC

Solaris


Oracle VM を構成するドメイン

制御ドメインOracle VMの管理（ドメインの作成やリソースの割り当てなど）を行うドメインです。

ハードウェア


制御ドメイン（サービスドメイン）

ゲストドメイン

Solaris

仮想サービス


Solaris Solaris

I/Oルートドメイン

Solaris OS

Oracle VM Server for SPARC を構成するドメインは大きく分けて4種類です。

I/Oルートドメイン物理I/Oデバイス（PCIカードやディスクなど）に直接アクセスできるドメインです。

ゲストドメイン仮想サービス（※）を利用し、業務アプリケーションを動作させるドメインです。

※仮想サービスについて物理I/Oデバイスより仮想サービスを作成し、他のドメインに仮想的なI/Oデバイスを割り当てることができます。これにより、1つの物理NICや物理ディスクを元に、複数の仮想環境（ゲストドメイン）のI/Oを構築することができます。

物理I/O 物理I/O

仮想I/O 仮想I/O

サービスドメイン仮想ディスクや仮想スイッチなどの仮想サービス（※）を提供するドメインです。基本的に制御ドメインまたはI/Oルートドメインがサービスドメインとなります。

物理I/O


制御ドメイン / サービスドメイン

制御ドメイン

サービスドメイン

ハードウェア


制御ドメイン（サービスドメイン）ゲストドメイン

SolarisSolaris

Oracle VM Software

仮想ディスクサービス

仮想スイッチサービス

物理NIC 物理ディスク

仮想NIC 仮想ディスク

他のドメインに仮想I/Oを提供

• Oracle VM 環境の管理（ドメインの作成やリソースの割り当てなど）を行うドメインです。• サーバごと（ハードウェアパーティションごと）に必ず1つ構築されます。

• 仮想ディスクや仮想ネットワークなどの仮想デバイスを他のドメインに提供するドメインです。

※ 通常、制御ドメインやI/Oルートドメインがサービスドメインの役割を兼ねています。




• 物理I/Oデバイス（PCIカードやディスクなど）を割り当てられたドメインです。• サービスドメインとして、他のドメインに仮想I/Oを提供することもできます。

• 物理I/Oデバイスの代わりとして、サービスドメイン（制御ドメインもしくは、I/Oルートドメイン）から提供される仮想I/Oデバイスを使用するドメインです。

• Oracle VMでは通常、ゲストドメインを複数構築して、仮想化集約を実現します。

ハードウェア


I/Oルートドメイン（サービスドメイン）

Solaris


Solaris

Oracle VM Software

仮想サービス

物理I/O 物理I/O

I/OルートドメインはI/Oデバイスを直接使用

仮想サービス


Solaris

仮想I/O


Solaris

仮想I/O

ゲストドメインは仮想化された

I/Oデバイスを使用


Solaris

仮想I/O

I/Oルートドメイン / ゲストドメイン


2. Oracle VMの構築パターン

Oracle VM には様々な種類のドメインがありますが、それらを複雑に使いこなして、設計する必要はありません。本章では、代表的な2つの構築パターンを解説します。


構築パターンの概要

本書では2種類のOracle VM構築パターンを紹介します。

次ページより各構築パターンの詳細を解説します。

パターン1. 基本パターン

仮想化構成図

構築概要

制御ドメインとゲストドメインのみで構成されます。

制御ドメインはサービスドメインとして、

ゲストドメインに仮想I/Oを提供します。

特長

全てのサーバで構築可能で、

柔軟性の高い構成です。


仮想化構成図

構築概要

ゲストドメインは使用せず、

I/Oルートドメインのみを構築する構成です。

特長

仮想環境間の障害隔離性が高い構成です。

制御ドメイン









概要ゲストドメインで業務を稼動させる、Oracle VMの基本構成です。

I/Oルートドメインを作成せず、制御ドメインに全ての物理I/Oを割り当てます。

制御ドメインがサービスドメインとなり、全ての仮想I/Oを提供します。

構成イメージ

パターン1. 基本パターン（1/2）


ゲストドメイン1

仮想ディスク

仮想LAN

業務A

HDD HDD HDD ・・・

物理ディスク

NIC NIC NIC ・・・

物理ネットワークデバイス

仮想サービス（仮想ディスクサービス / 仮想スイッチサービス）


仮想ディスク

仮想LAN

業務B


仮想ディスク

仮想LAN

業務C

ゲストドメインに業務を集約


パターン1. 基本パターン（2/2）

特長 Oracle VM に対応した全てのサーバで構成できます。

柔軟性が高く、業務稼動中の環境変更が可能です。• CPU, メモリ, 仮想 I/Oリソースの追加

•他サーバへの業務システムの移動（ライブマイグレーション）

留意事項制御ドメイン（サービスドメイン）に障害が発生した場合は、仮想I/Oが使用不可となり、全ての業務システムが停止します。

本事象の対策としては、以下のいずれかを導入する必要があります。•パターン2. 独立性重視パターンを導入（次ページ以降を参照）

•ゲストドメインを含めたクラスタ環境を構築（PRIMECLUSTER, Oracle Solaris Cluster など）

物理サーバと比較して、ゲストドメインのI/O（ネットワーク, ディスク）の性能が低下する場合があります。（下記理由）• I/Oのアクセスはサービスドメインを経由するため、オーバーヘッドが発生する。

• I/Oを複数のゲストドメインで共有するため、あるゲストドメインのI/Oの負荷が他のゲストドメインのI/O性能に影響を与える。

制御ドメイン

仮想サービス障害発生


仮想 I/O


仮想 I/O


仮想 I/O業務停止

業務停止

業務停止


概要 I/Oルートドメインで、業務システムを稼動させます。

ゲストドメイン・仮想I/Oは使用しません。

構成イメージ

パターン2. 独立性重視パターン（1/2）

I/Oルートドメイン2

NICHDD

業務B制御ドメイン


NICHDD

業務C


NICHDD

業務A

I/Oルートドメインに業務を集約


パターン2. 独立性重視パターン（2/2）

特長独立性・障害隔離性の高い設計パターンです。

• I/Oが各ドメインで独立しているため、物理サーバと同等のI/O性能を確保できます。

•どのドメインが停止しても他のドメインには影響を与えません。• 制御ドメインが停止した場合も、業務継続可能です。

I/Oの構成がシンプルな仮想化環境を構築できます。•ディスクやポート（LAN/FC）を各I/Oルートドメインで占有させるため、構成が分かりやすく、保守性に優れています。

CPU ・メモリリソースを有効活用できます。•仮想I/O用のサービスドメインを構築しないため、

CPU・メモリリソースを業務システムへ集中させることができます。

留意事項多数の業務システム（OS）を集約することはできません。

• SPARC M10-4（2CPUモデル）： 2～3 環境程度の集約

• SPARC M10-4（4CPUモデル）： 2～6 環境程度の集約

業務稼動中の構成変更には一部の制限があります。•業務システムのライブマイグレーション不可

•業務システムへの物理I/O（ルートコンプレックス）の動的追加・削除不可（3章「物理I/Oの割り当て（2/4）」参照）

PCIeバスを意識した、物理I/O設計が必要です。（3章「物理I/Oの割り当て」参照）


各構築パターンの特長比較

パターン1.

基本パターンパターン2.

独立性重視パターン

対象サーバ SPARC M10-1 / M10-4 SPARC M10-4

耐障害性（障害隔離性）

制御ドメイン障害時、全業務システム停止

仮想環境障害時は、他の環境に影響なし

性能I/Oの性能オーバーヘッド

が生じる場合がある（※1）

CPU・メモリ・I/Oの

オーバーヘッド無し

柔

軟

性

ドメインの数（※2）ほぼ制限なし

（ 2～256 ドメイン）

多数の集約は不可

（ 2～6 ドメイン程度）

業務システムのリソース変更

CPU・メモリ・仮想I/Oの動的変更可能

CPU・メモリの動的変更可能

業務システムの

ライブマイグレーション可能不可

△

◎

◎

◎

◎

○

△

×

（※1） CPU・メモリの性能オーバーヘッドはありません。（※2）制御ドメインなどのサービスドメインを含めた、構築可能なドメインの数を記述しています。

○ ◎


3. リソース設計のポイント

各ドメインには、CPU・メモリ・物理I/O・仮想I/Oなどのリソースを割り当てる必要があります。本章ではリソース割り当てに関する、基本的なルールと推奨する設計指針を解説します。


リソース割り当ての基礎知識

CPU・メモリ各ドメインに占有させて割り当てます。

• リソースプール化・ドメイン間で共用させることはありません。（例：Oracle Solaris ゾーン）

各ドメインに割り当てるメモリ容量の合計は、物理的に搭載しているメモリ容量よりも2GB小さくする必要があります。

割り当ての変更は、動的（ドメインが起動した状態）に実行可能です。

サーバ仮想化による性能オーバーヘッドはありません。

•業務稼動用のドメインに割り当てるリソースの量（CPUコア数 / メモリ容量）は、従来の物理サーバと同様に見積もり・決定します。

（サービスドメインのCPU・メモリリソースは別途確保しておく必要があります）

オーバーコミット機能（物理搭載以上のCPUやメモリを擬似的に割り当てる機能）はありません。•各ドメインに必要となるリソース、拡張予定のリソースを満たす、

CPU・メモリが搭載されたサーバを導入します。

I/O（物理I/O・仮想I/O） I/Oの割り当てには以下の2種類があります。

• 「物理」I/Oの割り当て：ドメインにI/Oを「占有」させる（I/Oルートドメイン）

• 「仮想」I/Oの割り当て：複数のドメインでI/Oを「共有」させる（ゲストドメイン）

動的に割り当てを変更できるのは、「仮想」I/Oのみです。

•物理I/Oの構成を変更する場合、事前にドメインを停止させる必要があります。

パターン 1 & 2

本章では各ページの右上に、関連する構築パターン（パターン1, パターン2, パターン1 & 2）を表示しています。


CPUは各ドメインに割り当てる量を「コア単位 or スレッド単位」で指定します。

3種類の割り当て方式があり、ドメイン毎に選択することができます。

① コア数指定（コア単位）： CPUのコア数を指定

② コアID 指定（コア単位）： CPUのコアID（物理的な位置）を指定

③ スレッド数指定（スレッド単位）： CPUのスレッド数を指定

割り当てるCPUコアやスレッドの数は動的に変更可能です。

CPUの割り当て（1/2）

① コア数指定

SPARC64 X+ （1CPU / 16core）

③ スレッド数指定

：スレッド

：コア

CPUチップ

・・・

0 1 2 3

4 5 6 7

8 9

制御ドメイン（CPU ： 2コア）

ゲストドメイン（CPU ： 3スレッド）

0 1 20 1 2 3

パターン 1 & 2


CPUの割り当て（2/2）

CPUの割り当ては、「 ① コア数指定」を推奨します。

以下の表の通り、性能・信頼性・柔軟性に優れた割り当て方式です。

より細かい粒度でCPUを割り当てる場合は、「 ③ スレッド数指定」を使用します。

未使用のCPUコア（ライセンス購入・有効化していないコア）を1コア以上確保します。

「CPUコアの自動交替機能（次ページ参照）」を有効にするためです。

① コア数指定 ② コアID指定 ③ スレッド数指定

性能問題なし・問題なし・最適割当可（※1）

性能が低下する可能性（※2）

CPUコアの自動交替機能

対応非対応対応

動的構成変更（柔軟性）

可能不可可能

割り当ての粒度 CPUコア単位 CPUコア単位 CPUスレッド単位

（※1）ドメインの各CPUコアの位置を指定することで、より性能に優れた環境を構築可能です。（高度な設計のため、本書ではその詳細について記述していません。）

（※2）同一コア内のCPUスレッドを別々のドメインに割り当てた場合、片方のドメインの負荷が高くなると、もう片方のドメインの性能に影響を与えることがあります。

○ △

○

○

× ○

○ × ○

△ △ ○

パターン 1 & 2


【ご参考】交替コアによる性能確保と運用継続

SPARC M10 のCPUコアの自動交替機能により、CPUコアに異常が生じても、ドメインの性能を維持したまま業務を継続できます。

制御ドメインゲストドメイン1 ゲストドメイン2

未使用のCPUコア（ライセンス購入なし）

CPU CPU CPU CPU CPU CPU

CPUコア

CPU CPU CPU CPU

CPU CPU

CPU CPU

CPU CPU

CPU

異常

ドメインのCPUコアに異常が発生

当該のCPUが動的に縮退

未使用のCPUコアを自動的に割り当て

CPUリソースを維持して、業務継続

・このときに自動で割り当てられる分のCPUコアアクティベーション（CPUのライセンス）を購入しておく必要はありません。 ※上図の場合、10CPUコア分の購入でOKです。

・「未使用のCPUコア（CPUコアアクティベーションで有効化していないコア）」を用意しておく必要があります。・詳細は、以下をご参照ください。［初期投資を抑制しつつ、業務拡張や異常時にも柔軟に対応するCPUコアアクティベーション］http://jp.fujitsu.com/platform/server/sparc/technology/scalability/cod/

SPARC M10-1（16CPUコア搭載）

自動割り当て

※SPARC M10のみ、有効な機能です。

http://jp.fujitsu.com/platform/server/sparc/technology/scalability/cod/


メモリの割り当て（1/2）

メモリは各ドメインに割り当てる容量を「MB単位 or GB単位」で指定します。

メモリ容量は、「4MB」の倍数で指定します。

ドメインを停止させずに割り当て容量を変更（追加 or 削減）したい場合は、

メモリの変動サイズが「256MB単位」となるように、指定します。

ドメインを停止させる場合は、256MB単位である必要はありません。

各ドメインに、割り当てるメモリ容量のみを指定

動的に追加・削減する場合は、256MB単位で容量を指定

ハードウェア

制御ドメインゲストドメイン1

メモリ 8GB 16GB512MB


12GB

パターン 1 & 2


メモリの割り当て（2/2）

各ドメインには、「4GB」以上のメモリを割り当てます。（①）

トータルで、「2GB」以上の余裕を確保します。（②）

SPARC M10-1 / M10-4 では、ファームウェアが「約2GB」のメモリを消費します。

例えば「64GB」のメモリが搭載されたサーバの場合、

ドメインに割り当てたメモリの合計が「62GB」以下になるように、設計します。

業務稼動中のメモリ追加を想定する場合は、さらに余裕を確保します。

業務稼動中のメモリ削減は実行できないケースがあります。ご注意ください。

ドメインのOSやミドルウェアなどがメモリを大量に使用している場合、

動的な削減ができない、もしくは少ない容量のメモリしか削減できないことがあります。

ドメインを一度停止させれば、自由にメモリを削減させることができます。

ハードウェア

制御ドメインゲストドメイン

メモリ 8GB 20GB


16GB

SPARC M10-1 （64GBメモリ搭載）① 4GB以上のメモリ割り当て② 2GB以上の余裕（この場合は、約20GB）

パターン 1 & 2


物理I/Oの割り当て（1/4）

物理I/OはPCI Express のバス単位（以下、PCIeバス）でドメインに割り当てます。

PCIeバスは、ルートコンプレックス（Root Complex）と呼ばれることもあります。

PCIeバスを割り当てられたドメインがI/Oルートドメインです。

PCIeバスとI/Oデバイス（オンボードデバイスやPCIスロットなど）の関係は、

サーバの種類やそのハードウェア構成によって異なります。

SPARC M10-1では2つのPCIeバス, SPARC M10-4では4つまたは8つの

PCIeバスがあります。（詳細は物理I/Oの割り当て（3/4）以降を参照）

SPARC M10-4 （2CPU / PCIeバス×4）

ハードウェア


PCIeバス#1

PCI

slot

PCI

slot

PCI

slot


PCIeバス#2

PCI

slot

PCI

slot

PCI

slot

PCI

slot

PCIeバス#3

PCI

slot

PCI

slot

PCI

slot

PCI

slot

制御ドメイン

PCIeバス#0

内蔵ディスク・ポート

物理I/OはPCIeバス単位で割り当て

PCIeバスごとに使用できるI/Oデバイスは異なる

パターン 2



PCIeバス#0（内蔵ディスクや内蔵LANポートを含む）は

基本的に制御ドメインへ割り当て、残りのPCIeバスを任意のドメインに割り当てます。

I/OルートドメインにPCIカードを追加搭載するときなど、

PCIeバスの割り当てを変更する場合は、

事前に当該のドメインを停止（制御ドメインの場合はリブート）させる必要があります。

上図のような割り当て変更を実施する場合は、

I/Oルートドメイン1, I/Oルートドメイン2 を両方停止させます。

ハードウェア

I/Oルートドメイン1 I/Oルートドメイン2

物理I/Oの割り当て変更

PCIeバス#1

PCI

slot

PCI

slot

PCI

slot

PCIeバス#2

PCI

slot

PCI

slot

PCI

slot

PCI

slot

PCIeバス#3

PCI

slot

PCI

slot

PCI

slot

PCI

slot

制御ドメイン

PCIeバス#0

PCIeバス#3

PCI

slot

PCI

slot

PCI

slot

PCI

slot

パターン 2



PCIeバス#0

内蔵ディスク（#0～#7）

・・・

SAS

USB

USB

USB

内蔵SAS・USBポート


内蔵LANポート（#0～#3）

PCIeバス#1

PCIスロット

#0

PCIスロット

#1

PCIスロット

#2

PCIeバス#2

PCIスロット

#3

PCIスロット

#4

PCIスロット

#5

PCIスロット

#6

PCIeバス#3

PCIスロット

#7

PCIスロット

#8

PCIスロット

#9

PCIスロット

#1

0 SPARC M10-4 （2CPUモデル）の物理I/O構成合計4個のPCIeバスが存在します。

• I/Oルートドメインは3つまで構築可能です。（1つのPCIeバスは制御ドメインに割り当て）

PCIeバス#0には、内蔵（オンボード）のI/Oデバイスが全て含まれます。• PCI Expressのスロットは含まれません。

PCIeバス#1～#3には、3～4個のPCI Expressのスロットが含まれます。

パターン 2



PCIeバス#0


・・・

SAS

USB

USB

USB


内蔵LANポート

（#0～#1）

PCIeバス#1

PCIスロット

#0

PCIeバス#2

PCIスロット

#3

PCIスロット

#4

PCIeバス#4

内蔵LANポート

（#2～#3）

PCIeバス#3

PCIスロット

#7

PCIスロット

#8

PCIeバス#5

PCIスロット

#1

PCIスロット

#2

PCIeバス#6

PCIスロット

#5

PCIスロット

#6

PCIeバス#7

PCIスロット

#9

PCIスロット

#1

0


SPARC M10-4 （4CPUモデル）の物理I/O構成合計8個のPCIeバスが存在します。

•通常、I/Oルートドメインは6ドメインまで作成します。（以下理由）• PCIeバス#0は制御ドメインに割り当て

• PCIeバス#1（PCIスロット×1）やPCIeバス#4（内蔵LANポート×2）は、他のPCIeバスと合わせて割り当て

PCIeバス#0および#4には、内蔵（オンボード）のI/Oデバイスのみが含まれます。

PCIeバスの番号とPCI Expressのスロット番号の順番が異なるため、注意が必要です。

パターン 2


【ご参考】 SPARC M10-1の物理I/O構成


SPARC M10-1 の物理I/O構成合計2個のPCIeバスが存在します。

•本書では、制御ドメインに全てのPCIeバスを割り当て、I/Oルートドメインは構築せず、ゲストドメインのみ構築することを推奨します。（基本パターン）

PCIeバス#0には、全ての内蔵ディスク・内蔵SAS,USBポートが含まれます。• SPARC M10-4 でも同様です。

PCIeバス#1

PCIスロット

#1

PCIスロット

#2

内蔵LANポート

（#2～#3）

PCIeバス#0


・・・

SAS

USB

USB


PCIスロット

#0

内蔵LANポート

（#0～#1）


仮想I/O（ネットワーク）の割り当て（1/5）

サービスドメイン（制御ドメイン or I/Oルートドメイン）の

物理LANポートを1つ指定して、仮想スイッチ（vsw）を構築します。

仮想スイッチを元に仮想LANポート（vnet）を作成し、ゲストドメインに割り当てます。

vnet は物理LANポートと同様に、ゲストドメインのOS上で設定・使用できます。

デバイスの有効化, IPアドレスの設定

ネットワークの冗長化設定（IPMP, PRIMECLUSTER GLS）

1つのvswから複数のvnetを作成して、別々のドメインに割り当てることができます。

（物理LANポートの共用）


ハードウェア


ゲストドメイン1 ゲストドメイン2

仮想LAN（vnet0）

仮想スイッチ（vsw0）

物理LAN（NIC0）

物理LAN（NIC1）



仮想スイッチ（vsw1）

本書では、物理LANポートを「NIC」と表記します。

パターン 1



vnet は物理LANと同様、冗長化設計が可能です。以下2種類の方法があります。

2つの物理LANポートより、vsw と vnet をそれぞれ構築して、ゲストドメインで冗長化

※Solaris標準のIPMP や PRIMECLUSTER GLSなどを使用

複数の物理LANポートをLink Aggregation で集約させて、仮想スイッチを構築

※Solaris標準のLink Aggregationを使用

制御ドメイン

vsw0 vsw1

NIC0 NIC1 NIC2

vsw2

NIC3


vnet0 vnet1


vnet0

NIC4

IPMP

aggr0Link Aggregation

パターン 1



ゲストドメインのネットワーク性能を

を優先して構築する場合は、

物理ネットワークデバイスを

1つのゲストドメインで

占有させることを推奨します。

（下記いずれかの設計）

物理LANポートを占有

（ゲストドメイン1）

Link Aggregation で作成した

デバイスを占有

（ゲストドメイン2）

制御ドメイン

vsw0

NIC0

vsw1


vnet0


aggr0

NIC1 NIC2 NIC3

vnet0

パターン 1



使用する物理LANポートの数を削減し、

柔軟な仮想ネットワーク環境を

構築する場合は、複数のゲストドメインで

ネットワークデバイスを共有させます。

このとき、「帯域制御」と「VLAN」の

機能の併用が有効です。

帯域制御機能により、各vnetの帯域を

Mbps, Gbps 単位で指定（※）できます。

VLAN機能により、サブネットの

異なるネットワーク集約が可能です。

ポートVLAN（タグ無し）とタグVLAN

の片方または両方の設定が可能です。

制御ドメイン vsw0 vsw1

NIC0


NIC1

VLAN ID:20

vnet0 vnet1

50Mbps

vnet0 vnet1

200Mbps

VLAN ID:10

VLAN対応スイッチ

VLAN 10（ゲストドメイン1）

VLAN 20（ゲストドメイン2）

※物理NICの帯域を越えない範囲の値を指定する必要があります。

パターン 1

IPMP IPMP



ドメイン間の通信には、仮想スイッチの内部ネットワーク機能が有効です。

物理LANポート無しで通信を確立することができます。

サーバ外部を経由しない通信のため、性能・セキュリティの両方で優れています。

本機能はゲストドメインだけでなく、制御ドメインやI/Oルートドメインなどの

全てのドメイン間で適用可能です。

パターン 1 & 2

制御ドメイン

NIC0 NIC1


vnet2


vnet2

NICx

vsw3ゲストドメイン間の内部通信


vnet2

I/Oルートドメインとの通信にも使用可能


仮想I/O（ディスク）の割り当て（1/2）

サービスドメイン（制御ドメイン or I/Oルートドメイン）に仮想ディスクの元となる

デバイス（バックエンド）を用意します。バックエンドには以下を推奨します。

物理ディスク・外部ストレージのLUN （ /dev/dsk/cXtXdXs2 ）

イメージファイル（mkfile コマンドで作成した領域）

バックエンドを仮想ディスクサービス（vds）に登録し、ゲストドメインに割り当てます。

仮想ディスク（vdisk）は、通常の物理ディスクと同様にゲストドメインで使用できます。

仮想ディスクにはターゲットIDがありません。（ cXtXdXsX ⇒ cXdXsX ）

バックエンドのマルチパスはゲストドメインではなく、サービスドメインで構築します。

（詳細は次ページ参照）

FC FC


ハードウェア



仮想ディスクサービス（vds）

DISK0 DISK1 DISK2 DISK3

vdisk0 vdisk1 vdisk0

ZFS pool

外部ストレージ（FC）SPARC M10

パターン 1

イメージファイル


仮想I/O（ディスク）の割り当て（2/2）

仮想ディスクの元となるディスクのミラーリングや

FC（ファイバーチャネル）のパスの冗長化は

サービスドメインに構築します。

ミラーリングは2種類の方法があります。

ディスク装置のハードRAID機能を使用する

場合は、ハードRAIDを適用したディスク・LUNを

そのままゲストドメインに割り当てます。（①）

ソフトRAID機能（OS標準のZFSなど）を使用

する場合は、ソフトRAIDによって生成された

デバイスやイメージファイルをゲストドメインに

割り当てます。（②）

FCのパスの冗長化はSolaris標準のMPxIOや

ETERNUSマルチパスドライバを使用します。

制御ドメイン


vdisk0

FC 接続ストレージ（ETERNUS DXシリーズなど）


DISK4 DISK5

DISK0 DISK1

vdisk0 vdisk1

DISK4 DISK5

DISK2 DISK3

ZFS pool（RAID）

FC FC

FC FC

MPxIO

①

②

パターン 1

イメージファイル


サービスドメイン（制御ドメイン or I/Oルートドメイン）に

仮想コンソールサービス（vcc）を構築します。

vcc には仮想コンソール接続に使用するポート番号の範囲を指定できます。

（5000～6000 など）

vcc より、他のドメインに仮想コンソールポート（vcons）を割り当てます。

仮想コンソール接続には、telnet コマンド（プロトコル）を使用します。

各ドメインのポート番号を指定することで、

物理サーバと同様にtelnetによるコンソール接続ができます。

SSHによる仮想コンソール接続はできません。

仮想コンソールの割り当て（1/2）

サービスドメイン経由で各ドメインにコンソール接続

ハードウェア


制御ドメインゲストドメイン1 ゲストドメイン2

仮想コンソールサービス（vcc）

vcons vcons

5000～6000

5000 5001

各ドメインのポート番号は一意の値が設定

パターン 1 & 2


仮想コンソールの割り当て（2/2）

仮想コンソール接続方法は、以下の2種類を設定できます。

制御ドメインにログインした後に接続（デフォルト）

外部ネットワークから直接接続

仮想コンソール接続方法の変更は、サービスドメインの

SMF（Service Management Facility）のプロパティを設定します。

SMFサービス： svc:/ldoms/vntsd

プロパティ： vntsd/listen_addr

制御ドメイン

vcc


vcons

制御ドメイン

vcc


vcons

制御ドメインからコンソール接続（デフォルト）［ vntsd/listen_addr = localhost ］

外部ネットワークから直接コンソール接続［ vntsd/listen_addr = “制御ドメインのIPアドレス” ］

パターン 1 & 2


4. 設計サンプル

2章～3章ではOracle VMの2つの構築パターンとリソース設計について、解説しました。本章ではそれらのノウハウを活用した、各構築パターンとさらに応用的な構成の設計の一例をご紹介します。


パターン1. 基本パターン～CPU・メモリ・物理I/O～

SPARC M10-1 （CPU：16core / メモリ：64GB）に3つのゲストドメインを構築

未使用のCPUは2コア（CPUコアの自動交替機能用）

どのドメインにも割り当てていないメモリは4GB（ファームウェアのメモリ使用容量以上）

制御ドメインに全てのI/O（PCIe バス）を割り当て

仮想I/Oサービスに必要なPCIカード（FC, LAN）を搭載

制御ドメイン PCIeバス#1

FCカード（2port ）

内蔵LANポート

（#2～#3）

LANカード（4port ）

PCIeバス#0


・・・

SAS

USB

USB


内蔵LANポート

（#0～#1）


メモリ16GB

CPU4core


メモリ10GB

CPU2core


メモリ10GB

CPU2core


メモリ24GB

CPU6core


パターン1. 基本パターン～仮想ネットワーク～

管理LAN（vnet0）は各ゲストドメインで1つの物理LANポートを共有

業務用の外部ネットワーク（vnet1）はLink Aggregation によるvswを使用

VLAN機能を併用して、異なるサブネットのネットワーク環境を集約

外部ネットワークが不要なゲストドメインは、

ゲストドメイン間の通信に内部ネットワーク機能を使用（vnet2）


NIC2 NIC3

vsw0

NIC0 NIC1 NIC4 NIC5 NIC6 NIC7内蔵LAN（#2～#3）

内蔵LAN（#0～#1）

増設LANカード

ゲストドメイン1 ゲストドメイン2 ゲストドメイン3

vnet0 vnet2

vsw2

vnet0 vnet1 vnet2

管理LAN

vnet0 vnet1

aggr0

vsw1

VLAN ID:10 VLAN ID:20

業務LAN（外部）

業務LAN（内部）

※内蔵LANポートの表記順序（NICx）を変更しています。


パターン1. 基本パターン～仮想ディスク～



FC

FC

FC

FC

制御ドメインのシステムディスクは内蔵HDDを使用

OS 標準のZFSによるミラーリングを構築

ゲストドメインの仮想ディスクには、ストレージ装置のディスク（LUN）を使用

ゲストドメイン上の冗長化設定は不要（ストレージ装置のハードRAID機能を使用）

FC のパスの冗長化はOS標準のMPxIOを使用

内蔵HDD0

内蔵HDD1

ZFSミラー

MPxIO


DISK4 DISK5


vdisk0（システム）

vdisk1（データ）









SPARC M10-4（2CPUモデル, CPU：32core / メモリ：128GB）

に3つのI/Oルートドメインを構築

I/Oルートドメインは全てSAN Boot構成（PCIeバスを1つずつ割り当て）

各業務に必要なI/O（PCIカード）を搭載

制御ドメイン

PCIeバス#0


・・・

SAS

USB

USB

USB


内蔵LANポート（#0～#3）

I/Oルートドメイン1 I/Oルートドメイン3I/Oルートドメイン2

PCIeバス#1




PCIeバス#2





PCIeバス#3





メモリ6GB

CPU2core メモリ

30GB

CPU6core メモリ

40GB

CPU8core メモリ

40GB

CPU8core


パターン3. 応用パターン（基本＋独立性重視）

基本パターンと独立性重視パターンを併用して、設計することも可能です。

仮想化構成概要ゲストドメイン

• WebサーバやAPサーバなどの柔軟なスケールアップ（リソース変更）やスケールアウト（ドメイン追加）を

必要とするシステムは柔軟性の高いゲストドメインに構築しています。


• DBサーバなどの信頼性・I/O性能を重視するシステムは、

他ドメインの影響を受けにくく、独立性に優れたI/Oルートドメインに構築しています。



仮想ディスク

仮想LAN

業務A

HDD HDD HDD ・・・

物理ディスク

NIC NIC NIC ・・・

物理ネットワークデバイス

仮想サービス（仮想ディスクサービス / 仮想スイッチサービス）


仮想ディスク

仮想LAN

業務B


仮想ディスク

仮想LAN

業務C


業務D

NICHDD

物理ディスク/物理NIC


パターン3. 応用パターン～CPU・メモリ・物理I/O～

SPARC M10-4 （4CPUモデル, CPU：64core / メモリ：256GB）を使用

制御ドメインには仮想サービスに必要となるPCIeバスを割り当て

PCIスロット#8, PCIeバス#4は、ゲストドメイン追加用として用意

I/Oルートドメインには業務システム要件を満たす、PCIeバスを割り当て

制御ドメイン



PCIeバス#0


・・・

SAS

USB

USB

USB


内蔵LANポート

（#0～#1）

PCIeバス#1

PCIeバス#2

PCIeバス#4

内蔵LANポート

（#2～#3）

PCIeバス#3

PCIスロット

#8PCIeバス

#5PCIeバス

#6PCIeバス

#7

メモリ32GB

CPU8core

メモリ80GB

CPU24core

メモリ16GB

CPU4core

メモリ40GB

CPU8core

メモリ40GB

CPU8core









PCIスロット

#1

0

PCIスロット

#6


パターン3. 応用パターン～仮想ネットワーク～


NIC0 NIC1

vsw0

NIC4 NIC5内蔵LAN（#0～#1）

増設LANカード


vnet0 vnet2

vsw2_0

vnet0vnet1_1

vnet1_0

管理LAN

vnet0

vsw1_0

業務LAN（外部）

※仮想I/Oに使用しない物理LANポートは省略しています。

NIC8 NIC9

増設LANカード


vnet2

vsw2_1vsw1_1

vnet1_1

vnet1_0 vnet2

vsw3

管理LAN（vnet0）は各ゲストドメインで1つの物理LANポートを共有

外部ネットワークとして、ゲストドメインで物理LANポートを占有（vnet1_0, vnet1_1）

2つのLANポートを割り当て、ゲストドメイン上でIPMPによる冗長化

ドメイン間の通信には、内部ネットワーク機能を使用（vnet2）

NICx

IPMP IPMP

業務LAN（内部）


パターン3. 応用パターン～仮想ディスク～



内蔵HDD0

内蔵HDD1

ZFSミラー

MPxIO





MPxIO

FCFC

DISK0 DISK1

システムボリューム

データボリューム

FC FC







DISK1

DISK0

DISK3

DISK2

DISK5

DISK4

制御ドメイン, ゲストドメインはパターン1. の構成例と同様

制御ドメインの起動ディスクは内蔵ディスク, 仮想ディスクは外部ストレージのLUNを使用

I/Oルートドメインは外部ストレージによるSAN Boot 構成


5. ライブマイグレーション

Oracle VM には起動中の仮想環境を他のサーバへ移動させる、ライブマイグレーション機能を備えております。本章ではライブマイグレーションを使用するための設計指針と留意事項を解説します。


ライブマイグレーションの概要


業務A



業務B


業務D


Livemigration

ライブマイグレーションにより、ゲストドメインの業務・アプリケーションを動作させたまま、他のサーバへ移動させることができます。

ゲストドメインのリソース（CPU・メモリ・仮想I/O）はそのままで移動します。ライブマイグレーションは主に以下の用途で、使用することができます。

・業務システム稼動中のサーバの保守・メンテナンス・ハードウェアリソースの最適化（CPU・メモリリソースが余っているサーバへゲストドメインを移動させる、など）

移行元サーバ移行先サーバ


業務C


業務C


留意事項

ライブマイグレーションは「クラスタ」に該当する機能ではありません。ライブマイグレーションは「移行元サーバの制御ドメイン」で実行させる機能です。

そのため、サーバ全体もしくは制御ドメインに障害が発生した場合は、ライブマイグレーションが実行できません。

ライブマイグレーションは「ゲストドメイン」に対する機能です。ドメインに割り当てるI/Oは、全て「仮想I/O」にする必要があります。

SPARC M10 の CPUコアアクティベーション機能との併用は、以下の資料をご参照ください。一時的にゲストドメインのCPUリソースを減らすことで、

CPUコアアクティベーションも移行先のサーバへ移動させることができます。• ご参考： Technical Park 「ビジネスの変化にスピーディに対応するSPARC M10」

http://jp.fujitsu.com/platform/server/sparc/technical/document/#server-resource

予め各ミドルウェアのライセンス形態をご確認ください。移行元サーバと移行先サーバの両方のライセンス費用が必要となるミドルウェアもあります。

仮想コンソールのポート番号が変わることがあります。ライブマイグレーションされたゲストドメインには自動で仮想コンソールの再設定が実行されます。そのため、仮想コンソールサービス・ポート番号が変更されることがあります。

http://jp.fujitsu.com/platform/server/sparc/technical/document/#server-resource


設計のポイント（1/4）

移行元サーバ

共有ストレージ装置

移行先サーバDISK


vsw vds

NIC DISK

vdiskvnet


vsw vds

NIC DISK

vdiskvnet

MEMCPU ①

②

③ ③

④

設計のポイントは以下の4つです。（詳細は次ページ以降）

① 移行先サーバでCPU・メモリリソースを確保② 仮想ディスクのバックエンドを共有ストレージに配置③ 同一の仮想I/Oサービスの定義④ 移行先サーバに対応した「cpu-arch」プロパティの設定



① 移行先サーバでCPU・メモリリソースを確保移行先サーバにおける注意事項です。

移行先サーバにゲストドメインのリソースを余らせておく必要があります。 CPUはゲストドメインに割り当てたリソースと同数のCPUコア

（スレッド単位の割り当ての場合はCPUスレッド）を余らせておきます。

メモリはゲストドメインと同容量以上のメモリを余らせておきます。さらに、同じ構成のメモリーブロックを作成するための十分な空き容量が必要です。詳細はオラクル社のマニュアル「 Oracle VM Server for SPARC 3.1 管理ガイド」を参照してください。

② 仮想ディスクのバックエンドを共有ストレージに配置移行元サーバ・移行先サーバの両方における注意事項です。

移行元サーバと移行先サーバの両方の制御ドメイン（サービスドメイン）に、共有ストレージのディスクを認識させておきます。 FC接続のストレージ装置を使用するのが一般的です。

バックエンドにはディスク（LUN）を指定します。



③ 同一の仮想I/Oサービスの定義移行元サーバ・移行先サーバの両方における、サービスドメインの注意事項です。

移行元サーバと移行先サーバで、以下の名称を一致させておく必要があります。仮想スイッチ（vsw）

仮想ディスクサービス（vds）

仮想ディスクボリューム（vol）（※）

仮想ディスクは、同一のバックエンド（ディスク）を同一のvds, volに登録します。

制御ドメイン


vsw0

vds

DISK0

vdisk0vnet0

NIC0 NIC1

vsw1

DISK1

vol0 vol1

NIC2

vsw2

vnet1vdisk1

制御ドメイン

vds

DISK0NIC5 NIC6 DISK1

vol0 vol1

移行元サーバ移行先サーバ

vsw0 vsw1

vsw,vds,vol の名称を一致

ゲストドメインが使用していない仮想I/Oサービスは移行先に用意する必要はありません物理LANポートの位置・デバイス名は、

同一にする必要はありません

※仮想ディスクボリューム（vol）仮想ディスクのバックエンドをvdsに登録する際の定義名です。



④ 移行先サーバに対応した「cpu-arch」プロパティの設定移行するゲストドメインの注意事項です。

通常、ライブマイグレーションは「CPUが同じ名称・同じタイプのサーバ間」で実行します。

ただし、ゲストドメインに「cpu-arch」パラメータを設定することで、CPUが異なるサーバにおいてもライブマイグレーションが可能となります。以下の3種類のパラメータを設定することができます。

cpu-arch の設定を変更するためには、一度ゲストドメインを停止させる必要があるため、予め適切なパラメータでゲストドメインを起動させておく必要があります。

native

ライブマイグレーション対象

CPUが同タイプのサーバ（※）

CPU機能

CPU固有の機能・命令セットを

全て使用可能

sparc64-class1


SPARC M10サーバ

CPU機能

SPARC64 Xの機能・命令を使用（SPARC64 X+ 固有のものは不可）

generic


全てのSPARCサーバ

CPU機能

全てのCPUで使用できる機能・命令のみを使用

M10（SPARC 64X+）

M10（SPARC 64X+）

M10（SPARC 64X）

M10（SPARC 64X+）

M10（SPARC 64X+）

T4

M10（SPARC 64X+）

M10（SPARC 64X）

※SPARC M10 には、SPARC64 X と SPARC64 X+ のいずれかのCPUが搭載されています。同じCPUが搭載されたモデル同士であれば、SPARC M10-1とSPARC M10-4などの異なる機種間でライブマイグレーションができます。


技術情報 Technical Park

SPARC/Solarisの構築に役立つドキュメントが満載• ハイパーバイザーベースの仮想化：

Oracle VM Server for SPARC

• Solarisベースの仮想化：Oracle Solaris ゾーン

• 最新ファイルシステム：ZFS（Zetta-byte File System）

• Solaris 8/9環境をそのままSolaris 10へ：Oracle Solaris Legacy Containers

など

今すぐクリック!! http://www.fujitsu.com/jp/sparc-technical/

http://jp.fujitsu.com/platform/server/sparc/technical/


改版履歴

版数更新日時更新内容

初版 2014年12月新規作成

1.1版 2016年6月仮想ディスクのバックエンドデバイスの設計方針を更新

53


商標について

使用条件著作権・商標権・その他の知的財産権についてコンテンツ（文書・画像・音声等）は、著作権・商標権・その他の知的財産権で保護されています。本コンテンツは、個人的に使用する範囲でプリントアウトまたはダウンロードできます。ただし、これ以外の利用（ご自分のページへの再利用や他のサーバへのアップロード等）については、当社または権利者の許諾が必要となります。

保証の制限本コンテンツについて、当社は、その正確性、商品性、ご利用目的への適合性等に関して保証するものではなく、そのご利用により生じた損害について、当社は法律上のいかなる責任も負いかねます。本コンテンツは、予告なく変更・廃止されることがあります。

商標

UNIXは、米国およびその他の国におけるオープン・グループの登録商標です。

SPARC Enterprise、SPARC64、SPARC64ロゴおよびすべてのSPARC商標は、米国SPARC International, Inc.のライセンスを受けて使用している、同社の米国およびその他の国における商標または登録商標です。

OracleとJavaは、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商標です。

その他各種製品名は、各社の製品名称、商標または登録商標です。


Documents

SPARC M10 / Oracle VM Server for SPARC設計のポイント