PRIMECLUSTER Wizard for NAS - 富士通のソフト …software.fujitsu.com/jp/manual/manualfiles/M050000/J1S...PRIMECLUSTER Wizard for NAS 導入運用手引書目次 PRIMECLUSTER

PRIMECLUSTER Wizard for NAS

PRIMECLUSTER™ Wizard for NAS 導入運用手引書 4.1

for Solaris™ Operating Environment

2004年12月版

PRIMECLUSTER Wizard for NAS 導入運用手引書

はじめに

本書の目的本書は、PRIMECLUSTER Wizard for NASの導入から運用までの流れを説明したものです。

本書の読者本書は、PRIMECLUSTERシステムの設計、構築、または運用管理を行う、システムエンジニアやシ

ステム管理者を対象にしており、PRIMECLUSTERおよびNetApp Filer(ETERNUS NR1000F series)の

知識を有していることを前提にしています。

本書について本書は、6章と付録で構成されています。各章の内容を以下に示します。

● 第1章機能概要

● 第2章環境設定

● 第3章運用

● 第4章コマンド

● 第5章留意事項

● 第6章メッセージ一覧

● 付録A GLSの設定方法

● 付録B NASクラスタ自動takeover機能のチューニング方法

本書の表記について本書中の表記方法は以下のとおりです。

注意する項目について説明します。

参考となる内容を説明します。

例題を用いて説明します。

商標について Sun、Sun Microsystems、Sunロゴ、Solaris およびすべてのSolarisに関連する商標及びロゴは、

米国およびその他の国における米国Sun Microsystems, Inc.の商標または登録商標であり、同

社のライセンスを受けて使用しています。

NetAppは、米国、およびその他の国におけるNetwork Appliance Inc.の登録商標です。

その他記載された社名および各種製品名は、識別のためにのみ掲載されており、一般に各社の製

品名称、商標または登録商標です。

お願い・本書を無断で他に転載しないようお願いします。

・本書は予告なしに変更されることがあります。

All Rights Reserved, Copyright(C) FUJITSU LIMITED 2003-2004

2


目次

PRIMECLUSTER Wizard for NAS........................................................................ 1 第1章機能概要................................................................................... 4 1.1 機能概要................................................................................... 5 1.2 動作環境................................................................................... 6

第2章環境設定................................................................................... 8 2.1 環境設定手順............................................................................... 9 2.2 PRIMECLUSTERのインストール/設定........................................................... 10 2.3 NAS装置の設定............................................................................. 11 2.4 userApplication,Netappリソースの作成..................................................... 12 2.4.1 /etc/vfstabの設定................................................................... 12 2.4.2 userApplicationの設定............................................................... 13 2.4.3 Netappリソースの設定................................................................ 16 2.4.4 RemoteFileSystemsリソースの設定..................................................... 21 2.4.5 その他のリソースの追加.............................................................. 23 2.4.6 userApplicationの作成(スケーラブル構成)............................................. 23 2.4.7 設定の反映.......................................................................... 24 2.4.8 userApplicationの動作確認........................................................... 25

2.5 各種アプリケーションの設定................................................................ 26 2.6 アプリケーション用リソースの作成/設定..................................................... 27 2.6.1 Online／Offlineスクリプトの作成..................................................... 27 2.6.2 userApplicationの設定............................................................... 29 2.6.3 userApplicationの動作確認........................................................... 33

第3章運用...................................................................................... 34 3.1 Netappリソース起動/停止時のスクリプトの設定............................................... 35 3.2 切替え発生時の問題解決.................................................................... 36 3.3 トラブル調査情報の採取.................................................................... 38 3.4 自動takeover発生後の復旧手順.............................................................. 39

第4章コマンド.................................................................................. 40 4.1 hvnasdisable - リソース監視の中断......................................................... 41 4.2 hvnasenable - リソース監視の再開.......................................................... 42

第5章留意事項.................................................................................. 43 第6章エラーメッセージ一覧...................................................................... 44 付録A GLSの設定方法............................................................................. 47 A.1 NIC切替え方式による構成................................................................... 47 A.1.1 NAS装置の設定....................................................................... 47 A.1.2 GLS(NIC切替え)の設定................................................................ 48 A.1.3 Gls Wizardによる設定................................................................ 48

A.2 マルチリンクイーサネット方式による構成.................................................... 49 A.2.1 NAS装置の設定....................................................................... 49 A.2.2 GLS(マルチリンクイーサネット)の設定................................................. 50 A.2.3 Gls Wizardによる設定................................................................ 51

付録B NASクラスタ自動takeover機能のチューニング方法............................................. 52

3


第1章機能概要

4


1.1 機能概要

本製品は、PRIMECLUSTER上で NAS装置のクラスタ運用を行うためのソフトウェア製品です。

PRIMECLUSTER 上で NetApp Filer(ETERNUS NR1000F series)を用いたスタンバイ運用(コールド

スタンバイ)や、Oracle9i Real Application Clusters等を用いたスケーラブル運用（以後、ス

ケーラブル運用と記載します）を行うことができます。

以後、NetApp Filer(ETERNUS NR1000F series)をNAS装置と記載します。

モジュール構成 PRIMECLUSTER 上で NAS装置の運用を行うための以下のモジュールで構成されています。

環境設定 Wizard PRIMECLUSTER 上で NAS装置の運用を行うための環境設定ツール

Detector スケーラブル動作時に NAS装置のファイルロックを解除する

NASクラスタ自動takeover監視を行う(オプション)

Scripts NAS装置のexport制御、ファイルロックの解除をする

環境設定 PRIMECLUSTER RMS の環境設定において、userApplication を作成する “Netapp” Wizardおよ

び"NETAPP" turnkey wizardを提供します。

スケーラブル動作時のファイルロック解除 NAS 装置に接続された各クラスタノードの状態を監視し、あるノードで異常が発生した場合には、

そのノードが保持していたファイルロックを他の正常動作しているノードから解除します。

起動・停止制御 NAS装置のボリュームを userApplication の状態遷移に従って、自動的にexport/unexport制御

します。また、スタンバイ運用時には、起動時に旧運用ノードが保持していたファイルロックを

解除します。

NASクラスタをPRIMECLUSTERから制御する機能(NASクラスタの自動takeover機能) 2台のNAS装置によるコントローラの2重化を行うNASクラスタ構成において、クラスタノード–

NAS装置間の通信経路異常などによりデータアクセスができない場合でも、NASクラスタのフェイ

ルオーバを行い業務を継続することができます。

(NASクラスタはNAS装置内のコントローラ故障時にはフェイルオーバしますが、NAS装置への通信

経路の異常ではフェイルオーバしません。)

以後、“NASクラスタをPRIMECLUSTERから制御する機能“を“NASクラスタの自動takeover機能”

と記載いたします。

NASクラスタの自動takeover機能によるtakeover発生後の復旧手順は、”3.4 自動

takeover発生後の復旧手順”を参照してください。

5


1.2 動作環境

スケーラブル運用

スケーラブル運用では、NAS装置を全ノードで同時に使用します。ファイルロックは全ノードで

共有されます。

6


スタンバイ運用

スタンバイ運用では、運用ノードと待機ノードが存在します。NAS装置は運用ノードでのみ接続

が活性化され、待機ノードでは、非活性化されています。異常発生時には、待機ノードへの業務

の切替えが発生し、待機ノードでNAS装置上の運用ノードのロックを解放した後、接続が活性化

されます。

7


第2章環境設定

8


2.1 環境設定手順

以下に、一般的な環境設定手順を示します。

スケーラブル／スタンバイ運用

概要項番

初のノードその他のノード

1 PRIMECLUSTERのインストール/設定 PRIMECLUSTERのインストール/設定

2 本製品のインストール本製品のインストール

3 NAS装置の設定

4 userApplication,Netappリソースの作

成

5 各種アプリケーションの設定各種アプリケーションの設定

6 アプリケーション用リソースの作成

以後、各手順の説明を行います。

9


2.2 PRIMECLUSTERのインストール/設定

● ハードウェアの設定

PRIMECLUSTER に必要なハードウェアの設定を行います。

● ソフトウェアのインストール

PRIMECLUSTER のインストールガイドに従って、インストールを行ってください。

スケーラブル運用の場合は以下の製品が必要になります。

PRIMECLUSTER Enterprise Edition

スタンバイ運用の場合は以下の製品が必要になります。

PRIMECLUSTER Enterprise Edition または、

PRIMECLUSTER HA Server または

PRIMECLUSTER Clustering Base

本製品をインストールします。本製品のインストールガイドに従って、インストールを

行ってください。

● クラスタの設定

PRIMECLUSTER のマニュアルに従って、クラスタの設定を行ってください。ネットワーク

等の設定も行ってください。

10


2.3 NAS装置の設定

NAS装置の設定について説明します。

初期設定 NAS装置のマニュアルに従い、初期設定(ネットワーク設定、RAID設定等)を行ってください。

ボリューム作成 NAS装置のマニュアルに従い、ボリュームまたはqtreeの作成を行ってください。作成したボリュ

ームまたはqtreeは本製品の環境設定時に入力する必要があります。

ホスト設定 NAS装置でDNSを使用する場合はDNSにNAS装置を使用するクラスタノードのホスト名とIPアドレ

スを登録してください。DNSを使用しない場合は、以下の方法でNAS装置にホスト名とIPアドレス

を登録してください。

1. NAS装置の/vol/vol0ボリュームをNAS装置に設定した管理サーバでマウントします。

2. (上記でマウントしたマウントポイント)/etc/hostsファイルにNAS装置を使用するクラス

タノードのホスト名とIPアドレスを登録します。

同様に、NAS装置のホスト名をDNSあるいはNAS装置を使用するクラスタノードの/etc/inet/hosts

に登録してください。

DNSあるいはNAS装置の/etc/hostsファイルに指定するホスト名は、クラスタノードのホス

ト名と一致させてください。もし異なる場合、正常にロック制御できない場合があります。

rsh設定本製品はNAS装置の制御にrshを使用します。そのため、NAS装置でrshを使用できるように以下の

手順で設定します。

1. telnetでNAS装置に接続します。

2. 以下のコマンドを実行し、NAS装置を使用するノードからrshを使用できるように設定しま

す。

options rsh.access host=ホスト名1,ホスト名2,...


4. (上記でマウントしたマウントポイント)/etc/hosts.equivファイルにNAS装置を使用する

クラスタノードのホスト名を登録します。

exportfs設定以下の手順で、exportfsの設定をする必要があります。


2. (上記でマウントしたマウントポイント)/etc/exportsファイルに、使用するNAS装置上の

ボリューム名またはqtree名を登録します。

11


2.4 userApplication,Netappリソースの作成

2.4.1 /etc/vfstabの設定

NAS装置のボリュームまたはqtreeのマウント設定を/etc/vfstabに行います。

/etc/vfstabには以下のように設定を記載します。

#RMS# NAS装置のホスト名:NAS装置のボリューム名またはqtree名 - マウントポイント

nfs - no オプション

● スタンバイ構成の場合、オプションには以下を指定することを推奨します。

rw,bg,hard,intr,proto=tcp,forcedirectio,vers=3

● スケーラブル構成の場合、オプションには以下を指定することを推奨します。

rw,bg,hard,intr,proto=tcp,forcedirectio,noac,vers=3

#RMS#netapp:/vol/vol1 - /NAS nfs - no rw,bg,hard,intr,proto=tcp,forcedirectio,n

oac,vers=3

#RMS#netapp:/vol/vol2/data /DATA nfs rw,hard,bg,nointr,rsize=32768,wsize=32768,

tcp,nfsvers=3 0 0

● NAS装置のホスト名はDNSに登録されている、あるいは/etc/inet/hostsに登録されている

ものを指定して下さい。IPアドレスで指定するとロック制御が正常に動作しないことがあ

ります。

● /etc/vfstabに指定するマウントポイントの配下には、ディレクトリを作成しないで下さ

い。ディレクトリがあるとPRIMECLUSTERでのマウント制御が正常に行えません。

12


2.4.2 userApplicationの設定

userApplication の作成と、Netappリソースの設定を行います。NAS装置を使用する場合、CUI の

hvw コマンド(RMS Configuration Wizard) を使用して設定を行います。※GUI のuserApplication

Configuration Wizardは使用できません。

userApplicationの作成についての詳細は「PRIMECLUSTER 導入運用手引書」を参照してく

ださい。

● スケーラブル運用の場合

スケーラブル運用では userApplication は以下のように構成されます。

● スタンバイ運用の場合

スタンバイ運用では userApplication は以下のように構成されます。

13


RMS Configuration Wizardの起動 CUIでの環境設定ツールであるRMS Configuration Wizardを起動します。RMS Configuration

Wizardを起動する場合は、以下のコマンドを任意の1ノードで実行します。

hvw -n <定義名>

hvwコマンドで指定する定義名は任意です。

userApplicationの作成 1. RMS Configuration Wizardを起動すると以下のようなメニューが表示されます。

userApplicationを作成するためにApplication-Createを選択します。

2. 次にturnkey wizardの選択メニューが表示されますのでNETAPPを選択します。

3. Machines+Basicsを選択します。

4. Machines+Basics wizardが表示されます。

14


5. クラスタアプリケーションの構成に応じて設定を行ってください。

設定の推奨値を以下に示します。

スケーラブル運用の場合

AutoSwitchOver = no

PersistentFault = 1

HaltFlag=Yes

スタンバイ運用の場合

AdditionalMachineで待機ノードの追加を行う(必須)

AutoSwitchOver = HostFailure|ResourceFailure|ShutDown

PersistentFault = 1

HaltFlag=Yes

6. 設定が完了したら、SAVE+EXITで保存します。

15


2.4.3 Netappリソースの設定

1. NETAPP turnkey wizardに戻りますので、Netappリソースの設定のため、NetAppを選択します。

2. Netapp wizardが表示されますので、AdditionalNetAppFilerを選択します。

3. 以下のように指定メニューが表示されますので、FREECHOICEを選択し、NAS装置のホスト名を入力し

ます

4. NAS装置毎のメニューが表示されますので、AdditionalExportpointを選択します。

5. ExportPointの指定メニューが表示されますので、FREECHOICEを選択し、exportするボリュー

ムを入力します。

16


6. NAS装置毎にメニューが表示されます。exportするボリュームが更にある場合は、

AdditionalExportpointを選択し、追加します。また、このメニューから以下の設定を行うこと

が可能です。

UnLockFlag

常時NAS装置のUnlock処理を実行するか否かを選択します。Alwaysが指定された場合は、

Netappリソースに異常が発生した際に、常にUnlock処理を実行します。Nodedownが指定さ

れた場合は、NetAppリソースを持つノードがダウンした際にのみUnlock処理を実行します。

デフォルト always (always,nodedown)

ScriptTimeout

オンライン／オフライン処理の開始からのタイムアウト時間を指定します。通常は変更の

必要はありません。

デフォルト 300s (10s-31536000s)

UnexportFlag

HA構成の場合でのオフライン処理時にUnexport処理を実行するか否か選択します。yesが

指定された場合、オフライン処理時にUnexport処理を実行します。noが指定された場合、

Unexport処理は実行されません。なお、RAC構成では本オプションの値にかかわらず

Unexport処理は実行されません。

デフォルト no (yes,no)

7. 設定を完了する時は、SAVE+EXITを選択します。

Netapp Wizardに戻りますので、更にNAS装置を追加する場合はAdditionalNetAppFilerを

選択してください。

8. Netappリソースの起動／停止に連動して動作させるスクリプトの設定を行います。不要の

場合は次の設定に進んでください。

17


PreOnlineScript

オンライン処理の前に実行されるスクリプトを設定します。

PostOnlineScript

オンライン処理の後に実行させるスクリプトを設定します。

PreOfflineScript

オフライン処理の前に実行されるスクリプトを設定します。

PostOfflineScript

オフライン処理の後に実行されるスクリプトを設定します。

FaultScript

Fault 発生時に実行されるスクリプトを設定します。

9. 次に、NASクラスタの自動takeover機能の設定を行います。NAS装置をクラスタ(2台)構成

で使用する場合、NAS装置との通信異常を検出した場合に、NASクラスタのtakeover (cf

takeover)をPRIMECLUSTERから実行することができるようになります。

NASクラスタの監視を行うために NetappClusterFlag=no を選択します。

NetappClusterFlag

NASクラスタの自動takeover機能を設定します。

デフォルト no (yes,no)

デフォルトは no です。NAS装置のクラスタ構成であっても、NASクラスタの

自動takeover機能を行わない場合は、no に設定してください。

10. yes を選択します。

18


11. 各設定を行います。

NetappClusterDeviceName

監視を行うNAS装置名（ホスト名）を指定します。

2台のNAS装置名を":"で区切り指定してください。

例) netapp:netapp2

NetappClusterPingCount

pingコマンドの実行回数を指定します。

デフォルト 10 (1-60)

NetappClusterPingTimeout

pingコマンド実行開始からのタイムアウト時間を指定します。

デフォルト 5s (1s-300s)

NetappClusterPingInterval

pingコマンドの実行間隔を指定します。

デフォルト 5s (1s-300s)

NAS装置の監視はpingコマンドで行います。pingコマンドの実行回数／タイ

ムアウト時間／実行間隔は、デフォルトのまま使用することを推奨します。

pingコマンドのパラメタについては、” 付録B－ NASクラスタ自動takeover

機能のチューニング方法”を参照してください。

12. 設定を完了するときは、SAVE+EXITを選択します。

19


20


2.4.4 RemoteFileSystemsリソースの設定

1. NAS 装置のボリュームのマウントを設定するために、 NETAPP turnkey wizard から

RemoteFileSystemsを選択します。

2. RemoteFileSystems wizardが表示されますので、AdditionalMountPointを選択します。

3. mountポイントの指定メニューが表示されます。/etc/vfstabに指定したマウントポイント

が表示されますので、表示されたものから選択するか、FREECHOICEで手動入力します。

マウントポイントを指定すると、マウントポイント別の設定メニューが表示されます。

このメニューでは以下の項目以外の変更は行わないでください。

AUTORECOVER

マウントの自動復旧を行うかを選択します。AUTORECOVERが設定された場合、マウントが

解除されると自動的に再マウントを行います。

21


4. 設定を完了する時は、SAVE+EXITを選択します。

5. RemoteFileSystems wizardに戻りますので、Timeout、ServerTimeoutの値を300に変更し

てください。さらにマウントポイントを追加する時はAdditionalMountPointを、設定を完

了する時はSAVE+EXITを選択します。

22


2.4.5 その他のリソースの追加

1. RemoteFileSystemsリソースの設定が終わりますと、NETAPP turnkey wizardに戻ります。

これまでに設定したリソース以外に必要なリソースがある場合は、リソースの追加を行います。

2. 設定が完了した時は、SAVE+EXITを選択します。

GLSを使用する場合の設定方法は” 付録A GLSの設定方法 ”を参照してください。

PRIMECLUSTER Wizard for Oracleの設定は"2.5 各種アプリケーションの設定"で行います。

2.4.6 userApplicationの作成(スケーラブル構成)

NETAPP turnkey wizardによる設定が完了すると、RMS Configuration Wizardに戻ります。

スケーラブル構成の場合は、全ノード分のuserApplicationの作成を行うほかに、制御用の

userApplication(app3)を作成する必要があります。

1. 全てのノード分のuserApplicaitonを2.4.2～2.4.5に従って作成してください。

2. 制御用のuserApplication(app3)を作成し、1.で作成したuserApplicationの登録を行いま

す。

制御用userApplicationの作成方法については、"PRIMECLUSTER 導入運用手引書" の

"6.7.2.2 スケーラブル運用のクラスタアプリケーション作成" を参照してください。

23


2.4.7 設定の反映

1. 全ての設定を作成後、環境設定ファイルを作成するために、Configuration-Generateを選択します。

2. Configuration-Generateが完了しましたら、環境設定ファイルをクラスタノードに反映させるため、

Configuration-Activateを選択します。

3. Configuration-Activateが完了しましたらQUITを選択し、RMS Configuration Wizardを終了します。

24


2.4.8 userApplicationの動作確認

userApplication を起動し、動作確認を行います。全てのノードで userApplication が正しく

動作しているか確認を行ってください。

● NAS装置

運用中のノードでNAS装置のボリュームがマウントされているか確認してください。また、

ファイルの読み書きが可能かを確認してください。

正常に動作しない場合は、"3.2 切替え発生時の問題解決"を参照し、問題を解決してください。

25


2.5 各種アプリケーションの設定

PRIMECLUSTER上で動作させるアプリケーションのインストールおよび設定を行います。

● アプリケーションデータの配置

アプリケーションデータはNAS装置上に作成します。NAS装置がマウントされ、アクセスで

きる状態で行う必要があります。

アプリケーションデータの作成は任意の１ノードからのみ行い、その他のノードでは、作

成したNAS装置上のアプリケーションデータを使用する設定を行います。

アプリケーションの設定は各種アプリケーションの説明書を参照してください。

PRIMECLUSTER Wizard for Oracleを使用する場合は、「PRIMECLUSTER Wizard for Oracle 導

入運用手引書」を参照してください。

26


2.6 アプリケーション用リソースの作成/設定

"2.4 userApplication,Netappリソースの作成"で作成した userApplication にアプリケーショ

ン用のリソースを登録します。アプリケーション用のリソースは全てCUIで設定します。

Oracleのリソースを設定する場合は、「PRIMECLUSTER Wizard for Oracle 導入運用手引書」

の"付録A CUIによる設定方法"を参照してください。

PRIMECLUSTER Wizard for Oracleを使用する場合は、以下の作業は不要です。

以降で、Cmdlineリソースを使用する場合の設定方法を記載します。

2.6.1 Online／Offlineスクリプトの作成

アプリケーションの起動／停止を制御するためのOnline／Offlineスクリプトを作成します。

Onlineスクリプトにはアプリケーションを起動する処理を、Offlineスクリプトにはアプリケー

ションの停止／異常状態のクリアをする処理を作成します。

それぞれのスクリプトを作成する際の留意事項は以下のとおりです。

● Onlineスクリプト

Onlineスクリプトはrootユーザで実行されます。

● Offlineスクリプト

Offlineスクリプトはrootユーザで実行されます。

異常状態のクリア時にもOfflineスクリプトが実行されます。それを考慮してOfflineスク

リプトを作成する必要があります。（例：既にアプリケーションが停止している状態で、

異常状態のクリアのために停止スクリプトが呼ばれた場合、既に停止している状態をエラ

ーとすると異常状態が解除できなくなります。）

27


Online/Offlineスクリプトについては、「PRIMECLUSTER導入運用手引書」の「6.5

Online/Offlineスクリプトの設定」を参照してください。

28


2.6.2 userApplicationの設定

RMS Configuration Wizardの起動 RMS Configuration Wizardを起動して、userApplicationの設定を行います。

hvwコマンドに指定する定義名は2.4.2で指定した定義名と同じにします。

userApplicationの編集 1. トップメニューが表示されますので、Application-Editを選択します。

2. userApplicationの一覧が表示されますので、編集するuserApplicationを選択します。

3. NETAPP turnkey wizardが表示されますので、CommandLinesを選択します。

4. CommandLines wizardが表示されますので、Additional Start Commandを選択し、表示される選択肢か

らFREECHOICEを選択して、2.6.1で作成した起動スクリプトを指定します。

29


5. CommandLines wizardに戻りますので、Stop Command[0]を選択し、表示される選択肢からFREECHOICE

を選択して、2.6.1で作成した停止スクリプトを指定します。

6. CommandLines wizardに戻りますので、複数アプリケーションがある場合は、Additional Start Command

で追加します。全ての設定が完了した時は、SAVE+EXITを選択します。

7. NETAPP turnkey wizardに戻りますので、他に必要な設定がありましたら、設定を行います。全ての

設定が完了しましたら、SAVE+EXITを選択します。

30


8. userApplication の一覧に戻りますので、別の userApplication を設定する場合はその

userApplicationを、全ての設定が完了している時はRETURNを選択します。

9. RMS Configuration Wizardに戻りますので、Configuration-Generate、Configuration-Activateを選

択し、設定を反映させます。それらが完了しましたら、QUITを選択します。

31


● スケーラブル運用の場合

スケーラブル運用では userApplication は以下のように構成されます。

● スタンバイ運用の場合

スタンバイ運用では userApplication は以下のように構成されます。

32


2.6.3 userApplicationの動作確認

userApplicationを起動し、動作確認を行います。全てのノードで userApplication が正しく動

作しているか確認を行ってください。

● NAS装置

運用中のノードでNAS装置のボリュームがマウントされていること、および読み書きでき

ることを確認してください。

● 論理IPアドレス

論理IPアドレスを設定している場合、クライアントマシンから、論理IPアドレスを使用し

て運用ノードにアクセスできるか確認してください。(論理IPアドレスを使用している場

合のみ)

● アプリケーション

アプリケーションが正常に起動，停止できるか確認してください。

正常に動作しない場合は、"3.2 切替え発生時の問題解決"を参照し、問題を解決してください。

33


第3章運用

34


3.1 Netappリソース起動/停止時のスクリプトの設

定

PRIMECLUSTERにおいては、各リソースの起動・停止をスクリプトファイルにて行っています。

PRIMECLUSTER Wizard for NASにおいても、Netappリソースの起動・停止をスクリプトで実現し

ています。この起動・停止に連動して動作するスクリプトを設定することにより、Netappリソー

スの起動・停止に連動してアプリケーションやバッチ処理を実行することができます。

スクリプト ● PreOnlineScript

Online処理の前に実行されます。

● PostOnlineScript

Online処理の後に実行されます。

● PreOfflineScript

Offline処理の前に実行されます。

● PostOfflineScript

Offline処理の後に実行されます。

● FaultScript

Fault発生時に実行されます。

留意事項 ● root権限で実行されます。

● exit コード 0 で正常終了です。0以外の場合は異常終了となり、切替え処理が異常とな

ります。

● スクリプトの実行時間がScriptTimeoutを超えると異常終了となり、切替え処理が異常と

なります。

● 各スクリプトには、RMSで定義された環境変数が設定されています。

各スクリプトの詳細は ”PRIMECLUSTER RMS 導入運用手引書” の “2.6.3 スクリプト”

などを参照してください。

35


3.2 切替え発生時の問題解決

本製品ではNAS装置の異常監視は行っていません。NAS装置の異常が発生した場合は、

RemoteFileSystems(ネットワークまたはNAS装置自体の異常を検知)あるいはGLSリソース(ネッ

トワークの異常を検知)による異常検知により切替えが発生します。またWizard製品を用いてい

る場合は、Wizard製品によって異常を検知し、切替えが発生する場合もあります。もし切替えが

発生した場合は、以下の点を確認し、問題を解決してください。

アプリケーションのログ PRIMECLUSTER で運用しているアプリケーションで問題が発生した場合は、アプリケーションの

ログを確認し、問題を解決してください。

本製品のログ本製品では、動作とエラーメッセージを以下のログファイルに出力しています。ログに出力され

るエラーメッセージに関しては"第6章エラーメッセージ一覧"を参照してください。

/var/opt/reliant/log/FJSVclnas_<リソース名>.log

ログファイルのフォーマットは以下の通りです。

日付時間/コマンド名/区分/ID/テキスト

2004/10/23 16:22:14 FJSVclnas [Info] [0101] Online(HA)

2004/10/23 16:22:14 FJSVclnas [Info] [0102] Unlock locks which peach

had on NetApp Filer(Netapp1)

2004/10/23 16:22:14 FJSVclnas [Info] [0104] Export /vol/vol1/home1 on

NetApp Filer(Netapp1)

● 日付時間

YYYY/MM/DD HH:MM:SS の形式で出力します。

● 区分

ログの区分を示します（Information、Error、Warning）。

● ID

メッセージ番号を示します。

● テキスト

メッセージの内容を示します。

ログファイルの容量制限は行っていません。ログファイルの管理は、RMS によるログファ

イル管理機能によって行われます。

ログファイルはトラブル発生時の調査のための重要な資料となります。これらのファイル

を削除したり編集したりしないでください。

36


RemoteFileSystemsのログネットワーク障害やNAS装置に障害が発生した場合、RemoteFileSystemsリソースが異常状態にな

ります。この場合、RemoteFileSystemsのログ(/var/opt/reliant/log/hvdet_nfs*)を確認し、問

題を解決してください。

GLSのログ NAS装置への接続にGLSを使用し、ネットワーク障害が発生した場合、GLSリソースが異常状態に

なります。この場合、GLSのログを確認し、問題を解決してください。

詳細は「PRIMECLUSTER Global Link Services 導入運用手引書(伝送路二重化機能編)」も

しくは「PRIMECLUSTER Global Link Services 説明書(マルチパス機能編)」を参照してく

ださい。

37


3.3 トラブル調査情報の採取

以下の情報はトラブル発生時に役立ちます。

PRIMECLUSTERの情報 “PRIMECLUSTER 導入運用手引書”を参照してください。

本製品の情報 ● 設定ファイル

/usr/opt/reliant/etc/hvgdconfig

/usr/opt/reliant/build/<定義名>.usfiles/*

● ログファイル

/var/opt/reliant/log/*

上記の本製品調査資料は、PRIMECLUSTER と同様に、fjsnap コマンドを使って収集するこ

とが可能です。fjsnapコマンドはシステム情報ツールで、FJSVsnap 拡張サポート機能パ

ッケージに付属しています。PRIMECLUSTERシステムで障害が発生した場合は、必要なエラ

ー情報を収集して原因を追及することができます。

38


3.4 自動takeover発生後の復旧手順

NASクラスタの自動takeover機能による自動takeover発生後の復旧手順は、以下のとおりになり

ます。

復旧手順 1. 故障したNAS装置を正常に起動させてください。

2. NAS装置上でcf givebackコマンドを実行してください。

3. NAS装置上でcf statusコマンドを実行し、NAS装置が正常なクラスタ状態であることを確

認してください。

4. hvnasenableコマンドを実行し、Netappリソースの監視を再開してください。Netappリソ

ースの状態がWarninngからOnlineになることを確認してください。

● cf giveback

cf givebackコマンドについては、NAS装置のマニュアルを参照してください。

● cf status

cf statusコマンドについては、NAS装置のマニュアルを参照してください。

● hvnasenable

コマンドの詳細は、"4.2 hvnasenable - リソース監視の再開"を参照してください。

39


第4章コマンド

40


4.1 hvnasdisable - リソース監視の中断

実行ユーザスーパユーザ

形式 /opt/FJSVclnas/sbin/hvnasdisable application_name resource_name

/opt/FJSVclnas/sbin/hvnasdisable -a [ application_name ]

機能説明本コマンド実行ノード（ローカルノード）上に存在する指定された Netappリソースの監視を中

断します。NAS装置の保守等を行いたい場合に使用します。userApplication が起動中のときに

使用できます。

userApplication が運用中に使用した場合は、すぐに監視を無効にします。このときリソースの

状態は Warning となり、NAS装置を停止しても、リソースは Warning のままとなります。

（userApplication 運用中に使用する場合、リソースの状態が Warning になったことを確認し

て NAS装置の保守等を行ってください。）

パラメタ application_name resource_name

application_name には、監視中断するリソースが含まれる userApplication 名を指定します。

resource_name には、監視中断する Netappリソース名を指定します。

application_name と resource_name には、ローカルノードに存在するものを指定してください。

-a [ application_name ]

ローカルノード上に存在し、かつ application_name に指定された userApplication に属する

全てのNetappリソースの監視を中断します。

application_name が省略された場合、本コマンドはローカルノード上の全てのNetappリソース

の監視を中断します。

終了ステータス 0 : 正常終了

1 : 異常終了

2 : 異常終了（-aオプション指定時に、いくつかのリソースの監視中断に失敗）

本コマンドは userApplication の状態遷移中は実行しないでください。

41


4.2 hvnasenable - リソース監視の再開

実行ユーザスーパユーザ

形式 /opt/FJSVclnas/sbin/hvnasenable application_name resource_name

/opt/FJSVclonassbin/hvnasenable -a [ application_name ]

機能説明 hvnasdisable によってリソース監視が中断されたローカルノード上の Netappリソースの監視を

再開します。userApplication が起動中のときに使用できます。

userApplication が運用中に使用した場合は、すぐに監視を再開します。そのため、NAS装置が

起動した状態で、本コマンドを実行してください。（この場合、リソースの状態が Warning から

Online になることを確認してください。）

パラメタ application_name resource_name

application_name には、監視再開するリソースが含まれる userApplication 名を指定します。

resource_name には、監視再開するNetappリソース名を指定します。

application_name と resource_name には、ローカルノードに存在するものを指定してください。

-a [ application_name ]

ローカルノード上に存在し、かつ application_name に指定された userApplication に属する

全てのNetappリソースの監視を再開します。

userApplication が省略された場合、本コマンドはローカルノード上に存在する全てのNetappリ

ソースの監視を再開します。

終了ステータス 0 : 正常終了

1 : 異常終了

2 : 異常終了（-aオプション指定時に、いくつかのリソースの監視中断に失敗）

本コマンドは userApplication の状態遷移中は実行しないでください。

42


第5章留意事項

本製品の留意事項について説明します。

留意事項 ● スケーラブル構成でUnLockFlagをalwaysに設定した場合、スプリットブレイン発生時に

Unlock処理が実行されます。この場合、NFSの再ロック処理が実行され、ロックが再設定

されるため動作に影響はありません。但し再ロック処理の際、サーバからの応答を待つ間、

処理が遅くなる場合があります。

● /etc/vfstabにNAS装置のホスト名の代わりにIPアドレスを指定した場合、NFSのロック制

御処理が正常に行われない場合があります。必ずホスト名で指定してください。また、指

定するホスト名はNAS装置に設定したホスト名と同一にしてください。

● NAS装置のhostsファイルにクラスタノードのホスト名を登録する場合、クラスタノードに

設定されているホスト名と同一にしてください。異なっている場合、NFSのロック制御処

理が正常に行われない場合があります。

● 本製品では/tmpに一時的にファイルを作成します。/tmpのアクセス権の不用意な変更、

/tmp上のファイルの不用意な削除、/tmpの空き容量不足ということが無いようにしてくだ

さい。

● NAS装置をクラスタ構成にした場合、takeover／givebackを正常に行うためには、NAS装置

の/etc/exportsファイルに使用するボリュームまたはqtree名を設定しておく必要があり

ます。

● NAS装置をクラスタ構成にした場合、takeover／giveback中にNAS装置が一時的に応答しな

い状態になります。この際にフェイルオーバが発生することを防ぐため、NAS装置をクラ

スタ構成にした場合は、RemoteFileSystemsリソースのServerTimeoutおよびTimeoutの値

を300s程度に延ばしてください。(takeover／giveback にかかる時間は NAS 装置のマニ

ュアル等を参照してください。)

43


第6章エラーメッセージ一覧

本製品がログに出力するエラーメッセージの一覧を以下に示します。

Online/Offlineスクリプトでのエラーメッセージ ● [Error] [0207/0209/0211/0213/0215] Cannot connect to NetApp Filer(NetApp Filer

名) with rsh

[説明]

NAS装置にrshで接続できませんでした。

[処置]

指定されたNAS装置名が正しいか、NAS装置でrshが使用できるように設定されているか、

ネットワークに問題が無いかを確認してください。

● [Error] [0208/0210] Failed to cancel the NFS locking on the NAS storage (Details

ホスト名, NetApp Filer名)

[説明]

ノード（ホスト名）がNAS装置（NetApp Filer名）上に保持しているNFSファイルロックの

解除に失敗しました。

[処置]

このエラーメッセージより前に出力されている[Error] [0205]を参照し、問題を解決して

ください。

● [Error] [0206] Failed to acquire a host name.

[説明]

ホスト名の取得に失敗しました。

[処置]

システム資源(メモリ等)が不足している可能性があります。システム環境を見直してくだ

さい。

● [Error] [0203] exportfs Error Message:メッセージ ,EXIT_CODE:復帰値

[説明]

NAS装置上でexportfsを実行した際にメッセージが出力され、復帰値で復帰しました。

[処置]

メッセージ及び復帰値を確認し、問題を解決してください。

● [Error] [0204] exportfs -u Error Message:メッセージ ,EXIT_CODE:復帰値

[説明]

NAS装置上でexportfs -uを実行した際にメッセージが出力され、復帰値で復帰しました。

[処置]

メッセージ及び復帰値を確認し、問題を解決してください。

● [Error] [0205] unlock Error Message:メッセージ

44


[説明]

NAS装置上でunlockを実行した際にメッセージが出力されました。

[処置]

メッセージを確認し、問題を解決してください。

● [Warn] [0301] exportfs Message: メッセージ

[説明]

NAS装置上でexportfsを実行した際にメッセージが出力されました。

[処置]


● [Warn] [0302] exportfs -u Message: メッセージ

[説明]

NAS装置上でexportfs -uを実行した際にメッセージが出力されました。

[処置]


● [Warn] [0303/0305] Cannot export Exportポイント on NetApp Filer(NetApp Filer名)

[説明]

NAS装置上でExportポイントのexportに失敗しました。

[処置]


ください。

● [Warn] [0304] Cannot unexport Exportポイント on NetApp Filer(NetApp Filer名)

[説明]

NAS装置上でExportポイントのunexportに失敗しました。

[処置]


ください。

Detector（スケーラブル構成）でのエラーメッセージ ● [Error] [1217] Failed to check resources

[説明]

リソースの監視に失敗しました。

[処置]

/tmpのアクセス権に問題が無いか、/tmpに空きがあるか、空きメモリ容量に余裕があるか

を確認してください。

● [Error] [1218] Failed to check nodes

[説明]

ノード状態の監視に失敗しました。

[処置]

/tmpのアクセス権に問題が無いか、/tmpに空きがあるか、空きメモリ容量に余裕があるか

を確認してください。

● [Error] [1205/1207/1209/1210/1211/1213] Cluster nodes cannot be connected to

NetApp Filer (NetApp Filer名) with rsh

[説明]


[処置]

45




● [Error] [1206/1208/1212/1214] Failed to cancel the NFS locking on the NAS storage

(Details ホスト名, NetApp Filer名)

[説明]

ノード（ホスト名）がNAS装置（NetApp Filer名）上に保持しているNFSファイルロックの

解除に失敗しました。

[処置]


ください。

● [Error] [1204] unlock Error Message:メッセージ

[説明]

NAS装置上でunlockを実行した際にメッセージが出力されました。

[処置]


Detector（スタンバイ構成）でのエラーメッセージ ● [Error] [2203/2204] Cluster nodes cannot be connected to NetApp Filer (NetApp Filer

名) with rsh

[説明]


[処置]



46


付録A GLSの設定方法

NAS装置への伝送路の冗長化／高速化を行う場合、GLSのNIC切替え方式／マルチリンクイーサネ

ット方式を使用することができます。この場合の環境設定方法を以下に説明します。

A.1 NIC切替え方式による構成

NIC切替え方式による構成の場合、主に以下のような構成にします。

この構成において以後説明を行います。

A.1.1 NAS装置の設定

NAS装置でネットワークの冗長化を行う場合、複数のインタフェースからsingleで仮想インタフ

ェースを作成する必要があります。singleで仮想インタフェースを作成する場合、NAS装置上で

以下のコマンドを実行する必要があります。

vif create single 仮想インタフェース名インタフェース1,インタフェース2,…

仮想インタフェース名は通常vif0,vif1,vif2,…という名称を指定します。

vif create single vif0 e0,e1

上記のコマンドで仮想インタフェースが作成されますが、NAS装置を再起動した場合、仮想イン

タフェースが失われます。再起動の際に自動的に仮想インタフェースが作成されるよう、以下の

手順で設定を行います。

1. NAS装置の管理ノードにてNAS装置の/vol/vol0をマウントします。

2. 上記でマウントしたマウントポイント/etcにあるrcファイルにおいて実インタフェース

を設定しているifconfigの行の前に仮想インタフェースを作成するvif create singleの

コマンドを記載します。また、実インタフェースを設定しているifconfigを#で注釈にし、

47


仮想インタフェースを設定するifconfigを追加します。

vif create single vif0 e0,e1

#ifconfig e0 192.168.0.1 mediatype auto


ifconfig vif0 192.168.0.1 mediatype auto

A.1.2 GLS(NIC切替え)の設定

GLSでNIC切替えの設定を「PRIMECLUSTER 導入運用手引書」の「6.1 GLSの初期設定」に従って行

います。

なお、スケーラブル構成の場合は、論理IPアドレスを使用する必要が無いため、1.で実行するコ

マンドを以下のように変更します。

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha0 -m e -i 物理IPアドレス -t

デバイス1,デバイス2

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha0 -m -e -i 192.168.0.2 -t

hme0,hme1

A.1.3 Gls Wizardによる設定

RMS Configuration WizardのNETAPP turnkey wizardからGls Wizardによる設定を行います。

1. NETAPP turnkey wizardからGls:Global-Link-Servicesを選択します。

2. Gls wizardが表示されますので、AdditionalTakeoverIpaddressを選択します。

3. Takeover Ipaddressの選択メニューが表示されますので、A.1.2で設定したIPアドレス(ス

タンバイの場合は論理IPアドレス、スケーラブルの場合は物理IPアドレス)を選択します。

選択肢に表示されない場合は、FREECHOICEを選択し、手動で入力します。

4. SAVE+RETURNを選択します。


48


A.2 マルチリンクイーサネット方式による構成

マルチリンクイーサネット方式による構成の場合、主に以下のような構成にします。

この構成において以後説明を行います。

マルチリンクイーサネット方式を用いる場合、使用するHubもマルチリンクイーサネット

に対応している必要があります。

A.2.1 NAS装置の設定

NAS装置でマルチリンクイーサネットに対応する場合、複数のインタフェースからmultiで仮想イ

ンタフェースを作成する必要があります。multiで仮想インタフェースを作成する場合、NAS装置

上で以下のコマンドを実行する必要があります。

vif create multi 仮想インタフェース名 -b [rr|mac|ip] インタフェース1,インタフェ

ース2,…

仮想インタフェース名は通常vif0,vif1,vif2…という名称を指定します。

-bに指定する値は負荷分散の方式で、rrがラウンドロビン方式、macがMACアドレス方式、ipがIP

アドレス方式になります。運用に応じた指定を行ってください。

vif create multi vif0 -b ip e0,e1

上記のコマンドで仮想インタフェースが作成されますが、NAS装置を再起動した場合、仮想イン

タフェースが失われます。再起動の際に自動的に仮想インタフェースが作成されるよう、以下の

手順で設定を行います。

1. NAS装置の管理ノードにてNAS装置の/vol/vol0をマウントします。

49


2. 上記でマウントしたマウントポイント/etcにあるrcファイルにおいて実インタフェース

を設定しているifconfigの行の前に仮想インタフェースを作成するvif create multiのコ

マンドを記載します。また、実インタフェースを設定しているifconfigを#で注釈にし、

仮想インタフェースを設定するifconfigを追加します。

vif create multi vif0 -b ip e0,e1



ifconfig vif0 192.168.0.1 mediatype auto

A.2.2 GLS(マルチリンクイーサネット)の設定

GLSでマルチリンクイーサネットの設定を「PRIMECLUSTER Global Link Services 説明書(マルチ

パス機能編)」の第3章導入に従って行います。この際に、以下の点に注意して設定を行ってく

ださい。

1. /etc/inet/hostsにGLSで使用するIPアドレスとホスト名を登録してください。スケーラブ

ル構成の場合はそれぞれのノードで使用するIPアドレスとホスト名を全ノードの

/etc/inet/hostsに登録してください。

2. /etc/opt/FJSVmpnet/conf/configの編集時に、スタンバイ構成の場合はmpnet0を、スケー

ラブル構成の場合はmpnet0,mpnet1,…を設定してください。なおスケーラブル構成の場合、

全てのmpnetインタフェースの設定を同一にしてください。

mpnet0 ether hme0:hme1

mpnet1 ether hme0:hme1

3. /etc/opt/FJSVmpnet/conf/parametersの編集時に、func-modeは1に指定してください。ま

た、trunk-modeはNAS装置の負荷分散方式と同じ方式を設定してください。

mpnet0 -:1:2

mpnet1 -:1:2

4. /etc/opt/FJSVmpnet/conf/hostsにmpnetインタフェースで使用する1.で登録したホスト

名を指定してください。スケーラブル構成の場合は、全てのmpnetインタフェースの登録

を行ってください。

mpnet0 node1mpnet

mpnet1 node2mpnet

5. /opt/FJSVmpnet/cluster/bin/mpnet_copyfile -aコマンドを実行し、設定ファイルを全ノ

ードに配布してください。

50


6. 各ノードで/opt/FJSVmpnet/cluster/bin/mpnet_addrid -d mpnetインタフェース名を実行

し、リソース登録を行ってください。スタンバイ構成の場合は、mpnetインタフェース名

にmpnet0を、スケーラブル構成の場合は、mpnetインタフェース名にそのノードで使用す

るmpnetインタフェースを指定してください。

A.2.3 Gls Wizardによる設定

RMS Configuration WizardのNETAPP turnkey wizardからGls Wizardによる設定を行います。

1. NETAPP turnkey wizardからGls:Crm-MPNETを選択します。

2. Crm wizardが表示されますので、AdditionalResourceを選択します。

3. リソース一覧が表示されますので使用するmpnetインタフェース用のMPNETリソースを選

択します。



51


付録B NASクラスタ自動takeover機能のチューニング

方法

PRIMECLUSTER Wizard for NASでは、pingコマンドによりNAS装置へアクセス可能かどうか監視し

ています。そして、pingの応答がない(アクセス不能)場合に自動takeover処理を行います。以下

では、NASクラスタ自動takeover実行開始時間、および環境設定Wizardで設定可能なpingコマン

ドに対するパラメタのチューニング方法について説明します。

自動takeover実行開始時間のチューニング自動takeover処理の実行開始時間は、クラスタノード－HUB間監視とクラスタノード－NAS装置間

監視を考慮する必要があります。

1. クラスタノード-HUB間ではGLSリソースが監視を行っています。GLS監視により、NIC切替

が完了するまでは自動takeoverが実行しないように設定しなければいけません。

つまり、

ＧＬＳ監視開始時間(a) ＋ NIC切替時間(b) ＜自動takeover実行開始時間(X)

を満たす必要があります。

よって、次式のようになります。

(a) + (b) ＝ 10 （秒）+ 約30 or 約60（秒）＜ X(秒)

※NIC切替の所要時間

HUB-HUB監視なしの場合：約30秒

HUB-HUB監視ありの場合：約60秒

GLS監視については、「PRIMECLUSTER Global Link Services 導入運用手引書(伝送

路二重化機能編)」を参照してください。

2. クラスタノード-NAS装置間を監視しているRemoteFileSystems (RFS)リソースは、障害を

検知すると300秒(推奨値)経過後にリソース異常となります。

よって、Wizard for NASの自動takeover実行開始までの時間とtakeoverに要する時間の和

が、300秒以内である必要があります。

つまり、次式のようになります。

自動takeoverの実行開始時間（X） ≦

RemoteFileSystemsリソースタイムアウト時間(300秒) － takeoverに要する時間

1.と2.より、以下の条件式(1)が考えられます。（Ｘ = 自動takeover実行開始時間）

約40秒 or 約70秒＜ X ＜ 300（秒）－ takeoverに要する時間・・・・・・(1)

次に、自動takeover処理の実行開始までの流れを以下の図に示します。

52


53

図より、(1)式を満たす自動takeover処理実行開始時間は(m)の範囲となります。

● (l)の範囲でtakeoverを実行した場合

NIC切替処理と重なってしまうため、NAS装置に対してアクセスできない状態で自動

takeover処理を行うことになるので、 takeover処理が実行できない。

● (n)の範囲でtakeoverを実行した場合

自動takeoverが完了する前に、RemoteFileSystemsリソースのサーバタイムアウトでリソ

ース異となるためtakeover処理が実行できない。

環境設定Wizardで設定可能なpingコマンドのパラメタのチューニング以上のことから、ping処理は（m）の範囲内で完了することが必要です。

デフォルト値は以下のようになります。

A. NAS装置へのpingコマンドの発行回数 = 10回

B. NAS装置へのpingコマンドのタイムアウト時間 = 5秒

C. NAS装置へのpingコマンドの実行間隔 = 5秒

Netappリソースで異常検知してから、自動takeoverを実行するまでに要するping処理時間は以下

の式により算出できます。

( B. + C. ) × ( A. - 1 ) + B. = (5+5)×9 + 5 = 95秒

よって、デフォルト値での自動takeover実行開始時間はWizard for NASの監視開始から95秒後と

なります。

takeoverに要する時間は環境により変化します。

Documents

PRIMECLUSTER Wizard for NAS - 富士通のソフト …software.fujitsu.com/jp/manual/manualfiles/M050000/J1S...PRIMECLUSTER Wizard for NAS 導入運用手引書 目次 PRIMECLUSTER

PRIMECLUSTER Wizard for NAS - 富士通のソフト …software.fujitsu.com/jp/manual/manualfiles/M050000/J1S...PRIMECLUSTER Wizard for NAS 導入運用手引書目次 PRIMECLUSTER