Hitachi Virtual Storage Platform Universal Replicator software · GVGCG2GVFþ ¡GjGxGsG GnF÷ S BFéG JNL VOL eth1 192.168.0.202 eth1 192.168.0. 204 HiRDBSingleServer(09 -04 17) RAID

1 © Hitachi, Ltd. 2015. All rights reserved.

別冊1： Hitachi Virtual Storage Platform

Universal Replicator softwareと

拡張コンシステンシーグループを活用した

HiRDBとHitachi Disk Array Driverによる

ディザスタリカバリホワイトペーパー

構築手順及び実機検証手順詳細

株式会社日立製作所情報･通信システム社 ITプラットフォーム事業本部

Mar 2015

(rev. 01-03)


1. はじめに

本書では、HiRDB Version 9 09-04 Single Server(HiRDB)と Hitachi Disk Array Driver Mirroring

Edition for Linux 01-12 の組み合わせを対象とし、ミラー化した 2 つのストレージ筐体それぞれに

Universal Replicator(UR)を適用した、ディザスタリカバリシステムの実証手順を紹介します。

1.1. コマンド実行例の記述形式

(a) サーバマシン

ユーザ名及びホスト名を以下の形式で記述します。

例：ホスト Blade1 に root ユーザでコマンドを実行する場合

(b) FC-SW

ホスト名を以下の形式で記述します。

例：FC-SW「SW4100_2」でコマンドを実行する場合

[ユーザ名@ホスト名] #

SW4100_2 #

[root@Blade1] #

ホスト名 #


目次

1. はじめに .................................................................................................................................... 2

1.1. コマンド実行例の記述形式 ................................................................................................. 2

2. 検証内容について ...................................................................................................................... 6

2.1. 検証概要 .............................................................................................................................. 6

2.2. 検証項目 .............................................................................................................................. 6

2.3. 確認項目 .............................................................................................................................. 6

3. システム構成 ............................................................................................................................. 7

3.1. ハードウェア構成 ................................................................................................................ 7

3.1.1. ホスト .......................................................................................................................... 7

3.1.2. ストレージ ................................................................................................................... 7

3.1.3. FC-SW ......................................................................................................................... 8

3.2. ソフトウェア構成 ................................................................................................................ 8

3.2.1. ソフトウェアバージョン .............................................................................................. 8

3.2.2. OS ユーザ情報 .............................................................................................................. 8

3.2.3. HiRDB ユーザ情報 ....................................................................................................... 9

3.3. ストレージ構成 ................................................................................................................... 9

3.3.1. ボリューム構成 ............................................................................................................ 9

3.3.2. デバイス構成 .............................................................................................................. 10

3.3.3. 拡張 CTG パラメタ .................................................................................................... 11

3.3.4. ミラーリング用擬似デバイスを構成する LU ............................................................. 12

3.3.5. raw デバイス構成 ....................................................................................................... 13

3.4. HiRDB 構成 ...................................................................................................................... 14

4. HiRDB によるミラー正副不一致状態の解消機能 .................................................................... 15

4.1. DB データ回復処理の概要 ................................................................................................ 15

4.2. ミラー正副不一致状態となった場合の回復処理の概要 ..................................................... 16

5. 構築手順 .................................................................................................................................. 17


5.1. 前提条件 ............................................................................................................................ 17

5.2. ストレージ環境構築 .......................................................................................................... 17

5.3. メインサイト環境構築 ...................................................................................................... 17

5.3.1. Hitachi Disk Array Driver ミラーデバイス作成........................................................ 17

5.3.2. OS 環境構築 ............................................................................................................... 21

5.3.2.1. HiRDB 管理者の追加.................................................................................................... 21

5.3.2.2. RAW デバイス作成 ....................................................................................................... 21

5.3.2.3. カーネルパラメタ設定 .................................................................................................. 23

5.3.3. HiRDB 環境構築 ........................................................................................................ 23

5.3.3.1. HiRDB インストール.................................................................................................... 23

5.3.3.2. HiRDB セットアップ.................................................................................................... 23

5.3.3.3. HiRDB 環境構築 ........................................................................................................... 23

5.4. 拡張 CTG 構築 .................................................................................................................. 27

5.5. リモートサイト環境構築 ................................................................................................... 30

5.5.1. Hitachi Disk Array Driver ミラーデバイス作成........................................................ 30

5.5.2. OS 環境構築 ............................................................................................................... 32

5.5.2.1. HiRDB 管理者の追加.................................................................................................... 32

5.5.2.2. RAW デバイス作成 ....................................................................................................... 32

5.5.2.3. カーネルパラメタ設定 .................................................................................................. 33

5.5.3. HiRDB 環境構築 ........................................................................................................ 33

5.5.3.1. HiRDB インストール.................................................................................................... 33

5.5.3.2. HiRDB セットアップ.................................................................................................... 33

5.5.3.3. 環境構築 ........................................................................................................................ 33

6. 拡張 CTG 構成における検証.................................................................................................... 34

6.1. 検証項目 ............................................................................................................................ 34

6.1.1. 災対切替機能検証(正常系) .......................................................................................... 34

6.1.2. 災対切替機能検証(異常系) .......................................................................................... 35

6.1.3. 計画系切替検証 .......................................................................................................... 35

6.2. 検証手順 ............................................................................................................................ 37

6.2.1. 災対切替機能検証(正常系) .......................................................................................... 37


6.2.2. 災対切替機能検証(異常系) .......................................................................................... 44

6.2.3. 計画系切替検証 .......................................................................................................... 47

7. 付録 ......................................................................................................................................... 56

7.1. カーネルパラメタ .............................................................................................................. 56

7.2. HiRDB 定義ファイル ........................................................................................................ 57

7.3. コマンド制御ファイル ...................................................................................................... 60

7.4. RM の定義ファイル .......................................................................................................... 61


2. 検証内容について

2.1. 検証概要

HiRDB と拡張 CTG を使用したディザスタリカバリ構成において、DB ファイル(HiRDB ファイルシ

ステム領域)を UR でレプリケーションし、レプリケーション先であるリモートサイトで HiRDB が正常

に起動できること、及びデータ欠損がないことを検証します。

2.2. 検証項目

災対運用及び保守運用における主要な項目について検証します。各検証項目の詳細は「6.拡張 CTG構

成における検証」を参照してください。

# 検証項目実施概要評価項目

1 災対切替機能検証

(正常系)

通常同期状態からの災対切替

(テイクオーバ実施)

リモートサイト DB の正常起動


(異常系)

筐体間の転送差分がある状態からの災

対切替

(テイクオーバ実施）

リモートサイト DB の正常起動

3 計画系切替検証 ①計画切替

(メイン⇒リモート)

②計画切戻し

(リモート⇒メイン)UR 逆同期

①リモートサイト DB の正常起動

②UR 逆同期後のメインサイト

DB の正常起動

2.3. 確認項目

以下の項目を確認します。確認方法の詳細については「6.拡張 CTG 構成における検証」を参照してく

ださい。

(1) テイクオーバ先で HiRDB が正常に起動すること、及びデータ欠損がないことを確認します。

HiRDB 起動後にエラーが出力されず DB データを正常に読み出せること、及びデータ欠損がないこ

とを確認します。

(2) 系間のデータのずれの有無を確認します。

HiRDB 起動後、Hitachi Disk Array Driver のコンペア機能を使用して系間のデータにずれが無い

ことを確認します。


3. システム構成

以下にシステム全体の構成を示します。

メインサイトDBサーバ：BS2000(Slot1)

OS：RHEL6.4

Hitachi Disk Array Driver

リモートサイトDBサーバ：BS2000(Slot5)

OS：RHEL6.4

VSP#1-1

Pool VOL

CMD

RAID ManagerHiRDB SingleServer(09-04-17)

CL1-A

VSP#1-2

VSP#2-1

VSP#2-2

JNL VOL

CL1-B CL2-B

CL2-BCL1-B

CL2-B CL1-B

CL1-BCL2-B

Po

rt3

CL1-A

CL1-A

CL1-A

Po

rt3

Po

rt0

Pool VOL

システムログ(A系)

ステータス(A系)

ステータス(B系)

シンク(A系)

シンク(B系)

システムログ(B系)

データ用(#1正)

ステータス(A正)

ステータス(B正)

シンク(A正)

シンク(B正)

データ用(#2正)

データ用(#3正)



シンク(A副)

シンク(B副)

ステータス(A副)

ステータス(B副) Pool VOL

データ用(#1副)

データ用(#2副)

データ用(#3副)

CMD

Pool VOL

メインサイトと同じストレージ構成

メインサイトと同じデバイス構成

Po

rt0

自動サーチ 0001 0002 0003 0004 0005 0006 0007

自動サーチ

URのペアはメインサイトとリモー

トサイトの同名ボリュームで構成する

JNL VOL

eth1192.168.0.202

eth1192.168.0. 204



凡例

ソフトウェア/ツール

実ボリューム

仮想ボリューム

rawバインド

CMDデバイス

シンボリックリンク

ミラーリング用擬似デバイス

FC-SW

ネットワークアダプタ

データ用(#1)

データ用(#2)

データ用(#3)

raw8 raw9raw1 raw2 raw3 raw4 raw5 raw6 raw7

図 3-1：システム構成図

3.1. ハードウェア構成

3.1.1. ホスト

表 3-1：ホスト情報

# 用途ホスト名 IP アドレス OS(カーネル)

1 メインサイト Blade1 192.168.0.202 Red Hat Enterprise Linux 6.4(※)

2 リモートサイト Blade5 192.168.0.204 Red Hat Enterprise Linux 6.4(※)

※カーネルのバージョンは 2.6.32-358.23.2.el6.x86_64

3.1.2. ストレージ

表 3-2：ストレージ情報

# 用途シリアル

番号

マイクロコード

バージョン

システムオプション

1 VSP#1-1(メインサイト 1 系) 55097 70-05-30-00/12 448=OFF,449=ON(※)

2 VSP#1-2(メインサイト 2 系) 55302 70-05-30-00/12 448=OFF,449=ON(※)

3 VSP#2-1(リモートサイト 1 系) 65535 70-05-30-00/12 448=OFF,449=ON(※)

4 VSP#2-2(リモートサイト 2 系) 90552 70-05-30-00/12 448=OFF,449=ON(※)

※リモートパス遮断時に、ペア状態は「PAIR」を維持し「PSUE」としない設定(デフォルト)を示す。

※VSP ＝Hitachi Virtual Storage Platform



3.1.3. FC-SW

表 3-3：FC-SW 情報

# 設置場所ホスト名 IP アドレス

1 1 系 FC-SW SW4100_2 10.197.118.46

2 2 系 FC-SW SW7800_1 10.197.118.44

3.2. ソフトウェア構成

3.2.1. ソフトウェアバージョン

表 3-4：ソフトウェアバージョン情報

# ソフトウェアソフトウェア情報

1 OS Red Hat Enterprise Linux 6.4(※)

2 DBMS HiRDB/Single Server 09-04-17

HiRDB/SQL Executer 08-06-02

3 RAID Manager RAID-Manager/Linux/x64 01-30-03/03

4 Hitachi Disk Array Driver Hitachi Disk Array Driver Mirroring Edition for linux 01-12

※カーネルのバージョンは 2.6.32-358.23.2.el6.x86_64

3.2.2. OS ユーザ情報

表 3-5：OS ユーザ情報

OS 管理者 HiRDB 管理者

ユーザ名 root hirbds

ユーザ ID 0 1102

グループ名 root hirdbs

グループ ID 0 1102

ホームディレクトリ /root /home/hirdbs

パスワード password password

表 3-6：HiRDB 管理者環境変数

# 環境変数設定値

1 PDUSER USER1/USER1

2 PDDIR /home/hirdbs

3 PDCONFPATH $PDDIR/conf

4 PATH $PDDIR/bin:$PDDIR/client/bin:/opt/pdsql:$PATH

5 LD_LIBRARY_PATH $PDDIR/lib:$PDDIR/client/lib:$LD_LIBRARY_PATH

6 PDNAMEPORT 22200

7 PDHOST localhost

8 PDLANG UTF-8


3.2.3. HiRDB ユーザ情報

表 3-7：HiRDB ユーザ情報

ユーザ ID パスワード

DB 管理者 hirdbs hirdbs

テスト用ユーザ USER1 USER1

3.3. ストレージ構成

3.3.1. ボリューム構成

全ての Hitachi Virtual Storage Platform（以下、VSP という。）において同じボリューム構成(LU、LDEV、

サイズなどが同じ)としてください。

表 3-8：ボリューム構成

port ホスト

Group

LU LDEV 用途サイズ

(GB)

HDP

利用

CTG

ID

1A 1a-g01-

btmu1

00 99:20 DB データ#1 50 ○ 7

01 99:21 DB データ#2 50 ○ 7

02 99:22 DB データ#3 50 ○ 7

03 99:10 システムログ 50 × 7

04 99:11 ステータスファイル(A 系) 1 × 7

05 99:12 ステータスファイル(B 系) 1 × 7

06 99:13 シンクポイントダンプファイル(A 系) 1 × 7

07 99:14 シンクポイントダンプファイル(B 系) 1 × 7

FF 99:2F コマンドデバイス 1 ○ －

(凡例) ○：利用する ×：利用しない－：指定しない

表 3-9：ジャーナルボリューム

# VSP LDEV サイズ(GB) ジャーナル ID

1 VSP#1-1(メインサイト 1 系) 99:09 10 000

2 VSP#1-2(メインサイト 2 系) 99:09 10 001

3 VSP#2-1(リモートサイト 1 系) 99:09 10 002

4 VSP#2-2(リモートサイト 2 系) 99:09 10 003



3.3.2. デバイス構成

メインサイト及びリモートサイトの OS から参照可能なデバイスは以下の通りです。

表 3-10：デバイス名称(メインサイト)

# デバイス名称用途ミラー構成 LU

1 sd0d739099104a システムログ(A 系) －

2 sd0d739099114a ステータスファイル(A 系) 正

3 sd0d739099124a ステータスファイル(B 系) 正

4 sd0d739099134a シンクポイントダンプファイル(A 系) 正

5 sd0d739099144a シンクポイントダンプファイル(B 系) 正

6 sd0d739099204a DB データ(#1) 正

7 sd0d739099214a DB データ(#2) 正

8 sd0d739099224a DB データ(#3) 正

9 sd0d7390992f4a コマンドデバイス(VSP#1-1) －

10 sd0d806099104a システムログ(B 系) －

11 sd0d806099114a ステータスファイル(A 系) 副

12 sd0d806099124a ステータスファイル(B 系) 副

13 sd0d806099134a シンクポイントダンプファイル(A 系) 副

14 sd0d806099144a シンクポイントダンプファイル(B 系) 副

15 sd0d806099204a DB データ用(#1、表データ) 副

16 sd0d806099214a DB データ用(#2、インデクス) 副

17 sd0d806099224a DB データ用(#3、BLOB) 副

18 sd0d8060992f4a コマンドデバイス(VSP#1-2) －

(凡例) 正：ミラーを構成する正 LU 副：ミラーを構成する副 LU －：ミラーしない



表 3-11：デバイス名称(リモートサイト)

# デバイス名称用途ミラー構成 LU

1 sd0ffff099104a システムログ(A 系) －

2 sd0ffff099114a ステータスファイル(A 系) 正

3 sd0ffff099124a ステータスファイル(B 系) 正

4 sd0ffff099134a シンクポイントダンプファイル(A 系) 正

5 sd0ffff099144a シンクポイントダンプファイル(B 系) 正

6 sd0ffff099204a DB データ用(#1、表データ) 正

7 sd0ffff099214a DB データ用(#2、インデクス) 正

8 sd0ffff099224a DB データ用(#3、BLOB) 正

9 sd0ffff0992f4a コマンドデバイス(VSP#2-1) －

10 sd161b8099104a システムログ(B 系) －

11 sd161b8099114a ステータスファイル(A 系) 副

12 sd161b8099124a ステータスファイル(B 系) 副

13 sd161b8099134a シンクポイントダンプファイル(A 系) 副

14 sd161b8099144a シンクポイントダンプファイル(B 系) 副

15 sd161b8099204a DB データ用(#1、表データ) 副

16 sd161b8099214a DB データ用(#2、インデクス) 副

17 sd161b8099224a DB データ用(#3、BLOB) 副

18 sd161b80992f4a コマンドデバイス(VSP#2-2) －

(凡例) 正：ミラーを構成する正 LU 副：ミラーを構成する副 LU －：ミラーしない

3.3.3. 拡張 CTG パラメタ

表 3-12：拡張 CTG パラメタ

パラメタ設定値

デバイスグループ名 hirdb

ペアボリュームのモニタリング間隔 1000ms

CTQ-Marker インターバル 3000ms



3.3.4. ミラーリング用擬似デバイスを構成する LU

Hitachi Disk Array Driver で作成するミラーリング用擬似デバイスを構成する LU は以下の通りです。

表 3-13：ミラーリング LU 構成(メインサイト)

# ミラーリング用

擬似デバイス名

ミラーリング

正 LU

ミラーリング

副 LU

用途サイズ

(GB)

1 sd0001mirror sd0d739099134a sd0d806099134a シンクポイント

ダンプファイル(A 系)

1

2 sd0002mirror sd0d739099144a sd0d806099144a シンクポイント

ダンプファイル(B 系)

1

3 sd0003mirror sd0d739099114a sd0d806099114a ステータスファイル(A 系) 1

4 sd0004mirror sd0d739099124a sd0d806099124a ステータスファイル(B 系) 1

5 sd0005mirror sd0d739099204a sd0d806099204a DB データ用(#1、表データ) 50

6 sd0006mirror sd0d739099204a sd0d806099214a DB データ用(#2、インデクス) 50

7 sd0007mirror sd0d739099224a sd0d806099224a DB データ用(#3、BLOB) 50

表 3-14：ミラーリング LU 構成(リモートサイト)

# ミラーリング用

擬似デバイス名

ミラーリング

正 LU

ミラーリング

副 LU

用途サイズ

(GB)

1 sd0001mirror sd0ffff099134a sd161b8099134a シンクポイント

ダンプファイル(A 系)

1

2 sd0002mirror sd0ffff099144a sd161b8099144a シンクポイント

ダンプファイル(B 系)

1

3 sd0003mirror sd0ffff099114a sd161b8099114a ステータスファイル(A 系) 1

4 sd0004mirror sd0ffff099124a sd161b8099124a ステータスファイル(B 系) 1

5 sd0005mirror sd0ffff099204a sd161b8099204a DB データ用(#1、表データ) 50

6 sd0006mirror sd0ffff099214a sd161b8099214a DB データ用(#2、インデクス) 50

7 sd0007mirror sd0ffff099224a sd161b8099224a DB データ用(#3、BLOB) 50


3.3.5. raw デバイス構成

raw デバイスは以下の通り構成します。

表 3-15：rawデバイス構成(メインサイト)

# デバイス名称 raw デバイス名所有者グループパーミッション

1 sd0001mirror raw1 hirdbs hirdbs 644







8 sd0d739099104a1 raw8 hirdbs hirdbs 644

9 sd0d806099104a1 raw9 hirdbs hirdbs 644

表 3-16：rawデバイス構成(リモートサイト)

# デバイス名称 raw デバイス名所有者グループパーミッション








8 sd0ffff099104a1 raw8 hirdbs hirdbs 644

9 sd161b8099104a1 raw9 hirdbs hirdbs 644


3.4. HiRDB 構成

HiRDB のシステム構成は以下の通りです。

メインサイトDBサーバ：BS2000(Slot1)OS：RHEL6.4


eth1192.168.0.202

unt1

sds1

テスト用アプリケーション




シンク(A系)

シンク(B系)


データ用(#1)

データ用(#2)

データ用(#3)


リモートサイトDBサーバ：BS2000(Slot5)OS：RHEL6.4


eth1192.168.0.204

unt1

sds1

テスト用アプリケーション




シンク(A系)

シンク(B系)


データ用(#1)

データ用(#2)

データ用(#3)


凡例

ソフトウェア/ツール

シンボリックリンク(HiRDBファイルシステム領域)

ユニット

サーバプロセス

ネットワークアダプタ

図 3-2：HiRDB システム構成


4. HiRDB によるミラー正副不一致状態の解消機能

マシンダウンなどによってミラーリングを構成している HiRDB が異常終了した場合、タイミングによ

ってはミラー正副の内容が不一致となる場合があります(例：正 LU の書込みは完了したが副 LU への書

込みが完了する前にマシンダウンとなった場合など)。ミラー正副不一致状態となった場合、HiRDB の

DB データ回復処理でミラー正副不一致を解消できます1。

以下にマシンダウンなどにより HiRDB が異常終了したときの DB データ回復処理の概要と、ミラー正

副不一致状態となった場合の回復処理の概要について説明します。

4.1. DB データ回復処理の概要

マシンダウンなどによって HiRDB が異常終了した場合、HiRDB を再起動したときに以下の処理によ

りデータの回復を行います。

① HiRDB のデータ回復処理を行うために、回復ポイント(LSN)を確認する

説明：LSN2 から回復することを確認する

② DB データがどこまで書き込まれているか確認する

説明：LSN2 までは DB データ(ディスク)に書込み済みであることを確認する

③ 更新情報が DB データに反映済みであればディスクへの書込みをスキップし、書き込まれていなけ

ればディスクへ更新情報を反映する

説明：LSN2 は DB データに書き込み済みであり、ディスクへの更新情報の書込みをスキップする

LSN3 は DB データに書き込まれていないため、ディスクへ更新情報を書き込む

VSP


OS：RHEL6.4HiRDB SingleServer(09-04-17)

unt1

sds1

システムログシンクポイントダンプ

データ用

LSN2から回復

LSN1(100、ABC)

LSN2(200、DEF)

LSN3(300、XYZ)

(100、ABC)

(200、DEF)

①回復処理を開始するために回復ポイントを確認

②LSN2更新情報とDBデータを確認

(100、ABC)

(200、DEF)

(300、XYZ)

回復処理実施後

③データ回復を行うLSN2はDBデータに反映されているため書込みスキップ

LSN3はDBデータに無いためディスクに書き込む

1 HiRDB がダウンする瞬間に発生するミラー正副不一致状態以外の，運用上の障害などで発生した正副

ボリュームの不一致は解消できません。この場合は，Hitachi Disk Array Driver の機能を使用して正副

ボリュームを一致させてください。



4.2. ミラー正副不一致状態となった場合の回復処理の概要

マシンダウンなどによってミラーリングを構成している HiRDB が異常終了した場合、タイミングによ

ってはミラー正副の内容が不一致となる場合があります(例：正 LU の書込みは完了したが副 LU への書

込みが完了する前にマシンダウンとなった場合など)。

ミラー正副が不一致となった場合、HiRDB を再起動したときに以下の処理によりデータの回復及びミ

ラー不一致の解消を行います。

① HiRDB のデータ回復処理を行うために、回復ポイント(LSN)を確認する

説明：LSN2 から回復することを確認する

② ミラー不一致を解消するために、更新情報が DB データに反映されているか否かに関わらず、回復

ポイント以降の更新情報を全てディスクに書き込む

説明：LSN2 以降のデータを全てディスクに反映する

VSP


OS：RHEL6.4HiRDB SingleServer(09-04-17)

unt1

sds1

システムログシンクポイントダンプ

データ用

LSN2から回復

LSN1(100、ABC)

LSN2(200、DEF)

LSN3(300、XYZ)

(100、ABC)

(200、DEF)


①回復処理を開始するために回復ポイントを確認

(100、ABC)

両方のディスクに書き込みが完了する前にマシンダウンなどの障害が発生した

→ミラー正副不一致の状態

回復処理実施後

(100、ABC)

(200、DEF)

(300、XYZ)

(100、ABC)

(200、DEF)

(300、XYZ)

②HiRDBのミラー不一致状態の回復機能により、全ての更新情報をディスクに書き込む

→不一致を解消できる

Hitachi Disk Array DriverによりLUをミラーリング



5. 構築手順

拡張 CTG を使用したディザスタリカバリ検証環境の構築手順は以下の通りです。

5.1. 前提条件

構築前に以下に示す前提条件を満たしていることを確認してください。

Hitachi Disk Array Driver、UR をメインサイトとリモートサイトにインストールかつ設定済みであ

ること

ネットワークの設定が「表 3-1：ホスト」に示す通りに完了していること

5.2. ストレージ環境構築

「表 3-8：ボリューム構成」に従って各 VSP で LU を作成し、メインサイト及びリモートサイトの

OS から参照可能な状態にしてください。(各 OSで参照するデバイス名は「表 3-10：デバイス名称(メイ

ンサイト)」及び「表 3-11：デバイス名称(リモートサイト)」参照)

5.3. メインサイト環境構築

5.3.1. Hitachi Disk Array Driver ミラーデバイス作成

以下の手順でミラーリング用擬似デバイスを作成します。「表 3-13：ミラーリング LU 構成(メインサ

イト)」に記載されているミラーリング用擬似デバイスの数だけ、手順(1)～(9)を繰り返し実行します。

以下に「sd0001mirror」の作成手順を示します。

ストレージ環境構築

開始

メインサイト環境構築

拡張 CTG 構築

リモートサイト環境構築

終了


(1) ミラーリング LU の有効化

ミラーリングします正 LU 及び副 LU を有効化(ミラーリング管理領域の作成)します。

(2) ミラーリング用擬似デバイスの作成

ミラーリング用擬似デバイスを作成します。

(3) ミラーリング用擬似デバイスの確認

作成したミラーリング用擬似デバイスが表示されることを確認します。

(4) ミラーリング用擬似デバイスの動作制御オプションの変更

ミラーリング用擬似デバイスの動作制御オプションを以下の通り変更します。

# オプション設定値意味

1 diff_ sync on 差分同期機能を有効にします。

2 self_recv off 自己整合性回復機能を無効にします。

3 cfg_on_replica on 複製先ミラー構成機能を有効にします。

(5) ミラーリング用擬似デバイスのオンライン化

ミラーリング用擬似デバイスをオンライン状態に変更します。

(6) ミラーリング LU の追加

ミラーリング用擬似デバイスに副 LU を追加します。

[root@Blade1] # hsdmirror -o enable -l sd0d739099134a

KALD4800-Q hsdmirror: 指定された LUは内容が破壊されます。よろしいですか？[y/n] y

[root@Blade1] # hsdmirror -o enable -l sd0d806099134a


[root@Blade1] # hsdmirror -o create -l sd0d739099134a -m sd0001mirror

[root@Blade1] # hsdmirror -o list -m sd0001mirror

sd0001mirror offline sync

- - - sd0d739099134a sync

[root@Blade1] # hsdmirror -o change -m sd0001mirror -c diff_ sync=on,self_recv=off,cfg_on_replica=on

[root@Blade1] # hsdmirror -o add -l sd0d806099134a -m sd0001mirror


[root@Blade1] # hsdmirror -o online -m sd0001mirror

[root@Blade1] # hsdmirror -o list -m sd0001mirror

sd0001mirror online sync

- - - sd0d739099134a sync


(7) LU の同期を実施

正 LU から副 LU へデータの同期を行います。

(8) ミラーリング状態を確認

以下のパラメタが設定されていることを確認します。

# 確認項目確認内容

1 activity online

2 mirror_status sync

[root@Blade1] # hsdmirror -o sync -m sd0001mirror -v

2014/06/25 16:18:51 sync start(sd0d739099134a -> sd0d806099134a)

difference : 100%(51199MB/51199MB)

time progress throughput

+0:00:09 100%(1023MB/1023MB) 112.2MB/sec

2014/06/25 16:19:00 sync complete

[root@Blade1] #hsdmirror -o list -A -m sd0001mirror

sd0001mirror

activity : online

mirror_status : sync

real_dev[1] : sd0d739099134a

real_dev_status[1] : sync

real_dev[2] : sd0d806099134a



mirror_mng_part : -

differential synchronization : on <diff_sync>

differential threshold : 100% <diff_thold>

self mirror consistency recovery : off <self_recv>

max dirty size : 100MB <self_recv_sz>

auto online on boot : off <auto_online>

config on replica : on <cfg_on_replica>


(9) ミラーリング用擬似デバイスのパラメタ設定

ミラーリング用擬似デバイスのパラメタを以下の通り変更します

# オプション設定値設定値

1 wrerr_policy 0 エラーを Linux カーネルのブロック層に報告します(標準の

Linux の SCSI ドライバと同じ動作)

rawデバイス経由でしかアクセスしない場合は 0を指定します

2 interlock_chk 0 たすきがけの両系障害が発生している可能性を検出した場合も

オンラインにします。

拡張 CTG で Q-Marker のずれが発生した場合を考慮して 0 を

指定します。

(10) ミラーリング用擬似デバイスのパラメタ反映

設定したパラメタを反映します。

(11) OS リブート

OSリブート時でも設定したパラメタが反映されていることを確認するためにOSをリブートします。

(12) ミラーリング用擬似デバイスのパラメタ確認

設定したパラメタが反映されているか確認します。

[root@Blade1] # vi /etc/hsdparam.conf

sd0001mirror/wrerr_policy:0

sd0001mirror/interlock_chk:0

(以下略)

[root@Blade1] # hsdsetparam

KALD4220-Q hsdsetparam: パラメータを設定しますか？[y/n] y

KALD4222-I hsdsetparam: パラメータを設定しました。

[root@Blade1] # shutdown -r now

[root@Blade1] # hsdlsparam

(中略)

# sd0001mirror

sd0001mirror/default_devname:sd0001mirror

sd0001mirror/disk:Hitachi Mirroring Pseudo Device

sd0001mirror/hdp_status:0

sd0001mirror/inconsistent_policy:1

sd0001mirror/interlock_chk:0

sd0001mirror/ioerr_policy:0

sd0001mirror/queue_depth:8

sd0001mirror/rd_err_limit:0

sd0001mirror/sectors:2095104

sd0001mirror/size:1023

sd0001mirror/wrerr_policy:0

(以下略)


5.3.2. OS 環境構築

5.3.2.1. HiRDB 管理者の追加

(1) HiRDB 管理者の追加

「表 3-5：OSユーザ情報」に示す HiRDB 管理者を追加します。

(2) HiRDB 管理者の環境変数設定

HiRDB 管理者に「表 3-6：HiRDB 管理者環境変数」に示す環境変数を設定します。

5.3.2.2. RAW デバイス作成

「表 3-15：rawデバイス構成(メインサイト)」に示す通り rawデバイスを作成します。

(1) パーティションの作成

デバイス毎にパーティションを作成します。

sd0001mirror のパーティション作成例：

[root@Blade1] # groupadd –g 1102 [root@Blade1] # useradd -d /home/hirdbs -p password -g hirdbs -u 1102 hirdbs

[root@Blade1] # fdisk /dev/sd0001mirror

コマンド (m でヘルプ): n

コマンドアクション

e 拡張

p 基本パーティション (1-4)

p

パーティション番号 (1-4): 1

最初シリンダ (1-1023, 初期値 1):[ENTER入力] 初期値 1 を使います

Last シリンダ, +シリンダ数 or +size{K,M,G} (1-1023, 初期値 1023):[ENTER入力] 初期値 1023 を使います

コマンド (m でヘルプ): w

パーティションテーブルは変更されました！

ioctl() を呼び出してパーティションテーブルを再読込みします。

ディスクを同期しています。

[hirdbs@Blade1] # vi ~/.bashrc

# HiRDB SVR Env

export PDUSER=USER1/USER1

export PDDIR=/home/hirdbs

export PDCONFPATH=$PDDIR/conf

export PATH=$PDDIR/bin:$PDDIR/client/bin:$PATH

export LD_LIBRARY_PATH=$PDDIR/lib:$PDDIR/client/lib:$LD_LIBRARY_PATH

# HiRDB UAP Env

export PDNAMEPORT=22200

export PDHOST=localhost

export PDLANG=UTF-8

export PDCLTPATH=~/trc

[hirdbs@Blade1] # source ~/.bashrc


(2) udev のルール変更

以下の 2 ファイルを編集します。

(a) /etc/udev/rules.d/60-raw.rules

(b) /etc/udev/rules.d/65-raw-permission.rules

(3) udev のルール反映

udev を再起動して編集したルールを反映します。

(4) raw デバイスの確認

raw デバイスが作成されていることを確認します。

[root@Blade1] # vi /etc/udev/rules.d/60-raw.rules

ACTION=="add", KERNEL=="sd0001mirror1", RUN+="/bin/raw /dev/raw/raw1 %N"







ACTION=="add", KERNEL=="sd0d739099104a1", RUN+="/bin/raw /dev/raw/raw8 %N"

ACTION=="add", KERNEL=="sd0d806099104a1", RUN+="/bin/raw /dev/raw/raw9 %N"

[root@Blade1] # vi /etc/udev/rules.d/65-raw-permission.rules

KERNEL=="raw1", OWNER="hirdbs", GROUP="hirdbs", MODE="640"









[root@Blade1] # start_udev

udev を起動中: [ OK ]

[root@Blade1] # raw -qa

/dev/raw/raw1: bound to major 253, minor 769










5.3.2.3. カーネルパラメタ設定

「表 7-1：カーネルパラメタ」に示すカーネルパラメタを設定します。なお、カーネルパラメタはシ

ステム構成によって異なるため、同一サーバマシン上で稼動するほかのプログラムが存在する場合はカ

ーネルパラメタの見積もりを実施してください。

(HiRDB のイントラ HP にカーネルパラメタの見積もりツールを掲載していますので適宜ご利用くだ

さい)

5.3.3. HiRDB 環境構築

5.3.3.1. HiRDB インストール

日立 PP インストーラーの指示に従い、OS 管理者ユーザで HiRDB SingleServer 及び HiRDB SQL

Executer をインストールします。

5.3.3.2. HiRDB セットアップ

HiRDB 管理者で HiRDB を UTF-8 でセットアップします

5.3.3.3. HiRDB 環境構築

(1) 定義ファイル配置

「7.2 HiRDB 定義ファイル」を「$PDDIR/conf」に配置します。

(2) raw デバイスへのシンボリックリンク作成

[hirdbs@Blade1] # /opt/HiRDB_S/bin/pdsetup -c utf-8 /home/hirdbs

KFPS00010-I HiRDB setup start, func = add, HiRDB directory = /home/hirdbs

KFPS00012-I Library setup completed for character code set UTF-8

KFPS00035-I Create files necessary for execution

KFPS00056-I OS shutdown action setup mode = off

[hirdbs@Blade1] # mkdir $PDDIR/area

[hirdbs@Blade1] # ln -s /dev/raw/raw1 $PDDIR/area/sysspdA

[hirdbs@Blade1] # ln -s /dev/raw/raw2 $PDDIR/area/sysspdB

[hirdbs@Blade1] # ln -s /dev/raw/raw3 $PDDIR/area/sysstsA

[hirdbs@Blade1] # ln -s /dev/raw/raw4 $PDDIR/area/sysstsB

[hirdbs@Blade1] # ln -s /dev/raw/raw5 $PDDIR/area/data1



[hirdbs@Blade1] # ln -s /dev/raw/raw8 $PDDIR/area/syslogA

[hirdbs@Blade1] # ln -s /dev/raw/raw9 $PDDIR/area/syslogB


(3) HiRDB ファイルシステム作成

(4) システムログ作成

(5) シンクポイントダンプファイル作成

(6) ユニット用ステータスファイル作成

[hirdbs@Blade1] # pdfmkfs -n 50000 -l 20 -e 10 -k DB $PDDIR/area/data1



[hirdbs@Blade1] # pdfmkfs -n 10000 -l 20 -k SYS $PDDIR/area/syslogA

[hirdbs@Blade1] # pdfmkfs -n 10000 -l 20 -k SYS $PDDIR/area/syslogB

[hirdbs@Blade1] # pdfmkfs -n 1000 -l 20 -k SYS $PDDIR/area/sysstsA

[hirdbs@Blade1] # pdfmkfs -n 1000 -l 20 -k SYS $PDDIR/area/sysstsB

[hirdbs@Blade1] # pdfmkfs -n 1000 -l 20 -k SYS $PDDIR/area/sysspdA

[hirdbs@Blade1] # pdfmkfs -n 1000 -l 20 -k SYS $PDDIR/area/sysspdB

[hirdbs@Blade1] # pdfmkfs -r -n 2000 -l 20 -e 255 -k WORK $PDDIR/area/work_table

[hirdbs@Blade1] # pdloginit -d sys -s sds1 -f $PDDIR/area/syslogA/log01a -n 1000000 -l 1024










[hirdbs@Blade1] # pdloginit -d sys -s sds1 -f $PDDIR/area/syslogB/log01b -n 1000000 -l 1024










[hirdbs@Blade1] # pdloginit -d spd -s sds1 -f $PDDIR/area/sysspdA/sds1spd1a -n 10000



[hirdbs@Blade1] # pdloginit -d spd -s sds1 -f $PDDIR/area/sysspdB/sds1spd1b -n 10000



[hirdbs@Blade1] # pdstsinit -u unt1 -f $PDDIR/area/sysstsA/usts1a -l 4096 -c 800



[hirdbs@Blade1] # pdstsinit -u unt1 -f $PDDIR/area/sysstsB/usts1b -l 4096 -c 800




(7) サーバ用ステータスファイル作成

(8) 定義チェック

リターンコードが「0」となることを確認します。

(9) HiRDB 起動

※pdinit コマンド実行待ちとなります。

(10) DB 初期化

別の端末から以下のコマンドを実行します。

「pdinit.ctrl」ファイルの内容は「7.3 コマンド制御ファイル (1)コマンド制御ファイル

pdinit.ctrl ファイル」を参照してください。

pdstart を実行した端末に「KFPS05210-I」メッセージが表示されることを確認します。

(11) RD エリア追加

「create_rd.ctrl」ファイルの内容は「(2) コマンド制御ファイル (2)create_rd.ctrl ファイル」を参

照してください。

[hirdbs@Blade1] # pdstsinit -s sds1 -f $PDDIR/area/sysstsA/sds1sts1a -l 4096 -c 5000



[hirdbs@Blade1] # pdstsinit -s sds1 -f $PDDIR/area/sysstsB/sds1sts1b -l 4096 -c 5000



[hirdbs@Blade1] # pdconfchk

2894 16:19:41 unt1 KFPS05007-I System definition check ended. return code = 0

[hirdbs@Blade1] # pdstart

3408 16:22:17 unt1 _rdm KFPS05201-Q Dictionary not initialized: enter pdinit command

[hirdbs@Blade1] # pdinit -d /home/hirdbs/hirdbwork/shells/pdinit.ctrl


3408 16:22:17 unt1 _rdm KFPS05201-Q Dictionary not initialized: enter pdinit command

3408 16:23:09 unt1 _rdm KFPS05210-I HiRDB system initialization process complete

[hirdbs@Blade1] # pdmod -a /home/hirdbs/hirdbwork/shells/create_rd.ctrl

KFPX14250-I Processing of create rdarea statement ended return code=0, RDAREA name="RU01"

KFPX24213-I DB modification for ended return code=0 at 16:29:02 on 2014/08/15

KFPX24200-I DB modification ended, return code=0


(12) HiRDB 再起動

HiRDB を正常停止した後に正常開始します。

(13) 検証用 DB ユーザとスキーマの追加

HiRDB 管理者で、検証用 DB ユーザ「USER1」の追加とスキーマの作成を行います。

(14) 表追加

検証用 DB ユーザ「USER1」に検証用の表を定義します。

[hirdbs@Blade1] # pdstop

3408 17:01:02 unt1 _rdm KFPS01841-I HiRDB unit unt1 terminated. mode = NORMAL

3408 17:01:02 unt1 _rdm KFPS01850-I HiRDB system terminated. mode = NORMAL



[hirdbs@Blade1] # export PDUSER='"hirdbs"/"hirdbs"'

[hirdbs@Blade1] # pdsql

COMMAND ? +----2----+----3----+----4----+----5----+----6----+----7----+

grant connect to USER1 identified by USER1;

KFPX27001-I Processing of SQL completed

COMMAND ? +----2----+----3----+----4----+----5----+----6----+----7----+

create schema authorization USER1;


COMMAND ? +----2----+----3----+----4----+----5----+----6----+----7----+

exit;

[hirdbs@Blade1] # export PDUSER='"USER1"/"USER1"'

[hirdbs@Blade1] # pdsql

COMMAND ? +----2----+----3----+----4----+----5----+----6----+----7----+

CREATE FIX TABLE USER1.TEST1

(DMY_DATA CHAR(24),

SEQ_NO INTEGER,

INS_DATE TIMESTAMP(6),

EYE CHAR( 3962)

) IN RU01

PCTFREE=(0,0)

;


COMMAND ? +----2----+----3----+----4----+----5----+----6----+----7----+

exit;


5.4. 拡張 CTG 構築

(1) 環境変数の設定

RAID Manager(RM)のコマンドを実行可能とするために、メインサイト及びリモートサイトで環

境変数 HORCMINST(インスタンス番号)に「0」を設定します。以降、拡張 CTG構築及びペア操作

は環境変数 HORCMINST に「0」が設定されたプロンプトで実行します。

(2) UR の定義ファイルを配置

「7.4 RM の定義ファイル」をメインサイト及びリモートサイトの「/etc/horcm0.conf」として配

置します。

(3) RM インスタンス起動

メインサイト及びリモートサイトで RM のインスタンスを起動します。

[root@Blade1] # export HORCMINST=0

[root@Blade1] # echo $HORCMINST

0

[root@Blade5] # export HORCMINST=0

[root@Blade5] # echo $HORCMINST

0

[root@Blade1] # horcmstart.sh 0

starting HORCM inst 0

HORCM inst 0 starts successfully.

[root@Blade5] # horcmstart.sh 0

starting HORCM inst 0

HORCM inst 0 starts successfully.


(4) ペア作成

メインサイトでペアを作成し、Status が COPY 状態となっていることを確認します。

[root@Blade1] # paircreate -g hirdb -f async 7 –vl

[root@Blade1] # pairdisplay -g hirdb -fcx

Group PairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence, %,P-LDEV# M

hirdb DATA1S(L) (CL1-A-1, 0, 0)55097 9920.P-VOL COPY ASYNC , 0 9920 -

hirdb DATA1S(R) (CL1-A-1, 0, 0)65535 9920.S-VOL COPY ASYNC ,----- 9920 -

hirdb LOGA(L) (CL1-A-1, 0, 3)55097 9910.P-VOL COPY ASYNC , 0 9910 -

hirdb LOGA(R) (CL1-A-1, 0, 3)65535 9910.S-VOL COPY ASYNC ,----- 9910 -

hirdb STSAS(L) (CL1-A-1, 0, 4)55097 9911.P-VOL COPY ASYNC , 0 9911 -

hirdb STSAS(R) (CL1-A-1, 0, 4)65535 9911.S-VOL COPY ASYNC ,----- 9911 -

hirdb STSBS(L) (CL1-A-1, 0, 5)55097 9912.P-VOL COPY ASYNC , 0 9912 -

hirdb STSBS(R) (CL1-A-1, 0, 5)65535 9912.S-VOL COPY ASYNC ,----- 9912 -

hirdb SPDAS(L) (CL1-A-1, 0, 6)55097 9913.P-VOL COPY ASYNC , 0 9913 -

hirdb SPDAS(R) (CL1-A-1, 0, 6)65535 9913.S-VOL COPY ASYNC ,----- 9913 -

hirdb SPDBS(L) (CL1-A-1, 0, 7)55097 9914.P-VOL COPY ASYNC , 0 9914 -

hirdb SPDBS(R) (CL1-A-1, 0, 7)65535 9914.S-VOL COPY ASYNC ,----- 9914 -

hirdb DATA1F(L) (CL1-A1-1, 0, 0)55302 9920.P-VOL COPY ASYNC , 0 9920 -

hirdb DATA1F(R) (CL1-A1-1, 0, 0)90552 9920.S-VOL COPY ASYNC ,----- 9920 -

hirdb LOGB(L) (CL1-A1-1, 0, 3)55302 9910.P-VOL COPY ASYNC , 0 9910 -

hirdb LOGB(R) (CL1-A1-1, 0, 3)90552 9910.S-VOL COPY ASYNC ,----- 9910 -

hirdb STSAF(L) (CL1-A1-1, 0, 4)55302 9911.P-VOL COPY ASYNC , 0 9911 -

hirdb STSAF(R) (CL1-A1-1, 0, 4)90552 9911.S-VOL COPY ASYNC ,----- 9911 -

hirdb STSBF(L) (CL1-A1-1, 0, 5)55302 9912.P-VOL COPY ASYNC , 0 9912 -

hirdb STSBF(R) (CL1-A1-1, 0, 5)90552 9912.S-VOL COPY ASYNC ,----- 9912 -

hirdb SPDAF(L) (CL1-A1-1, 0, 6)55302 9913.P-VOL COPY ASYNC , 0 9913 -

hirdb SPDAF(R) (CL1-A1-1, 0, 6)90552 9913.S-VOL COPY ASYNC ,----- 9913 -

hirdb SPDBF(L) (CL1-A1-1, 0, 7)55302 9914.P-VOL COPY ASYNC , 0 9914 -

hirdb SPDBF(R) (CL1-A1-1, 0, 7)90552 9914.S-VOL COPY ASYNC ,----- 9914 -


(5) ペア同期待ち

全てのペアボリュームが PAIR 状態になることを確認します。なお、PAIR 状態になるまで最大

1800 秒間待つ場合は以下のコマンドを実行してください。

[root@Blade1] # pairevtwait -g hirdb -s pair -t 1800

pairevtwait : Wait status done.



hirdb DATA1S(L) (CL1-A-1, 0, 0)55097 9920.P-VOL PAIR ASYNC , 0 9920 -

hirdb DATA1S(R) (CL1-A-1, 0, 0)65535 9920.S-VOL PAIR ASYNC , 0 9920 -

hirdb LOGA(L) (CL1-A-1, 0, 3)55097 9910.P-VOL PAIR ASYNC , 0 9910 -

hirdb LOGA(R) (CL1-A-1, 0, 3)65535 9910.S-VOL PAIR ASYNC , 0 9910 -

hirdb STSAS(L) (CL1-A-1, 0, 4)55097 9911.P-VOL PAIR ASYNC , 0 9911 -

hirdb STSAS(R) (CL1-A-1, 0, 4)65535 9911.S-VOL PAIR ASYNC , 0 9911 -

hirdb STSBS(L) (CL1-A-1, 0, 5)55097 9912.P-VOL PAIR ASYNC , 0 9912 -

hirdb STSBS(R) (CL1-A-1, 0, 5)65535 9912.S-VOL PAIR ASYNC , 0 9912 -

hirdb SPDAS(L) (CL1-A-1, 0, 6)55097 9913.P-VOL PAIR ASYNC , 0 9913 -

hirdb SPDAS(R) (CL1-A-1, 0, 6)65535 9913.S-VOL PAIR ASYNC , 0 9913 -

hirdb SPDBS(L) (CL1-A-1, 0, 7)55097 9914.P-VOL PAIR ASYNC , 0 9914 -

hirdb SPDBS(R) (CL1-A-1, 0, 7)65535 9914.S-VOL PAIR ASYNC , 0 9914 -

hirdb DATA1F(L) (CL1-A1-1, 0, 0)55302 9920.P-VOL PAIR ASYNC , 0 9920 -

hirdb DATA1F(R) (CL1-A1-1, 0, 0)90552 9920.S-VOL PAIR ASYNC , 0 9920 -

hirdb LOGB(L) (CL1-A1-1, 0, 3)55302 9910.P-VOL PAIR ASYNC , 0 9910 -

hirdb LOGB(R) (CL1-A1-1, 0, 3)90552 9910.S-VOL PAIR ASYNC , 0 9910 -

hirdb STSAF(L) (CL1-A1-1, 0, 4)55302 9911.P-VOL PAIR ASYNC , 0 9911 -

hirdb STSAF(R) (CL1-A1-1, 0, 4)90552 9911.S-VOL PAIR ASYNC , 0 9911 -

hirdb STSBF(L) (CL1-A1-1, 0, 5)55302 9912.P-VOL PAIR ASYNC , 0 9912 -

hirdb STSBF(R) (CL1-A1-1, 0, 5)90552 9912.S-VOL PAIR ASYNC , 0 9912 -

hirdb SPDAF(L) (CL1-A1-1, 0, 6)55302 9913.P-VOL PAIR ASYNC , 0 9913 -

hirdb SPDAF(R) (CL1-A1-1, 0, 6)90552 9913.S-VOL PAIR ASYNC , 0 9913 -

hirdb SPDBF(L) (CL1-A1-1, 0, 7)55302 9914.P-VOL PAIR ASYNC , 0 9914 -

hirdb SPDBF(R) (CL1-A1-1, 0, 7)90552 9914.S-VOL PAIR ASYNC , 0 9914 -


5.5. リモートサイト環境構築

5.5.1. Hitachi Disk Array Driver ミラーデバイス作成

UR によりミラーリング管理領域を含む全ての情報がメインサイトからリモートサイトにコピーされ

るため、パラメタの設定及び確認のみ実施します。

(1) ミラーリング用擬似デバイスのパラメタ設定

メインサイトと同様の手順を実施します。

(5.3.1 Hitachi Disk Array Driver ミラーデバイス作成 (9)ミラーリング用擬似デバイスのパラメタ

設定参照)

(2) OS リブート

ミラーリング用擬似デバイスのパラメタ反映、及びミラーリング用擬似デバイスを OS から参照可能

とするために OSをリブートします。

(3) ミラーリング用擬似デバイスのパラメタ確認


(5.3.1 Hitachi Disk Array Driver ミラーデバイス作成 (12)ミラーリング用擬似デバイスのパラメタ

確認参照)

[root@Blade5] # shutdown -r now


(4) ミラーリング状態を確認

以下の表に示す通りのパラメタであることを確認します。

# 確認項目確認内容

1 activity offline

2 mirror_status sync

3 LU の組み合わせ「表 3-14：ミラーリング LU 構成(リモートサイト)」の組合せである

こと

[root@Blade5] #hsdmirror -o list -A -m sd0001mirror

sd0001mirror

activity : offline

mirror_status : sync

real_dev[1] : sd0ffff099134a


real_dev[2] : sd161b8099134a



mirror_mng_part : -

differential synchronization : on <diff_sync>

differential threshold : 100% <diff_thold>

self mirror consistency recovery : off <self_recv>

max dirty size : 100MB <self_recv_sz>

auto online on boot : off <auto_online>

config on replica : on <cfg_on_replica>


5.5.2. OS 環境構築

5.5.2.1. HiRDB 管理者の追加


5.5.2.2. RAW デバイス作成

「表 3-16：raw デバイス構成(リモートサイト)」に記載されている組み合わせで raw デバイスを作成

します。

(1) パーティションの作成

UR によりメインサイトからパーティションの情報を含む全ての情報が全てコピーされるため、リ

モートサイトでパーティションを作成する必要はありません。

(2) udev のルール変更

以下の 2 ファイルを編集します。

(a) /etc/udev/rules.d/60-raw.rules

ミラーリング用擬似デバイスではない朱書き部分のみメインサイトと異なるため注意してくだ

さい。

(b) /etc/udev/rules.d/65-raw-permission.rules


(3) udev のルール反映


(4) raw デバイスの確認


[root@Blade5] # vi /etc/udev/rules.d/60-raw.rules








ACTION=="add", KERNEL=="sd0ffff099104a1", RUN+="/bin/raw /dev/raw/raw8 %N"

ACTION=="add", KERNEL=="sd161b8099104a1", RUN+="/bin/raw /dev/raw/raw9 %N"


5.5.2.3. カーネルパラメタ設定


5.5.3. HiRDB 環境構築

5.5.3.1. HiRDB インストール


5.5.3.2. HiRDB セットアップ


5.5.3.3. 環境構築

「7.2 HiRDB 定義ファイル」を「$PDDIR/conf」に配置します。

HiRDB ファイルシステム領域は UR によりコピーされるため、リモートサイトでは作成しません。


6. 拡張 CTG 構成における検証

6.1. 検証項目

災対運用及び保守運用における主要な項目について検証します。

なお、メインサイト被災は以下の手段で代替します。メインサイトとリモートサイト間の FC-SWのポ

ートを閉塞することで擬似回線障害を発生させ、メインサイトとリモートサイト間の通信を行えないよ

うにすることで代替します。

# 検証項目実施概要評価項目


(正常系)

通常同期状態からの災対切替

(テイクオーバ実施)

リモートサイト DB の正

常起動


(異常系)

筐体間の転送差分がある状態からの災対切替

(テイクオーバ実施）

リモートサイト DB の正

常起動

3 計画系切替検証 ①計画切替

(メイン⇒リモート)

②計画切戻し

(リモート⇒メイン)UR 逆同期

①リモートサイト DB の

正常起動

②UR 逆同期後のメイン

サイト DB の正常起動

6.1.1. 災対切替機能検証(正常系)

メインサイトとリモートサイトの筐体間の差分が無い状態において、メインサイトの HiRDB を起動し

た状態でリモートサイトへテイクオーバし、リモートサイトで HiRDB が正常に起動すること、及びリモ

ートサイトの DB データにデータ欠損が無いことを確認します。

(a) 検証条件

# 項目状態

1 筐体間差分差分なし

2 メインサイト HiRDB 稼働中

(b) 確認項目

# 項目結果

1 テイクオーバ結果

(メインサイト→リモートサイト)

成功

2 リモートサイト HiRDB 正常起動する

3 リモートサイト DB データデータ欠損なし


6.1.2. 災対切替機能検証(異常系)

メインサイトとリモートサイトの筐体間の差分がある状態において、メインサイトの HiRDB を起動し

た状態でリモートサイトへテイクオーバし、リモートサイトで HiRDB が正常に起動すること、及びリモ

ートサイトの DB データに差分が正しく反映されていること(※)を確認します。

※1 系及び 2 系で揃ったデータのみディスクに反映され、そのデータが DB で正常に読み取れること

(a) 検証条件

# 項目状態

1 筐体間差分差分あり

2 メインサイト HiRDB 稼働中

(b) 確認項目

# 項目結果



成功

2 リモートサイト HiRDB 正常起動する

3 リモートサイト DB データ差分が正しく反映されている

6.1.3. 計画系切替検証

メインサイトとリモートサイトの筐体間の差分が無い状態において、メインサイトで HiRDB を正常停

止してからリモートサイトへテイクオーバし、リモートサイトで HiRDB が正常に起動すること、リモー

トサイトの DB データにデータ欠損が無いこと、及びリモートサイトからメインサイトへ逆同期できる

ことを確認します。

また、リモートサイトの HiRDB を正常停止してからメインサイトへテイクオーバ(切戻)し、メインサ

イトで HiRDB が正常に起動すること、及びメインサイトの DB データにデータ欠損が無いことを確認し

ます。

(a) 検証条件

# 項目状態備考

1 筐体間差分差分なし

2 メインサイト HiRDB 停止テイクオーバ実施時に停止していること

3 リモートサイト HiRDB 停止テイクオーバ実施時に停止していること


(b) 確認項目

# 項目結果備考



成功

2 テイクオーバ(切戻)結果

(リモートサイト→メインサイト)

成功

3 リモートサイト HiRDB 正常起動するリモートサイトへのテイクオーバ実施時

4 リモートサイト DB データデータ欠損なしリモートサイトへのテイクオーバ実施時

5 メインサイトサイト HiRDB 正常起動するメインサイトへのテイクオーバ(切戻)実

施時

6 メインサイトサイト DB データデータ欠損なしメインサイトへのテイクオーバ(切戻)実

施時


6.2. 検証手順

各検証項目の検証手順を以下に示す。

6.2.1. 災対切替機能検証(正常系)

(1)検証事前準備

(2)メインサイト DB 更新

(3)メインサイト DB データ確認

(4)UR 転送完了確認

(6)テイクオーバ

(8)リモートサイトミラーリング用擬似デバイスコンペア

(9)リモートサイト DB 起動

(10)リモートサイト DB データ確認

開始

終了

(5)両系 FC ポート閉塞

(7)リモートサイトミラーリング用擬似デバイスオンライン


(1) 検証事前準備

検証を行うための事前準備を行います。

(a) ミラーリング用擬似デバイスのステータス確認

メインサイトのミラーリング用擬似デバイスが全て online となっていることを確認します。

リモートサイトのミラーリング用擬似デバイスが全て offline となっていることを確認しま

す。

(b) メインサイトの DB 起動

メインサイトの HiRDB が稼動していることを確認します。

(c) リモートサイトの DB 停止

リモートサイトの HiRDB が停止していることを確認します。

(d) メインサイトの DB データ削除

検証後にメインサイトとリモートサイトでデータを比較するために、メインサイトの DB デー

タを全て削除します。

[root@Blade1] # hsdmirror -o list


- - - sd0d739099134a sync

- - - sd0d806099134a sync

(以下略)



- - - sd0ffff099134a sync

- - - sd161b8099134a sync

(以下略)

[root@Blade1] # pdls

HOSTNAME(164918) UNITID SVID STATUS STARTTIME

localhost unt1 ******** ACTIVE 164912

localhost unt1 sds1 ACTIVE 164912

[root@Blade5] # pdls

29950 16:48:24 unt1 KFPS01853-W Hostname=localhost, unable to execute pdls command, unit state not ONLINE


(e) UR のペア状態確認

メインサイトのペアボリューム(Seq#が 55097,55302 のボリューム)が「P-VOL」、全てのペア

が「PAIR」状態となっていることを確認します。

(2) メインサイト DB 更新

SQL やアプリケーション等でメインサイトの DB を更新します。

SQL 例：

(3) メインサイト DB データ確認

DB データをアンロードしてデータ件数を確認します。

pdrorgコマンドによる csv 形式アンロードの例：

「pdrorg.ctrl」ファイルの内容は「7.3 コマンド制御ファイル pdrorg.ctrl ファイル」を参照してく



























INSERT INTO TEST1 VALUES(1,'TEST_DATA_NO_1')


(以下略)

[hirdbs@Blade1] # pdrorg -k unld -W dat -n 16,div,16 -t TEST1 pdrorg.ctrl

10500 15:16:05 unt1 0mrorg0 KFPL00717-I Pdrorg started, func=unld

10125 15:16:05 unt1 sds1 KFPL00712-I Unload started, table=USER1."TEST1", server=sds1

10125 15:16:05 unt1 sds1 KFPL00723-I 10107 rows unloaded, table=USER1."TEST1", RDAREA="RU01"

10125 15:16:05 unt1 sds1 KFPL00713-I 10107 rows unloaded, table=USER1."TEST1", server=sds1

10125 15:16:05 unt1 sds1 KFPL22222-I Max row length=4025

10125 15:16:05 unt1 sds1 KFPL00714-I Unload ended, table=USER1."TEST1", server=sds1, return code=0

10125 15:16:06 unt1 sds1 KFPL00722-I Unload file output completely, server=sds1,

file=/home/hirdbs/hirdbwork/APP/tmp/unload.csv

10499 15:16:06 unt1 _pd0rorg KFPL00719-I Pdrorg terminated, return code=0


ださい。

(4) UR 転送完了確認

全ての差分データがリモートサイトに送信されており、かつディスクに反映されていることを確認

します。

(5) 両系 FC ポート閉塞

両系 FC ポートを閉塞して擬似回線障害を発生させます。

1 系 FC ポート閉塞

2 系 FC ポート閉塞

(6) テイクオーバ

リモートサイトでテイクオーバを実施し、リモートサイトのペアボリューム(Seq#が 65535,90552

のボリューム)が「S-VOL」かつ「SSWS」状態となっていることを確認します。

[root@Blade1] # pairdisplay -g hirdb -v jnl

JID MU CTG JNLS AP U(%) Q-Marker Q-CNT D-SZ(BLK) Seq# Num LDEV#

000 0 7 PJNN 0 0 000034da 0 20320768 55097 1 39177

002 0 7 SJSN 0 0 000034da 0 20320768 65535 1 39177

001 0 7 PJNN 0 0 000034db 0 20320768 55302 1 39177

003 0 7 SJSN 0 0 000034db 0 20320768 90552 1 39177

SW4100_2 # port disable 3




[root@Blade5] # horctakeover -g hirdb -t 1800

horctakeover :

Non-transmitted data which remains in P-VOL may not be transfered completely by reason of FC link down

and/or site failure,but a Data Consistency of S-VOL is guaranteed.

After the recovery from failure(e.g. FC link down),you have to re-synchronize original PVOL based on SVOL

using

'pairresync -g hirdb -swaps -c 3' while APP has be running on this HOST for Fast Failback Performance.

horctakeover : SVOL_SSUS-Takeover done.




hirdb DATA1S(L) (CL1-A-1, 0, 0)65535 9920.S-VOL SSWS ASYNC , 100 9920 -

hirdb DATA1S(R) (CL1-A-1, 0, 0)55097 9920.P-VOL PAIR ASYNC , 0 9920 -

hirdb LOGA(L) (CL1-A-1, 0, 3)65535 9910.S-VOL SSWS ASYNC , 100 9910 -

hirdb LOGA(R) (CL1-A-1, 0, 3)55097 9910.P-VOL PAIR ASYNC , 0 9910 -

hirdb STSAS(L) (CL1-A-1, 0, 4)65535 9911.S-VOL SSWS ASYNC , 100 9911 -

hirdb STSAS(R) (CL1-A-1, 0, 4)55097 9911.P-VOL PAIR ASYNC , 0 9911 -

hirdb STSBS(L) (CL1-A-1, 0, 5)65535 9912.S-VOL SSWS ASYNC , 100 9912 -

hirdb STSBS(R) (CL1-A-1, 0, 5)55097 9912.P-VOL PAIR ASYNC , 0 9912 -

hirdb SPDAS(L) (CL1-A-1, 0, 6)65535 9913.S-VOL SSWS ASYNC , 100 9913 -

hirdb SPDAS(R) (CL1-A-1, 0, 6)55097 9913.P-VOL PAIR ASYNC , 0 9913 -

hirdb SPDBS(L) (CL1-A-1, 0, 7)65535 9914.S-VOL SSWS ASYNC , 100 9914 -

hirdb SPDBS(R) (CL1-A-1, 0, 7)55097 9914.P-VOL PAIR ASYNC , 0 9914 -

hirdb DATA1F(L) (CL1-A1-1, 0, 0)90552 9920.S-VOL SSWS ASYNC , 100 9920 -

hirdb DATA1F(R) (CL1-A1-1, 0, 0)55302 9920.P-VOL PAIR ASYNC , 0 9920 -

hirdb LOGB(L) (CL1-A1-1, 0, 3)90552 9910.S-VOL SSWS ASYNC , 100 9910 -

hirdb LOGB(R) (CL1-A1-1, 0, 3)55302 9910.P-VOL PAIR ASYNC , 0 9910 -

hirdb STSAF(L) (CL1-A1-1, 0, 4)90552 9911.S-VOL SSWS ASYNC , 100 9911 -

hirdb STSAF(R) (CL1-A1-1, 0, 4)55302 9911.P-VOL PAIR ASYNC , 0 9911 -

hirdb STSBF(L) (CL1-A1-1, 0, 5)90552 9912.S-VOL SSWS ASYNC , 100 9912 -

hirdb STSBF(R) (CL1-A1-1, 0, 5)55302 9912.P-VOL PAIR ASYNC , 0 9912 -

hirdb SPDAF(L) (CL1-A1-1, 0, 6)90552 9913.S-VOL SSWS ASYNC , 100 9913 -

hirdb SPDAF(R) (CL1-A1-1, 0, 6)55302 9913.P-VOL PAIR ASYNC , 0 9913 -

hirdb SPDBF(L) (CL1-A1-1, 0, 7)90552 9914.S-VOL SSWS ASYNC , 100 9914 -

hirdb SPDBF(R) (CL1-A1-1, 0, 7)55302 9914.P-VOL PAIR ASYNC , 0 9914 -


(7) リモートサイトミラーリング用擬似デバイオンライン

リモートサイトでミラーリング用擬似デバイスを参照できるように、ミラーリング用擬似デバイス

の状態をオンラインに変更します

(8) リモートサイトミラーリング用擬似デバイスコンペア

リモートサイト側のミラーリング用擬似デバイスのコンペアを実施し、ミラーを構成する LU に差

分がないことを確認します。










- - - sd0d739099134a sync

- - - sd0d806099134a sync


- - - sd0d739099144a sync

- - - sd0d806099144a sync


- - - sd0d739099114a sync

- - - sd0d806099114a sync


- - - sd0d739099124a sync

- - - sd0d806099124a sync


- - - sd0d739099204a sync

- - - sd0d806099204a sync


- - - sd0d739099214a sync

- - - sd0d806099214a sync


- - - sd0d739099224a sync

- - - sd0d806099224a sync

[root@Blade5] # hsdmirror -o compare -m sd0001mirror

KALD4804-I hsdmirror: ミラーリング用擬似デバイスを構成する LUの内容は一致しています。














(9) リモートサイト DB 起動

リモート側の HiRDB が正常に起動することを確認します。このとき、HiRDB のログ

($PDDIR/spool/pdlog1 及び pdlog2)を確認し、エラー及び警告が出ていないことを確認します。

HiRDB のログ出力例：

(10) リモートサイト DB データ確認

リモートサイトの DB データをアンロードしてデータ件数を確認し、メインサイトと差分がないこ

とを確認します。

pdrorgコマンドによる csv 形式アンロードの例：

「pdrorg.ctrl」ファイルの内容は「7.3 コマンド制御ファイル pdrorg.ctrl ファイル」を参照してく

ださい。



5 2785 4 BTMU 2014/06/20 15:37:46 localhos unt1 _pdstart adm KFPS01803-I HiRDB unit unt1 start

mode determined. start mode:R

(中略)

14 2888 0 BTMU 2014/06/20 15:38:00 localhos unt1 _rdm rdm KFPS05210-I HiRDB system

initialization process complete

[hirdbs@Blade5] # pdrorg -k unld -W dat -n 16,div,16 -t TEST1 pdrorg.ctrl

3093 15:41:58 unt1 0mrorg0 KFPL00717-I Pdrorg started, func=unld

2906 15:41:58 unt1 sds1 KFPL00712-I Unload started, table=USER1."TEST1", server=sds1

2906 15:41:59 unt1 sds1 KFPL00723-I 10107 rows unloaded, table=USER1."TEST1", RDAREA="RU01"

2906 15:41:59 unt1 sds1 KFPL00713-I 10107 rows unloaded, table=USER1."TEST1", server=sds1

2906 15:41:59 unt1 sds1 KFPL22222-I Max row length=4025

2906 15:41:59 unt1 sds1 KFPL00714-I Unload ended, table=USER1."TEST1", server=sds1, return code=0

2906 15:41:59 unt1 sds1 KFPL00722-I Unload file output completely, server=sds1,

file=/home/hirdbs/hirdbwork/APP/tmp/unload.csv

3092 15:41:59 unt1 _pd0rorg KFPL00719-I Pdrorg terminated, return code=0


6.2.2. 災対切替機能検証(異常系)



(7)メインサイト DB データ確認(両系パス閉塞後)

(8)UR 転送状態確認

(9)テイクオーバ





(3)1 系 FC ポート閉塞

(6)2 系 FC ポート閉塞

(5)メインサイト DB 追加更新

開始

終了

(4)メインサイト DB データ確認(両系パス閉塞前)



「6.2.1 災対切替機能検証(正常系) (1)検証事前準備」と同じ手順を実施します。


「6.2.1 災対切替機能検証(正常系) (2)メインサイト DB 更新」と同じ手順を実施します。

(3) 1 系 FC パス閉塞

1 系 FC ポートを閉塞して擬似回線障害を発生させます。

(4) メインサイト DB データ確認(両系パス閉塞前)

「6.2.1 災対切替機能検証(正常系) (3)メインサイト DB データ確認」と同じ手順を実施し、データ

件数を確認します。

(5) メインサイト DB 追加更新


(6) 2 系 FC ポート閉塞

2 系 FC ポートを閉塞して擬似回線障害を発生させます。

(7) メインサイト DB データ確認(両系パス閉塞後)



(8) UR 転送状態確認

1系 FCポート閉塞から 2系 FCポート閉塞の間に更新したデータがリモートサイトに転送されてい

ない(Q-CNT が 0 ではない)ことを確認します。

(9) テイクオーバ

「6.2.1 災対切替機能検証(正常系) (6)テイクオーバ」と同じ手順を実施します。





[root@Blade1] # pairdisplay -g hirdb -v jnl

JID MU CTG JNLS AP U(%) Q-Marker Q-CNT D-SZ(BLK) Seq# Num LDEV#

000 0 7 PJNN 0 1 0000646e 17519 20320768 55097 1 39177

002 0 7 SJSN 0 0 00002bb6 2306 20320768 65535 1 39177

001 0 7 PJNN 0 1 0000646f 14520 20320768 55302 1 39177

003 0 7 SJSN 0 0 00002bb7 14116 20320768 90552 1 39177


(10) リモートサイトミラーリング用擬似デバイスオンライン

「6.2.1 災対切替機能検証(正常系) (7)リモートサイトミラーリング用擬似デバイオンライン」と同

じ手順を実施します。


「6.2.1 災対切替機能検証(正常系) (8)リモートサイトミラーリング用擬似デバイスコンペア」と

同じ手順を実施し、ミラーを構成する LU に差分がないことを確認します。


「6.2.1 災対切替機能検証(正常系) (9)リモートサイト DB 起動」と同じ手順を実施します。


「6.2.1 災対切替機能検証(正常系) (10)リモートサイト DB データ確認」と同じ手順を実施し、リ

モートサイトのデータ件数と、「6.2.2災対切替機能検証(異常系) (4)メインサイトDBデータ確認(両

系パス閉塞前)」で確認したデータ件数が一致することを確認します。


6.2.3. 計画系切替検証






(12)リモートサイト DB 更新

開始


(4)メインサイト DB 正常停止

(7)テイクオーバ(メインサイト→リモートサイト)



(5)メインサイトミラーリング用擬似デバイスオフライン

(15)リモートサイトミラーリング用擬似デバイスオフライン

(14)リモートサイト DB 正常停止


次ページへ続く


終了

(16)テイクオーバ(リモートサイト→メインサイト)

前ページの続き

(19)メインサイトミラーリング用擬似デバイスコンペア

(20)メインサイト DB 起動

(18)メインサイトミラーリング用擬似デバイスオンライン


(17)テイクオーバ(リモートサイト→メインサイト)

(16)UR 転送完了確認



「6.2.1 災対切替機能検証(正常系) (1)検証事前準備」と同じ手順を実施します。






(4) メインサイト DB 正常停止

メインサイトの HiRDB を正常停止します。

(5) メインサイトミラーリング用擬似デバイスオフライン

メインサイトへの逆同期に備えて、メインサイトの LU が誤って更新されないようにメインサイト

のミラーリング用擬似デバイスの状態をオフラインに変更します。

[hirdbs@Blade1] # pdstop

8717 16:32:32 unt1 _rdm KFPS01841-I HiRDB unit unt1 terminated. mode = NORMAL


[root@Blade1] # hsdmirror -o offline -m sd0001mirror








- - - sd0d739099134a sync

- - - sd0d806099134a sync


- - - sd0d739099144a sync

- - - sd0d806099144a sync


- - - sd0d739099114a sync

- - - sd0d806099114a sync


- - - sd0d739099124a sync

- - - sd0d806099124a sync


- - - sd0d739099204a sync

- - - sd0d806099204a sync


- - - sd0d739099214a sync

- - - sd0d806099214a sync



「6.2.1 災対切替機能検証(正常系) (4)UR 転送完了確認」と同じ手順を実施し、全ての差分データ

がリモートサイトに送信されており、かつディスクに反映されていることを確認します。

(7) テイクオーバ(メインサイト→リモートサイト)

リモートサイトでテイクオーバを実施し、リモートサイトのペアボリューム(Seq#が 65535,90552

のボリューム)が「P-VOL」かつ全てのペアボリュームが「PAIR」状態であることを確認します。

(8) リモートサイトミラーリング用擬似デバイスオンライン

「6.2.1 災対切替機能検証(正常系) (7)リモートサイトミラーリング用擬似デバイオンライン」と同

じ手順を実施します。


「6.2.1 災対切替機能検証(正常系) (8)リモートサイトミラーリング用擬似デバイスコンペア」と

同じ手順を実施し、ミラーを構成する LU に差分がないことを確認します。


「6.2.1 災対切替機能検証(正常系) (9)リモートサイト DB 起動」と同じ手順を実施します。

[hirdbs@Blade5] # horctakeover -g hirdb -t 1800 horctakeover : Swap-Takeover done.





























「6.2.1 災対切替機能検証(正常系) (10)リモートサイト DB データ確認」と同じ手順を実施し、メ

インサイトと件数が一致することを確認します。

(12) リモートサイト DB 更新

SQL やアプリケーション等でリモートサイトの DB を更新します。

SQL 例：


「6.2.1 災対切替機能検証(正常系) (10)リモートサイト DB データ確認」と同じ手順を実施し、メ

インサイトと件数が一致することを確認します。

(14) リモートサイト DB 正常停止

リモートサイトの HiRDB を正常停止します。



(以下略)

[hirdbs@Blade5] # pdstop 2750 16:42:18 unt1 _rdm KFPS01841-I HiRDB unit unt1 terminated. mode = NORMAL



(15) リモートサイトミラーリング用擬似デバイスオフライン

メインサイトへの切戻に備えて、リモートサイトの LU が誤って更新されないようにリモートサイ

トのミラーリング用擬似デバイスの状態をオフラインに変更します。


「6.2.1 災対切替機能検証(正常系) (4)UR 転送完了確認」と同じ手順を実施し、全ての差分データ

がメインサイトに送信されており、かつディスクに反映されていることを確認します。










- - - sd0d739099134a sync

- - - sd0d806099134a sync


- - - sd0d739099144a sync

- - - sd0d806099144a sync


- - - sd0d739099114a sync

- - - sd0d806099114a sync


- - - sd0d739099124a sync

- - - sd0d806099124a sync


- - - sd0d739099204a sync

- - - sd0d806099204a sync


- - - sd0d739099214a sync

- - - sd0d806099214a sync


- - - sd0d739099224a sync

- - - sd0d806099224a sync


(17) テイクオーバ(リモートサイト→メインサイト)

メインサイトでテイクオーバを実施し、メインサイトのペアボリューム(Seq#が 55097,55302 のボ

リューム)が「P-VOL」かつ全てのペアが「PAIR」状態となっていることを確認します。

[hirdbs@Blade1] # horctakeover -g hirdb -t 1800 horctakeover : Swap-Takeover done.




























(18) メインサイトミラーリング用擬似デバイスオンライン

.

(19) メインサイトミラーリング用擬似デバイスコンペア

メイントサイト側のミラーリング用擬似デバイスのコンペアを実施し、ミラーを構成する LU に差

分がないことを確認します。









- - - sd0d739099134a sync

- - - sd0d806099134a sync


- - - sd0d739099144a sync

- - - sd0d806099144a sync


- - - sd0d739099114a sync

- - - sd0d806099114a sync


- - - sd0d739099124a sync

- - - sd0d806099124a sync


- - - sd0d739099204a sync

- - - sd0d806099204a sync


- - - sd0d739099214a sync

- - - sd0d806099214a sync
















(20) メインサイト DB 起動

メインサイトの HiRDB が正常に起動することを確認します。このとき、HiRDB のログ

($PDDIR/spool/pdlog1 及び pdlog2)を確認し、エラー及び警告が出ていないことを確認します。

HiRDB のログ出力例：






5 2785 4 BTMU 2014/06/20 15:37:46 localhos unt1 _pdstart adm KFPS01803-I HiRDB unit unt1 start

mode determined. start mode:S

(中略)

14 2888 0 BTMU 2014/06/20 15:38:00 localhos unt1 _rdm rdm KFPS05210-I HiRDB system

initialization process complete


7. 付録

7.1. カーネルパラメタ

表 7-1：カーネルパラメタ

# カーネルパラメタ設定値

1 hard nofile 8,192 以上

2 soft nofile 指定不要(HiRDB 自動計算)

3 fs.file-max 43,666 以上

4 nproc 512 以上

5 threads-max 576 以上

6 msgmni 45 以上

7 SEMMNI 1,024 以上

8 SEMMNS 7,200 以上

9 shmmax 1,073,741,824 以上

10 shmmni 2,000 以上

11 SHMALL 84,812 KB 以上

12 「shell」サービスに該当します設定で、「cps」属性の 1 番目の引数

（1 秒当たりに処理します接続数）

4 以上

13 「shell」サービスに該当します設定で、「instances」属性

（サービスの同時実行最大値）

8 以上


7.2. HiRDB 定義ファイル

(a) システム共通定義(pdsys)

(b) ユニット制御情報定義(pdutsys)

set pd_system_id = BTMU

set pd_name_port = 22200

set pd_mode_conf = MANUAL2

set pd_max_users = 10

set pd_master_file_name = /home/hirdbs/area/data1/rdmast

set pd_sql_object_cache_size = 2000

set pd_lck_deadlock_info = Y

set pd_mlg_file_size = 10240

set pd_overflow_suppress = N

set pd_shmpool_attribute = fixed

set pd_stj_file_size = 10240

set pd_large_file_use = Y

set pd_lck_release_detect = pipe

set pd_thdlock_wakeup_lock = Y

set pd_hashjoin_hashing_mode = TYPE2

set pd_cancel_dump = noput

set pd_sql_dec_op_maxprec = 38

set pd_redo_allpage_put = Y

set pd_optimize_level = \

"PRIOR_NEST_JOIN","PRIOR_OR_INDEXES","DETER_AND_INDEXES","RAPID_GROUPING",\

"DETER_WORK_TABLE_FOR_UPDATE","APPLY_ENHANCED_KEY_COND","MOVE_UP_DERIVED_COND"

set pd_additional_optimize_level = \

"COST_BASE_2","APPLY_JOIN_COND_FOR_VALUE_EXP"

pdstbegin -k sys,buf,dfw -m 1

pdunit -x localhost -u unt1 -d /home/hirdbs

pdstart -t SDS -s sds1 -x localhost

pdbuffer -a gb_other -o -n 1000

pdbuffer -a gb_mast -r MAST,DDIR,DDIC -n 1000

pdbuffer -a gb_mast_rtn -r DIC_RTN_SRC,DIC_RTN_OBJ -n 1000

pdbuffer -a gb_data1 -r RU01 -n 1000



set pd_hostname = localhost

set pd_unit_id = unt1

set pd_syssts_file_name_1 = "usts1",\

"/home/hirdbs/area/sysstsA/usts1a",\

"/home/hirdbs/area/sysstsB/usts1b"







set pd_syssts_initial_error = stop

set pd_syssts_singleoperation = stop


(c) シングルサーバ定義(sds1)

set pd_log_dual = Y

set pd_log_rec_leng = 1024

set pd_log_max_data_size = 523000

set pd_log_unload_check = N

set pd_process_count = 5

set pd_sts_file_name_1 = "sds1sts1",\

"/home/hirdbs/area/sysstsA/sds1sts1a",\

"/home/hirdbs/area/sysstsB/sds1sts1b"







pdlogadfg -d spd -g spd1 ONL



pdlogadpf -d spd -g spd1 \

-a "/home/hirdbs/area/sysspdA/sds1spd1a" \

-b "/home/hirdbs/area/sysspdB/sds1spd1b"







pdlogadfg -d sys -g log01 ONL










(次ページに続く)


(前ページからの続き)

pdlogadpf -d sys -g log01 \

-a "/home/hirdbs/area/syslogA/log01a" \

-b "/home/hirdbs/area/syslogB/log01b"





























7.3. コマンド制御ファイル

(1) pdinit.ctrl ファイル

(2) create_rd.ctrl ファイル

(3) pdrorg.ctrl ファイル

unload /home/hirdbs/hirdbwork/APP/tmp/unload.csv

create rdarea MAST for masterdirectory

page 4096 characters

storage control segment 50 pages

file name "/home/hirdbs/area/data1/rdmast"

initial 100 segments

;

create rdarea DDIR for datadirectory



file name "/home/hirdbs/area/data1/rddirt"

initial 10 segments

;

create rdarea DDIC for datadictionary



file name "/home/hirdbs/area/data1/rddict"


;

create rdarea DIC_RTN_SRC for LOB used by HiRDB(SQL_ROUTINES)



file name "/home/hirdbs/area/data1/ddics"

initial 4 segments

;

create rdarea DIC_RTN_OBJ for LOB used by HiRDB(SQL_ROUTINES)



file name "/home/hirdbs/area/data1/ddico"


;

create rdarea RU01 for user used by PUBLIC



extension nouse

file name "/home/hirdbs/area/data1/RU01"


;


7.4. RMの定義ファイル

(a) メインサイト用定義ファイル

HORCM_MON

#ip_address service poll(10ms) timeout(10ms)

192.168.0.202 5900 1000 3000

HORCM_CMD

#dev_name dev_name dev_name

\\.\CMD-55097:/dev/*

\\.\CMD-55302:/dev/*

HORCM_LDEV

#dev_group dev_name Serial#:JnlID CU:LDEV(LDEV#) MU#

hirdb DATA1S 55097:0 99:20

hirdb LOGA 55097:0 99:10

hirdb STSAS 55097:0 99:11

hirdb STSBS 55097:0 99:12

hirdb SPDAS 55097:0 99:13

hirdb SPDBS 55097:0 99:14

hirdb DATA1F 55302:1 99:20

hirdb LOGB 55302:1 99:10

hirdb STSAF 55302:1 99:11

hirdb STSBF 55302:1 99:12

hirdb SPDAF 55302:1 99:13

hirdb SPDBF 55302:1 99:14

HORCM_INST

#dev_group ip_address service

hirdb 192.168.0.204 5900

HORCM_CTQM

#dev_group interval(10ms) mode

hirdb 300


(b) リモートサイト用定義ファイル

HORCM_MON

#ip_address service poll(10ms) timeout(10ms)

192.168.0.204 5900 1000 3000

HORCM_CMD

#dev_name dev_name dev_name

\\.\CMD-65535:/dev/*

\\.\CMD-90552:/dev/*

HORCM_LDEV

#dev_group dev_name Serial#:JnlID CU:LDEV(LDEV#) MU#

hirdb DATA1S 65535:2 99:20

hirdb LOGA 65535:2 99:10

hirdb STSAS 65535:2 99:11

hirdb STSBS 65535:2 99:12

hirdb SPDAS 65535:2 99:13

hirdb SPDBS 65535:2 99:14

hirdb DATA1F 90552:3 99:20

hirdb LOGB 90552:3 99:10

hirdb STSAF 90552:3 99:11

hirdb STSBF 90552:3 99:12

hirdb SPDAF 90552:3 99:13

hirdb SPDBF 90552:3 99:14

HORCM_INST

#dev_group ip_address service

hirdb 192.168.0.202 5900

HORCM_CTQM

#dev_group interval(10ms) mode

hirdb 300


株式会社日立製作所情報･通信システム社 ITプラットフォーム事業本部

© Hitachi, Ltd. 2015. All rights reserved.

無断転載を禁ず

このドキュメントは単に情報として提供され、内容は予告なしに変更される場合があります。このドキュメントに誤りが無いことの

保証や、商品性又は特定目的への適合性の黙示的な保証や条件を含め明示的又は黙示的な保証や条件は一切無いものとします。株式会社

日立製作所は、このドキュメントについていかなる責任も負いません。また、このドキュメントによって直接又は間接にいかなる契約上

の義務も負うものではありません。このドキュメントを形式、手段（電子的又は機械的）、目的に関係なく、株式会社日立製作所の書面

による事前の承諾なく、複製又は転載することはできません。

他社の商標について： Linuxは，Linus Torvalds氏の日本およびその他の国における登録商標または商標です。その他記載の会社名、

製品名は、それぞれの会社の商標もしくは登録商標です。尚、個々のコンテンツにおいて、個別に商標が示されている場合、又はそれを

示すコンテンツにリンクしている場合には、当該情報が優先されます。

輸出管理について：このドキュメントにより、提供された技術やプログラム又は購入した製品を輸出（又は非居住者への提供）する

場合は、「外国為替および外国貿易法」その他適用される法令を遵守してください。

Documents

Hitachi Virtual Storage Platform Universal Replicator software · GVGCG2GVFþ ¡GjGxGsG GnF÷ S BFéG JNL VOL eth1 192.168.0.202 eth1 192.168.0. 204 HiRDBSingleServer(09 -04 17) RAID