CLUSTERPRO MCシリーズのご紹介 - jpn.nec.com · ・ミラー構成を取る ... の障害グループの異常を検知した場合、ASMディスクグループの障害と

CLUSTERPRO MCシリーズのご紹介

2017年10月

日本電気株式会社

クラウドプラットフォーム事業部

CLUSTERPROグループ

3 © NEC Corporation 2017

本資料について

※本資料に記載されている内容は NEC製サーバー Express5800、NX7700xシリーズ（以降、NEC製サーバー）や NEC が販売しているストレージ装置でのご利用を前提としております。一部他社製サーバーや他社製ストレージ装置にも対応しておりますので、導入を検討されている場合は、本資料末尾に記載されているお問い合わせ先までご相談ください。

※本資料に掲載しております価格には消費税は含まれておりません。ご購入の際に消費税が付加されますので、ご承知おき願います。

※本資料に記載の会社名、製品名、ロゴは一般的に各社の商標または登録商標です。


業務停止

障害

（業務停止の予兆）

障害の予兆

資源未開放プロセス

データベース格納ディスクの

空き不足

ディスクのセクターエラー

I/Oパスの頻繁なスイッチ

CLUSTERPRO MCシリーズとは

深いレベルでの障害検知、および障害の予兆を検知することにより、システムの可用性を極限まで高める製品群

ハインリッヒの法則で例えれば・・・

• クラスター化（サーバーの冗長化）

• 障害の検知

• フェールオーバー

業務停止の防止

• 装置の冗長化

• 障害の予兆検知

• 障害の予防

障害の防止

CLUSTERPRO MCシリーズ

重大な事故

軽微な事故

ヒヤリ・ハット

監視

監視

適用効果

サーバー監視ノウハウを容易に導入ダウンタイム短縮


CLUSTERPRO MCシリーズの導入パターン

MCシリーズは「シングル構成」でも利用可能

シングル構成

クラスター構成

連携

監視

監視

連携

監視

運用管理製品との連携

システムログイベントログ

・WebSAM・Zabbix・JP1

・CLUSTERPRO X・WSFC

監視

MCシリーズ

HW or SW

運用管理製品

MCシリーズMCシリーズ監視

（*1）CLUSTERPRO X SingleServerSafe

HW or SW HW or SW

SSS *１

HAクラスタリングソフトウェア

連携監視


CLUSTERPRO MCシリーズ製品ラインナップ

Windows / Linux

RootDiskMonitor 内蔵ディスク監視

ApplicationMonitor Oracle Database監視

障害監視

仮想化基盤

シングルクラスター

ProcessSaver プロセス監視Windows

Linux

StorageSaver ストレージ監視Windows

Linux

Windows

Linux

Linux


CLUSTERPRO MCシリーズ 2.1 の強化点

▐ プロセス数上限監視機能

ユーザー指定の監視対象プロセス数が指定個数を上回って存在していた場合に、異常を検知することが可能。

▐ リソース情報収集機能

監視対象プロセス単位でのCPUやメモリなどのリソース情報の推移を取得し、CSV形式の情報として出力する機能を追加。

▐ 動作環境の拡大

Red Hat Enterprise Linux 6.7、6.8、7.1、7.2 に対応。

Oracle Linux 6.7、6.8、7.1、7.2 に対応。

VMware vSphere 6.0 に対応。

Microsoft Windows Server 2016 Standard、

Microsoft Windows Server 2016 Datacenter に対応。

ProcessSaver

▐ Oracle 12c ASM（Automatic Storage Management）対応

Oracle ASMのデータの冗長性を考慮したディスク監視が可能。

▐ Multiple Devices 対応

Multiple Devicesにより構築した「ソフトウェア RAID」構成に

おいて、ストレージ装置のI/Oパス監視が可能。







StorageSaver

Linux

▐ パトロールシーク機能強化

スケジューリング（例: 特定の時間帯に検査を行い、1か月の間に全ディスク検査を実行）することが可能。

▐ Multiple Devices 対応

Multiple Devicesにより構築した「ソフトウェア RAID」構成において、OSディスクの監視が可能。







RootDiskMonitor

Linux

ApplicationMonitor

▐ インスタンスのハングアップ監視機能強化

Oracleバックグラウンドプロセス単位の監視で、Oracle待機イベントの発生状況と継続状態を確認することで、ハングアップの検知精度が向上。






プロセス数上限監視機能（ProcessSaver）

プロセス数が一定個数を上回った場合に異常を検知可能

追加

▐ ユーザー指定のプロセス数が一定数未満となった場合に検知可能

▐ 従来のプロセス数減少の検知に加え、プロセス数の増加も検知可能

従来強化機能

設定ファイル（例）

プロセスが3個未満になった場合、異常

設定ファイル（例）

プロセスが5個以上になった場合、異常

ProcessSaver

プロセス

プロセス

プロセス

異常

ProcessSaver

プロセス

プロセス

プロセス

プロセス

プロセス

異常

プロセス数の増加によるリソース枯渇の防止が可能！


パトロールシーク機能強化（RootDiskMonitor）

月に1回だけディスクの全面検査を行うといった設定が容易

検査済セクター（1日目）


▐ 1日に1回、いつに開始し、いつに終了するかをタスクスケジューラへ登録、または運用管理ソフトから実行指示するだけで、月に1回だけディスクの全面検査を行うことが可能です。全面検査が完了したかどうかを確認し、完了していた場合は全面検査を停止、未完了の場合は全面検査を実行するといった複雑な制御が不要です。


ディスク

翌月は、またパトロールシークを再開

（例）• 月に1回全面検査• 毎日00:00~01:00

に検査設定

メディアエラー検査

1日目 00:00~01:00に検査

3日目 00:00~01:00に検査

2日目 00:00~01:00に検査

4日目以降の検査は実施しない


機能強化

・障害グループに含まれる1つのASMディスクの異常を検知した場合、障害グループの障害と判定（片系故障）

・ミラー構成を取るすべての障害グループの異常を検知した場合、ASMディスクグループの障害と判定（両系障害）

・Oracle ASMの構成を考慮した設定ファイルの自動生成

従来

・障害グループに含まれるすべてのASMディスクの異常を検知した場合、障害グループの障害と判定（片系故障）

・ミラー構成を取るすべての障害グループの異常を検知した場合、ASMディスクグループの障害と判定（両系障害）

Oracle 12c ASM（Automatic Storage Management）対応（StorageSaver）

Oracle ASMのデータの冗長性を考慮した障害検知を行うことが可能

ASMディスクグループ

障害グループ1

障害グループ2

ASMディスク2

ASMディスク1

ASMディスク4

ASMディスク3

ASMディスクグループ

ミラー

障害グループ1

障害グループ2

ASMディスク2

ASMディスク1

ASMディスク4

ASMディスク3ミラー

* 2重ミラーの場合の例


インスタンスのハングアップ監視機能強化（ApplicationMonitor）

Oracleバックグラウンドプロセス単位の監視で、Oracle待機イベントの発生状況を考慮したハングアップ判断が可能

▐ ハングアップ状態を検知したOracleバックグラウンドプロセスの待機イベントの発生状況

から、「処理に時間がかかっている」のか「処理が止まっている」のかを区別

▐ 「処理が止まっている」Oracleバックグラウンドプロセスのみをハングアップと判断

待機イベントの発生状況を確認することによりハングアップ検知の精度が向上。

待機イベントA 待機イベントB 待機イベントD

待機イベント待ちが続き、処理に時間がかかっている

待機イベントC

ハングアップ

判断

待機イベントA

待機イベント待ちのまま処理が止まっている

補足: Oracle RAC構成で、インスタンスのハングアップ検知時に監視のリトライを行う設定の場合に有効となる機能です。

CLUSTERPRO MCシリーズ製品紹介

1. ProcessSaver2. RootDiskMonitor3. StorageSaver4. ApplicationMonitor


▌概要プロセスを監視し、プロセス消滅時に自動的に再起動を実施する

ソフトウェアです。

プロセス再起動に失敗した場合は、HAクラスタリングソフトウェアと

連携しノードを切り替え、業務を継続するなど高可用を実現します。

▌特長プロセスの消滅・ハングアップを検知

サービスの消滅を検知（Windowsのみ）

障害検知時に自動でプロセスを再起動

依存関係のある業務プロセス群を

監視プロセスのグループで監視

監視対象プロセスのリソース情報を採取

監視テンプレートサンプル（*1）を提供（*1）Windows: IIS,SQLServer,Tomcat,WebOTXなど

Linux : OS標準デーモン,Apache,Tomcat,

WebOTX,WebLogic,JBoss など

ProcessSaver とは

ProcessSaver

業務プロセス

メモリ CPUスレッド

数業務プロセス再起動

監視リソース情報採取

ハングアップ

消滅


ノード切り替え


プロセスのハングアップ（無応答）監視

ProcessSaver

▌プロセスのハングアップを検知監視対象プロセスより、一定時間以上ファイルのタイムスタンプ、オープンファイル数、

スレッド数、ファイルへの指定文字列の更新がない場合にハングアップと判定

プロセス

ファイルプロセス

更新

ファイル

オープン・クローズ

ファイルファイル

オープンオープンクローズ

ファイルプロセス

スレッド

起動・終了

プロセススレッドスレッド

起動起動終了

ABCDEFGHIJKL…ABC…

定期的に1つのファイルに任意の文字列（ABC）を書き込む

ファイル

ハングアップ

ハングアップ

ハングアップ

ハングアップ

（*1）Linux版のみ提供している機能です。

オープンするファイル数の変化を監視（*1）

ファイルのタイムスタンプを監視

起動するスレッド数の変化を監視（*1）

ファイルの中の文字列を監視（*1）


プロセス無応答による障害事例

突然、業務アプリケーションの応答が停止状態になった。

Windows の IIS が無応答状態となっていたため、IIS 上で動作する業務アプリケーションの応答が停止状態になっていた。

障害事例

ProcessSaver で IIS のハングアップ監視を実施することで、無応答状態を自動検知し再起動することにより業務停止時間を最小限に抑えることが可能。

導入効果

原因

IIS

WAS

W3SVC

Aspnet_state

AppHostSvc

WMSvc

IISADMIN

OS起動ProcessSaver 自動起動自動起動

IIS状態チェックモジュール

iisreset.exe

情報収集

実行

再起動

監視

情報収集

状態チェック

状態チェック

ガイドブック

監視テンプレートガイド付き

死活監視モジュール

IISハングアップチェックモジュール

分析

再起動スクリプト


RootDiskMonitor とは

▌概要

サーバーの内蔵ディスクを監視し、障害発生時にシステムログに障害を

通知するソフトウェアです。冗長構成をとる内蔵ディスクについては

片系障害から検知することができます。両系障害時にはHAクラスタ

リングソフトウェアと連携し、待機ノードへ切り替えます。

▌特長内蔵ディスクを構成するI/Oパスに対して

障害、ハングアップを検知

メモリ常駐の監視によりディスク異常を

確実に検知

未使用領域を含む全領域への

ディスク故障調査（メディアエラー等）

により、運用中の障害を未然に防止 PV1 PV2

ミラーリング

内蔵ディスク

定期的にTestI/Oを発行

故障システムログ

障害を通知


RootDiskMonitor

ノード切り替え※両系障害の場合


パトロールシーク機能

▌メディアエラーとなった不良セクターを検知定期的にテスト読み込みでメディアエラーセクターを検知

テスト読み込みは少ない影響で実行可能

監視領域は未使用領域を含むディスクの全面

通常運用で頻繁にアクセスする領域

メディアエラーセクター

パトロールシーク機能による検査領域

全ディスク領域を定期的にテストアクセスするため、メディアエラーセクターの早期検知が可能

OS からのアクセス業務 I/O

RootDiskMonitor

パトロールシーク機能

I/O エラーや I/O リクエストの無応答の発生によりシステムへの影響大

テスト読み込み

OSの種類セクター単位の検査間隔

検査ディスクのサイズ

検査に必要な時間

Linux 0.01秒 73GB 約1時間

Windows 0.01秒 160GB 約4.5時間

表面化していないメディアエラーセクター

検査時間の参考値（ディスクサイズなどシステム要件により異なります）


RAIDコントローラーに実装されたメモリ部の故障による障害事例

・RAIDコントローラーが無応答となり、障害を通知できなかった。・3時間システムキャッシュ上のデータを読み書きするのみで業務が継続できていた。

障害事例

RootDiskMonitor はメモリ常駐で定期的にディスク監視を行うため、RAIDコントローラーやディスクの障害の影響を受けずに早期に障害検知が可能。

導入効果

原因

導入前RAIDコントローラーが動作しないと障害に気付けない。

気付けたとしてもイベントログへ通報できない。導入後

ディスク

RootDiskMonitor がRAIDコントローラーの故障を検知しシャットダウン。

ディスク

RAIDコントローラー

RAIDコントローラー

定期的にSCSIパススルードライバー

経由でTestI/Oを発行し無応答状態を監視

故障

RAIDコントローラーはメモリ障害などを検知すると

動作が停止障害を通知不可

②無応答を検知

RAIDコントローラーツール

OS

③シャットダウン

故障

①TestI/O

RootDiskMonitor

イベントログ

イベントを書き込み不可

RAIDコントローラーが故障。3時間後にサーバーがダウンするまで障害に気づけず、3時間分のデータが消失した。


StorageSaver とは

▌概要ストレージにつながるI/Oパスの障害監視を行うソフトウェアです。

I/Oパスの片系障害時には、障害装置へのI/Oパスを閉塞し待機系I/Oパス

での運用を継続します。両系障害時にはHAクラスタリングソフトウェア

と連携し、待機ノードへ切り替えます。

▌特長ストレージ装置のコントローラーの障害検知、

FCカード、FCスイッチの故障検知

I/Oパスの障害、ハングアップ検知

Oracle ASM の冗長性を考慮した監視

障害検知時に自動でI/Oパスを閉塞

設定ファイルの自動生成

一定時間内に低頻度の確率で障害が

発生している注意・警告レベルの

I/Oパスを検知


ノード切り替え※両系障害の場合

マルチパス管理製品StoragePathSavior,PowerPathなど

FCカード FCカード

ストレージ

故障



StorageSaver

FCスイッチ（副）FCスイッチ（正）


間欠障害監視

▌I/O遅延の予兆を検知ストレージへのTestI/O発行結果を定期的に解析し、障害発生頻度に応じて2パターンの

間欠障害を検知

1. 注意レベルの間欠障害（散発的に発生する間欠障害を検知）

2. 警告レベルの間欠障害（断続的に発生する間欠障害を検知）

ストレージ

StorageSaver


TestI/O発行結果

注意レベルの間欠障害

TestI/O発行結果

○×○○×○×○××

障害の発生率50%

○×○○×○×○××

○××××○××××

××××××××○×

障害の発生率73.3%

警告レベルの間欠障害設定ファイル

注意レベル:30%以上

警告レベル:70%以上

30%超え 70%超え


アクション


アクション

I/Oパスを閉塞


ディスク I/O のスループット低下によりバッチ処理が遅延

ディスク I/O のスループットが低下したことで、バッチ処理が想定の時間内に終了できず、業務に影響を与えた。

間欠障害により I/O パスの切り替えが頻発し、ディスクアクセスが遅延した。

障害事例

StorageSaver がマルチパス管理製品と連携し、障害の発生した I/O パスを閉塞。間欠障害時の頻繁な I/O パスの切り替えによる業務のスローダウンを防止。

導入効果

原因

×

正系副系副系

ストレージ

頻繁な切り替わり発生

障害が発生したノード内ではI/O パスの監視が継続されます。障害が発生したノード内の I/O パスの監視で正常に見えると切り戻しが発生します。そのため間欠障害ではノード内の I/O パスが頻繁に切り替わり、ディスクアクセスが遅延する可能性があります。

障害を検知すると、間欠障害が発生した側の I/O パスを閉塞し、疎通可能なパスへ切り替わります。障害が発生したノード内の I/O パスを閉塞することができるので、間欠障害でも頻繁な切り替わりは発生しません。

閉塞

ストレージ

マルチパス管理製品

StorageSaver

マルチパス管理製品

導入前導入後

間欠障害間欠障害


データベース

ApplicationMonitor とは

▌概要

Oracleデータベースシステムを監視し、業務停止につながる障害を

早期に検知するソフトウェアです。障害発生時には、Oracleプロセスの

再起動もしくはHAクラスタリングソフトウェア連携によるフェール

オーバーで業務停止時間を最小化します。

▌特長インスタンス、リスナー、Oracle Clusterwareの

停止、ハングアップを検知

ハングアップ前の予兆を検知

障害検知時に原因究明に必須となる情報を

自動的に採取

表領域不足の検知

バックグラウンドプロセス単位での障害監視による

障害箇所の絞り込み

ディザスターリカバリ構成のスタンバイデータベースの監視



Oracle Database Oracle Database

ApplicationMonitor

障害

監視監視

フェールオーバー

情報採取

ApplicationMonitor

ノード切り替え


RAC構成を意識したインスタンス監視

▌原因ノードを特定全ノードで同期したインスタンス監視を行い、MASTERとして動作する

ApplicationMonitor が全ノードの監視ステータスを収集し、障害原因ノードを判断

特定ノードの障害が原因で全ノードが無応答状態となっているような状態でも、

原因ノードを特定して、原因ノードのみ停止することが可能

障害発生時にはRACを構成する全ノード上で障害情報の採取を行うため、

障害の原因までの時間を短縮

ノード再起動

ApplicationMonitor ApplicationMonitor

全ノードハングアップ

CLUSTERPRO XSingleServerSafe

CLUSTERPRO XSingleServerSafe

データベース

Oracle RAC Oracle RAC障害

障害ノードを判定

監視監視


インスタンス無応答での業務遅延の障害事例

業務が突然停止。手動での業務再起動まで業務が停止し、復旧後は障害箇所の特定に人手と時間を要した。

アーカイブログ出力先のローカルディスク容量が100%になり、アーカイブ処理が終了せず、データベース更新ができない状態だった。

障害事例

ApplicationMonitor はアーカイブログ出力先のローカルディスク空き容量の監視が可能なため、無応答状態の発生を未然に防止可能。

導入効果

原因

データベースサーバー

業務

接続中の業務は遅延

アーカイブログ出力先のディスク容量がひっ迫し、処理が遅延

データベースサーバー

業務

空きディスク容量を監視

業務継続

ログ退避

ApplicationMonitor

導入前導入後

障害

業務AP

業務AP

Oracle Database無応答障害でデータベースの更新不可

データベースローカルディスク

別のディスク

データベースローカルディスク

Oracle Database


ライセンス体系

A) CPUカウント方式

対象製品価格説明

CLUSTERPRO MC ProcessSaver 2.1 for Linux ¥210,000 NEC製サーバーかつ物理サーバー向けライセンス。ライセンスの数量はサーバーの実装CPU数の総和に等しいかそれ以上（ハードウェア機能により有効に動作するCPUが限定される場合に予備分も購入を推奨）が必要。コア/ハイパースレッドについては2重カウントしない。（注意）CLUSTERPRO MC StorageSaver については、接続するストレージがiStorage、またはNEC社から販売しているEMC社製品以外のストレージの場合は、他社機版を購入してください。

CLUSTERPRO MC RootDiskMonitor 2.1 for Linux ¥175,000

CLUSTERPRO MC StorageSaver 2.1 for Linux ¥350,000

CLUSTERPRO MC ApplicationMonitor 2.1 for Linux ¥1,312,500

CLUSTERPRO MC ProcessSaver 2.1 for Windows ¥210,000

CLUSTERPRO MC RootDiskMonitor 2.1 for Windows ¥175,000

CLUSTERPRO MC StorageSaver 2.1 for Windows ¥350,000


CLUSTERPRO MC ProcessSaver 2.1 for Linux(他社機版) ¥300,000 他社製サーバーかつ物理サーバー向けライセンス。ライセンスの数量はサーバーの実装CPU数の総和に等しいかそれ以上（ハードウェア機能により有効に動作するCPUが限定される場合に予備分も購入を推奨）が必要。コア/ハイパースレッドについては2重カウントしない。

CLUSTERPRO MC RootDiskMonitor 2.1 for Linux(他社機版) ¥250,000

CLUSTERPRO MC StorageSaver 2.1 for Linux(他社機版) ¥500,000

CLUSTERPRO MC ApplicationMonitor 2.1 for Linux(他社機版) ¥1,875,000

CLUSTERPRO MC ProcessSaver 2.1 for Windows(他社機版) ¥300,000

CLUSTERPRO MC RootDiskMonitor 2.1 for Windows(他社機版) ¥250,000

CLUSTERPRO MC StorageSaver 2.1 for Windows(他社機版) ¥500,000



B) 仮想マシン台数カウント方式


CLUSTERPRO MC ProcessSaver 2.1 for Linux VM ¥210,000 NEC製サーバーかつ仮想マシン向けライセンス。ライセンスの数量は仮想マシン台数分が必要。末尾にVMのつく製品が、本ライセンス方式。（注意）CLUSTERPRO MC StorageSaver については、接続するストレージがiStorage、またはNEC社から販売しているEMC社製品以外のストレージの場合は、他社機版を購入してください。

CLUSTERPRO MC RootDiskMonitor 2.1 for Linux VM ¥175,000

CLUSTERPRO MC StorageSaver 2.1 for Linux VM ¥350,000

CLUSTERPRO MC ApplicationMonitor 2.1 for Linux VM ¥1,312,500

CLUSTERPRO MC ProcessSaver 2.1 for Windows VM ¥210,000

CLUSTERPRO MC RootDiskMonitor 2.1 for Windows VM ¥175,000

CLUSTERPRO MC StorageSaver 2.1 for Windows VM ¥350,000


CLUSTERPRO MC ProcessSaver 2.1 for Linux VM(他社機版) ¥300,000 他社製サーバーかつ仮想マシン向けライセンス。ライセンスの数量は仮想マシン台数分が必要。末尾にVMのつく製品が、本ライセンス方式。CLUSTERPRO MC RootDiskMonitor 2.1 for Linux VM(他社機版) ¥250,000

CLUSTERPRO MC StorageSaver 2.1 for Linux VM(他社機版) ¥500,000

CLUSTERPRO MC ApplicationMonitor 2.1 for Linux VM(他社機版) ¥1,875,000

CLUSTERPRO MC ProcessSaver 2.1 for Windows VM(他社機版) ¥300,000

CLUSTERPRO MC RootDiskMonitor 2.1 for Windows VM(他社機版) ¥250,000

CLUSTERPRO MC StorageSaver 2.1 for Windows VM(他社機版) ¥500,000



C) システムカウント方式


CLUSTERPRO MC ProcessSaver CD 2.1 ¥10,000 媒体製品。数量は、1システムにつき1枚以上の購入が必要。（注意）Windows版/Linux版とも付属。＊ ApplicationMonitor はLinux版のみです。

CLUSTERPRO MC RootDiskMonitor CD 2.1 ¥10,000

CLUSTERPRO MC StorageSaver CD 2.1 ¥10,000

CLUSTERPRO MC ApplicationMonitor CD 2.1 ¥10,000


NEC開発製品ですので、ユーザーサポートも安心です！

▐ 本製品に関するご相談、お問い合わせは下記までお願いいたします。

問い合わせ先（*） : [email protected]

▐ 以下製品サイトより製品マニュアルなどがダウンロードいただけます。

トップページ

- URL : http://jpn.nec.com/clusterpro/mc_ha/index.html

ダウンロードページ

- URL : http://jpn.nec.com/clusterpro/mc_ha/download.html

（*）お問い合わせいただいた個人情報は、「NEC個人情報保護ポリシー」http://jpn.nec.com/site/privacy/index.htmlに基づき適切な利用/管理/保護に努めます。

お問い合わせ先

mailto:[email protected]

http://jpn.nec.com/clusterpro/mc_ha/index.html

http://jpn.nec.com/clusterpro/mc_ha/download.html

http://jpn.nec.com/site/privacy/index.html

Documents

CLUSTERPRO MCシリーズのご紹介 - jpn.nec.com · ・ミラー 構成を取る ... の障害グループの異常を 検知した場合、ASMディスクグループの障害と

CLUSTERPRO MCシリーズのご紹介 - jpn.nec.com · ・ミラー構成を取る ... の障害グループの異常を検知した場合、ASMディスクグループの障害と