-HyClops JobMonitoringの紹介- ジョブ管理と監視の融合による効果 · 1.ジョブの失敗状況をZabbixに連携 2.ジョブの実行処理時間情報をZabbixに連携

Copyright © 2015 TIS Inc. All rights reserved.

ジョブ管理と監視の融合による効果

-HyClops JobMonitoringの紹介-

2015/11/20

OSS推進室

池田　大輔

Copyright © 2015 TIS Inc. All rights reserved. 2

アジェンダ

● TISからの提案

● 運用現場のよくあるパターン

● JobSchedulerとZabbixの活用による解決

● HyClops JobMonitoringを利用した応用展開

● 【宣伝】TISエンタープライズOSSサポートサービスのご紹介


自己紹介

池田　大輔

TIS株式会社 OSS推進室

@ike_dai

https://www.facebook.com/ikedai

　 Zabbix,AWS,fluentd,Ansible,JobScheduler...

名前

所属

Twitter

Facebook

興味

Zabbix Conference 2015“Advanced SysOps by using HyClops”(http://www.zabbix.com/jp/conf2015_agenda.php)

技術評論社HP : http://gihyo.jp/book/2014/978-4-7741-6288-1Amazon : http://www.amazon.co.jp/dp/4774162884

3

http://gihyo.jp/book/2014/978-4-7741-6288-1

http://www.amazon.co.jp/dp/4774162884


TISからの提案


効果的な運用実現のためには

監視

ジョブ管理インシデント

管理

構成管理


効果的な運用実現のためには

監視

ジョブ管理インシデント

管理

構成管理

システム運用自動化に直結する特に重要な要素はここ


JobScheduler

7

今日の目的

ということを知ってもらう

Zabbixはもちろん有効！

JobSchedulerを組合わせると

　　　　　可能性がもっと広がるかも！


運用現場のよくあるパターン


現状よくあるパターン

運用担当者

ジョブ実行異常検知状況確認原因調査復旧処理

ジョブ管理ツール

監視ツール


自動化して

もっとインテリジェントにしようよ


JobSchedulerとZabbix活用による解決


ZabbixとJobSchedulerを組み合わせることで

運用担当者

ジョブ実行異常検知状況確認原因調査復旧処理

JobScheduler

Zabbix Zabbix Zabbix

JobScheduler

最終的には...

運用担当者は”状況を知る”だけで済むような状況が作れるかもしれない


Zabbixによる柔軟な状態の評価

Zabbixは監視結果に対して複合的な評価条件式の指定が可能

例えば...

とあるジョブが失敗

トリガー条件式

CPUリソースの負荷が高い

かつ(and)

アクション

スケールアウト処理実行

四則演算(+-×÷)、論理演算(and,or,not)、複数ホストの監視結果の計算等対応可能


過去のデータも元に評価できる仕組み

Zabbixのタイムシフトの機能を使えば過去データを元に評価可

例えば...

「1週間前のジョブの実行時間」と「直近のジョブの実行時間」の差分が閾値以上

トリガー条件式アクション

ジョブの実行時間の見直し処理

各監視アイテム毎に監視結果履歴(history)の保存期間が設定可能で、その期間内のデータであれば評価に活用できる


ジョブ定義をプログラマブルに

JobScheduler自身の制御も内部APIでプログラマブルにコントロール

JobChain

とあるJob直近のサーバ負荷収集

Zabbix

OK

評価

次のJobOK

スケジュール変更NG

内部APIにより別スケジュールで処理実行命令(Order)発行

新規Order別スケジュール

例えば...


ツール同士のAPI連携

Zabbix API

❖ Zabbix設定情報➢ Create(登録)➢ Read(読み込み)➢ Update(更新)➢ Delete(削除)

❖ 監視結果情報➢ Read(読み込み)

Zabbix JobScheduler

JobScheduler外部API

❖ JobScheduler設定情報➢ Create(登録)➢ Read(読み込み)➢ Update(更新)➢ Delete(削除)

❖ JobSchedulerステータス情報➢ Read(読み込み)

HTTP


マップ上からのジョブ実行


可能性感じませんか？可能性感じませんか？


HyClops JobMonitoringを利用した応用展開


HyClops JobMonitoring

● ZabbixとJobSchedulerを連携するツール● 3つの機能

1. ジョブの失敗状況をZabbixに連携2. ジョブの実行処理時間情報をZabbixに連携3. ジョブ実行時にZabbixのトリガー条件式を動的変更

公式サイトURL: http://tech-sketch.github.io/hyclops_jmGitHubリポジトリ: https://github.com/tech-sketch/hyclops_jm

http://tech-sketch.github.io/hyclops_jm

https://github.com/tech-sketch/hyclops_jm


HyClops JobMonitoring

● ZabbixとJobSchedulerを連携するツール● 3つの機能

1. ジョブの失敗状況をZabbixに連携2. ジョブの実行処理時間情報をZabbixに連携3. ジョブ実行時にZabbixのトリガー条件式を動的変更

公式サイトURL: http://tech-sketch.github.io/hyclops_jmGitHubリポジトリ: https://github.com/tech-sketch/hyclops_jm

平常時のCPU負荷 Job実行時のCPU負荷

閾値閾値

http://tech-sketch.github.io/hyclops_jm

https://github.com/tech-sketch/hyclops_jm


ジョブ実行時間推移とリソース負荷

スクリーン機能を使ってジョブ実行処理時間推移とリソース負荷をまとめて視覚化


Zabbix3.0の予測機能もうまく活用できる？

linear(線形近似)

polynomial(多項式近似)

logarithmic(対数近似) power(累乗近似)

ジョブ実行時間推移の傾向を捉えて今後のジョブ実行計画自動化　　forecast →　特定の未来時間に値がどうなるかを評価　　timeleft →　特定の値に達するまでにあとどれぐらいかを評価

exponential(指数近似)


【宣伝】TISエンタープライズOSSサポートサービス


TISエンタープライズOSSサポートサービス

問い合わせ先

　　　　　 TIS株式会社　 OSSサポートサービス担当窓口 [email protected]

mailto:[email protected]


12/9 オープンソースカンファレンス

今日の話のもう少し詳しいところを聞きたい方は

12/9 (水)　渋谷までお越しを！

講演タイトル　運用をプログラマブルに！

　　　　　　JobSchedulerを活用したOperations as Codeの世界

詳細・ご登録はこちらから http://www.ospn.jp/osc2015.enterprise/

https://www.ospn.jp/osc2015.enterprise/modules/eguide/event.php?eid=15

https://www.ospn.jp/osc2015.enterprise/modules/eguide/event.php?eid=15


まとめ

高機能な監視ソフトウェアZabbix と高機能なジョブ管理ソフトウェアJobScheduler

柔軟性が高いが故に複雑な感じは否めない

しかし

運用改善という長期的視点で見た時の効果・可能性は大

THANK YOU

Documents

-HyClops JobMonitoringの紹介- ジョブ管理と監視の融合による効果 · 1.ジョブの失敗状況をZabbixに連携 2.ジョブの実行処理時間情報をZabbixに連携