Upload
cloretsblack
View
1.703
Download
0
Embed Size (px)
Citation preview
自己紹介
@Clorets8lackSlideshare http://www.slideshare.net/cloretsblack
某ユーザー企業の国際インフラ担当
トラブル大好き、パケットキャプチャで白いご飯が3杯いける
製造から経営まで「やってみたスペシャル」挑戦中
海外の情シス
とにかく遠距離遅延と損失が国内とは桁違い
インドではRTT平均300ms台(東京-福岡25ms)
言語、文化、宗教の違いお互いに母国語でないケースも多い
文字コードや夏時間、断食休み等システムに関係する相違点も多い
現地従業員の考え方も日本とは異なる
ITガバナンスにまつわる現実
情報伝達コストが高いルールの徹底、指導等が実効性を持ちにくい
現地の習慣従業員はチャットしながら仕事をする(中国)
仕事の責任範囲の考え方(インド カースト制度)
日本のやり方を踏襲しにくい
ガバナンスを評価するのは日本人
どうするか
Give & Take社内ユーザーに恩を売っておくと、仕事がスムーズ
厳しい事を言う時、すぐに動いてほしい時、謝る時、恩の蓄積がモノを言う
貸し借りは世界共通概念何事もまずは信頼ありき
頼りにされる情シスを目指す
ここで問題です
情報システム部門が、顧客である社内ユーザーに最も感謝される場面は、次のうちどれ?
A. 障害を未然に防いだ時
B. 専門的な立場から適切な助言を与えた時
C. ユーザーの困りごとを迅速に解決した時
ここで問題です
情報システム部門が、顧客である社内ユーザーに最も感謝される場面は、次のうちどれ?
A. 障害を未然に防いだ時
B. 専門的な立場から適切な助言を与えた時
C. ユーザーの困りごとを迅速に解決した時
迅速な問題解決のために
可視化
• パケットキャプチャによる無敵の常時監視
• 障害の事後でも確実にトラップ
• ルール違反の証拠を押さえる
自動化
• パケットの統計処理によるアノマリ解析
• 過去データと比較して特異な兆候を検知->警告
常時監視のイメージ後輩君
ぼく
後輩君
先輩、ハワイ拠点のLANなんですけど、いつもよりもUDP通信が多いです。ちょっと見てもらえませんか?
そっか? 月末だからじゃないの?
いや、曜日や時間帯を考慮した上で先月末、先々月末と比べましたが、明らかに異常値です。なにかおかしなことが起きているかもしれません
こんな頼りになる後輩が居たら、監視業務は
全て任せてハワイに飛ぶしかない!
開発しました(自宅で趣味的に)
Sonarman ソナーマンパケットキャプチャと自動ローテーションを行うアプ
ライアンス
ファンレス小型筐体
Web UIX64アーキテクチャの小型サーバ
別途、スイッチのポートミラーリング機能が必須
VM版も販売中
海外4拠点に設置
SonarmanVMを現地のサーバに配置
キャプチャ取得/保存はサーバが処理
VMで監視、警告を行う
ミラーリング
cap
SonarmanVM
警告メール
異常
パケットキャプチャ
結果
発見した問題(一部)
BYOD端末の不具合
拠点間で発生する大容量通信による帯域枯渇
現地無線APの電波障害
Bittorrentユーザー
日次夜間処理バッチの不具合
WSUS設計の不備
トラブルシューティング能力が大幅に向上
データの蓄積
パケットキャプチャをいくつかのパターンでカウントし、データベースに値を格納
パターン数は70項目ほど過去10年間に発生した様々な障害から得た経験をパ
ターン抽出モジュールとして実装
(機械学習でいうところのFeature Engineering)
自動警告機能
シグネチャ(ルール)ベースの異常トラップ
移動平均と標準偏差による統計的な異常検知コンピュータに怪しい箇所を教えてもらう
その環境で過去に例の無い、特徴的なトラフィックを検知できる
予め設定された特徴について、どれだけ平均値から逸脱しているかで判断
↓警告
特徴
•身長•武器•トゲ•マスク•髪型•服装•化粧
ダッシュボード
どういう情報を見たいか?という観点からダッシュボードを設計
不必要な情報は画面に表示させない
2次調査くらいまではキャプチャを見ずにやりたい
シャバい問題発生時にパケットのサンプルをチョイ見せしてくれるダッシュボードを作る
失敗② お前誰よ?問題
不明なグローバルIPとの大容量通信
このMACと通信先IP誰よ?結局、問題把握後の調査に時間がかかる
Whoisでは正しい情報が取得できない
現地従業員への注意喚起はバイネームまで特定してから
考え方の違いが大きな摩擦を生むことも
ハンパない安心感
問題発生時に必ずパケットキャプチャがあるという事実は非常に心が休まる
時差のきつい地域のサポートや夜間処理などで大活躍
正常系と異常系を見比べる簡単な間違い探しで問題の原因究明が出来る
エビデンスベースの対応
「分からないけどとりあえず○○してみた」系の無根拠トライ&エラーが無くなる
現地業者とのやり取りが効率化
• 問題の本質や状況を伝達しやすい
• 修正の受け入れ基準が明確
英文メールの文章が減る
• ミスコミュニケーションも減る