1  

Cloudera  Manager  2013/11/07  Cloudera株式会社 嶋内 翔  

2  

自己紹介  

•  嶋内　翔(しまうち しょう)  •  2011年4月にClouderaの最初の日本人社員として入社  

•  テクニカルサポート業務をメインに、日本における技術に関係する業務全般を担当  

•  email:  sho@cloudera.com  •  twi@er:  @shiumachi  

3  

Hadoop オペレーションの日本語訳が発売予定です  

•  11月下旬発売

•  通称「パカ」本  (?)•  Cloudera  の Eric  Sammer  著•  翻訳は安心の玉川竜司さん

•  レビューを手伝ってました

•  日本語版のみの付録も執筆！

4  

Cloudera  Impala  の⽇日本語フリーブック

•  オライリーの「インパラ本」、日本語PDF版が無償公開される予定です！

•  Cloudera  の John  Russell  著•  Hadoop、HBase、Hadoopオペレーション、

プログラミングHiveなどを翻訳された玉川竜司さんが翻訳！

「これまでClouderaの皆さんにご尽力いただいた翻訳レビューへの感謝の気持ちとして、Cloudera World Tokyo開催のお祝いに翻訳寄贈します！」

5  

本日のアジェンダ  

•  Cloudera  Manager  の背景  •  Cloudera  Manager  の基本  

•  Hadoop  クラスタを構築する  •  インストールと設定  

•  Hadoop  クラスタを運用する  •  起動・停止、監視、バックアップ・リカバリなど  

•  Hadoop  クラスタの障害解析  •  ログ検索やチャート  

6  

Cloudera  Manager  の背景  

7  

Hadoop  クラスタの問題  (1)    構築が大変  

•  インストール手順が複雑  •  SSHの設定  •  ネットワークの設定  •  Hadoop自体の設定  

•  xmlファイルの編集  

•  RDBMSの設定  •  Javaのインストール  

•  サーバの数がとにかく多い  •  100ノードの構築は手作業では無理  

8  

Hadoop  クラスタの問題(2)  運用が大変  

•  起動・停止の順序  •  HBase  →  MapReduce  →  HDFS  の順に停止  •  他のコンポーネントがあるとさらに複雑に  

•  設定ファイルの管理  •  あるノードだけ変更し忘れ  •  複数のハードウェアスペックがあると非常に大変  

•  監視  •  監視項目をきちんと網羅できるか？  

9  

Hadoop  クラスタの問題(3)  障害解析が大変  

•  全部のログを調査はできない  •  スレーブ:  1ノードあたりGB単位のログ  •  マスター:  1000ノード級になると、1分間にGB単位のログ  

•  ハードウェア障害は特定が容易、しかし遅延の特定は極めて困難  

10  

Cloudera  Manager  なら…  

•  簡単に構築ができます  •  100ノードへのインストールもたった1時間  

•  簡単に運用できます  •  設定のバージョン管理が可能  •  Hadoopサービスの監視や、ジョブ監視が可能  

•  簡単に障害解析ができます  •  管理画面から何百ノードのログファイルを検索可能  •  障害ノードをグラフィカルに表示  

11  

Cloudera  Managerは2種類  

•  Cloudera  Standard  •  無償利用可能  •  サービス管理  •  サービス監視  

•  Cloudera  Enterprise  •  サブスクリプションご購入者向け  •  ローリングリスタート・アップデート  •  LDAP連携  •  設定の履歴管理とロールバック  •  バックアップ・ディザスタリカバリ機能(アドオン)  •  アクセス監査(アドオン)  •  サポートシステム連携  

12  

Cloudera  Managerの  基本用語  

デプロイメント  

クラスタ  “Prod  (CDH4)”  

ラック  “/r1”  

ホスト  “a001”  

ラック  “/r2”  

ホスト  “b001”  

サービス  “HDFS”  

ロール設定  グループ  

“datanodes”  

ロール  

ロール設定  グループ  

“namenodes”  

ロール  

デプロイメント:  CMサーバーと全管理対象ホストの設定  

クラスタ:  同じバージョンのソフトを動作させるホストのグループ。

HDFSは同一クラスタ内に一つまで  

ホスト:  CMエージェントを稼働させるマシン(通常は物理サーバ)  

ラック:  通常は同じスイッチによって管理される、同一ラック内のマシ

ン群  

サービス:  クラスタ上のシステム。分散するもの(例:HDFS)もあれば、

分散しないものもある(例:Oozie)  

ロール:  特定のホストにひもづけられた、システムの参加者(例:特定のデータノード)  

ロール設定:  ロールの集合(全て同一タイプ)。これらは同一の設定

を用いる  

設定:  特スコープに関連する、キーと値のペア  

13  

Cloudera  Manager  5  での新機能  

•  リソース管理機能  •  サービス単位だけでなく、ロール単位でのリソース配分が

可能になった  

•  YARN対応(監視含む)  •  HDFS  /  HBase  スナップショットの管理  •  チャート機能の強化  •  サポート対象CDH  

•  CDH5  /  CDH4  •  CDH3  はサポート対象外  

CM5  /  CDH5  

14  

Hadoopクラスタを構築する(1)    インストール  

15  

Cloudera  Manager  によるクラスタ構築  

•  ネットワーク内のノードを識別し、必要なパッケージをインストール  

•  必要なサーバ設定は2つだけ  •  OSのインストール  •  SSHの設定  

デモビデオ (CM4)    h@ps://www.youtube.com/watch?v=DuBYXhB_IyA  

 

16  

パーセル  (Parcel)  

•  CM4.5から導入された新しいパッケージングシステム  

•  root権限は不要  •  rpmでなくtar.gzで管理  •  ダウングレードも可能  •  パッケージの単位は「パーセル」  

•  「◯◯のrpmパッケージ」と同じように、「◯◯のパーセル」と表現する  

パーセルが  リポジトリにある  

パーセルが  CMサーバにある  

パーセルが ホストに配布済み  

パーセルが アクティベート済み

デアクティベート   アクティベート  

ダウンロード  

配布  削除  

完全削除  

17  

パーセルの設定画面  

18  

Hadoopクラスタを構築する(2)    設定  

19  

設定管理画面  

•  設定に問題がある場合は警告する  •  下の図では2箇所に警告が出ている  

•  NNと2NNのヒープサイズが異なる  •  NNのヒープサイズが50MBを下回っている  

20  

設定はバージョン管理できる  Enterprise  

21  

設定変更後は再起動を促す  

22  

マルチクラスタサポート  

•  サービスはクラスタとしてグループ化される  •  サービス設定と監視はクラスタ別に可能  •  クラスタ単位での起動・停止  •  異なるバージョンのクラスタを管理可能  

23  

2クラスタ管理時  

CDH5クラスタ  

CDH4クラスタ  

管理サービス  

24  

クライアント設定管理  

•  クライアント設定とサービス設定は別に管理されている  

•  クライアント =  サービスを利用するためにアクセスするノード  

•  クライアント上のユーザは環境変数等の設定なしでクラスタにアクセス可能  

•  そのサービスのロールを持つ全ホストからアクセス可能  

25  

クライアント設定の配布とダウンロード  

CM5では「View  Client  Configuraeon  URLs」からダウンロードする  

26  

Hadoop  クラスタを運用する(1)    起動・停止  

27  

ホーム画面  

28  

コマンドメニュー  

•  再起動なども簡単  •  クラスタ単位の再起動が可能  

•  停止順序などもきちんと考慮  

•  Enterprise版ならローリングリスタートが可能  

29  

Hadoop  クラスタを運用する(2)  監視  

30  

サービスモニタ  

•  サービスの状態をグラフィカルに監視する機能  •  表示できる情報はサービスによって異なる  

•  HDFS:  IO,  壊れたレプリカ数,  etc  

•  アラートなどもリンクつきでモニタに表示  •  クリックすると詳細ページに飛ぶ  

31  

サービスモニタ(HDFS)  

ホスト名  

32  

サービスモニタ(YARN)   CM5  /  CDH5  

33  

ヘルスチェック  

•  サービスの状態を細かくチェック  

•  問題がある場合アラートを上げる  

34  

問題発生時  

ホスト名  

35  

ホストモニタ  

•  ホストに関する情報を管理・監視できる  •  IPアドレス、ホスト名、ラックID  •  CPUコア数、メモリ量などのハードウェア情報  •  ロードアベレージ  

•  ホストインスペクタにより、ホストレベルでのヘルスチェックが可能  

•  障害の原因として頻出のホスト名設定ミスなど  

36  

ホストモニタ(ホスト全体画面)  

ホスト名   IP  アドレス  

37  

ホストモニタ(ホスト画面)  

ホストID  IPアドレス  

ホスト名  

38  

ホストインスペクタ  

ホストのヘルスチェックを能動的に行うことも可能  

インストールされているパッケージのバージョンチェックなども行う

ホスト名  

39  

アクティビティモニタ  

•  実行した(している)ジョブを監視可能  •  対応サービス  

•  MapReduce1  •  MapReduce2    

•  Hive  •  Pig  •  Oozie  

•  Impala  

CM5  /  CDH5  

40  

アクティビティモニタ  

41  

Hadoop  クラスタを運用する(3)  リソース管理  

42  

リソース管理  

•  ロールベースでのリソース管理機能が追加  •  IT部門:  20%、マーケティング部門:  30%    

•  サービスベースのリソース管理もUIが大幅に強化  •  当然YARNもリソース管理対象  •  Impalaのリソース管理にYARNが使えるようになった  •  スケジューラもGUIで設定可能  

CM5  /  CDH5  

43  

リソース管理   CM5  /  CDH5  

44  

Hadoop  クラスタを運用する(4)  バックアップ・リカバリ  

45  

Backup  and  Disaster  Recovery  (BDR)  

•  Cloudera  Enterprise  のアドオン機能の一つ  •  クラスタ間でデータ転送を行い、バックアップ機能を提供する  

•  機能  •  レプリケーション  •  スナップショット  

Enterprise  

CM5  /  CDH5  

46  

レプリケーション  

•  クラスタ間でデータをバックアップする  

•  Hiveメタストアもバックアップ対象  

•  主要機能  •  スケジューリング  •  監視とアラート  •  dry-­‐run  

•  実行前にバックアップにかかる時間を見積もり可能  

Enterprise  

47  

スナップショット  

HDFSやHBaseをあらゆるバージョンに復元可能  

Enterprise  

CM5  /  CDH5  

48  

スナップショット  

スナップショットもスケジューリング可能  

Enterprise  

CM5  /  CDH5  

49  

Hadoop  クラスタを運用する(5)  監査  

50  

Cloudera  Navigator  

•  コンテンツ管理用のCloudera  Manager  アドオン  •  現在は監査ログの取得ができる  •  実装予定の機能  

•  data  linage  (データの出力元や変換処理の内容などを追跡調査できるようにする機能)  

•  ライフサイクルマネジメント  

Enterprise  

51  

Cloudera  Navigator  の監査ログ  Enterprise  

52  

Hadoop  クラスタの障害解析(1)  ログ検索  

53  

ログ検索  

•  クラスタ全体のログを高速に検索可能  •  以下のようなクエリで検索できる  

•  「7月6日  20:00から21:00の間に」  •  「ホストa,b,c,dにおいて」  •  「サービスmapreduce1で発生した」  •  「WARN以上のログ」  

54  

ログ検索  

55  

イベント  

•  ヘルスチェックにおいて、イベントのしきい値を柔軟に設定可能  

•  重要、致命的の2段階  

•  CDH標準のログには出力されない情報をイベントとしてログ化  

•  ログと同様検索が可能  

56  

イベント設定(HDFS)  

57  

イベント検索  

58  

Hadoop  クラスタの障害解析(2)  問題箇所のグラフィカルな表示  

60  

チャート機能  

メトリクスをグラフ化して表示  ほぼ全てのメトリクスが対象  CM4.5で導入、CM5で大幅に機能強化      

61  

新しいチャート機能  

•  グラフの種類が大幅に追加  •  ヒートマップ  •  ヒストグラム  •  折れ線グラフ  •  面グラフ  •  棒グラフ  •  散布図  

•  指数・対数表示に対応  

CM5  /  CDH5  

62  

全サーバの全ディスクの  IOPSヒートマップ  

CM5  /  CDH5  

63  

TSQuery  

•  チャート生成専用のクエリ言語  •  工夫次第であらゆるチャートが生成可能  •  YARNも対応済み    

メトリクスの一覧はここで閲覧できる  (たくさんある)  

CM5  /  CDH5  

64  

まとめ  

65  

Cloudera  Manager  

•  構築・運用が大変なHadoopの管理を楽にします  •  100ノードのクラスタを1時間で構築可能  •  Enterprise  Edieon  なら監視やアラートなども搭載  

Hadoopを使うなら  Cloudera  Manager  5  を選びましょう  

ダウンロードはこちら  

h@ps://ccp.cloudera.com/display/SUPPORT/Downloads  

66  

CDHコミュニティ・MLの紹介  

CDH  ユーザ メーリングリスト(日本語)  cdh-­‐user-­‐jp@cloudera.org  CDH  の質問についてはこちら    Cloudera  ニュースレター  h@p://www.cloudera.co.jp/newsle@er  Cloudera  に関するニュースをお届けします  CDH/CMの最新情報・使い方なども紹介します        

66  

We  are  Hiring!  

•  Clouderaは貴方を求めています！！  •  ソリューションアーキテクト  

•  Hadoopを使ったコンサルティングやモデリング  •  カスタマーオペレーションエンジニア（サポート）  

•  世界中のお客様のHadoopを守る！  •  インストラクター  •  システムエンジニア(技術営業)  •  セールス  

興味のある方は  info-­‐jp@cloudera.com  まで  ご連絡下さい！  

67

We  are  Hiring!  

68

69