1  

Cloudera  サポートの現場から、YARN  の最新事情  Sho  Shimauchi,  Cloudera  2014/07/08    

2  

Who  am  I?  

•  嶋内 翔(しまうち しょう)  •  Clouderaの社員  •  email:  sho@cloudera.com  •  twiFer:  @shiumachi  

3  

YARNのおさらい  

•  Hadoopのサブプロジェクトとして開発されているリソース管理フレームワーク  

•  詳細は省略  

4  

CDHにおけるYARN  

•  CDH4  (2012年)  YARN  導入  •  しかし  not  producLon  ready  

•  CDH5  (2014年)  YARN、ついに  producLon  ready  に  

5  

典型的な問い合わせ  (2013年)  

6  

YARNはいつ  GAになるんですか？  

7  

それから1年の  月日が流れた…  

8  

問い合わせ数がすごいことになった  

9  

YARNユーザの急増  

•  CDH5b1のリリース後、多くのユーザで本格的な検証がスタート  

•  Cloudera  の顧客では既に何社も本番稼働させている  

•  日本でもYARNを検証している顧客はいます  

10  

典型的な問い合わせ  (2014年前半)  

11  

ジョブが失敗する  ↓  

メモリ不足  

12  

メモリはちゃんと確保しましょう  

•  VMで動かしてたらそもそもジョブが起動しない  •  (多分)誰もが通る道  •  yarn.app.mapreduce.am.resource.mb  (デフォルト1.5GB)  を

確保できないと起動すらできない  •  VMで動かすときは減らしましょう  

•  yarn.nodemanager.resource.memory-­‐mb    •  NMのメモリ割り当て  •  足りないのでジョブが実行できない、というのが典型  •  増やしましょう  

13  

バグもあります  

•  YARN-­‐1924  •  RM  HA  環境で、YARN  app  が  submiFed  ステートのときに  kill  するとエラー  

•  CDH  5.0.1  で  fix  

•  YARN-­‐2073  •  リソースに余裕があるのにFairスケジューラのプリエンプ

ションが発生する  •  CDH  5.0.2  で  fix  

14  

まとめ  

•  YARNはCDH5がGAになってから検証する人が急増した  •  本番環境導入も始まってる  

•  しかしまだまだ基本的な運用ノウハウが浸透していないので初歩的なミスが目立つ  

•  YARN対応済みの  Cloudera  の管理者コース受けましょう！  

15