[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境

DDBJデータ解析チャレンジキックオフ講習会(2016.7.6)

遺伝研スーパーコンピュータのビッグデータ解析環境


国立遺伝学研究所スパコン担当SE

石川直史



大学共同利用機関法人情報システム研究機構国立遺伝学研究所は、2012年3月にスーパーコンピュータシステムを更新し、2014年3月にシステム増強を行いました。スーパーコンピュータシステムはゲノム解析を主な目的とした大規模計

算機利用拠点として最新鋭の大規模クラスタ型計算機、大規模メモリ共有型計算機、および大容量高速ディスク装置で構成されたスーパーコンピューティングシステムサービスを提供しています。

国立遺伝学研究所スーパーコンピュータシステムhttps://sc.ddbj.nig.ac.jp



ノード間相互接続網InfiniBand 4xQDR InfiniBand 4xFDR

台数：2ノード [1.536TFLOPS]CPUコア: 80コア/nodeメモリ: 2TB /node【PCサーバ(HP Proliant DL980 G7)】

Medium計算ノード

台数：1ノード [8.171TFLOPS]CPUコア: 768コアメモリ: 10TB【SMPサーバ(SGI Altix UV1000)】

Fat計算ノード

台数：352ノード [117TFLOPS以上(CPUのみ)]CPUコア: 16コア/nodeメモリ: 64GB /node【PCクラスタ(HP Proliant SL230s Gen8)】

Thin計算ノード

合計容量：約2PB【Lustre FileSystem(DDN SFA10000)】

高速領域

合計容量：約3PB【NFS FileSystem(NEXSAN E60/E60X)】

省電力領域




Thin計算ノード


高速領域

合計容量：約3PB【NFS FileSystem(Hitachi HUS150)】

省電力領域

2012年度導入機器 2014年度導入機器

Thinノード Fatノード Medノード高速領域省電力領域

554ノード9,672コア

1ノード768コア

10ノード800コア

7PB 6PB

2014年増強後の総計



スーパーコンピュータシステムでは、Univa Grid Engine(UGE)をジョブ管理システムとして利⽤しています。UGEが各ユーザから投⼊されたジョブを優先度や使⽤リソース量に応じて適切にスケジューリングすることで、ユーザが意識する必要なく、計算機を効率的に利⽤して⼤量のジョブを円滑に実⾏することが可能です。

スーパーコンピュータシステムでは各種ゲノム解析系ツールを利⽤可能です。これらのツールは、スーパーコンピュータシステムにアカウント登録して頂き、ログインして頂くことで利⽤可能です。

利⽤可能バイオツール

de novo Mapping RNA‐Seq ChIP‐Seq tool other

ALLPATHS‐LG bwa cufflinks MACS samtools pindel

SOAPdenovo bowtie tophat BEDtools cutadapt

Edena v3 bowtie2 picard

Oases SOAP(v1) GATK

Velvet SOAP3

Trinity SOAP3‐dp

URL ︓ https://sc.ddbj.nig.ac.jp/index.php/systemconfig/ja-biotools

ジョブ管理システム



①ゲートウェイノード(DDBJチャレンジの場合gw2.ddbj.nig.ac.jp)にログインする

②qloginを実⾏しインタラクティブノードにログインする③qloginしたホストからジョブをUGEに投⼊する④UGEは負荷の低いノードでジョブを実⾏する⑤ジョブ実⾏結果がLustreのホームディレクトリに出⼒される⑥ジョブ実⾏結果を確認する

JobJobJob

Result

Result

Result

ResultResult

①

③④

gateway

②

⑥ ⑤

ゲートウェイノード(外部との通信専⽤)

インタラクティブノードバッチ専⽤ノード

スーパーコンピュータ使⽤⽅法

Lustreファイルシステム



DDBJデータ解析チャレンジの利用環境



ノード間相互接続網InfiniBand 4xQDR InfiniBand 4xFDR



台数：1ノード [8.171TFLOPS]CPUコア: 768コアメモリ: 10TB【SMPサーバ(SGI Altix UV1000)】

Fat計算ノード


Thin計算ノード


高速領域

合計容量：約3PB【NFS FileSystem(NEXSAN E60/E60X)】

省電力領域



合計容量：約3PB【NFS FileSystem(Hitachi HUS150)】

省電力領域

2012年度導入機器 2014年度導入機器

Thinノード Fatノード Medノード高速領域省電力領域

554ノード9,672コア

1ノード768コア

10ノード800コア

7PB 6PB

2014年増強後の総計

Rank:170th in Top500 (Nov,2011)(Rank:11 th in Japan)


Thin計算ノード


高速領域

DDBJチャレンジで利用可能な計算資源

・計算ノードDDBJチャレンジ専用のリソースを利用して計算して頂きます(challenge.q)。GPU搭載Thin 計算ノードが計10ノードです。[GPU搭載thin計算ノード(1ノードあたり)]CPU：Intel Xeon E5‐2680v2(2.8GHz,10コア)× 2メモリ：64GBGPU：NVIDIA Tesla K20×1

・ホームディレクトリユーザ登録をするとホームディレクトリとして1TBの領域が与えられます。ディレクトリパスは/home/usernameです。



スーパーコンピュータシステムではチャレンジ解析環境⽤に下記のソフトウェアをインストールしています。

チャレンジ解析環境⽤利⽤可能ツール

URL ︓ https://sc.ddbj.nig.ac.jp/index.php/systemconfig/ja-biotoolsその他の利⽤可能OSSは下記Webページをご覧ください。

URL ︓ https://sc.ddbj.nig.ac.jp/index.php/ja-oss-install-aplicationOSSインストール申請は下記ページよりお願いいたします。(8/21まで申請受付)

・R2.14.1と3.1.1が利用可能です。

・pythonpython2.7.2とpython3.5.1が利用可能です。

・MATLABchallenge.qでのみ利用可能です。

・caffe(v1.0.0)challenge.qでのみ利用可能です。

URL ︓ https://sc.ddbj.nig.ac.jp/index.php/programming各ツールの環境設定⽅法については下記Webページをご覧ください。



チャレンジ環境の利⽤の流れは以下のステップの通りです。

システム利⽤の流れ

ユーザアカウント登録

公開鍵の登録

システムログイン

インタラクティブノードへ移動、ジョブ準備

ジョブ投入&結果確認



スパコンホームページ(https://sc.ddbj.nig.ac.jp)で「新規ユーザ登録申請」を選択

ユーザアカウント登録URL ： https://sc.ddbj.nig.ac.jp/index.php/ja-new-application

•利⽤⽬的に”DDBJ Challenge”と記⼊して申請してください。•郵送にてアカウント証を送付いたします(お時間を頂きます)。•既存スパコンユーザはhttp://goo.gl/forms/ejSACyivlSHum2g13より申請してください。



システムにログインするために利⽤する端末から公開鍵を登録して頂きます。登録⼿順等はWebページをご覧ください。

アカウント発⾏後の公開鍵の登録URL ： https://sc.ddbj.nig.ac.jp/index.php/2014-09-17-05-42-33

※本⽇のハンズオン講習では公開鍵登録は不要です



公開鍵を登録後、ゲートウェイノード(gw2.ddbj.nig.ac.jp)にsshログインしてください。ゲートウェイノードは外部からのログイン専⽤ノードとなっておりますで、ジョブの実⾏等はせずにインタラクティブノード(loginキュー)に移動して頂けるようお願いいたします。

インタラクティブノードでは⾃由にコマンドを実⾏頂き、投⼊するジョブやデータの準備、ジョブの投⼊をして頂けます。ゲートウェイノードからインタラクティブノードに移動する際はqloginコマンドを実⾏してください。

システムログイン⽅法・インタラクティブノードへの移動

SSHログインgateway

gw2.ddbj.nig.ac.jp

ゲートウェイノード外部との通信専⽤ノードですこのノードではジョブの実⾏等はせずqloginによりインタラクティブノードへの移動をお願いします。

ユーザ端末

qlogin

インタラクティブノードインタラクティブにジョブの作成やデータの準備をして頂けます

参考URL： https://sc.ddbj.nig.ac.jp/index.php/ja-howtouse



インタラクティブノードに移動後、UGEにジョブとして投⼊するためのデータ準備や実⾏するスクリプトの作成をして頂けます。インタラクティブノード上でGPUの利⽤が必要な場合はqloginコマンドを実⾏する際に、-l gpu オプションを付与してください。また、インタラクティブノード上でメモリリソースがデフォルトより多く必要な場合は-l mem_req=XG,s_vmem=XGオプションを付与してください。デフォルトの利⽤可能メモリは3.1GBです。

インタラクティブノードへの移動・ジョブ準備

gateway

ゲートウェイノード

$ qlogin –l gpu

インタラクティブノード

$ qlogin –l mem_req=6G,s_vmem=6G

GPU利用可能ノードに

移動します。メモリはデフォルトの3.1GBまで利用可能です。

メモリ6GBまで利用可能です




ジョブの準備にあたり、各Webページを参考としてください。

[プログラミング環境]https://sc.ddbj.nig.ac.jp/index.php/programming各コンパイラの使⽤⽅法、RやMATLABの使⽤⽅法が記載されています。

[利⽤可能OSS]https://sc.ddbj.nig.ac.jp/index.php/ja-avail-ossスパコンで利⽤可能なバイオツールをはじめとしたOSSの⼀覧です。challengeではこれに加えて、MATLAB、caffeをご利⽤頂けます(プログラミング環境参照)。また、各⾃のホームディレクトリには⾃由にソフトウェアをインストール可能です。

[利⽤可能DB]https://sc.ddbj.nig.ac.jp/index.php/ja-availavle-dbsスパコンで利⽤可能なバイオ系DBの⼀覧です。

ジョブ準備



ジョブ投⼊準備が終わりましたらUGEにジョブを投⼊してください。キューにてジョブが実⾏されます。チャレンジ環境⽤として以下のキューをご利⽤頂けます。

ジョブ投⼊

qsub

インタラクティブノードインタラクティブにジョブの作成やデータの準備をして頂けます

キュー名ノード数

ノードあたりのリソース

ジョブ

スロット数実行時間の上限

投入時オプション

用途など

challengeキュー 10 CPU：20コアメモリ：64GB

200 62日 -l challenge チャレンジ環境のジョブはこのキューに投入されます

debugキュー 4 CPU：20コアメモリ：64GB

80 1日 -l debug(-l gpu)

ジョブの動作確認をする場合に使用可能です

JobJobJob

バッチ専⽤ノードUGEにより負荷分散され、適切な計算ノード群(キュー)でジョブが実⾏されます

JobJobJob




ジョブ投⼊

16

#!/bin/sh#$ -S /bin/sh

pwdhostnamedatesleep 20dateecho “to stderr” 1>&2

2⾏⽬の“#$”は、UGEオプションを指定するための接頭辞。“#$ -S”で、このシェルスクリプトがUGE上で動作する際に使⽤するインタプリタを指定する(この例の場合、インタプリタは/bin/sh)この⾏を省略した場合、ジョブ投⼊時のコマンドオプションで“-S 使⽤するインタプリタのパス”を指定する必要がある。

ジョブの投⼊例を⽰します。UGE向けに記述したシェルスクリプトを作成して投⼊します。

参考URL： https://sc.ddbj.nig.ac.jp/index.php/tutorial-materials/



ジョブ投⼊ & 結果確認

参考URL： https://sc.ddbj.nig.ac.jp/index.php/tutorial-materials/ 17

$ qsub –l challenge test.sh

qsubコマンドでジョブを投⼊します。

ジョブを投⼊すると、実⾏待ち⾏列にジョブが⼊ります。投⼊したジョブの状況は、qstatコマンド(後述)で確認できます。

実⾏後、ジョブの出⼒を確認します。ホームディレクトリに、ジョブの標準出⼒、標準エラー出⼒を記録したファイルが出⼒されます。

$ cat ~/test.sh.o325/lustre3/home/ddbjusernt1702016年 7月 1日金曜日 11:15:01 JST2016年 7月 1日金曜日 11:15:21 JST$ cat ~/test.sh.e325to stderr




-S <インタプリタのパス>

スクリプトファイルを実⾏する際のインタプリタのパスを指定する。シェル以外に、Perl,Ruby等のスクリプト⾔語のインタプリタも指定できる

例︓ (shを指定): -S /bin/sh (Perlを指定): -S /usr/local/bin/perl

-cwd

ホームディレクトリではなく、qsubコマンド実⾏時のディレクトリでジョブを実⾏する。このオプションを指定した場合、標準出⼒および標準エラー出⼒ファイルは、qsubコマンド実⾏時のディレクトリに出⼒される。

-o <標準出力の出力先> -e <標準エラー出力の出力先>

ジョブの標準出⼒および標準エラー出⼒の出⼒先を指定する。標準出⼒または標準エラー出⼒をファイル出⼒しない場合は出⼒先に“/dev/null”を指定する。

qsubのオプション

-N <ジョブの別名>

qstat等で確認可能なジョブの名前を、指定した名前に変更する。指定しない場合、ジョブの名前はスクリプト名と同じとなる。




qsubのオプション２

-l リソース要求1,リソース要求2,…

主にキューの選択、メモリ利⽤上限の変更に使う。

-l リソース要求1 –l リソース要求2 –l …

オプション用途

‐l challenge challengeキューにジョブを投入したい場合に使用します

‐l debug debugキューにジョブを投入したい場合に使用します

‐l gpu ジョブ内でGPUを利用したい場合に使用します。ただし、challengeキューはデフォルトでGPUを利用出来ますので、

このオプションは付与する必要はありません

‐l mem_req=XG ジョブ内でデフォルト(3.1GB)以上のメモリが必要な場合に使用します。s_vmemとセットで利用してください。

challenge.qの場合は最大で64GBまでです。

‐l s_vmem=XG ジョブ内でデフォルト(3.1GB)以上のメモリが必要な場合に使用します。mem_reqとセットで利用してください




qsub実⾏例

・ジョブ(test.sh)をchallengeキューに投⼊する場合

$ qsub -l challenge test.sh

・ジョブ(test.sh)をchallengeキューに投⼊しメモリを6GB使⽤したい場合

$ qsub -l challenge –l mem_req=6G,s_vmem=6G test.sh

・ジョブ(test.sh)をchallengeキューに投⼊し、GPUを使⽤したい場合

$ qsub -l challenge test.sh ※-l gpuは不要

・ジョブ(test.sh)をdebugキューに投⼊しGPUを使⽤したい場合

$ qsub -l debug –l gpu test.sh

・ジョブ(arraytest.sh)をchallengeキューにアレイジョブとして投⼊したい場合

$ qsub -l challenge –t 1-6:2 arraytest.sh

⇒アレイジョブやMPIジョブについては参考URLをご参照ください




qstatによるジョブの状況確認

2121

投⼊したジョブの状況はqstatコマンドで確認できます。

$ qstatjob-ID prior name user state submit/start at-------------------------------------------------------------

325 0.00000 test.sh ddbjuser qw 06/19/2016 19:11:56

・ジョブが待ち⾏列に⼊っている場合、stateに”qw”が表⽰されます

$ qstatjob-ID prior name user state submit/start at-------------------------------------------------------------

325 0.00000 test.sh ddbjuser r 06/19/2016 19:11:56

・ジョブが実⾏中の場合、stateに”r”が表⽰されます




qstatオプション

-f

キューの利⽤状況を合わせて表⽰する例︓ qstat –f

-u [uid]

指定した[uid]のジョブも表⽰する。「ʻ*ʼ」とすると、全ユーザのジョブを表⽰する

例︓ qstat –u ʻ*ʼ

-j [jobid]

指定した[jobid]のジョブの詳細情報を確認する。エラーステータス“Eqw”となった理由を確認できる。

例︓ qstat –j 325




qacctによるジョブの確認

2323

実⾏が終了したジョブの詳細はqacctコマンドで確認できます。ジョブが実際に消費したリソース等が確認できます。

$ qacct -j 325==========================================================qname challenge.qhostname nt170igroup nig-challengeowner ddbjuserproject NONE(※中略※)cpu 0.032mem 0.001io 0.000iow 0.000maxvmem 208.207Marid undefined



その他UGEの使い⽅スパコンWebページに講習会資料を掲載しておりますので参考にしてください。

[資料名]・システム紹介・システムの基本的使⽤⽅法・Univa Grid Engine概説・ジョブを投⼊するノウハウ

URL︓ https://sc.ddbj.nig.ac.jp/index.php/tutorial-materials



DDBJデータ解析チャレンジのために新規にアカウント発⾏したユーザの利⽤可能期間は2016/6/27 〜 2016/8/31 となっております。期間後はご利⽤頂けなくなりますのでご了承下さい。

期間後も継続して遺伝研スーパーコンピュータをご利⽤になりたい場合は期間終了までに問い合わせ窓⼝よりご連絡頂けますようお願いいたします。継続申請⽅法は以下のWebページをご参照ください。

諸注意

お問い合わせ窓口URL： https://sc.ddbj.nig.ac.jp/index.php/ja-question2

継続申請方法についてURL： http://www.ddbj.nig.ac.jp/ddbj-challenge2016-j.html

Education

[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境