Embed Size (px)
DESCRIPTION
E16 実験への DAQ-Middleware の応用. 濱田英太郎 , 田中真伸 , 内田智久 , 池野正弘 , 千代浩司 , 四日市悟 A , 小沢恭一郎 , 森野雄平 A , 高橋智則 A , 中井恒 BA , 川間大介 A , 小原裕貴 B KEK 素核研 , 理研 A, 東大理 B. 目次. ・ E16 実験について ・ DAQ-Middleware について ・作成したプロトタイプの紹介 概要 ２つの特徴 DAQ 性能 ・まとめ. E16 実験. 茨城県東海村 J-PARC ハドロン実験施設で開始予定 - PowerPoint PPT Presentation
Citation preview
E16 実験への DAQ-Middleware の応用
濱田英太郎 , 田中真伸 , 内田智久 , 池野正弘 , 千代浩司 , 四日市悟 A, 小沢恭一郎 ,森野雄平 A, 高橋智則 A, 中井恒 BA, 川間大介 A, 小原裕貴 B
KEK 素核研 , 理研 A, 東大理 B
2014/3/30 日本物理学会 1
目次
・ E16 実験について・ DAQ-Middleware について・作成したプロトタイプの紹介
– 概要– ２つの特徴– DAQ 性能
・まとめ
2014/3/30 日本物理学会 2
E16 実験
2014/3/30 日本物理学会 3
• 茨城県東海村 J-PARC ハドロン実験施設で開始予定• ベクトル中間子の質量変化現象を高統計・高分解能で測
定
自分の担当
2014/3/30 日本物理学会 4
Tracker
HBDGas Cherenkov
APV25-hybrd
SRS ADC+FEC SRS SRU
3“ PMT
Belle2 UT-3
Belle2 FTSWor alternative
GEM
LeadglassEMCAL
Junction box
Network switch
DAQ PC
LG-FEM
Shaper + FADC
Discri + DRS4
~1000 ch
~96000 ch (56000+40000)
TRG-ADTX(ASD)
TRG-MRG(MUX, GTX)
SRS CTF
SRS SRU
SRS CTF
Data flowTrigger primitive
Global clock, global trigger
CERN RD51 SRSDTC-LINK
DTC-LINK
４５０MB/ ｓ
DAQ-Middleware を用いて、データ収集、保存、解析を行なうソフトウェアを作成
DAQ-Middleware ネットワーク分散
2014/3/30 日本物理学会 5
DaqOperator
ネットワーク分散分散して配置されたノード同士が連携して通信するネットワークを形成
PC1 PC2 PC3
PC4
E16 実験 DAQ ソフトウェア開発状況
2014/3/30 日本物理学会 6
DaqOperator
• PC1 台を用いて構成されるプロトタイプを作成、評価
• プロトタイプを利用して、全体の構築を行なっていく
E16 実験用プロトタイプ 概要
• Gatherer : 複数のリードアウトモジュールからデータを読み込み• Dispacher :Gatherer から受け取ったデータを、 Logger と Monitor に送信• Logger : 全データを PC のハードディスクに保存• Monitor : 一定期間ごとにデータをモニタリング
2014/3/30 日本物理学会 7
Dispatcher
Logger
Gatherer
Monitor
PC
・・・ 平均 最大値1 イベントあたりのデータサイズ 14kB 45kBトリガーレート 1kHz 2kHz
１リードアウトモジュールから送られるデータ
特徴１ リングバッファの拡大
リングバッファを大きくする ( 最新の追加機能）HD 書き込みのレイテンシの問題を解決
2014/3/30 日本物理学会 8
Dispatcher
Logger
Gatherer
Monitor
PC
・・・
① 受信したデータは、リングバッファに格納
② プログラムがバッファからデータを取得
Logger コンポーネントでリングバッファが小さい場合① ハードディスクの書き込みにレイテンシが発生するときがある（しばらく書き込めない）
② 書きこめない間、処理が進まない
③ リングバッファにデータが溜まっていき、あふれてしまうことがある
④ ソフトウェア全体が適切に動作しない
2014/3/30 日本物理学会 9
Dispatcher
Logger
Gatherer
Monitor
1event1 イベントごとに次のコンポーネントへ送る→ オーバヘッド大きい
200KB200KB たまったら次のコンポーネントへ送る→ オーバヘッド小さい
特徴２ コンポーネント間通信処理オーバヘッドの軽減
オーバヘッドコンポーネント間でのデータのやり取りを行なう際の転送以外の処理多いと DAQ 性能の低下につながる
影響を小さくする方法コンポーネント間のデータのやり取りを少なくするデータをまとめる
PC（ DAQ PC ）
CPU Intel(R) Xeon(R) X5650 @ 2.67GHz
6 コアMemory 24GBOS Scientific Linux 6.4
DAQ-MW
DAQ 性能
2014/3/30 日本物理学会 10
PC（エミュレータ）
テスト環境
平均 最大値1 イベントあたりのデータサイズ 14kB 45kBトリガーレート 1kHz 2kHz
テスト方法エミュレータ PC から DAQ PC にテストデータを送信
送ったデータの転送速度とプロトタイプの処理速度を比較
１リードアウトモジュールから送られるデータ
PC（ DAQ PC ）
CPU Intel(R) Xeon(R) X5650 @ 2.67GHz
6 コアMemory 24GBOS Scientific Linux 6.4
DAQ-MW
DAQ 性能
2014/3/30 日本物理学会 11
PC（エミュレータ）
テスト環境
テスト結果
2kHz まで、プロトタイプは送られたデータ全てを処理している
平均 最大値1 イベントあたりのデータサイズ 14kB 45kBトリガーレート 1kHz 2kHz
１リードアウトモジュールから送られるデータ
PC（ DAQ PC ）
CPU Intel(R) Xeon(R) X5650 @ 2.67GHz
6 コアMemory 24GBOS Scientific Linux 6.4
DAQ-MW
DAQ 性能
2014/3/30 日本物理学会 12
PC（エミュレータ）
テスト環境
テスト結果
平均 最大値1 イベントあたりのデータサイズ 14kB 45kBトリガーレート 1kHz 2kHz
１リードアウトモジュールから送られるデータ
2kHz まで、プロトタイプは送られたデータ全てを処理している
まとめ
• E16 実験 DAQ のソフトウェアを開発 現在は、 1PC で動くプロトタイプを作成
• E16 実験用プロトタイプ 特徴
– リングバッファの拡大– コンポーネント間通信処理オーバヘッドの軽減性能– リードアウトモジュール 1 台の場合、実験の想定された性能を満たしている
• 今後の予定– 多くのエミュレータを用意した場合のテスト– プロトタイプを用いて、システム全体の設計を行なっていく
2014/3/30 日本物理学会 13
Backup
2014/3/30 日本物理学会 14
PC（ DAQ PC ）
CPU Intel(R) Xeon(R) X5650 @ 2.67GHz
6 コアMemory 24GBOS Scientific Linux 6.4
DAQ-MW
DAQ 性能
2014/3/30 日本物理学会 15
PC（エミュレータ）
テスト環境
平均 最大値1 イベントあたりのデータサイズ 14kB 45kBトリガーレート 1kHz 2kHz
DAQ PC に求められる性能 テスト結果
PC（エミュレータ）
2kHz まで、プロトタイプは送られたデータ全てを処理している
スケーラブルの変化ではない
Gatherer コンポーネントをが 1 つの CPU コアで処理されているから
コンポーネントの考えている構成
2014/3/30 日本物理学会 16
Dispatcher
Logger
Gatherer
Monitor
PC
・・・
今
Gather コンポーネントを 1 つのＣＰＵコアで処理を行なっている(2 つ以上のモジュールを読む場合でも）
Dispatcher
Logger
Gatherer Monitor
PC
考えている構成
Gather コンポーネントを 1 つのＣＰＵコアで処理を行なっている(2 つ以上のモジュールを読む場合でも）
全テスト結果
2014/3/30 日本物理学会 17
PC使用率
TOP コマンドを用いて、 Gatherer コンポーネントの CPU使用率を取得
trigger rate をあがるにつれてCPU使用率も上昇
１イベントあたりのデータ量が上がるにつれて CPU使用率も上昇
2014/3/30 日本物理学会 18
overhead 性能テスト
2014/3/30 日本物理学会 19
1 イベントあたりのデータ量14kB の場合
PCCPU Intel(R) Xeon(R) X5650 @ 2.67GHz
6 コアMemory 24GBOS Scientific Linux 6.4
DAQ-MW
DAQ 性能
• 1 イベントのデータを 16回かけて送信
• 実験では、 1kHz～ 2kHz この間では、問題ない
• 2modules にすると、性能が落ちる Gather が１コアで処理を行なっ
て いるから
2014/3/30 日本物理学会 20
PC（エミュレータ）
テスト環境
4components
SourceDispacherSinkSinkの４つのコンポーネント
Source は Dispacher に、データを送ります。Dispacher は、 example と変わっていません。２つの Sink にデータを送ります。Source,Sink は千代さんが以前、性能テストで使ったコンポーネントと同じことを行なっています。
各 BufferSize を 5 分間測定したときの結果です。
4componentsSourceDispacherSinkSinkの４つのコンポーネント
Source は Dispacher に、データを送ります。Dispacher は、 example と変わっていません。２つの Sink にデータを送ります。Source,Sink は千代さんが以前、性能テストで使ったコンポーネントと同じことを行なっています。
各 BufferSize を 30 分間測定したときの結果です。これを 5回行ないました。（色の違いは、何回目に測定したか、です）30 分測定こともあり、ほとんど色にばらつきはありませんこの結果より、このコンポーネントの組み合わせの場合、最大約 340MB/s のスループットで処理できることが分かりました。
