22
三三 FX 三三三三三三 三三三三三三三三三三三三三三三三三 3 三三三三 三三三三三 三三三 、、 ( 三三三三三三三三 ) 三三三三 三三三三三 三三三三三 三三三 、、、 ( 三三三三三 ) 三三 FX 三三三 PC-VLBI 三三三三

三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築 3

  • Upload
    rad

  • View
    64

  • Download
    0

Embed Size (px)

DESCRIPTION

三鷹 FX 相関器 . PC-VLBI  システム . 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築 3.  木村守孝、小山泰弘、関戸衛 ( 情報通信研究機構 )  小林秀行、川口則幸、小山友明、原哲也 ( 国立天文台 ). 三鷹 FX 相関器. ソフト相関器. VERA 用ソフトウェア相関器 開発目的. 維持が困難に. 新相関器へ移行. PC-VLBI  システム . VERA 用ソフトウェア相関器要求仕様. 相関処理の流れ ~全体図~. VERA 観測スケジュール  (VEX). VERA 遅延情報ファイル (CODA). - PowerPoint PPT Presentation

Citation preview

Page 1: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

三鷹 FX 相関器互換のソフトウェア相関処理システムの構築

3

 木村守孝、小山泰弘、関戸衛 ( 情報通信研究機構 ) 小林秀行、川口則幸、小山友明、原哲也 ( 国立天文台 )

三鷹 FX 相関器  PC-VLBI システム 

Page 2: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

VERA 用ソフトウェア相関器 開発目的

三鷹 FX 相関器

年代 1990 年代 1997 年 2002 年 2005 年 20xx 年

VSOP 計画 相関器設計 運用開始 本格運用 運用終了

VERA 計画 運用開始 本格運用

大学連携 運用開始

ソフト相関器

維持が困難に

新相関器へ移行

Page 3: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

VERA 用ソフトウェア相関器要求仕様

相関局数 5 局同時相関(実装的には制限なし) (参考:三鷹 FX 最大 5 局)

相関処理形式 ソフトウェア FX 型(相互相関 & 自己相関)相関処理速度 1Gbps/5 局観測時に 0.5 倍~ 1.0 倍速程度(実測値: 1 ~ 2

倍)処理可能形式 VERA 、 Galaxy 、 K5/VSI 、 K5/VSSP 、 Mark-V 、

( VSOP 、 K4 )相関出力形式 CODA 形式、( FITS 形式)分光点数 1k‐64k 点程度 (参考:三鷹 FX 16k 点&総出力数 1k 点)

 相関出力速度 1 ~ 100Hz 程度 (参考:三鷹 FX 最大 40Hz )  サイズ 標準ラック 1 本追加機能 多ビーム観測対応、混合相関対応、…

PC-VLBI システム 

Page 4: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

相関処理の流れ~全体図~

GICO3用観測&相関

スケジュール

VERA遅延情報ファイル

(CODA)

VERA観測スケジュール 

(VEX)

GICO3用遅延情報ファイル

GICO3相関処理プログラム

VERA観測テープ

( DIR-1000 )

GICO3用観測データファイル

GICO3用相関処理結果ファイル

フォーマット変換 (vex2sc) フォーマット変換 (tau2geo) ディスクへコ ピー

VERA相関処理結果ファイル

(CODA)

フォーマット変換 (cor2dat)

VERA解析系ソフト

Page 5: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

<?xml version="1.0" encoding="UTF-8" ?> <schedule>

<terminal name=“VERA-01” ><speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name=“VERA-07” ><speed>0032000000</speed><channel>16</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal>

<station key=“A”><name>MIZNAO20</name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“B”><name>IRIKI </name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“C”><name>OGASA20 </name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“D”><name>ISHIGAKI</name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z>

<clock key=“A”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock>

<source name=“3C345” ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name="NRAO512"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> 3C345</source><frequency>+22227000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+22227000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"><epoch>2003/328 03:11:00</epoch><length>3360</length><source>Multi</source><stations>ABCD</stations></process> <process no="0003"><epoch>2003/328 04:25:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0004"><epoch>2003/328 05:49:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process>

</schedule>

相関処理の流れ~ GICO3 用スケジュール(XMLファイル)の作成~

Page 6: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

相関処理の流れ~幾何学的遅延ファイルの変換~

tau2geo –in=MIZNAO20.A.tau --out=MIZNAO20_2003328013400_A-Beam.geotau2geo –in=MIZNAO20.B.tau --out=MIZNAO20_2003328013400_B-Beam.geotau2geo –in=IRIKI.A.tau --out=IRIKI_2003328013400_A-Beam.geotau2geo –in=IRIKI.B.tau --out=IRIKI_2003328013400_B-Beam.geo tau2geo –in=OGASA20.A.tau --out=OGASA20_2003328013400_A-Beam.geotau2geo –in=OGASA20.B.tau --out=OGASA20_2003328013400_B-Beam.geo tau2geo –in=ISHIGAKI.A.tau --out=ISHIGAKI_2003328013400_A-Beam.geotau2geo –in=ISHIGAKI.B.tau --out=ISHIGAKI_2003328013400_B-Beam.geo

CODA システムから 

Page 7: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

DMS-24

相関処理の流れ~磁気テープからファイルへのコピー~

DIR-2000 1Gbps

VSIInterface

PC-VLBIDisk-Array

GICO3 用 スケジュール 

観測局 -A #1 観測局 -A #2 観測局 -B #1

観測局 -Z #2

時刻情報

VERA制御ソフト

観測局 -B #2 観測局 -C #1 観測局 -C #2

   ファイル化方針 同一時刻の全観測局のデータをひとつの PC-VLBIへ               利点ローカルディスクで相関処理可能(ネットワーク転送は不要)個々のPC -VLBI で全基線相関処理を独立に実行PC-VLBI 数に相関処理速度は単純に比例

Page 8: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

相関処理の流れ~相関処理~

プロセス番号   記録開始時刻 時間長 [ 秒 ]

No0001 2003/328 01:34:00   3960

No0002 2003/328 03:11:00   3360

No0003 2003/328 04:25:00   3960

No0004 2003/328 05:49:00   3960

合計 15240(254 分 )

gico3_corr --schedule=schedule.xml –cor-file=./cor-file –multi=8

(VERA -1 4 局 /4 巻分 /8192 点 /1Hz ) 

CPU 使用率

使用した PC のスペック 

約 1000 分

Page 9: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

Mother SuperMicro X7DBE

CPU Xeon X5355(4-core/2.66GHz)×2

Memory

2GB×2

Raid HighPoint RR2340 (SATA 0.5/1TB×16)

×9 台PC9 台での分散相関処理速度

三鷹FX相関器 三鷹FX相関器

Page 10: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

三鷹FXとの相関処理の一致度 振幅観測局 : VERA4 局

観測データ : 2003/328 01:34:00-02:40:00観測天体 : 3C345/NRAO512 (2 ビームモード )観測モード : VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )  積分時間 : 1 点当たり 8 秒 

Page 11: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

三鷹FXとの相関処理の一致度 位相

周波数: 22.227GHz

Page 12: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

三鷹FXとの相関処理の一致度 郡遅延

Page 13: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

 三鷹FXとの相関処理の一致度 SNR

Page 14: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

まとめ ソフトウェア相関処理によるVERA相関処理系を構築 PC9 台の使用で VERA-1 、 VERA-7 共に三鷹FX相関器を上回る処理

速度 VERA-1 処理での相関処理結果は三鷹FXとほぼ一致 マルチビーム処理や混合相関処理を実装

定常運用フェーズへ移行中

PC-VLBI システム 

Page 15: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

混合相関処理~現在進行中~

鹿島 -34m  -岐阜 -11m  - 岐阜 -11m  -

ソフトウェア分光計で 8 秒積分@ 1M 点分光 デジタル分光計で処理

Page 16: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

<?xml version="1.0" encoding="UTF-8" ?> <schedule>

<terminal name="VERA-01" > <speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name="ADS1000-01"><speed>1024000000</speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <terminal name="ADS1000-03"><speed>0512000000</speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal>

<station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“E"><name>KASHIMA </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS1000-03</terminal><directory>./raw-file</dir.. <station key=“F”><name>GIFU-11m </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS1000-01</terminal><directory>./raw-file</dir..

<clock key="A"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“E"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“F"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock>

<source name="3C446" ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name=“J2218-03"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <source name=“W49N“ ><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source>

<stream><label>CH01</label><source>Unselect</source><frequency>+2222 7 000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>W349N</source><stations>ABCDEF</stations></process> <process no="0002"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>3C446</source><stations>ABCDEF</stations></process>

</schedule>

混合相関処理のスケジュール(仮)

赤: VERA4局 青: ADS1000+PC-VSI

Page 17: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

VERA と大学連携との混合相関処理機能

観測日時 2007 年 11月 19日 11 時~ 24 時( JST )観測局 VERA(4 局 ) 、鹿島 -34m 、岐阜 -11m

記録システム 256Msps/2bit/2ch@VERA

512Msps/2bit/1ch@鹿島→実時間伝送→三鷹で 1Gbps 記録1024Msps/2bit/1ch@岐阜→実時間伝送→三鷹で 2Gbps 記録

観測周波数帯 21971MHz ~ 22483MHz (下図参照)観測天体 3C446/J2218-03 、 W49N 、その他数天体

128MHz USB

128MHz USB

256MHz USB (512Msps/2bit)

512MHz LSB (1024Msps/2bit)

22227MH z 22483MH z

VERA4 局

鹿島 34 m局

岐阜 11 m局

21971MH z

Page 18: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

<?xml version="1.0" encoding="UTF-8" ?> <schedule>

<terminal name="VERA-01" ><speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir..

<clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name="NRAO512"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> 3C345</source><frequency>+2222 7 000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+2222 7 000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <source name=“source-01"><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name=“source-02"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> source-01</source><frequency>+2222 7 000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source> source-02</source><frequency>+2222 7 000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations> </process></schedule>

プロセス毎にローカル定義も可能

Page 19: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

VERA System GICO3 System

DIR-20001Gbps

VERAFormat

VSIInterface

VSIFormat

PC-VSIDisk-Array

DualEther

Gig

a-bit E

ther S

witch

ing

Hu

b

DIR-20001Gbps

DIR-20001Gbps

VERAFormat

VSIInterface

VSIFormat

PC-VSIDisk-Array

DualEther

DIR-20001Gbps

DIR-20001Gbps

VERAFormat

VSIInterface

VSIFormat

PC-VSIDisk-Array

DualEther

DIR-20001Gbps

DIR-20001Gbps

VERAFormat

VSIInterface

VSIFormat

PC-VSIDisk-Array

DualEther

DIR-20001Gbps

DIR-20001Gbps

VERAFormat

VSIInterface

VSIFormat

PC-VSIDisk-Array

DualEther

DIR-20001Gbps

システムの構成

Page 20: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

5局相関処理システム 

5 局相関処理システム構成

DIR-20001Gbps

VSIInterface

PC-VLBIDisk-Array

DIR-20001Gbps

VSIInterface

PC-VLBIDisk-Array

DIR-20001Gbps

VSIInterface

PC-VLBIDisk-Array

DIR-20001Gbps

VSIInterface

PC-VLBIDisk-Array

DIR-20001Gbps

VSIInterface

PC-VLBIDisk-Array

ノンブロッキング型スイッチングハブ

制御用 PC   

GALAXY光伝送

装置

VLBI 局  汎用ネットワーク  

GbE

Page 21: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

三鷹FXとの相関処理結果~まとめ~

三鷹 FX と GICO3 の差を 3960 秒平均化したもの

相関振幅  3C345 / NRAO512 +0.0003987 /   +0.0000976 [%]

相関位相  3C345 / NRAO512 +7.452 / +8.499         [Deg]

  郡遅延  3C345 / NRAO512 +0.00141 / -0.00316        [Sample]

SNR   3C345 / NRAO512 +0.0729 / +0.01293          [σ]

振幅、郡遅延、 SNR はほぼ一致 相関位相は8度程度、 2 ビーム間では約 1 度の差  

Page 22: 三鷹 FX 相関器互換の ソフトウェア相関処理システムの構築  3

混合相関処理方法   実数変換量子化ビットの差   を吸収

N-FFT

LSB-USB 変換時系列データに{ +1,-1,+1,-1…}  を乗算する

実数変換量子化ビットの差   を吸収

M-FFT

LSB-USB 変換時系列データに{ +1,-1,+1,-1…}  を乗算する

周波数

周波数

相関出力