JAXA GRID Activity

JAXA/EORC Kengo Aizawa

KEIO UNIV Hiromichi Fukui

BackgroundBackground

JAXA and KEIO Univ are start to try establishing “Digital Asia” system

In Digital Asia, it required to - search and access distributed data - semi-real time data processing

JAXA had two of experiments

PurposePurpose

Extract problems to realize Digital Asia system by developing prototype.

Accumulate knowledge, know-how for design of Digital Asia system.

Data GRID

　・ Search satellite data to each node seamlessly

　・ Databases are geographically distributed

　・ Each node has different RDB （ PostgreSQL 、 MySQL 、 Oracle ） system

　・ Search satellite data to each node seamlessly

　・ Databases are geographically distributed

　・ Each node has different RDB （ PostgreSQL 、 MySQL 、 Oracle ） system

USER

nodenode （（ NepalNepal ））

　　　 Assumed scene for Data Grid

Node Node （（ JapaJapann ））

PostgreSQL

MySQL

OracleNodeNode （（ ChainChainaa ））

GT3+

OGSA-DAI

My SQL

Metadata for Unified DB

SQL 実行

Oracle

FADGE サーバ

XQuery パーザ

Query engine

Procesing metadata

Unified data view （ virtual XML ） adopt 「 XQuery 」 Interface

Translate XQuery to appropriate SQL

XQuery

results（ＸＭＬ形式）

SQL

PostgreSQL

Apply （ GT3+OGSA-DAI) 、 access DB over Firewall

GT3+

OGSA-DAI

JDB

C

GT3+

OGSA-DAI

JDB

C

GT3+

OGSA-DAI

JDB

C

SQL 実行

SQL 実

行

Unified data view

（ Virtual XML ）

InternetInternetFW

DataGridFor Digital Asia

Access to hetero DBMS

Distributed ＤＢ virtual unification Overview

metadata #3

metadata #2

　

unifieddataview

#2

unifieddataview

#3

XQuery

XML

XQuery

XML

XQuery

XML

Sy

ste

m

AS

ys

tem

B

Sy

ste

m

C

metadata #1

metadata For unified DB

unifieddataview

(virtual XML) #1

メタデータ作成エディタ

ファイル

状態フィールド

．DB 受注 注文伝票テーブル

注文番号 発注者 受注者 日付 備考

．DB 受注 注文商品テーブル

ID注文 商品コード 個数 合計金額

．DB 商品 取扱商品テーブル

コード 品名 単価

１．DB 在庫 在庫テーブル

商品コード 数量

２．DB 在庫 在庫テーブル

コード 在庫数

注文 注文番号

発注者

受注者

日付

ID注文

コード商品名

商品コード

個数

現在庫数

品名

コード

注文商品

数量

数量

Create unified data view by Drag and drop

Difference of each DB table colmn will absorbed in the editor

Columns of each tables will be collected automatically

Data Grid For Digital Asia

Allows to built virtual unified system for distributed DB

Metadata editor for Unified DB

Distributed ＤＢ virtual unification Overview

Sample

Computing GRID

ユーザ

Computing node ＰＣComputing node ＰＣ

Management server ＰＣ

Management server ＰＣ

Processing

program sceine

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

SystemwalkerCyberGRIP Master

SystemwalkerCyberGRIP Master

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

SystemwalkerCyberGRIP Agent

Processed image

・ＯＳ [Windows]　 　 Windows SV 2003SE/EE　 　 Windows 2000 SV/AS/Pro 　 　 Windows XP Professional [Linux] 　 Red Hat Enterprise Linux 　 AS(v. 3)/ES(v. 3) 　 Red Hat Linux 9・ Disk ５ MB・ memory 　 ５０ MB

・ＯＳ [Windows]　 　 Windows SV 2003SE/EE　 　 Windows 2000 SV/AS/Pro 　 　 Windows XP Professional [Linux] 　 Red Hat Enterprise Linux 　 AS(v. 3)/ES(v. 3) 　 Red Hat Linux 9・ Disk ５ MB・ memory 　 ５０ MB

・ＯＳ　 Red Hat Enterprise Linux 　 AS(v. 3)/ES(v. 3)・ Disk ２０ MB・ memory ３０ MB+ User X 13MB)

・ＯＳ　 Red Hat Enterprise Linux 　 AS(v. 3)/ES(v. 3)・ Disk ２０ MB・ memory ３０ MB+ User X 13MB)

Required spec of nodeRequired spec of node

Required spec of serverRequired spec of server

Computing GRID Overview

imageprocessing

imageprocessing

Image processing

Image processing

Image processing

Image processing

imageprocessing

imageprocessing

Computing GRID Experiment

• We estimated following two cases.

- submitting 100 dummy* jobs with no data transfer

- submitting 100 dummy* jobs with 400MB data transfer

* dummy job takes 90sec

Results

number of effects

0

50

100

150

200

node１ node２ node３ node４

Tot

al a

mou

nts

of m

ins

○ no file transfer ● with file transfer

Cyber GRIP

・ OJC(Organic Job Controller) Allows you to automatically generate a great number of computing

jobs with simple descriptions using a script language. It also allows you to do parameter search, parameter sweep, and parametric study.

・ GJES(GRID Job Execution System) - Virtually manages dispersed computing resources (computing

servers) and equalizes loads on servers. Not only that, if a computer downs during job execution, automatically determines the downed event and executes the relevant job another computer.

- Realizing unified job execution in a computing environment with heterogeneous operating systems

200 ４ /11

Fujitsu plans

- To create interface compliant to Globus tool kit

Future Planシーン 1

シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 2

シーン 11シーン 12

シーン 1シーン 1

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

モザイク処理

変化抽出

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

変化抽出

・・・・・・

・・・・・・

・・・・・・

モザイク処理

モザイク処理

モザイク処理 Computing GRID

Data GRID ( 検索 )各受信局

Grid Grid Portal ServerPortal Server

Grid Grid Portal ServerPortal Server

・・・・・・

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

領域領域11

領域領域22

領域領域33

領域領域44

領域領域55

・・・・・・

・・・・・・

領域領域1515

領域領域1616

SearchSearchSearchSearch AnalizeAnalizeAnalizeAnalize

User

Data GridData GridData GridData Grid Computing GridComputing GridComputing GridComputing Grid

Realize GRID from search to AnalizeRealize GRID from search to Analize