Upload
colton
View
103
Download
0
Embed Size (px)
DESCRIPTION
SDPA の大規模広域計算システム (Ninf) への適用. グローバルコンピューティング と最適化ソフトウェア. 大規模最適化問題の需要と波及効果 コンピュータ関連のインフラの整備(ハードウェア、ソフトウェア) 多くの理論的成果と実験的解析による基礎データの充実 関連する機関との共同研究(東工大、早大、 電総研、 NTT ソフトウェア、富士通など). グローバルコンピューティング(背景). ネットワークの高度利用 インターネットの高速化 kbps → ~ 100Mbps キャンパスネットの高速化 10Mbps → Gbps 一般家庭,企業への普及 - PowerPoint PPT Presentation
Citation preview
SDPA の大規模広域計算システム (Ninf) への適用
SDPA の大規模広域計算システム (Ninf) への適用
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
グローバルコンピューティングと最適化ソフトウェア
グローバルコンピューティングと最適化ソフトウェア
大規模最適化問題の需要と波及効果大規模最適化問題の需要と波及効果 コンピュータ関連のインフラの整備(ハーコンピュータ関連のインフラの整備(ハー
ドウェア、ソフトウェア)ドウェア、ソフトウェア) 多くの理論的成果と実験的解析による基礎多くの理論的成果と実験的解析による基礎
データの充実データの充実 関連する機関との共同研究(東工大、早大、関連する機関との共同研究(東工大、早大、
電総研、 電総研、 NTTNTT ソフトウェア、富士通なソフトウェア、富士通など)ど)
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
グローバルコンピューティング(背景)
グローバルコンピューティング(背景)
ネットワークの高度利用ネットワークの高度利用 インターネットの高速化 インターネットの高速化 kbps → kbps → ~~ 100Mbps100Mbps キャンパスネットの高速化 キャンパスネットの高速化 10Mbps → Gbps10Mbps → Gbps 一般家庭,企業への普及一般家庭,企業への普及
仮想的情報資源の共有仮想的情報資源の共有 WWW, ftp, telnet WWW, ftp, telnet からの脱却からの脱却 超高速計算機の登場超高速計算機の登場
スーパーコンピュータ(数スーパーコンピュータ(数 TFlops)TFlops) 並列 並列 WS WS または または PC PC クラスタ クラスタ (30 (30 ~ ~ 100 Gflops)100 Gflops) 安価な専用安価な専用 CPUCPU の開発 の開発 (( プレステ2用プレステ2用 CPU : 6.2GFlops)CPU : 6.2GFlops)
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
グローバルコンピューティング(目的)
グローバルコンピューティング(目的)
ネットワークで接続された世界中ネットワークで接続された世界中 // 国内国内 // キャキャンパス内ンパス内 // ラボ内の計算資源にアクセスするこラボ内の計算資源にアクセスすることと あたかも1台の超巨大(並列)計算機としてあたかも1台の超巨大(並列)計算機として 超高速計算機の短期時間借用手段として超高速計算機の短期時間借用手段として データベースへの高機能アクセス提供手段としてデータベースへの高機能アクセス提供手段として
(原理的に)すべての許可されたシステムにア(原理的に)すべての許可されたシステムにアクセスクセス 多種多様な計算機・実験システムの仮想複合体多種多様な計算機・実験システムの仮想複合体 デスクトップからシームレスなアクセスデスクトップからシームレスなアクセス
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
グローバルコンピューティング(特徴)
グローバルコンピューティング(特徴)
適用可能な問題に期待され適用可能な問題に期待される共通的性質る共通的性質 UbiquitousUbiquitous -- -- どこからでも,どこからでも,
ネットワーク透過にアクセネットワーク透過にアクセスできることスできること
Resource AwareResource Aware -- -- 異機種環異機種環境に対応できること境に対応できること
AdaptiveAdaptive -- -- 動的に変化する動的に変化するネットワーク,計算機資源ネットワーク,計算機資源環境に対応して最大性能を環境に対応して最大性能を得られること得られること
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Many Active ProjectsMany Active Projects
Akenti Akenti AppLeSAppLeS ArcadeArcade CIF CIF CondorCondor CUMULVUS CUMULVUS EveryWare EveryWare GlobusGlobus Habanero Habanero Harness Harness IceT IceT IPG NAS-NASAIPG NAS-NASA JINI JINI
Llava Llava LegionLegion NCSA Workbench Project NCSA Workbench Project NEOSNEOS NetSolveNetSolve NINF NINF Ninja Ninja PAWS PAWS PARDIS PARDIS POEMS POEMS Sweb Sweb Teraweb Teraweb UNICOREUNICORE WebFlowWebFlow
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Network InfrastructureNetwork InfrastructureUS Partners
We are welcoming new
partners!
ETL: Electrotechnical LaboratoryOsaka: Osaka UniversityRWCP: Real World Computing Partnership TIT: Tokyo Institute of Technology Waseda: Waseda University
APAN Tokyo
RWCP
TIT
Waseda
Osaka
TransPAC70Mbps
vBNS
ETL
STAR TAPChicago
IMnet
WIDE
SINET
PartnersWe are
welcoming new partners!
10Mbps
10Mbps
100Mbps
155Mbps
100Mbps
155Mbps
ACSys Australia
1Mbps
384Kbps
1.5Mbps
45Mbps
Europe
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Computing PlatformsComputing Platforms
Cluster ComputingCluster Computing Platform at ETL Platform at ETL Alpha 21164/333MHz x 32 nodesAlpha 21164/333MHz x 32 nodes Alpha 21264/600MHz x 256 nodes (Planned)Alpha 21264/600MHz x 256 nodes (Planned)
MPPMPP Platform Platform Hitachi SR2201/256 nodes at RWCPHitachi SR2201/256 nodes at RWCP IBM SP-2/256 nodes at AISTIBM SP-2/256 nodes at AIST SGI ORIGIN 2000/16 at ETLSGI ORIGIN 2000/16 at ETL
Vector/ParallelVector/Parallel Platform Platform Hitachi SR8000/64 nodes at AISTHitachi SR8000/64 nodes at AIST
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Dedicated Workstation Cluster for HPC Develop real scale HPC applications Develop tools for clusters
DEC Alpha Station 333MHz x 33
Cisco Catalyst 5000Fast Ethernet switch12x3 + 2 port1.2Gbps Backplane
NFS/PVM/MPI
512MB
256MB
128MB
Cluster computing platformWiz (Sep.’96 - )
Cluster computing platformWiz (Sep.’96 - )
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
機種、機種、 OSOS独立な高性能 独立な高性能 RPC RPC システムシステム Fortran, C/C++, Java, Mathematica, COM(Excel)Fortran, C/C++, Java, Mathematica, COM(Excel)
ユーザの視点ユーザの視点 : : 通常のライブラリ通常のライブラリ 動的、かつ数値計算ライブラリに特化した動的、かつ数値計算ライブラリに特化した Ninf RPC IDL & Ninf RPC IDL & プロトコルプロトコル
自動的資源配分自動的資源配分 メタサーバによる適切なメタサーバによる適切な NinfNinfサーバへの計算の割り当てサーバへの計算の割り当て
並列処理のサポート並列処理のサポート クライアント側クライアント側 : : タスクパラレル、トランスアクションタスクパラレル、トランスアクション サーバ側サーバ側 : : データパラレル データパラレル (( タスクパラレルもタスクパラレルも ))
WWWWWWや分散や分散 DBDBのデータを直接計算にのデータを直接計算に NinfDB, WebAccess, Matrix WorkshopNinfDB, WebAccess, Matrix Workshop
組織内と不特定ユーザを対象とした組織内と不特定ユーザを対象とした securitysecurity Campus-WideCampus-Wide からグローバルコンピューティングへからグローバルコンピューティングへ
我々の Ninf プロジェクト我々の Ninf プロジェクト
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Internet
SDPA on Ninf Network Architecture
SDPA on Ninf Network Architecture
MetaServer
MetaServer
MetaServer
NinfProcedure
IDL FileNinf StubGenerator
StubProgram
NinfComputational
Server
Ninf ExecutableNinf Executable
Ninf ExecutableNinf Executable
Ninf ExecutableNinf Executable
Ninf Register
Ninf RPC
Ninf Client Library
:Ninf_call(“sdpa”, ..);
:
Ninf DBServer
Program
Other Global Computing Systems,Other Global Computing Systems,e.g., NetSolve via Adapterse.g., NetSolve via Adapters
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Ninf メタサーバNinf メタサーバ
ClientClient
クライアントクライアント
サーバ側サーバ側
ClientClient
ServerServer
ServerServer
ClientClient ProxyProxy
ServerServer ProxyProxy
MetaServerMetaServer
ディレクトリサービスディレクトリサービス
スケジューラスケジューラ プローブプローブ
データデータ
ネットワークネットワークバンド幅のバンド幅の
計測計測
ロードのロードの計測計測
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Ninf に対する SDPA の実装 Ninf に対する SDPA の実装
目標 : 数値計算及びデータの効率的な目標 : 数値計算及びデータの効率的な並列分散化(ブロック対角構造など)並列分散化(ブロック対角構造など)
計算及び転送データ量の高精度な見積り計算及び転送データ量の高精度な見積り(入力問題の大きさや疎構造による(入力問題の大きさや疎構造による SDPASDPAの各部分の計算量の変化については数値実の各部分の計算量の変化については数値実験により多くの知見を得る)験により多くの知見を得る)
高性能かつ高スループット計算高性能かつ高スループット計算
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
並列システムへの対応並列システムへの対応
ユーザは並列処理を意識しないユーザは並列処理を意識しない
サーバーがサーバーが MPIMPI の起動と通信を取り扱うの起動と通信を取り扱う
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
ネットワーク可用サーバネットワーク可用サーバ
デスクトップからネットワーク上に展デスクトップからネットワーク上に展開された資源にアクセスし,サービス開された資源にアクセスし,サービスを受けるを受ける
ハードウエアだけではなくソフトウエハードウエアだけではなくソフトウエア,ライブラリ等の資源を可用とするア,ライブラリ等の資源を可用とする ..
サービス提供ホストへの簡便なアクセサービス提供ホストへの簡便なアクセス手法を提供ス手法を提供
easy-to-useeasy-to-use ソフトウエアの集中によるバージョンソフトウエアの集中によるバージョン管理管理
Network
ncallncall(“foo”,x,a,b)
foofoo()
server
RPC
x,a b
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Ninf: Direct Web AccessNinf: Direct Web Access
Ninf_call(“dmmul”, n,Ninf_call(“dmmul”, n, ” ”http://http://WEBSERVERWEBSERVER//DATADATA”,”, B, C);B, C);
Ninf_call(“dmmul”, n,Ninf_call(“dmmul”, n, ” ”http://http://WEBSERVERWEBSERVER//DATADATA”,”, B, C);B, C);
WEBSERVERWEBSERVER
NinfComputational
Server
NinfComputational
ServerNinf ExecutableNinf ExecutableClient
Program
Client Program
BB BB
CC DD
dmmul(X,B)→Cdmmul(X,B)→C
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Data Storage
MatrixCalc
Routine
Web Browser
NinfServer
Japan
NinfCalc+Data
Storage
WebServer
MatrixWorkshopWebServer
NinfCalc+NinfCalc+
Copyright 1999 Electrotechnical Laboratory, All Rights Reserved
Ninf Server
Ninf_call(“mmul”, 2, A, B, C)
C= A x B
Ninf_call on Data Excel Worksheet
6
2 1 2 1 03 4 0 1
1 23 4
A B DC E F1
345
2
Ninf Client for ExcelNinf Client for Excel