面向 VO 的空间科学数据网格架构研究

傅衍杰 佟继周 邹自明中国重庆 2009年 11 月

汇报提纲

一．一．空间科学数据应用环境发展背景空间科学数据应用环境发展背景

二．二．面向面向 VOVO 的空间科学数据网格架构研究的空间科学数据网格架构研究

三．三．空间科学数据网格的未来发展方向空间科学数据网格的未来发展方向

1.1. 空间科学应用研究发展的新思路空间科学应用研究发展的新思路

空间科学应用研究：通过天基和地基方式获取探测数据 -> 对海量探测数据进行分析计算 -> 挖掘空间物理规律 -> 空间物理实现验证

2.2. 空间科学数据应用环境的发展历程空间科学数据应用环境的发展历程

空间物理数据系统

Helio-Physics Data Environment

分布式数据系统(DDS)及其在线访问服务

Virtual Observatories Heliophysics

数据网格概念

天文虚拟观测台

SPASE Data Model for Heliophysics

多尺度日地连接系统整体研究需求

大规模多任务空间观测系统出

现

Heliophysics Great

Observatory概念形成

3.3. 国外空间科学数据应用环境发展现状国外空间科学数据应用环境发展现状• 先行者 NASA 在“与日共存计划”（ LWS ）首先提出“一体化的

日地空间数据应用环境（ HPDE ”） ，即日地空间虚拟观测台（ Sun-Earth Connections VxOs）概念， VxO分别是：

– 虚拟太阳观测台（ VSO ） – 虚拟空间物理观测台（ VSPO ） – 虚拟太阳物理观测台（ VHO ）– 虚拟宇宙线观测站（ ViCRO ）– 虚拟磁层观测台（ VMO ） – 虚拟电离层、热层、中间层观测台（ VITMO ） – 虚拟辐射带观测台（ ViRBO ）– 虚拟高能粒子观测台（ VEPO ）

• 日地空间虚拟观测台（ VxOs ）主要功能：– 描述 VxO 拥有的数据集和资源；– 为用户提供发掘数据集方法；– 提供获取数据或资源的途径；– 为用户提供工具以帮助他们应用数据。

4. 国内空间科学数据应用环境的发展现状

• “十 ·五”科学数据库项目空间环境专业数据库

• “十一五”信息化专项空间科学主题数据库建设项目，空间科学主题数据库由中科院空间中心承担建设，中科院国家天文台、地球与地质物理所、中国科技大学共同参加建设。

• “十一五”空间科学数据网格建设项目

国际日地空间物理界的目标：The Heliophysics Great Observatory

二 . 空间科学数据网格架构研究空间科学数据网格架构研究

1. 空间科学数据网格的核心问题2. 空间科学的公共数据模型3. 空间科学数据网格的设计原则4. 空间科学数据网格的概念框架5. 空间科学数据网格的核心服务

2.1 空间科学数据网格的核心问题

• 空间科学数据网格是一个基于当前应用环境建设的中间件，是以空间科学应用研究新模式提出的需求为驱动力的，是空间科学数据应用环境发展的结果。空间科学数据网格的关键问题数据资源的互操作问题分布式数据资源的快速融合、共享和访问数据资源的全局发现数据资源在分布式环境下的收割与同步问题数据资源的无缝链接问题数据资源与学科应用的集成问题数据网格的透明性问题数据资源的安全访问

物理数据文件实体（文件）

标准描述属性（ NASA的 PDS 标准和 SPASE 标准）

核心描述属性

基于观测平台片面的目录树

基于其他片面的目录树

基于学科片面的目录树

基于分类片面的专业库

用于加速检索的核心属性索引库

针对观测平台做索引

针对观测区域做索引

针对物理要素做索引

空间事件关联的逻辑库

CME 事件

重要磁暴

质子事件

2.2 空间科学的公共数据模型

针对飞行器做索引

公共数据模型

数据元素

数据文件实体

核心描述属性

标准描述属性

数据元素

数据文件实体

核心描述属性

标准描述属性

数据元素

数据文件实体

核心描述属性

标准描述属性

数据元素

数据文件实体

核心描述属性

标准描述属性

……

逻辑数据库

逻辑数据库

……

专业数据库

专业数据库

……

数据元素

数据文件实体

核心描述属性

标准描述属性

• 专业数据库：采用学科社区公认的描述属性（如观测目标、观测平台等）的属性值，所遴选的数据构建的数据集合。专业数据库一般是学科数据的经典分类。

• 逻辑数据库：面向典型应用需求和学科研究人员关注热点，采用同类核心描述属性（如关联事件、特定区域）属性值或属性值组合遴选的数据构成的数据集合。逻辑数据库可自由构建和动态生成。

公共数据模型是描述和组织空间科学数据资源（数据档案）的基本方法。公共数据模型阐述科学数据档案的数据元素组成，专业数据库和逻辑数据库构成方法。

标准描述属性

源自标准描述属性的关键属性

数据元素核心描述属性

面向科研应用的扩展属性

辅助数据文件

科学数据文件数据文件

• 数据元素：由数据文件实体和描述属性构成。• 描述属性由标准描述属性和核心描述属性构成。描述属性的值是元数据。

• 标准描述属性：基于学科数据标准构建；—日地空间物理，遵循空间物理档案搜索和抽取（ SPASE ）联盟

标准；—行星科学，遵循行星数据系统（ PDS ）数据标准

• 核心描述属性：面向数据网格应用集成的需要来定义的，来自于、但并不局限于标准描述属性。

核心描述属性• 平台类型

− 天基~ 卫星型号 : fy2、 YH1、 double-

star、 ace、 soho、 themis、 goes….~ 载荷类型 : mag、 sewpam、 sis、 epam、 eit、 lasco…

− 地基~ 台站名称 : 海南空间天气综合观测站、怀柔太阳观测站、北京宇宙

线观测站、十三陵地磁站 … ~ 设备类型 : 磁通门磁力仪、中子堆、数字测高仪、激光雷达…

• 观测区域 : 太阳、行星际、拉格朗日点、磁层顶、同步轨道、近地轨道、邻近空间… .

• 观测要素 : 太阳黑子、高能离子、高能电子、宇宙线强度、 dst指数、火星电离层参数、火星大气层参数 、火星地形地貌图像 …

• 关联事件 : CME 事件、磁暴、质子事件• 时间属性

2.3 空间科学数据网格的设计基本原则关键问题 思路分析

空间科学资源与网格服务的高度整合 数据资源 (data as a service)

计算资源 (computing as a service)

应用资源 (application as a service)

灵活的网格节点和网格服务设计 网格节点和网格服务剥离1 个节点可以有 1 个，也可以有多个网格服务网格服务可以部署在任何地方网格节点之间地位平等，削弱主从关系，削弱集中式支持数据节点快速与网格融合的准入机制

数据资源的快速方便的融合和共享 剥离资源描述和资源存储访问；支持整合在线资源和离线资源；支持整合访问协议异构的分布式在线资源；

数据资源的安全访问 网格的监控和安全协议数据资源的无缝链接和学科应用集成 科学数据的管道（ Pipeline ）技术，单管道，多管道，流水线式管

道，数据资源的全局同步和发现 单节点上新资源的加入，能够通过网格拓扑的自组织，实现资源全局

分布的更新和报告，达到快速同步的目的在任何一个节点上，都能够快速高效发现全局的所需的数据资源

1. 空间科学数据网格——利用互联网实现空间科学数据资源、计算资源、存储资源和知识资源的无缝链接与全面共享，为空间科学研究提供易用、高效、智能的虚拟集成应用环境。

2. 空间科学数据网格服务——具有特定功能的网格单元，通过提供接口明确的服务来实现网格所必须的数据资源注册、数据资源发现、数据资源访问、拓扑自组织、学科应用等核心功能单元。

3. 空间科学数据网格节点：指由一个或者若干个网格服务支撑构成的物理节点。4. 空间科学数据网格节点根据其部署网格服务性质的不同，可以分别定义为：

—门户节点：提供门户服务的网格节点；— 资源注册节点：提供资源注册服务的网格节点；— 资源发现节点：提供资源发现服务的网格节点；— 数据节点：提供数据数据访问与存储服务的网格节点；—拓扑支持节点：提供拓扑自组织服务的网格节点；— 学科应用节点：提供学科应用服务的网格节点；—综合节点：提供 2 个或者 2 个以上网格服务的网格节点。

空间科学数据网格的概念框架

化学与材料科学数据网格 生命科学

数据网格

网格服务 表示符号

门户服务

资源注册服务

资源发现服务

数据访问与存储服务

拓扑自组织服务

学科应用服务

InternetInternet

网格节点

网格节点

网格节点

网格节点

网格节点

网格节点

门户节点

资源注册节点

资源发现节点

数据节点

拓扑支撑节点

学科应用节点

网格节点综合节点

网格节点

网格节点网格

节点网格节点

网格节点

网格节点

e-Science

科学数据网格

空间科学数据网格

数据网格的服务分析与功能集成分析对象 服务类型 服务定义

网格资源

资源注册服务 基于公共数据模型，实现数据资源的描述，审核和发布，使数据资源融入开放的网格共享环境

资源发现服务 基于数据资源的描述，面向空间天文科学的研究需求和学科查询，实现多维度的分布式数据资源发现

资源访问与存储服务

提供数据资源的存储力；统一安全的资源访问；支持在线资源和离线资源的快速融合和共享；支持整合访问协议异构的分布式在线资源；

系统拓扑拓扑自组织 (self-organizing) 服务

拓扑自组织是网格节点自交互的核心特征，通过拓扑的自组织，数据网格实现节点的加入和审核，访问和交互，安全和监控，资源全局分布的更新和报告，从而支持资源的发现和共享。

学科应用 学科应用服务 面向学科应用，提供数据计算、分析、可视化、知识发现的应用工具和虚拟环境

用户界面 门户服务 是网格提供给用户访问的交互环境 (interface)

2.4 空间科学数据网格的核心服务

1. 资源注册和同步2. 资源发现3. 资源存储与访问4. 网格安全和监控5. 学科应用

2.4.1 资源注册和同步• 资源注册服务是空间科学数据网格向数据资源提供者的一种服务。为数据网

格提供数据资源的提供者，可以依据空间科学数据网格制定的公共数据模型和描述标准，对数据资源进行描述。数据资源经过资源注册服务的录入、审核和发布三阶段，最终融入开放的网格共享环境。

• 为更好的反映描述信息的数据流和数据状态变化，我们设计 3种不同的状态名对数据状态的变化过程进行刻画。它们分别是：

– 等待审核状态– 审核通过状态– 审核不通过状态

数据状态名称 状态定义等待审核 指数据资源对应的核心描述信息刚注册到数据网格，被系统缓存在“元

数据缓冲器”。在该状态下的核心描述信息，是未经审核的，非正式的，不会被用于数据发现服务。

审核通过 指经过系统管理员审核，判定为合格的，存储在“全局元数据容器”，并被推送到各子节点的“元数据容器”保存的核心描述信息。在该状态下的核心描述信息，是经过审核的，正式的，将会用于数据发现服务。

审核不通过 指经过系统管理员审核，判定为不合格，无法通过的核心描述信息。该状态下的核心描述信息，虽然经过审核，仍然为非正式的，不会被用户数据发现服务。

资源注册阶段的数据描述信息状态转换图

等待审核状态

审核通过状态

审核不通过状态

数据资源审核

数据资源录入

数据资源发布

资源提供者

审核结果反馈

资源提供者

系统管理员

资源注册 3 阶段

阶段名称 要点分析数据资源录入 依据数据资源的运行类别不同

情况 1—— 数据资源在线，即：数据资源提供者已经为“物理数据实体”和“标准描述属性”提供独立的存储力，资源提供者能独力确定访问地址，并且表达到描述信息中情况 2—— 数据资源离线，即：数据资源提供者不但需要录入数据描述信息，还要求空间科学数据网格为其提供存储空间，以存储数据资源，由空间科学数据网格来实现数据资源的从“离线”到“在线”的转变

数据资源审核 审核任务生成元数据审核审核结果反馈元数据状态转换

数据资源发布 数据访问权限授予数据资源发布地选择同步元数据的审核结果

资源在线型的数据资源录入

全局元数据容器

元数据缓冲器

资源描述信息录入

拉模式元数据收割器

同步全局的等待审核状态的元数据

网格子节点

收割触发机制

核心描述属性(在线or离线)

资源在线

数据资源存储与访问服务

物理数据实体 标准描述属性

等待审核状态

等待审核状态元数据

审核通过状态元数据

审核不通过状态元数据

Web编辑录入

支持多格式的文件录入

批量录入

元数据缓冲器

资源描述信息录入

网格子节点

收割触发机制

核心描述属性(在线or离线)

资源在线

数据资源存储与访问服务

物理数据实体 标准描述属性

Web编辑录入

支持多格式的文件录入

批量录入

等待审核状态

资源离线型的数据资源录入

资源离线

全局元数据容器元数据缓冲器

资源描述信息录入

拉模式元数据收割器

同步全局的等待审核状态的元数据

网格子节点

收割器触发机制

核心描述属性

物理数据实体

标准描述属性

资源提供者

数据资源上传

外部数据资源存储

(资源在线)

存储地址更新机制

与内部资源提供者区别：存储地址未知，需要在上传过程中更新元数据中的

访问地址

数据资源存储与访问服务

等待审核状态 等待审核状态审核通过状态审核不通过状态

Web编辑录入

支持多格式的文件录入

批量录入

数据资源审核

等待审核状态元数据

审核通过状态元数据

审核不通过状态元数据

全局元数据容器

审核任务生成阶段

元数据审核阶段

审核结果反馈阶段

数据资源的描述格式检查

数据资源的可访问性检查

数据资源的描述内容和对应物理数据的吻合度检查

资源提供者

元数据状态转换阶段

审核结果

系统管理员

待审核—>审核不通过

待审核—>审核通过

(2)

(1)

(3) (5)(4)

(7)

(6)

核心数据描述信息

查看访问地址下载物理数据实体

对比检查元数据和物理数据实体内容

新审核任务触发机制

审核结果

资源提供者

数据资源录入阶段

数据资源发布

子节点元数据容器全局元数据容器

子节点元数据容器

子节点元数据容器

推模式元数据收割器

面向元数据审核状态变更的全局同步

系统管理员

数据访问权限授予

发布地管理

等待审核状态元数据

审核通过状态元数据

审核不通过状态元数据

(1)

(2)

(3)

数据资源录入、审核、发布的数据流总结

全局元数据容器

子节点元数据缓冲器

子节点元数据容器

拉模式的元数据收割器

推模式的元数据收割器

资源录入

审核任务生成阶段

元数据审核部件

审核结果反馈阶段

待审核状态元数据

审核通过状态元数据

核心描述属性

审核不通过状态元数据

元数据状态转换阶段

待审核-通过

待审核-不通过

数据访问授权阶段

数据资源发布地选择阶段

网格子节点

拉模式收割触发机制

2.4.2 资源发现服务

学科层资源检索

数据库层资源检索

核心描述信息（元数据层）

数据资源发现框架层次图

分布式环境下检索的策略

子节点：元数据容器

子节点：元数据容器

科研工作者

学科检索逻辑组织

数据库检索分发

全局元数据容器

子节点：元数据容器

学科数据需求

学科检索的数据库原语表达

学科检索

全局元数据容器连通否

数据库命令

数据库检索执行

数据库检索执行

数据库检索执行

数据库检索执行

检索结果合并

检索结果分类

连通(通常)

不连通(小概率事件)

检索结果排序

资源发现结果返回

基于关键词的模糊检索

基于属性值的模糊检索

基于目录导航的精确检索

学科检索解析

基于空间事件关联的资源发现

基于空间事件关联的数据发现问题提出 设计理念 实现思路

1. 空间科学数据资源的一个重要特点是观测数据的相关性强。

2. 针对一个研究对象，通常从不同的观测平台、不同的观测手段，不同的观测角度，不同的物理属性等去进行观测和记录。

3. 从一个研究对象引出的空间科学事件，影响着不同空间观测区域和观测对象的物理特性，并导致相应的变化。

4. 然而，当前的科学数据应用中，却鲜有利用空间事件的相关性，对全局的观测数据进行数据发现。

1. 以空间科学事件对观测数据的影响为导向

2. 紧密依据空间科学事件与数据的时间联系和物理联系

3. 实现数据资源的关联发现，而非普通检索

1. 为建立某一空间科学事件与空间科学数据的关联，数据网格系统将会维护三个部分的数据表达，分别为：

空间科学数据 空间科学事件编目 事件关联库

2. 三部分数据表达中的核心是事件关联库，通过事件关联库，实现事件和数据的关联映射关系。

资源发现服务流程总结

学科检索逻辑组织阶段

学科检索解析阶段

数据库检索分发阶段

检索结果分类阶段科研

工作者

学科数据需求

学科层检索

学科检索的数据库原语表达

检索结果

科研工作者

分类排序后的结果

数据库检索执行阶段

数据库命令

检索结果排序阶段

分类化结果

用户反馈

二次检索

关联查询

2.4.3 资源存储和访问服务• 为提高空间科学数据网格的数据资源融合的灵活性，我们采取数据资源描述和数据

资源存储访问剥离的思想，摒弃传统数据资源描述和数据资源存储访问必须相捆绑在一地的做法。

• 因此，资源的加入和发布只需要资源提供者按照公共数据模型进行标准化描述，并通过资源注册服务描述注册到网格系统即可，用户可以任何地方注册数据资源，而注册点不必是数据资源存储的所在地。

资源存储和访问服务的设计目的分析分析对象 设计目的数据存储 描述数据和存储数据相分开的方式，需要网格以资源注册服务录入数据描

述信息，以资源存储服务的形式对外提供存储空间

数据访问 异构的数据访问协议—— FTP 或者 HTTP ，因而需要网格实现访问数据时两类协议的统一通常利用两类协议访问数据时需要穿透安全协议，如：要求提供“用户名 +密码”，因而需要网格实现访问直接化、透明化

网格监控 用户操作监视数据情况监视

资源融合和共享 资源在线型数据，在已有的数据应用环境上架设该服务，实现资源的快速融合资源离线型数据，数据网格自身提供数据存储与访问，实现从离线到在线的转变

数据无缝链接 存储和访问独立出来的好处是，在该服务上直接实现：科学数据的管道（ Pipeline ）技术，实现数据资源和学科应用的无缝链接。想法简单明晰 !

资源存储和访问服务设计框架

物理数据实体 标准描述属性

FTP协议 HTTP协议

支持透明化的异构协议统一层

资源存储

存储力

底层访问协议

高层访问协议

功能

资源提供

网格部署

支持科学数据与学科应用实现无缝链接的Pipeline技术资源访问 网格监视

多类型资源的快速融合和共享

资源存储和访问服务和网格监控的关系

InternetInternet

物理数据实体 标准描述属性

网格监控服务

存储

FTP

异构协议统一

访问

数据存储信息监控代理

物理数据实体 标准描述属性

存储

异构协议统一

访问

数据存储信息监控代理

资源提供者

Pull模式监控信息收割器

Pull模式监控信息收割器

科研工作者

上 传

数据资源 下 载

HTTP

科研工作者

下载

资源提供者

上传

数据资源

FTP HTTP

2.4.4 网格安全和监控服务• 空间科学数据网格的网格监控服务主要针对数据、服务

、用户和系统资源等 4 类对象进行监控，并对系统日志和用户行为记录进行统计分析。

• 依据监控对象的不同，网格监控主要分为 4 类监控：数据监控、服务监控、用户监控和硬件监控。

功能点 功能点描述 关联服务

数据监控 指监控是新的数据资源加入、类别数据资源的总量、节点数据资源的总量、数据资源的下载频率、数据资源的检索频率等。

资源注册资源存储和访问资源发现学科应用单点登录

服务监控 指服务运行状态监控

硬件监控 指宿主机监控，如： CPU 的使用情况、存储空间的使用情况、网络流量、系统访问负载。

用户监控 指监控用户的操作，包括登录登出、个人资料修改、注册数据资源、检索数据资源、下载数据资源、访问学科应用服务等

2.4.5 学科应用服务

• 基于空间事件关联的数据发现• 科学数据可视化• 科学数据文件的阅读器（ CDF FITS SAO

）• 科学数据文件的格式转换器• 轨道计算

与科学应用高度集成的虚拟实验室与科学应用高度集成的虚拟实验室基于空间基于空间 GISGIS 描述方法的描述方法的数据应用环境数据应用环境

标注式数据描述模型为标注式数据描述模型为主要特征的数据应用环境主要特征的数据应用环境

三 . 空间科学数据网格的未来发展方向空间科学数据网格的未来发展方向————虚拟实验室虚拟实验室

发展 3阶段 关键问题STEP1 ：标注式的公共数据模型的改进

剥离资源描述和资源存储，摈弃传统的资源描述信息和资源存储必须捆绑一起的思想三层式的公共数据模型：物理数据实体 + 标准描述属性 + 核心描述属性；•物理数据实体——底层物理数据访问和应用•标准描述属性——与 NASA ESA 的网格对接•核心描述属性——快速的数据资源发现

STEP2 ：学习和借鉴 GIS位置描述思想，对重点的局部的空间区域进行刻画

•重点区域：临近空间（平流层、中间层、热层）、磁层、同步轨道、近地轨道•不同的区间，其刻画方法可以不统一

STEP3 ：引入统一的数学方法，构建空间位置数据描述模型

用统一的数学模型，精确刻画空间位置，实现该观测位置与观测数据的关联和可视化展示。

Thank You For Your Listening!

Looking forward to a deeper discussion！