2006 年 10 月面向数据处理的高端系统

胡雷钧 浪潮公司

2

高性能计算系统构成

3

面向数据处理的高端系统具有较高综合能力的计算机系统 ---- 高效能系统

注重系统的实际应用效果，注重性价比和总体拥有成本用于有挑战性的应用领域，解决复杂问题空间探索、生命科学、气象模式、高能物理、理论化学

面向海量数据处理，需要高计算性能应用基于海量数据，需对海量数据进行处理（变换、分析、筛选）应用需要较强的计算能力

具有较大的系统规模系统处理器规模、节点规模、存储器规模较大系统的空间占用、能源消耗直接影响系统的拥有成本

4

高性能计算系统的构成

……

…H

igh Speed S

witch P

ath

CPU Memory

CPU Memory

CPU Memory

CPU Memory C I/O Unit

S I/O Unit

SA

N ……

Manage Unit

…IPN

S I/O Unit

C I/O Unit

…… …

…

5

议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇

6

国内外对高端计算研究上的差异高端计算机＝高性能计算＝ HPC ＝ linpack ？高端应用＝高性能计算 ＝高性能科学计算＝数值计算？

HPC 并不是高端计算机的全部高性能计算实际是高端计算机的一个应用领域数值计算并不是高性能计算的全部

国际市场上 90 ％以上的高端计算机面向商业应用80 ％以上的高端计算机应用于数据处理（ 2005 年 IDG 数据）95 ％的高端应用并不需要 100 个节点的集群系统，而需要 4 － 32个处理器的 SMP 系统

7

国内外对高端计算研究上的差异体系结构研究过于注重集群，在其他重要体系结构的研究上投入较少国内的高性能计算系统体系结构以集群为主对 SMP/NUMA 等体系结构的研究较少过于依赖国外底层技术，对处理器、芯片组、交换互连的研究投入不足重单一指标，不重综合指标重系统浮点计算性能指标，对综合应用能力的重视不够注重数值计算类应用强调高端系统数值计算能力（峰值浮点计算能力、 LINPACK ）不重视 OLTP 指标、 SPECWEB 指标等面向商业应用的指标在高性能计算领域注重计算能力的提升，对应用模型、算法、并行编程工具、并行程序的调试与优化方面的研究有待进一步加强

8

国内外对高端计算研究上的差异高性能计算是一个产业还是一个应用领域？

产业注重主要的市场需求，首先满足主要的市场需求主要的市场需求是面向高端的商业应用高性能计算是高端计算机系统的一个主要应用领域

高效能还是高性能？国外的技术发展趋势：从注重计算能力到注重系统的综合效能注重系统的性能功耗比、系统面向不同应用的综合处理能力、系统可持续提供服务的能力、系统的数据处理能力、系统的事务处理能力

9

如何改变？我们应该关注什么方向？从满足高端关键应用的角度考虑国外的发展趋势，考虑我们的战略布局高效能追求系统的性能功耗比追求系统的数据处理能力追求系统性能的平衡计算能力的提升与获取数据的能力提升平衡计算能力的提升与 I/O 能力的提升平衡发展追求系统资源的有效利用追求对适合多种不同应用

10

议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇

11

普适化计算的发展

12 高效能计算和海量数据处理将成为社会信息与服务的基础

13 相关产品和产业的发展事关国家长远发展和国家信息化社会建设的政治经济安全概念层

普适计算 巨系统研究层

实用层

虚拟存储 虚拟计算 高效能计算分层存储 智能网络存储 协议与安全 高可信

海量数据处理

高效能服务器 海量存储 虚拟现实 低成本计算机以海量数据为基础的全面信息服务和应用

14

国外主要的技术发展趋势多核技术是提高性能功耗比的有效方法，是提高系统数据处理能力的有效方法

多核技术带来的最主要的变化之一是性能功耗比的提升多路交换系统总线技术是提高系统综合能力的有效方法

平衡计算能力与内存带宽平衡计算能力与 I/O 总线带宽

虚拟化技术是提高系统资源综合利用率的有效方法虚拟化技术通过重建边界或打破边界彻底改变了系统资源的分配方法

基于开放标准的高速互连技术是平衡计算能力与 I/O 能力的有效方法，是高端系统适应多种应用的一个重要发展方向

15

处理器向多核演进

16向多内核的演进

0%

30%

60%

90%

Q3’05 Q4’05 Q1’06 Q2’06 Q3’06 Q4’06FORECASTFORECAST

SINGLE-CORE*SINGLE-CORE*

MULTI-COREMULTI-CORE

100%100%

85%85%

17

20072007 年之后年之后

双路双路 SMPSMP 系统系统4-84-8 个内核个内核44 个线程个线程

20062006 年年

双路双路 SMPSMP 系统系统 双内核双内核 44 个线程个线程

19951995 年年

双路双路 SMPSMP 系统系统 两个内核两个内核22 个线程个线程

超线程（超线程（ HTHT ）技术）技术 多内核多内核对称多处理对称多处理

向多内核的演进

18 向多内核的演进

2000 2008+

利益利益

2006

多核多核

预测

单核单核

性能性能每瓦性能每瓦性能

吞吐量 吞吐量扩展性扩展性

业界革命性的转折点业界革命性的转折点

转折点

19 多核提高性能功耗比、提高数据处理能力

Q4‘05

SPECint_rate

2H‘06 20071H‘06

1.5

1.8

2.0 2.0

2.8

2.1

3.9

3.4

Opt

eron

* 28

0 (2

.4G

Hz)

PaxD

P 2.

8/LH

800

Dem

psey

3.7

3/BF

1066

Opt

eron

* 2.

6 (s

ocke

t F)

Woo

dcre

st 3

.00/

BF13

33

Opt

eron

* 2.

8 so

cket

F

Clov

erto

wn

2.67

/BF

1066

Opt

eron

* Q

uad

Core

0%

50%

100%

150%

200%

250%

300%

350%

400%

2H’05 1H’06 2H’06 20071H’05

SPECint_rate per System Watt

Irw

inda

le

Paxv

illeD

P

Opt

eron

DC

2.4

Dem

psey

95W

Opt

eron

DC

sock

et F

2.6

Woo

dcre

st

Opt

eron

DC

sock

et F

2.8

Clov

erto

wn

Opt

eron

QC

sock

et F

20

• Single-Core• MP front-side bus• Large CPU cache• Centralized Memory

DDR-II, 200

Chipset

FSB 400

2003 - 20042003 - 2004

DDR2 400

Chipset

DIB 800

• Dual-Core• Dual-independent bus• Cache per core• Memory capacity

2005 - 20062005 - 2006

FBDDHSI• Quad-Core• Dedicated buses• Shared CPU Caches• Chipset Snoop Filter• Next Gen Memory

2007 - 20082007 - 2008

Snoop Filter

• Multi-Core• New Bus Architecture• Improved Cache and Memory Architecture

FutureFuture

CHIPSET

系统总线的演进

FSB BW peak

Memory BW peak

Memory Capacity

2004

6.4 GB/s

6.4 GB/s

16 GB(DDR2-400)

2008 2006 vs. 2004

64 GB(FBDIMM)

17 to 2117 to 21†† GB/s GB/s

up to 21 GB/s up to 21 GB/s (FBD-667)(FBD-667)

up to 3x

up to 4x

21

虚拟化技术的演进促进资源的充分利用资源分拆的虚拟化

将高性能系统分拆成若干虚拟机

22

虚拟化技术的演进促进资源的充分利用资源整合的虚拟化

将多台物理设备整合成一台虚拟机

23 高速互连技术的演进促进高端系统的综合应用能力整合存储 I/O 、通讯、数据同步、管理网络的高速互连技术将是未来系统间互连的主流

24

高速互连技术的演进Infiniband 在存储领域将有快速发展

可以实现多种存储协议，并有较高性能可支持块设备协议、文件共享协议（ NAS ）、并行文件系统协议

25

高速互连技术的演进高速互连带宽持续提升已接近系统总线的传输速度

26

高速互连技术的演进高速互连带宽持续提升已接近系统总线的传输速度

27

高速互连技术的演进高速互连带宽持续提升

2008 年将达到 20Gb-40Gb

通信延迟将进一步降低2008 物理通信延迟达到几十 ns

28

高速互连技术的演进对等带宽方式的互连方法是 IB 互连的基本方式

29

高速互连技术的演进Torus （立方体）互连是 IB 的新的互连方法

30

高速互连技术的演进基于 IB 的 TORUS 互连

31

从机架式结构到刀片式结构的演进刀片式结构将是主流

32

存储虚拟化技术存储虚拟化设备级文件系统级服务级

33

基于存储实现虚拟化

将虚拟化层放在存储设备的适配器、控制器等上来实现的

34

基于主机现实虚拟化

将虚拟化层放在服务器上实现的

35

基于网络实现虚拟化

36

基于虚拟化技术的并行存储系统

37

议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇

38

面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点

39

无线通信在线视频科学研究

电子商务客户管理

数据

数据分析

企业应用

电子政务

70 年代 80 年代 90 年代 2000 年 新世纪头 10年

基础 OA

数据量爆炸数据量爆炸

数据量高速增长

40 海量数据处理的需求趋势与市场机会科研应用领域对海量数据处理的需求空间探索、数字天文台、高能物理、生命科学石油勘探、油气田模拟气象预报与气象模式研究飞机船舶设计IPTV 和数字媒体对海量数据处理系统的需求为满足点播需求 ， IPTV运营商必须存储和处理大量的视频数据，需要海量数据处理系统

50个公共频道一天的数据量约为 4320GB=4.32TB为保障点播质量，在小区内一般会设置视频数据缓存或 CDN 海量数据缓存服务器 (内容分送网络服务器，附带数据缓存存储设备 ) 预计 2008年全国 IPTV用户数将达到 6000万3G移动通讯对海量数据处理系统的需求

3G移动通讯将在十一五期间正式运营 ,3G 业务将派生多种多媒体应用视频电话、基于手机的媒体点播、视频短信、多媒体邮件、视频直播、手机视频游戏这类业务的发展，需要大量的存储系统由于存储内容、缓存内容假设平均每个 3G 用户将需要 1GB的存储空间，按照 4000万 3G用户计算， 3G 应用未来将需要存储容量： 40P下一代互联网建设使基于因特网的存储服务成为可能这种趋势将催生一批互联网存储服务商，并产生巨大的网络海量存储系统的需求，平均一个用户存储10G 数据， 100万用户将需要 1PB的存储容量

41 海量数据处理的需求面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点面向海量数据处理的高端系统必须满足如下需求系统可以实现PB级海量数据的存储、处理和传输系统需要支撑几十GB/s的数据访问流量由于面向海量数据应用的特点，海量数据处理系统往往面对大量的并发访问，要求系统设计要均衡计算能力与 I/O能力海量数据库应用，要求系统能够基于同一组数据进行大规模并行数据处理，计算单元间需要高速交换通道进行数据同步和数据共享由于系统构成复杂，系统的可靠性可用性设计将是系统设计的难点未来应用的数据积累速度会以每日 TB 的规模增长，并发用户数量也会持续增长，需要海量数据处理系统有较高的可扩展性对高端计算机的能力需求数据处理能力数据 I/O 能力系统可靠性系统利用率系统功耗性能比

42系统示意图

VSMP 硬件体系结构…

……

High S

peed Sw

itch Path

CPU Memory

CPU Memory

CPU Memory

CPU Memory C I/O Unit

S I/O Unit

SA

N

……

Manage Unit

…IPN

S I/O Unit

C I/O Unit

…… …

…

43

AS330G2AS330G2

最新浪潮存储产品线

AS200AS200

性能AS 系列

AS300AS300

存储系统

CX300CX300 、、 500500 、、 700700

CX 系列

价格

AS500AS500

AS600&600GAS600&600G22

AS1000&1000GAS1000&1000G22

44

AS500简介 3U 机架， 15槽位 可同时支持 iSCSI 和 FC 单、双控控制器 支持 SATA硬盘 标配 P4 CPU； 2×512MB DDR ECC 内存，最大 8GB 支持 RAID0 、 1 、 5 、 10 多种级别 可支持 256 个 LUN AS Manager管理软件实现快照、硬件监控等高级功能 IOPS 8,4000 传输带宽： 680MB/s

随需而变、弹性架构随需而变、弹性架构

45

AS500内部体系架构

风扇风扇 风扇风扇风扇风扇电源电源

电源电源后备后备电源电源

控制器 1CMI

后备后备电源电源

控制器 2

FC x 2镜像缓存

SATA/SAS×4CPU

iSCSIx 2 FC x 2镜像缓存

SATA/SAS×4CPU

iSCSIx 2

HDM HDMHDM HDM

HDM

HDM

HDM

HDMHDM HDM

HDM

HDM

HDMHDM

HDM

模块化，全冗余结构同时支持 FC 、 iSCSI

46 AS500应用案例—国务院信息办（ FC SAN）

•山东移动•北京石景山政府•安徽信息产业厅•黑龙江省委党校•山东大学•华师数学系•……

47 AS500推荐应用— IP SAN & FC SAN

部分性能要求较高的服务器通过 FC 连接大量性能要求较低的服务器通过 IP 连接性能按需分配，共享存储，达到最佳的性价比

48

谢谢大家 !