面向高端离散制造的大数据管理系统

清华大学软件学院

清华大学数据科学研究院 王建民

2016.11.7 广东.佛山

主要内容

1. 背景

2. 内涵

3. 挑战

4. 案例

大数据正在从消费互联网向产业互联网渗透

互联网数据网页数据、社交数据、

电子商务数据

产业数据时序数据、过程数据科学数据、工程数据

复合型极客分析、编程、领域知识数据库、分布式计算

产业领域型人才领域知识

有限计算机能力

融合发展

自主可控

工业4.0

现代农业

公共服务

政府治理

网页搜索

电子商务

大数据是新工业革命的核心动力

德国工业4.0 美国工业互联网

德国莱比锡商学院院长潘安德认为：大

数据是工业4.0的核心

美国波士顿咨询公司认为：大数据及分

析是工业4.0的九个支柱技术之首

工业互联网，将智能的机器、先进的分

析和工作人员进行集成

GE董事长认为，未来每一个工业企业也

必须是一家软件企业

RAMI 4.0

IIRA

5

大数据已成为国际领先企业的发展重点

美国IBM，GE，卡特彼勒

通用电气（GE）公司联合Pivotal

向全球开放工业互联网云平台

Predix, 迄今已投入十亿美金

SAP开发了面向物联网应用和

实时数据处理的HANA大数据

平台

美国PTC公司收购工业物联

网大数据云平台公司

Axeda(27亿美金）

西门子推出Sinalytics 数字

化服务平台、 Plant Data

Services智能工厂，作为其

实现工业4.0的重要抓手

发达国家抢先布局

工业大数据是国家大数据战略的主要任务

•2015年8月31日，国务院印发《促进大数据发展行动纲要》，明

确部署“工业和新兴产业大数据工程”：利用大数据推动信息化

和工业化深度融合，研究推动大数据在研发设计、生产制造、经

营管理、市场营销、售后服务等产业链各环节的应用，研发面向

不同行业、不同环节的大数据分析应用平台，选择典型企业、重

点行业、重点地区开展工业企业大数据应用项目试点，积极推动

制造业网络化和智能化。

6

7

大数据是“制造智能”的重要来源

1

2

3+互联网

数据

+物联网数据

信息化数据

智能生产智能产品 智能服务 智能回收

1

2

3

主要内容

1. 背景

2. 内涵

3. 挑战

4. 案例

9

工业物联网数据

产业链跨界数据

高端制造领域大数据

信息化数据环境气象 地理

压力

速度

图纸

视频模型

文档

数据集

指高端制造领域所产生的信息化数据、机器数据，以及

跨界数据。其中机器数据是主体。

ERP

高端制造领域大数据的数据特征

数据模态多样,结构关系复杂数据类型可达300余种,汽轮机35万

个零部件数据

以多种类非结构化工程数据、过程与BOM图数据、装备监测时序数据为代表的

工业大数据呈现“多模态，高通量，强关联”特性

数据通量大50Hz，500测点/台，2万台风

机，最高可达5亿数据点/秒

协作专业多飞行器研发相关专业200多类

生命中期

生命初期

模型层

生命中期

模型层

制造BOM

设计BOM

维修需求

维修策略

维修规程

概念设计

详细设计

仿真分析

产品配置

试验数据

设计需求

使用规范

制造工艺

工装设备

工艺仿真

制造质量

工厂布局

调试报告

包装运输

装配试验

核心层

中性BOM

服务保

障模型

制造BOM

关联模型 实例运行追溯

模型

实例BOM

关联

模型

维修策略建模语言

中性BOM建模规范维修视频

故障记录

保障流程

试验报告

装备履历

异常报告

巡检记录

生命特征

运行状态

维修计划

历史记录

维修变更

备品备件

服务评价

实例BOM1

实例BOMn

实例BOM3

实例BOM2

…

生命初期

海量高速机器24*7产生，采集频率高，数据量

大

热流体

飞机CAD模型

材料模型

行为模型

边界条件

网格化

热学求解器

温度场

结构分析机翼CAD模型

材料模型

行为模型

边界条件

网格化

强度求解器

强度场

流体飞机CAD模型

材料模型

行为模型

边界条件

网格化

流体求解器

压力场

电磁飞机CAD模型

材料模型

行为模型

边界条件

网格化

电磁求解器

电磁场

研发大数据

网格化几何拓扑

结构产品 材料

有限元分析 动态模型 其它

结果

声学飞机CAD模型

材料模型

行为模型

边界条件

网格化

声学求解器

声学场

多学科异构数据信息交互模型多学科异构数据信息交互模型

10

11

高端制造领域大数据的应用特性

工业大数据

信息物理关联

产业链关联

跨界关联

虚拟数字产品

ERP MESSCMCAx

全生命周期的研发、设计、生产、服务数据

物理产品

CRMMRO PLM SIM

“非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值” -- 阿里巴巴 王坚

气象数据环境数据

设计大数据应用

美国内华达州博尔特市 Boulder City(NV)USA

革命性汽车:Rally Fighter

这款车综合了来自全球大约三万人的研发人员提供的万余个设计方案。该车搭载6.2 公升的V8 引擎，车身和底盘都是由Local Motors 本身制造，而其他配件则来自通用汽车，大众汽车和本田公司。

https://localmotors.com/ 马云称之为CtoB模式

2014年9月研发出第一款3D打印汽车

生产大数据应用

美国内华达州博尔特市 Boulder City(NV)USA

革命性汽车:Rally Fighter

采购大数据应用

美国内华达州博尔特市 Boulder City(NV)USA

革命性汽车:Rally Fighter

System

OEM

End Users

Raw Material

Supplier

Capital Equipment Mfg.

Semicon IDM

Indirect

Supplier

Technology Reseller

ComponentMfg.

Distributor

Distributor

ContractManufacturer

Assembly & Test

Fabless Design

/ IP House

Foundry

System Design House

Service Provide

r

Source: PWC

维修大数据应用

2012年9月19日，传感器传回的数据显示，一架春秋航空飞

机的二号发动机风扇振动值突然升高

GE在上海的航空客户支援中心立即向春秋航空发送通知

排查后发现，发动机的两片风扇叶片被外物击伤，打伤的

风扇叶片很快被更换，成功避免了一次停场检修

2014年，GE监测与诊断中心通过对1500台燃汽轮机监控服务为用户节约7千万美元

运行大数据应用

Processing Excellence Centre (PEC)

持续监测位于澳大利亚、蒙古和美国矿井，集成20个系统进行专业分析

管理实验数据、操作日志、控制系统、视频数据以及维护日志

每日数据增量达到30G，年积累数据50T

用途：

优化矿石筛分过程，提高铜矿和金矿产量

识别异常情况，辅助现场决策

加快物流效率，减少成本损失

收益：

1个矿井即可为力拓带来收益百万以上美金的年收益

跨界大数据应用

http://www.agcocorp.com/

美国AGCO

主要内容

1. 背景

2. 内涵

3. 挑战

4. 案例

工业互联网-智能制造的未来

工业互联网产业联盟版权所有

八个连接1.智能机器与工厂控制系统2.在制品与智能机器3.在制品与工厂云平台4.智能机器与智能机器

5.工厂控制系统与工厂云平台6.工厂云平台与用户7.工厂云平台与协作平台8.智能产品与工厂

大数据处理生命周期

Challenges and Opportunities with Big Data，http://www.cra.org/ccc/files/docs/init/bigdatawhitepaper.pdf ，

Nov. 2011 to Feb. 2012.

获取记录

抽取清洗

集成聚合

分析建模

解释展示

异构 规模 时效 隐私 协同

写密集

数据打包

压缩

机器数据库

数据画像

异常发现

数据修复

工业数据质量

增量索引

多维/高维索引

基于BOM的集成

数据索引与集成

交互特征发现

形状、型谱特征自主构造

交互特征工程

上下文建模

对象数据服务

时空与业务数据集成

机器数据建模与服务

并行化异构工业数据分析(M/R, Spark)

应用分析流程知识管理

分析平台

面向高端制造领域的大数据技术包括大数据管理技术和大数据分析技术

数据分析（科学） Vs. 数据管理（工程）让我们

分析数据

摘自Kris Sign 的报告

机器数据的质量1

？ 有相当部分（>30%）的工况没有时间对齐的数据回传

发动机转速

换向次数

比例阀电流

机械设备

数据采集、处理

数据传输 数据解析存储Internet信号等 信元 数据包 数据包 数据

发动机转速

比例阀电流

换向次数

发动机脉冲

比例阀电流

换向开关量

发动机转速

换向次数

比例阀电流

（b）12/10/1 10BC53134759工况值 （c）12/10/1 10BC53134759传输值 （d）12/10/1 10BC53134759记录值

工况传输异常值

物理信号 离散值 传输值 压缩记录值

传输丢失值

记录时间不同

记录压缩损失

数据管理（工程）

工业数据的集成

数据价值密度◦20%的SQL小数据具有80%的价值密度◦ 例如：产品图纸、试验分析、加工工艺等

◦80%的工业大数据密度只有20%，需要分析挖掘◦ 例如：工况数据、图片数据、文本数据等

数据的依赖关系◦20%的SQL小数据将引爆80%工业大数据价值◦ 不举小数据之“纲”，难张大数据之”目”

2

数据管理（工程）

BOM是工业数据集成的桥梁生命初期 生命中期 生命末期

《以BOM结构为核心的产品生命中期数据集成管理框架》国家标准 GB/T 32236-2015

26

图纸文档

模型 视频

BOM-层次物料表

层次化的物料表(BOM)，定义了装备数据的核心语义结构

复杂装备生命周期中存在大量的文档、图纸、模型、音视频等非结构化数据

层次化物料表（BOM）

物料

27

创立了中性BOM模型，降低关联复杂度

实例BOM

实例BOM

实例BOM

制造BOM

设计BOM

中性BOM

实例BOM1

实例BOM2

实例BOM3

制造BOM

设计BOM

传统方法关联 中性BOM关联

形成星型结构，极大的降低了关联复杂度

传统方法采用网状结构将跨阶段的多个BOM直接关联，导致关联复杂度急剧增加

网状结构 星型结构

a

aa

3

54

2

a

76

aa

1

a

通过中性BOM，解决结构失配

解决设计制造BOM表达数字产品而服务保障BOM表达物理产品的结构失配难题

a

8

a

a

aa

3.1

5.14.1

1.1

a

a

aa

3.2

5.24.2

1.2

a

给出了中性BOM节点抑制和位置拆分方法，及其规则描述语言

8.38.2

aa

8.1

a

8.5

a

8.4

a

中性BOM结构 实例BOM结构

28

实例BOM节点中性BOM结构

解决了跨阶段变更的正向传播和逆向追溯难题

a

2

a

3

54

a

8

1

8.1a 8.2a 8.3a 8.4a 8.5a 8.6a

a

a

通过中性BOM，解决变更跟踪设计了利用中性BOM节点版本自动关联实例BOM节点的编码方案

aa

76

a

a

3.1a 3.2a 3.3a

1.1a 1.2a

4.1a

5.1a

4.2a

5.2a 5.3a

4.3a

29

制造业大数据分析特点

30

研究对象 信息物理系统 社会系统

已有基础中/微观机理模型与定量领域知识，在当前基础上前进很困难

宏观理念与定性认识，存在广阔的提升空间

驱动力 新的感知技术、产品的服务化转型 新的交互渠道（如社交媒体）

可靠性因果关系才有用模型的高可靠性（很难接受概率性的预测）

相关性关系就非常有帮助大数原则

制造业大数据 商业大数据

机器数据的分析3

基于物理规律的数据分析

“端”“云”协调的分析

数据分析（科学）

跨时间尺度数据综合分析4

数据分析（科学）

Wil van der Aalst

IT*OT的大数据应用场景4

数据分析（科学）

U Dayal

IT*OT的实时运营智能

U Dayal

主要内容

1. 背景

2. 内涵

3. 挑战

4. 案例

36

世界制造业的苦笑曲线与剪刀曲线

生产性服务业快速发展

传统制造业占比持续下降

Gartner 2012：Manufacturing the Future : The next era of global growth and innovation

大数据助力中国制造实现动力转换

37

设计

制造

维修

运行

再制造 金融

物流

能源

环境

保险

大数据

先进制造 互联网+

风电制造大数据采集规范

风力发电

开展风机健康管理、运营优化等大数据应用

全面管理研发、制造、服务全生命周期数据

根据IEC 61400-25标准，单机每秒产生传

感器数据225K，2万台风机年运维数据规

模为120PB

数据库秒级写入量达千万数据点

• 齿形带是风力发电机的变桨电机

和叶片之间的关键易损连接件。

• 齿形带在风机运行期间的断裂会

造成非计划性停机及叶片失控等

次生灾害。

• 目前对该故障的检测通常根据断

裂后引起的次生故障判断，大约

有10余秒的滞后，无助于减少损

失。

典型应用1 —— 变桨齿形带断裂

典型应用1 ——变桨齿形带断裂

故障后报警：• 风速稳定• 突然向0度变桨故障前长期预警：

决策树关键因素：• 服役时间• 三个桨距角差• 三个变桨角余弦相似度• 变桨电机温差• 变桨电源的充电电流差异

断裂时刻

> 90 Hours

<3s

故障前系统征兆：• 持续的桨距角震荡• 持续的转速震荡

-600 -500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150013

-600 -500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150019

-600 -500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150023

-500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150026

-600 -500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150029

-600 -500 -400 -300 -200 -100 0

0.0

0.4

0.8

GW150029_2

-29100 -28900 -28700 -28500

0.0

0.4

0.8

GW150005

-34800 -34600 -34400 -34200

0.0

0.4

0.8

GW150012

-35000 -34800 -34600 -34400

0.0

0.4

0.8

GW150033

实际断裂前90小时，预测的风险值就非常高了

• 在高寒和高纬度地区运行的风机存在叶片结冰的问题

• 结冰导致的典型问题包括：叶片负载增加、性能下降、

震动、扰流和安全性问题。

• 典型方法分成两类：

– 直接通过传感器检测

– 间接通过声波、频谱

0 20 40 60 80 100 120

-30

-20

-10

01

0

Index

x$

Te

mp

Lo

w

解决方案: 融合气象数据，结合结离散事件分析获得风机叶片结冰的可能性

1. 结冰顺序模式挖掘 2. 结冰检测准确率达到78%

典型应用2 —— 叶片结冰检测

典型应用3 ——偏航对风优化

• 业务问题

–风机投入运行后测风仪随着环境因素（震

动，腐蚀等）出现偏差

–主控系统依据错误风向数据偏航导致迎风

角错误会出现发电效率衰减

• 技术路线

–对风机3个月风机做工曲线情况进行建模，

分析获得风机迎风角和发电量的变化模式，

判断是否需要进行调整。

测风仪数据用于调整偏

航角度，以保证风机最

大迎风角发电

经过对测风数据扫描发现高达32.51%的风机存在4度以上对风偏差，矫正后每台风机每年可多发电3.13万元人民币，按照金风现有1.5万台风机计算，这一技术将给业主每年带来超过1.5亿元人民币的经济效益。

42

43

正在开展的应用——基于气象大数据智慧运维服务

风功率预测准确率

80%

vs95%

中国已成为全球节能减排和可再生能源开发的第一大国

据国家能源局初步估计，2016年全国弃风限电导致的损失将达到600亿元，

相当于2015年国内风电新增装机发电量的全部收益

气象领域核心大数据

模式数据 站点实况 卫星数据 雷达数据

全部模式数据支持

1天的模式文件数千万个，共计16TB/天

欧洲0.125度网格，欧洲2.5度网格，美国细网格，

日本细网格，中国T639模式，德国细网格

地面高空填图、分钟自动站全国数万观测站点1年共计5亿条记录

中国风云静止卫星、日本向日葵8号卫星

1天产生近千万个数据文件，近40TB

全部200部单站雷达基数据和PUP产品1天产生近百万个小文件

其他数据支持：闪电数据、重要天气报

高效非结构化气象数据存储方案创新存储模型定义◦ 多维数据集到Key-Value存储模型

◦ 集合预报所有扰动数据存入一个cell,

针对集合预报特定需求提供高效读写

气象数据树状结构

BDStore存储结构

2014.2.18.08:3

… 2014.2.18.08:9

temper:800

<t1_1,…,t1_51>

… <t3_1,…,t3_51>

temper:850

<t4_1,…,t4_51>

… <tn_1,…,tn_51>

ECMWF_HR (集合预报数据)

cf name row key column name

一种基于键值库的文件与结构化数据统一存储方法；授权专利号ZL201110272333.6

气象大数据存储计算的跨层优化

任务发起端

计算任务BDComputing

服务端

原始Connector 改进Connector

数据传输

串行计算

并行计算

业务层

连接层

存储层

数据传输 串行计算

并行计算

1. 利用BDStore优化数据读写效率

2. 通过改进连接层提升计算的并行度

3. 通过任务队列合并调度多个小任务，提高计算的并行度

处理效率提升10倍以上

任务队列

批量调度

SPARK

性能提升——分布式计算框架

数据 气象分析算法

模式剖面计算

Spark分布式计算

GPU并行加速

任务队列调度

蓝色：原有方案效果红色：分布式计算效果注：9000文件时原有方案超时

• 分布式计算性能提升10-100倍

• 数据量越大，分布式计算优势越明显 T639模式数据

12

24

36

48

0.5 0.6 0.7 0.8

39

0

10

20

30

40

50

60

200 400 600 800 9000

新旧系统性能对比图

气象局原有方案 集群解决方案

秒

文件数

0

500

1 (无队列) 10 100

调度队列性能对比 (1000并发任

务)

队列长度

秒

清华大学自主大数据平台软件在智慧气象领域成功应用

中国气象局

气象大数据软件使综合信息分析提速百倍

支持全国/省/市三级天气预报

覆盖全球气象模式与卫星数据，数据增量

每天200TB，年70PB

包括四大类几十种非结构化数据类型

入选国家“十二五”科技创新成就展

为2016年杭州G20峰会提供气象支撑

49

利用跨界数据提高我国风机制造的“软”实力

气象数据

电网侧数据

地理与遥感信息

风力发电装备

（金风科技）

服务制造

基于大数据的开放式

风电场个性化设计应用

基于气象大数据的风

电场智慧运维服务应用

基于大数据分析的清

洁能源微网应用

基于大数据的全生命

周期绿色制造应用

50

测风塔

激光雷达

测风塔

测绘地形图

地表粗糙度

DEMI地形高程

风能光照辐射

资源

卫星遥感影像

地质资源属性

现场GPS

全球地面气象

现场音视频 全球

气象卫星雷达等遥感资料

全球海洋数据

全球数值再分析格点资料

全球高空气象

资料

风场CFD模型

油品检测

项目报告

50Hz高频(载荷,振动等）

秒级

10分钟统计值

日统计数据

故障数据

状态数据

功率曲线数据

变位数据

动作记录(Action list文件)

维护检修数据

故障快照(f文件)

故障时序(b文件)

状态翻转(o文件)

消防开关量

10分钟平均

(m文件)统计累计(Date文件)

频谱(能量谱,

包络谱等)

载荷结果

设计报告

其它仿真结果

“互联网+风机制造”中的数据利用

80%90%

面向高端制造领域的大数据管理系统

标准规范、 评测基准和测试工具

大数据驱动的航天航空装备创新研发与应用示范

基于大数据的“互联网+制造”应用示范

高端制造大数据系统管理工

具

非结构化数据管理引擎

关系数据库*

图数据管理引擎

时序数据管理引擎

键值数据库*

高端制造大数据管理系统

一体化管理

国家十三五重点研发计划课题

通过与Hadoop、Spark等大数据主流开源社区密切合作实现开放创新

Hadoop创始人、 Apache前主席、

Cloudera公司首席架构师、Doug

Cutting与清华大学王建民教授于

2016年8月于北京签署全面合作协议52/66

谢谢