基于虚拟机架构的可信计算环境与可信软件设计¯信... · 改变传统的“面向正确性的软件理论＋工程化”模式，转向以软件可信性度量为基础，全面考虑软件的

INSTITU

TE OF C

OM

PU

TING

TECH

NO

LOG

Y

基于虚拟机架构的可信计算环境与可信软件设计 VM based trusted computing environment & software design

孙毓忠研究员Tel:010-62600640

Email：[email protected]计算机体系结构国家重点实验室（筹）

中国科学院计算技术研究所

国防科学技术大学、清华大学

2011.4.19

INSTITUTE OF COMPUTING TECHNOLOGY

内容提要：

研究背景和意义主要研究内容与成果基于虚拟机的可信计算平台研究与设计（TRainbow）面向管理域虚拟机完整性的实时检测技术（VMGuard）可信可控用户虚拟计算环境构建方法研究（TRIOB）面向虚拟存储数据完整性的透明检测技术（Tapwire）虚拟化全局内存优化技术（TMemCanal）分布化IO资源的全局可见与共享技术 Xen虚拟计算环境下的可信接入控制技术

项目推广与展望成果统计

2


研究背景：计算模式的发展

单一桌面计算向以互联网为主的大规模跨域服务计算过渡

传统物理结构已经逐渐被网络化的数据中心代替

计算环境具有开放、动态、难控的特点

3多种用户共存，多种服务共存，面向数据中心，物理资源共享


研究背景：平台可信性

“可信软件基础研究”基本要求：

改变传统的“面向正确性的软件理论＋工程化”模式，转向以软件可信性度量为基础，全面考虑软件的需求分析、建模等软件工程全过程和运行支撑环境等方面的可信保证问题。

软件的设计阶段，主要关注可靠性和可伸缩性等系统软件本身的可信属性

软件的运行阶段，主要关注完整性、私密性等运行支撑环境方面的可信属性

4


研究背景：云计算面临的挑战

加州大学伯克利分校

IBM

5


主要贡献：

6

TRainbow: 基于虚拟机的可信计算平台研究与设计

VMGuard: 面向管理域虚拟机完整性的实时检测技术

TRIOB:可信可控用户虚拟计算环境构建方法研究

Tapwire: 面向虚拟存储数据完整性的透明检测技术

TMemCanal:虚拟化全局内存优化技术

分布化IO资源的全局可见与共享技术

Xen虚拟计算环境下的可信接入控制技术


内容提要：



7


虚拟计算平台可信性需求分析

当前计算平台系统软件存在的问题

结构单一:大多采用单内核结构

层次过多:往往采用层次化的设计方式

规模巨大，Bug众多：Linux内核可能存在大约15000个缺陷

交互接口众多：内部的函数调用关系复杂，向外提供的系统调用非常多

应用隔离度差：大多基于进程和文件系统进行隔离，但共享内核

设计目标

满足应用需求、平台运行可靠、隔离外部攻击

从结构重构的角度，以虚拟机为粒度，基于拆分验证的方法设计面向数据中心的可信计算平台系统软件

结构变革：内核组件拆分重构

面向应用：定制可信应用环境

面向内核：隔离设备管理服务

规范交互：共享通道安全验证8


TRainbow：可信计算平台设计

设计思想：

– 定制化：计算环境的定制思想，即根据应用的特点和对计算环境的依赖关系，提供定制的虚拟机

– 扁平化：应用对资源直接访问思想，计算环境中只提供与应用相关的访问接口，该访问接口与指定的资源之间提供直达一对一绑定

– 角色化：通过专用虚拟机来提供多种可信关键服务

– 颗粒化：力图实现轻量级的虚拟机结构，提高可靠性

9


TRainbow：体系结构

10


TRainbow平台可信性增强设计

11

内核拆分重构

应用环境定制

可靠设备服务

可信验证隔离

完整性检测服务


内容提要：



12


保护管理域虚拟机的重要性

13

入侵

Domain0可以透明的读写DomainU的内存内容

前后端设备驱动模型导致DomainU的可信性也依赖于Domain0


我们的想法

引入一种面向管理域虚拟机完整性的动态度量检测系统

14

VMGuard在计算平台中的每个物理结点中运行一个特殊的隐藏虚拟机GuardDomain，该虚拟机负责对该物理结点上Domain0的完整性进行监控度量。

来自各个物理结点的度量信息被发送到完整性验证服务器集中保存和独立分析验证


威胁模型与设计目标

Threat Model Domain0是不可信任的

内核Rootkit对Domain0的破坏是其面临的主要攻击威胁

假设Xen是可信任的

Kernel-level Rootkit 通过访问/dev/kmem或/dev/mem虚拟设备接口直接修改内核，或

者以动态加载内核模块（LKM）的方式进入内核

破坏性：直接对内核代码区进行修改，修改内核的关键数据结构

Design Goal 通过VMGuard来及时检测对Domain0的攻击所造成的内核完整性

破坏行为

系统目标：easy to deploy and maintain，survive an attack15


体系结构&原型实现

16VMM中实现实时监测

解决语义鸿沟防止Dom0读写Guard的内存，保证自身安全

安全通道：传送完整性度量值供远程验证

1.模式控制子系统

2.动态度量子系统

3.远程验证子系统


功能验证

17

小结：VMGuard首次引入面向管理域虚拟机的带外监控技术，该技术的研究对于虚拟机的专用化提供了思路。利用VMGuard中提出的GuardDomainU技术，可以将管理域之中的关键服务剥离出来运行在专用的虚拟机之中，有助于提高云计算平台的安全性和扩展性。

小结：VMGuard首次引入面向管理域虚拟机的带外监控技术，该技术的研究对于虚拟机的专用化提供了思路。利用VMGuard中提出的GuardDomainU技术，可以将管理域之中的关键服务剥离出来运行在专用的虚拟机之中，有助于提高云计算平台的安全性和扩展性。


内容提要：



18


用户计算环境场景分析

假设用户不信任云计算平台中的存储资源，而用户自己本地的计算资源又不能够支持运行更多的应用服务，希望租用云计算平台中提供的虚拟机（DomainU）来运行一些数据安全敏感的应用服务

用户可以将云计算平台中提供的DomainU与用户的存储资源连接起来。从用户的角度来看，其存储资源实际位于用户自己的本地物理机之中

19


Xen架构在可信性方面的不足

虚拟计算环境的整个可信计算基的代码规模未根本降低

DomainU并非完全封闭

云计算平台内Domain0的可信假设不一定总是成立

20


我们的想法

提出以计算环境与存储资源相分离的方式为基础构建一个可信可控用户虚拟计算环境

结合虚拟机的隔离性、VMM的高可信性对动态度量的有效支持

结合VMGuard，提高用户对虚拟计算环境的感知和控制能力

保证虚拟计算环境中数据存储的物理安全与计算可信。

21


可信可控用户计算环境构建方法

经过两个阶段：

挑战：要求云计算平台能够向用户提供平台运行时完整性的报告，以便于用户及时的作出反应 VMGuard系统具备了对管理域虚拟机Domain0的完整性的汇报能力

需要进一步提供用户虚拟机的完整性报告，保证用户虚拟存储镜像与云计算平台中用户虚拟机的可信绑定

22


基本思路：

23


TRIOB:可信远程I/O绑定

传统远程I/O绑定技术分析

基于传统网络存储协议绑定虚拟存储镜像的实现方式没有针对虚拟化平台进行优化，不能很好的发挥Xen的拆分设备驱动模型的优势，导致性能损失；

虚拟存储镜像的内容可以被Domain0直接访问，存在用户数据泄漏的安全风险

可信绑定的基本要求

虚拟机与虚拟存储一一排他绑定

减少Domian0的参与，不能对存储镜像直接访问

透明传输计算环境完整性情况

24


性能评估

实验环境

实验结果

25

小结：用户的数据可以存储在其信任的本地节点，同时用户虚拟机的完整性度量信息被透明的传输到用户的本地节点，保证了用户可以及时感知租用虚拟机的可信性，提高了用户对虚拟计算环境的控制能力。基于定制化和bypass思想，基于拆分设备驱动模型的新型远程I/O绑定在可信性与性能都有相应优势

小结：用户的数据可以存储在其信任的本地节点，同时用户虚拟机的完整性度量信息被透明的传输到用户的本地节点，保证了用户可以及时感知租用虚拟机的可信性，提高了用户对虚拟计算环境的控制能力。基于定制化和bypass思想，基于拆分设备驱动模型的新型远程I/O绑定在可信性与性能都有相应优势


内容提要：



26


虚拟存储完整性

虚拟机普遍采用镜像文件等虚拟存储

Rootkits

Tripwire基本思想27

破坏存储 (?)ls, ps, log, ……

破坏内存(VMGuard)drivers, syscall-table,……


我们的想法：Tapwire

采用类似于Tripwire的文件完整性规则，主要关注敏感文件的只读（R）、追加（A）限定

采用VMI-IDS结构，利用虚拟机的隔离特性提高其安全性

以透明的方式带外检测用户虚拟机访问虚拟存储所产生的I/O数据流

利用虚拟存储的自描述信息来解决语义差问题

28


威胁模型与设计目标

设计目标：及时检测攻击者对受害系统中敏

感文件的修改事件

系统假设：攻击者已经控制了受害系统

不考虑内部人员破坏受害系统的情况

面向基于Xen的虚拟计算平台

Domain0是可信的

DomainU被攻陷并安装了用户级rootkit

关注用户级rootkit对虚拟存储镜像的破坏行为

29


体系结构

30

离线配置离线配置

在线检测在线检测

完成完成IOIO数据截取数据截取

解决语义解决语义gapgap

优化以降低性能开销优化以降低性能开销


功能验证

31

小结：Tapwire针对检测系统的透明性方面做出了深入研究，首次提出了基于虚拟存储自描述信息来消除检测系统对被检测虚拟机内部状态的依赖性

小结：Tapwire针对检测系统的透明性方面做出了深入研究，首次提出了基于虚拟存储自描述信息来消除检测系统对被检测虚拟机内部状态的依赖性


内容提要：



32


虚拟化全局内存优化系统TMemCanal--内存架构和共享模式

构建虚拟化系统中内存层次结构– 根据延迟划分多级内存系统

– 实现对软件透明的全局内存优化流动

Virtual Global Memory Space

L3(Optional)

Local Memory

System Cache (optional)

L2

L1

Core

L1

Core

L2

L1

Core

L1

Core

L3(Optional)

Local Memory


L2

L1

Core

L1

Core

L2

L1

Core

L1

Core

L3(Optional)

Local Memory


L2

L1

Core

L1

Core

L2

L1

Core

L1

Core

应用场景 Data Center下内存资源部署的确定性和资源利用的不一致性，使得全局内存的利用率不理想。主要体现在：部分节点内存利用率不高；部分节点需要额外的内存来提高性能。

实现思想在Data Center中统一管理各个节点的内存，实现全局的内存空间。并基于全局内存空间，实现内存在节点间的流动机制，按需合理配置各个节点对内存的使用。

应用场景 Data Center下内存资源部署的确定性和资源利用的不一致性，使得全局内存的利用率不理想。主要体现在：部分节点内存利用率不高；部分节点需要额外的内存来提高性能。

实现思想在Data Center中统一管理各个节点的内存，实现全局的内存空间。并基于全局内存空间，实现内存在节点间的流动机制，按需合理配置各个节点对内存的使用。


虚拟化全局内存优化系统TMemCanal--远程内存技术

34

Paging Extension

为了实现透明的内存流动机制，我们对Xen进行扩展以支持虚拟机监控器层次的页面交换系统。

•over-provided虚拟机上的under-loaded页面会被重新map到swap areas •一旦某个under-loaded页面被完全释放，它将被加入共享缓存池，供其他under-provided虚拟机将来使用。

Paging Extension

为了实现透明的内存流动机制，我们对Xen进行扩展以支持虚拟机监控器层次的页面交换系统。

•over-provided虚拟机上的under-loaded页面会被重新map到swap areas •一旦某个under-loaded页面被完全释放，它将被加入共享缓存池，供其他under-provided虚拟机将来使用。

Extensions in TMemCanael

交换空间管理负责Swap Server的管理和Swap Address Space的管理。

页面交换系统运行时包括位于Xen中的交换引擎(swap engine)和位于Domain-0内核空间中的交换守护进程与驱动模块两部分，这两部分通过先进先出(FIFO)的消息环进行通信。

Swap Domain以共享内存缓存池的方式管理已经被释放的under-loaded内存页。

Extensions in TMemCanael

交换空间管理负责Swap Server的管理和Swap Address Space的管理。

页面交换系统运行时包括位于Xen中的交换引擎(swap engine)和位于Domain-0内核空间中的交换守护进程与驱动模块两部分，这两部分通过先进先出(FIFO)的消息环进行通信。

Swap Domain以共享内存缓存池的方式管理已经被释放的under-loaded内存页。


虚拟化全局内存优化系统TMemCanal--远程内存技术

35

性能开销测试结果表明：当存在较多空闲内存时，TMemCanal 可以用来内存分配，而引入的开销非常低。

性能开销测试结果表明：当存在较多空闲内存时，TMemCanal 可以用来内存分配，而引入的开销非常低。

SpecWeb2005与Linpack的整合实验结果表明：通过对uner-loaded内存的重新利用，TMemCanal可以有效提高系统的全局性能。

SpecWeb2005与Linpack的整合实验结果表明：通过对uner-loaded内存的重新利用，TMemCanal可以有效提高系统的全局性能。


内容提要：



36



37

DomU Client

hda

DomU Client

hda

DomU Client

hda

LVM Global SpaceLogical Volume

Logical Volume

Logical Volume

domU使用的虚拟设备

远程I/OVM

I/OVM

I/OVM

远程I/OVM

物理设备物理设备物理设备

访问远程异构存储资

源

访问本地I/O设备

访问远程异构存储资

源

资源按需流动

存储资源的虚拟化与虚拟设备的动态重构

全局统一的存储资源空间

物理节点层次的存储资源按需动态流动

虚拟机层次的存储资源按需动态流动（虚拟设备的动态重构）

面向分布式环境和多核平台的新型I/O架构面向分布式虚拟化环境，具有颗粒化、扁平化、专用化、服务化等特征能够改善I/O通道的异步性，为I/O资源的分布化提供良好的支持高效的I/O处理过程，并具有良好的隔离性和可扩展性

存储资源的虚拟化与虚拟设备的动态重构

全局统一的存储资源空间

物理节点层次的存储资源按需动态流动

虚拟机层次的存储资源按需动态流动（虚拟设备的动态重构）

面向分布式环境和多核平台的新型I/O架构面向分布式虚拟化环境，具有颗粒化、扁平化、专用化、服务化等特征能够改善I/O通道的异步性，为I/O资源的分布化提供良好的支持高效的I/O处理过程，并具有良好的隔离性和可扩展性



38



相关试验：

流动引入的系统开销测试：实验结果表明，Dom0端的cache对I/O读写性能带来的好处超过了引入虚拟化和网络传输带来的额外开销，使得存储流动系统中的本地块设备和远程块设备的I/O读写性能优于它们的原始性能;

分布式存储资源带宽聚合测试：通过对并发情况和峰值情况下系统I/O读写性能的比较，我们发现，对远程块设备和本地块设备的并发访问并没有使块设备的I/O读写性能大大降低，而只是略微降低了一点。

39


内容提要：



40

INSTITUTE OF COMPUTING TECHNOLOGY可信接入系统总体架构

41


分布式可信链架构

42

Three key sub-systems: 1.VLAN2.vTPM management unit3.Trust root

Three key sub-systems: 1.VLAN2.vTPM management unit3.Trust root


内容提要：



43


验证平台、试验案例

验证平台：云计算的数据中心

实验案例：中国移动正在进行中的DSN（distributed service network）项目

推广情况 2009年进行了项目的前期沟通、技术交流、平台建设，在移动试

验平台，运行了在可信虚拟平台重点项目下开发的TRainbow系统原型

中移动已在2010年度立项进一步推动我们的TRainbow平台在中移动DSN项目中的推广。其中，中移动计划引入第三方公司，基于我们在重点项目中的技术和TRainbow平台，进一步开发中移动所需的DSN产品

44


1、中移动“大云”计划—基于虚拟化的DSN多业务融合架构研究

基于上述的实验案例与验证平台，能够推动移动向Google+Apple+AT&T的方向发展。突出表明基于虚拟化技术的可信计算平台的需求与我们的课题目标与研究内容的一致性。其中的重点是多业务的并发性和可信隔离性的矛盾，这一矛盾不是在减弱，而是不断在深化和恶化，从而为本重点课题的进一步发展提出了新的迫切挑战。注意这一矛盾不仅是一个重大工程问题，也同时是一个重大的科学问题。而在这一过程中，有两个重点：资源的动态聚合，和，平台的可信性，从而构建绿色可信的分布式数据中心。我们能够成为其它获支持项目的计算与服务平台，同时，基于移动网络，可形成移动和互联网融合的无缝而全覆盖的业务模式。

基于上述的实验案例与验证平台，能够推动移动向Google+Apple+AT&T的方向发展。突出表明基于虚拟化技术的可信计算平台的需求与我们的课题目标与研究内容的一致性。其中的重点是多业务的并发性和可信隔离性的矛盾，这一矛盾不是在减弱，而是不断在深化和恶化，从而为本重点课题的进一步发展提出了新的迫切挑战。注意这一矛盾不仅是一个重大工程问题，也同时是一个重大的科学问题。而在这一过程中，有两个重点：资源的动态聚合，和，平台的可信性，从而构建绿色可信的分布式数据中心。我们能够成为其它获支持项目的计算与服务平台，同时，基于移动网络，可形成移动和互联网融合的无缝而全覆盖的业务模式。


2、华为“云计划战略”—基于Xen架构虚拟机安全技术项目

46

本项目将包括四大功能：虚拟机安全监控虚拟环境的虚拟机杀毒软件模型虚拟环境限制可信虚拟化环境

本项目将包括四大功能：虚拟机安全监控虚拟环境的虚拟机杀毒软件模型虚拟环境限制可信虚拟化环境


3、基金委课题—云计算环境下虚拟化网络服务器的可信增强技术

47

Physical Node 3Physical Node 2Physical Node 1

Distributed Event & Data Channel

Guest OS IO VM Physical Device

Web Service Cluster

Web Service

Web Requests

I/O Scheduler&Data

Scheduler

我们将：设计基于优先级的公平的虚拟机I/O隔离器，提高各虚拟机I/O读写的可预测性。深入分析hypervisor计算资源调度对于不同服务I/O QOS成功交付的影响深入研究基于虚拟化技术的流水线web服务器的可靠性理论。设计并实现面向请求的web服务器可靠性保障机制和基于云计算资源竞争的间接攻击，提升web服务器的可信度。

我们将：设计基于优先级的公平的虚拟机I/O隔离器，提高各虚拟机I/O读写的可预测性。深入分析hypervisor计算资源调度对于不同服务I/O QOS成功交付的影响深入研究基于虚拟化技术的流水线web服务器的可靠性理论。设计并实现面向请求的web服务器可靠性保障机制和基于云计算资源竞争的间接攻击，提升web服务器的可信度。


内容提要：



48


成果统计

发表论文会议论文

23 篇期刊论文

8 篇国内专利 3 项，11 项（在审）

软件登记 2项

学生培养博士7人硕士14人

孵化后续项目——产业化应用 3项

49


欢迎批评指正！

50

Documents

基于虚拟机架构的 可信计算环境与可信软件设计¯信... · 改变传统的“面向正确性的软件理论＋工程化”模式 ，转向以软件可信性度量为基础，全面考虑软件的

基于虚拟机架构的可信计算环境与可信软件设计¯信... · 改变传统的“面向正确性的软件理论＋工程化”模式，转向以软件可信性度量为基础，全面考虑软件的