2015/3/3

1

庄吓海

18201855201zhuangxiahai@sjtu.edu.cn

1

力学与医学影像

医学影像和信息处理介绍（2）

课程内容

医学影像设备回顾

医疗设备中的应用与分析软件

• 癌症肿瘤检测与治疗

• 阿尔兹海默病检测

• 心脏病与心功能分析

医学图像信息处理（医学图像计算）

• 医学图像分割概念

• 医学图像配准概念

2015/3/3

2

X光片

3

X光计算机断层扫描(CT)

4

2015/3/3

3

5

超声（Ultrasound）

磁共振（MRI）

高端磁共振机器价位千万RMB级别6

2015/3/3

4

内容

临床应用介绍

图像处理与医学图像信息处理

7

8

2015/3/3

5

9

活检前磁共振图像活检中超声图像

10

2015/3/3

6

肿瘤分割

11

肿瘤分割

肿瘤的3D分割

12

2015/3/3

7

肿瘤分级

• Combine multi-modal MRI

(A) Proton density, (B) T2-weighted, (C) FLAIR, (D) T1-weighted and (E) T1-weighted following intravenous gadolinium administration.

(DWI,DTI,MRS) 。。。

Brain tumour grading

Brain tumour segmentation

Brain tumour characterisation

13

融合多模态图像

14

2015/3/3

8

二、阿尔兹海默病检测

磁共振影像

15

阿尔兹海默病与脑萎缩检测

健康人 阿尔兹海默症病人？

阿尔兹海默症病人

定性定量 早诊早治

16

2015/3/3

9

阿尔兹海默症研究

17

阿尔兹海默症研究

18

2015/3/3

10

阿尔兹海默症研究

Jacobian分析非刚体配准技术

通过高精度图像配准方法—结合空间信息的互信息方法，利用Jacobian分析计算病人脑萎缩率，从而分析病人患有的阿茨海默症风险或严重程度

19

三、心脏病与心功能分析

1700万

全世界每年死于心血管疾病人数

2亿

中国不同程度心脏疾病患者

260万

每年死于心血管疾病人数

千亿

中国相关医疗费用（元）

20

2015/3/3

11

心脏病

冠状动脉的异常

心脏的形态异常

• 结构异常：缺损或畸形，瓣膜功能异常，室壁厚度和心腔大小改变

• 心肌异常：缺血，坏死，炎症

心脏的功能异常：

• 泵功能异常：收缩，舒张，射血分数

• 节律异常

21

冠状动脉分析

Model-Guided Directional Minimal Path for Fully Automated Coronary Extraction from Cardiac CTA[L. Liu, W. Shi, D. Rueckert, M. Hu, S. Ourselin, X. Zhuang *. MICCAI , 542-549, 2013]

22

2015/3/3

12

心脏结构

CT或MRI获取解剖结构

Cardiac MRI volume

23

Left ventricle (1), right ventricle (2), left atrium (3), right atrium (4), myocardium (5), pulmonary artery (6), aorta (7).

心功能检查

[X Zhuang, PhD thesis, 2010 UCL]

…

心脏MRI

24

2015/3/3

13

心脏病

ACC/AHA治疗指南(2005)：QRS>0.12s(心脏失同步)LVEF<=35%NYHA分级III-IV级

30%的患者对CRT治疗没有疗效

MRI影像能否提供更精确标准？

25

结合多序列的心功能分析

wall motion myocardium thickening Myocardium strain

心脏分割

心肌运动

26

2015/3/3

14

27

医学图像信息处理

医学图像分割

医学图像配准

软件和编程

28

2015/3/3

15

29

图像分割

• 概念

Images courtesy of Prof. D. Alexander, UCL30

2015/3/3

16

医学图像分割

• 分割结果的表现（生成的结果）

• Label，surface，probability map

Probability of being myocardium

[Image courtesy of Dr. Yipeng HU, UCL]

Whole heart segmentation31

医学图像分割

• 分割方法

• Low level (image intensity based)

• Threshold, region growing, snake …

• High level (prior knowledge guided)

• Deformable based, atlas propagation and segmentation

• EM, graph-cut, active contour level-set

32

2015/3/3

17

医学图像分割

• 应用例子

• 单一器官/组织的分割

• 大脑磁共振图像的脑组织分割

• 心脏整体分割

• Vessel

• 多器官/组织分割

• 心脏内腔分割

• 人体多器官分割（肝，肾，脾，胰腺？？）

33

医学图像分割

[MIM Software Inc., Cleveland, OH ]

34

2015/3/3

18

医学图像分割

[Slide courtesy of Dr. Yanyun Lian, 复旦]35

医学图像分割

• Prior knowledge guided: atlas propagation and segmentation

Whole heart segmentation

36

2015/3/3

19

医学图像分割

• Prior knowledge guided: atlas propagation and segmentation

37

38

2015/3/3

20

39

40

2015/3/3

21

医学图像配准

[Zhuang, X. PhD thesis 2010, UCL]

配准

41

医学图像配准

[Zhuang, X. PhD thesis 2010, UCL]42

2015/3/3

22

空间变换

43

空间变换

44

2015/3/3

23

形变

• Nonrigid/nonlinear/deformation

45

插值

• Why interpolation

46

2015/3/3

24

医学图像配准

• 配准的目的和结果表现

• Aligned resultant image

• Transformation (correspondence between two coordinates)

• Both of them

47

医学图像配准

• 配准分类

• 图像信息属性

• 配准目的

• 空间变换

• 优化过程

• 配准依据标准

单模态 vs 多模态

48

2015/3/3

25

医学图像配准

• 配准分类

• 图像信息属性

• 配准目的

• 空间变换

• 优化过程

• 配准依据标准

[庄吓海硕士论文2006上海交大] 49

医学图像配准

• 配准分类

• 图像信息属性

• 配准目的

• 空间变换

• 优化过程

• 配准依据标准

Locally affine transformation model and locally affine registration method

50

2015/3/3

26

医学图像配准

• 应用例子

• 线性：stitching, fusion,

• 非线性：longitudinal study, motion tracking

• 基于图谱配准的分割传播方法

51

27

2

2045

60

Stitching

Slide courtesy of YU, Wenjun (SW BU, UIH)52

2015/3/3

27

27

2

2045

60

Slide courtesy of YU, Wenjun (SW BU, UIH)

27

2045

53/5

Spine Vessel

Slide courtesy of YU, Wenjun (SW BU, UIH)

CT

PET

PET/CTFusion

T1

DTI

Fused image

54

2015/3/3

28

LONGITUDINAL STUDY OF AD

[Slide courtesy of Dr. Mingxing HU, UCL]55

LONGITUDINAL STUDY OF AD

[Slide courtesy of Dr. Mingxing HU, UCL]56

2015/3/3

29

LONGITUDINAL STUDY OF AD

57

MYOCARDIAL MOTION TRACKING

Image courtesy of Dr. Wenzhe SHI (IC), Dr. Steve Niederer (Oxford,KCL)

Whole cardiac cycle

58

2015/3/3

30

REGISTRATION FOR SEGMENTATION

Atlas propagation and segmentation

register an atlas with segmentation information to the target image for segmentation propagation

59

ATLAS PROPAGATION AND SEGMENTATION

• An atlas is defined to an image pair consisting of an atlas intensity image and an atlas label image, and other useful a priori information

Atlas intensity image atlas label image60

2015/3/3

31

[Zhuang et al. IEEE TMI 2010]

ATLAS PROPAGATION AND SEGMENTATION

61

62

2015/3/3

32

• 为什么编程？

63

MATLAB

• Designed specifically for numerical computing

• Platform independence (pretty much!)

• Relatively easy to learn

• Rapid data visualisation using in-built functions

• No explicit compiling or linking (line-by-line interpretation = slow??)

• Well-suited to software/algorithm ‘prototyping’…

• but this should not be an excuse for poor programming technique

• Careful design and code documentation are still very important

64

2015/3/3

33

C/C++

• General purpose programming language used by professional developers

• (Source) code is compiled and linked

• No licensing issues for code commercialisation

• Some open source libraries have restrictive licenses

• Much more dependent on hardware platform

• Extensive range of libraries provides “high-level” functionality equivalent to MATLAB

• Huge online knowledge base

• Better control over memory usage

• C++ was designed for object-oriented programming (OOP)

• Faster??

65

MATLAB VS C/C++

Misconceptions about MATLAB

• It is slow!

• Not necessarily - it depends on what you are trying to do

• Recent versions of MATLAB employ just-in-time (JIT)

• compilation and hardware acceleration

• It does not support object-oriented programming

• Not true!

• Objects, classes and features, such as polymorphism, are implicitly supported

See http://www.mathworks.co.uk/discovery/object-orientedprogramming.html

• MATLAB is only used by universities

• Not true!

• MATLAB is widely used in industry (particularly for algorithm prototyping)

66

2015/3/3

34

COMBINATION

• Mixing MATLAB and C/C++?

• mex files can be used to call C/C++ functions from MATLAB

• MATLAB Compiler converts MATLAB code into C/C++ source code

• Other options…

67

RESOURCES AVAILABLE ONLINE

• Insight tool kit (ITK)

• Visualization tool kit (VTK)

• SPM (ION, UCL)

• IRTK (IC)

• SLICER

• ZXHPROJ

68

2015/3/3

35

ZXHPROJgoogle Xiahai Zhuang, UCL ->[http://www.cs.ucl.ac.uk/staff/X.Zhuang/]

zxhproj-> [http://www.cs.ucl.ac.uk/staff/X.Zhuang/zxhproj.html]

69

RECAP

医学影像介绍

临床应用介绍

医学图像信息处理

70

2015/3/3

36

研究方向

医学图像计算（医学影像信息处理）

反馈

应用医学、电子、计算机、工程、数学、物理 。。。

图像分割与配准

建立先验知识库（如心脏图谱,运动模型）解剖结构

数据

器官运动数据

病理数据

其他数据

建模与可视化

… 

诊断

治疗

生医科研

医学教学

医学影像 图像计算 应用

… 

生物标记

71

研究方向

医学图像计算（医学影像信息处理）

MI&MIC

72

2015/3/3

37

73

参考书目

The Essential Physics of Medical ImagingEditors: Lippincott Williams and WilkinsPublished: 1st Nov, 2011

Medical Image RegistrationSeries: Biomedical EngineeringPublished: June 27, 2001 by CRC PressContent: 392 PagesEditor(s): Joseph V. Hajnal,

Derek L.G. Hill, David J. Hawkes

Automatic Whole Heart SegmentationBased on Image RegistrationZHUANG, Xiahai PhD Thesis 2010 University College London

《医学图像处理与分析》作者：罗述谦，周果宏著出版社：科学出版社出版时间：2010-12-01ISBN：9787030296504

《医学影像和医学图像处理》作者： 刘惠//郭冬梅//

邱天爽//赵一平//刘向等出版时间： 2013-10-01ISBN号： 9787121217050 出版社： 电子工业

《医学成像与医学图像处理教程》作者：田捷，代晓倩，杨飞著出版社：清华大学出版社出版时间：2013-02-01ISBN：9787302307891

联系方式

办公室

电话

邮箱

木兰楼 B429

18201855201

zhuangxiahai@sjtu.edu.cn/ zhuangxiahai@163.com

主页：

http://naoce.sjtu.edu.cn/index.php/menuxysz/menufjs/1337.html

www0.cs.ucl.ac.uk/staff/X.Zhuang/zxhproj.html (软件)

www0.cs.ucl.ac.uk/staff/X.Zhuang (UCL)

http://icrc.sjtu.edu.cn/xueshutuandui/fujiaoshou/77.html （ICRC）

74