9
33 卷第 2 2019 4 南华大学学报( 自然科学版) Journal of University of South China( Science and Technology) Vol. 33 No. 2 Apr. 2019 收稿日期:2018-10-30 基金项目:国家自然科学基金项目(61871210;61102108) ;湖南省自然科学基金项目(2016JJ3106);湖南省教育厅优 秀青年项目(16B225;YB2013B039);南华大学青年英才支持计划南华大学重点学科项目( NHXK04) ;华大学研究生科学基金项目(2018KYY006) 作者简介:王东升 ( 1992 - ) , , 硕士研究生, 主要从事电子信号与信息处理及通信技术方面的研究。 E-mail: 953440138@ qq. com。∗通信作者:杨斌(1980-),,副教授,博士,主要从事数字图像处理,模式识别等方 面的研究。 E-mail:yangbin01420@ 163. com DOI:10. 19431 / j. cnki. 1673-0062. 2019. 02. 007 基于梯度局部一致性的自适应 Bayer 模式 彩色图像恢复算法 王东升,( 南华大学 电气工程学院,湖南 衡阳 421001) :基于图像局部梯度具有明显一致性先验,提出了一种基于梯度局部一致性的 自适应 Bayer 模式彩色图像恢复算法算法在恢复绿色通道时首先从垂直和水平两 个方向的进行插值,得到候选插值结果然后根据彩色通道结构相似的特点,提出利 用多通道梯度线性加权估计图像局部梯度,并利用引导滤波实现用时域图像边缘结 构对图像局部梯度进行一致化校验,从而提高边缘估计的精度然后将一致化校验 后的梯度特征与候选插值进行自适应融合得到最终绿色通道插值最后依据图像通 道之间的结构相似性先验,利用绿色通道结构细节实现对红色和蓝色通道重构图像 的修正,从而恢复完整的去马赛克彩色图像通过在 Kodak IMAX 两个数据库进 行的有效性验证,并与其他最新方法进行的性能对比,结果表明恢复图像主观视觉特 性和客观评价指标都优于传统方法此外, 由于不涉及迭代和网络训练, 具有高 效性关键词:彩色滤波阵列;Bayer 模式阵列;去马赛克;自适应插值 中图分类号:TP391. 41 文献标志码:B 文章编号:1673-0062 (2019 )02-0040-09 Adaptive Bayer Pattern Color Image Restoration Algorithm Based on Gradient Local Consistency WANG Dongsheng,YANG Bin (School of Electrical Engineering,University of South China,Hengyang,Hunan 421001,China) Abstract:Based on the image local gradient with obvious consistency a priori,this paper proposed an adaptive Bayer model color image restoration algorithm based on gradient local

模式 彩色图像恢复算法 - nhqks.cnjournals.com

  • Upload
    others

  • View
    13

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

第 33 卷第 2 期2019 年 4 月

南华大学学报(自然科学版)Journal of University of South China(Science and Technology)

Vol 33 No 2Apr 2019

收稿日期2018-10-30基金项目国家自然科学基金项目(6187121061102108)湖南省自然科学基金项目(2016JJ3106)湖南省教育厅优

秀青年项目(16B225YB2013B039)南华大学青年英才支持计划南华大学重点学科项目(NHXK04)南华大学研究生科学基金项目(2018KYY006)

作者简介王东升(1992 -)男硕士研究生主要从事电子信号与信息处理及通信技术方面的研究 E-mail953440138 qq comlowast通信作者杨斌(1980-)男副教授博士主要从事数字图像处理模式识别等方

面的研究 E-mailyangbin01420 163 com

DOI10 19431 j cnki 1673-0062 2019 02 007

基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

王东升杨  斌lowast

(南华大学 电气工程学院湖南 衡阳 421001)

摘  要基于图像局部梯度具有明显一致性先验提出了一种基于梯度局部一致性的

自适应 Bayer 模式彩色图像恢复算法 算法在恢复绿色通道时首先从垂直和水平两

个方向的进行插值得到候选插值结果 然后根据彩色通道结构相似的特点提出利

用多通道梯度线性加权估计图像局部梯度并利用引导滤波实现用时域图像边缘结

构对图像局部梯度进行一致化校验从而提高边缘估计的精度 然后将一致化校验

后的梯度特征与候选插值进行自适应融合得到最终绿色通道插值 最后依据图像通

道之间的结构相似性先验利用绿色通道结构细节实现对红色和蓝色通道重构图像

的修正从而恢复完整的去马赛克彩色图像 通过在 Kodak 和 IMAX 两个数据库进

行的有效性验证并与其他最新方法进行的性能对比结果表明恢复图像主观视觉特

性和客观评价指标都优于传统方法 此外由于不涉及迭代和网络训练具有高

效性关键词彩色滤波阵列Bayer 模式阵列去马赛克自适应插值

中图分类号TP391 41 文献标志码B 文章编号1673-0062(2019)02-0040-09

Adaptive Bayer Pattern Color Image Restoration Algorithm Based onGradient Local Consistency

WANG DongshengYANG Binlowast

(School of Electrical EngineeringUniversity of South ChinaHengyangHunan 421001China)

AbstractBased on the image local gradient with obvious consistency a priorithis paperproposed an adaptive Bayer model color image restoration algorithm based on gradient local

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

consistency When the algorithm restores the green channel it first interpolates from thevertical and horizontal directions to obtain candidate interpolation results Then accordingto the similar characteristics of the color channel structure the multi-channel gradientlinear weighting is used to estimate the local gradient of the imageand the guided filteringis used to achieve the consistency check of the image local gradient with the edge structureof the time domain imagethus improving the accuracy of the edge estimation Thenthegradient feature after the uniform verification is adaptively fused with the candidate interpo-lation to obtain the final green channel interpolation Finallyaccording to the structuralsimilarity prior to the image channelthe green channel structure details are used to correctthe red and blue channel reconstructed imagesthereby restoring the complete demosaickingcolor image Through the validation of the two databases in Kodak and IMAXand the per-formance comparison with other recent methodsthe results show that the subjective visualcharacteristics and objective evaluation indicators of the restored images are superior to thetraditional methods In additionit is efficient because it does not involve iteration and net-work trainingkey wordscolor filter arrayBayer-pattern arraydemosaickingadaptive interpolation

0  引  言

去马赛克(Demosaicking)是从覆有滤色阵列

(color filter arrayCFA)的感光元件所输出的不完

全彩色数据重建出全彩图像是数码相机最基本

也是最必要的技术之一 双线性插值法和三次插

值[1]是最简单的去马赛克方法但其固定的插值

模式会使得插值图像在边缘丰富的区域出现锯齿

效应 文献 [2] 提出了基于改进线性插值的

Bayer 模 式 CFA 图 像 去 马 赛 克 算 法 ( Bayer-patterned demosaicking with improved linear interpo-lationDBILI)但是它在插值方向上仍使用固定

权值而不是自适应的权值使得纹理边缘恢复结果

相对模糊平滑 Menon 等基于自然彩色的平滑先

验提出了正则化去马赛克方法( regularization ap-proaches to demosaickingRAD) [3]该算法恢复图

像纹理更清晰但仍不能完全去除锯齿效应 另

外将去马赛克问题等效为压缩感知信号恢复问

题相关学者提出了基于压缩感知去马赛克算

法[4-5]恢复效果有很大改进且克服了 CFA 种类

限制但整体算法比较耗时效率不高 另外基于小波变换法[6]稀疏表示法[7]神经网络法[8-10]

和去马赛克与去噪联合法[11]等相继被提出分别

从不同方法对已有去马赛克技术进行改进近年来基于自适应边缘方向插值的去马赛

克方法引起了广泛的关注[12-16] N Li 等提出通

过四个不同方向的高次插值和色差信息来保留边

缘信息图像边缘恢复的很好但过多方向使其在

图像纹理恢复方面性能提升的不够明显[12] 此

外作者先检测图像边缘再利用色差确定边缘方

向并根据方向进行自适应插值算法能够很好地

保留重构图像的边缘细节[13] 文献[14]提出利

用 3times3 块梯度代替单个像素点梯度提高了梯度

的精确性算法可以较好地保持图像边缘和纹理此外文献[15]利用边缘信息的同时也对权值进

行非线性处理提出了高质量去马赛克算法(highquality demosaickingHQD)该算法有效提高了恢

复图像的质量现有的基于自适应边缘方向插值的去马赛克

方法大多用图像梯度估计边缘方向很少考虑局

部梯度的一致性 事实上图像局部梯度与图像局

部像素一样具有很强的一致性而且这种一致性

可以通过局部时域灰度分布体现 基于此本文利

用引导滤波将图像局部的分段平滑的特性延伸到

图像梯度域提出了基于局部梯度一致性的自适

应去马赛克算法 主要贡献体现在两个方面1)利用彩色图像 RGB 三通道结构相似的特点提出

了基于 RGB 三通道联合的图像梯度方向估计算

法2)利用引导滤波对估计得到的图像梯度方向

进行一致化处理并依据局部梯度一致性处理后

的图像梯度方向指导自适应插值 在 Matlab 平

台上实现了算法仿真利用 Kodak[17] 和 IMAX[18]

两个图像库的图像对算法的有效性进行了验证实验结果显示本方法在客观评价指标和视觉上都

具更好的重建效果

14

      南华大学学报(自然科学版) 2019 年 4 月

1  基于自适应方向插值的去马赛克图像重建

    Bayer 阵列充分考虑了视觉对绿色敏感的特

点其绿色像素数量是红色和蓝色像素点数量的

二倍 因此比较合理的处理方案是先考虑 G 通

道的重建然后利用重建的 G 通道图像指导结构

信息弥补 R 和 B 通道信息量不足的缺陷[16] 图

1 为基于自适应方向插值的 G 通道图像重建方法

示意图 自适应插值算法首先获得多个方向的候

选插值然后根据图像梯度越小的方向像素值之

间的一致性越大的规律依据边缘方向从多个候

选插值结果中采用选择或加权平均法获得最终

插值[14]

图 1  基于自适应方向插值的 G 通道图像图像重建方法示意图

Fig 1  Schematic diagram of G channel image reconstruction based on adaptive direction interpolation

    由于彩色分量的色差和色比往往比彩色分量

本身更加平滑因此很多改进算法通常利用色差

和色比来实现方向插值[13] 考虑到彩色图像中

R 和 B 通道与 G 通道具有结构相似的特点本文

在基于色差插值的基础上提出了基于多彩色通道

联合方向插值方法 为方便表示将马赛克图标

记坐标如图 2 所示

图 2  标记坐标的马赛克原图

Fig 2  The original mosaic of the marked coordinates

首先采用滤波方法重构彩色图像其中定义

红色和蓝色通道的滤波核 F1 = 14

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

绿

色通道的滤波核 F2 = 18

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

经过 F1 和

F2 滤波得到初步重建图像的三个通道分别用R~G

~

和 B~表示 由于简单滤波会滤掉图像的部分细

节因此R~G

~和B

~相对较模糊需进一步处理 对

初步重建的G~进行进一步修正处理得到G^ 图2中

R33 位置的 G^ 通道值计算公式(1)

G^ 33 = G32 + G34 + G23 + G43

4+

4 times G~33 - G

~32 - G

~34 - G

~23 - G

~43

8(1)

每个位置的 G~值计算方式相同

然后根据初步重建的 R~G^ 和 B

~以及原始

Bayer 图像计算水平和垂直方向的 G 通道候选重

建图像为表示方便用 Y 表示原始 Bayer 采样数

据的值用 Gv 和 Gh 分别表示水平和垂直方向的

G 通道候选重建图像 其中 R33 位置的 Gv 和 Gh

计算如公式(2)和(3)所示

Gv33 = Y23 + Y43

2+ 2 times Y33 - Y23 - Y43

4+

β B~v - βGv (2)

Gh33 = Y32 + Y34

2+ 2 times Y33 - Y32 - Y34

4+

β B~h - βGh (3)

24

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 β B~vβ B

~hβGvβGh 为修正参数即利用 G 通道

与 B 通道纹理结构近似的特点根据 R33 周围 B通道的梯度信息进行 G 通道的修正

β B~v =

2 times B~33 - B

~23 - B

~43

4(4)

β B~h = 2 times B

~33 - B

~32 - B

~34

4(5)

βGv =2 times G^ 33 - G^ 23 - G^ 43

2(6)

βGh = 2 times G^ 33 - G^ 32 - G^ 34

2(7)

B44 位置的 Gv 和 Gh 计算如公式(8)和(9)所示

Gh44 = Y43 + Y45

2+ 2 times Y44 - Y42 - Y36

4+

β R~h - βGh (8)

Gv44 = Y34 + Y54

2+ 2 times Y44 - Y24 - Y64

4+

β R~v - βGv (9)

其中

β R~v =

2 times R~44 - R

~34 - R

~54

4(10)

β R~h = 2 times R

~44 - R

~43 - R

~45

4(11)

βGv =2 times G^ 44 - G^ 34 - G^ 54

2(12)

βGh = 2 times G^ 44 - G^ 43 - G^ 45

2(13)

最后根据图像局部边缘方向自适应地对 Gv 和

Gh 进行融合得到最终的 G 通道插值结果G = ωhGh + ωvGv (14)

其中 ωh 和 ωv 为融合权重其值取决于图像局部

边缘方向 本文基于梯度局部一致性的方向检测

策略在下一节详细介绍

2  基于梯度局部一致性的方向权值矩阵获取

    自适应插值中边缘方向估计的准确性对恢复

图像的质量具有很大影响 传统方法仅利用单个

颜色通道估计边缘方向的方法没有充分利用彩色

图像局部结构相似性的特点其边缘方向的准确

性有进一步提升的空间 基于此本文提出了同时

考虑三个颜色分量的改进型边缘方向估计方法

图 2 中 B44 位置对应的水平方向和垂直方向梯度

估计方法如下

Dh44 = 2 times 2 times Y44 - Y42 - Y46

3+ Y43 - Y45

3+

Y55 - Y53 + Y35 - Y33

12(15)

Dv44 = 2 times 2 times Y44 - Y24 - Y64

3+ Y34 - Y54

3+

Y55 - Y35 + Y53 - Y33

12(16)

由 BG 和 R 三个通道局部梯度通过加权来估计

最终的梯度 R33 位置对应的水平梯度和垂直梯

度估计方法与 B44 位置的计算方法相同不再

细述通过观察发现自然图像局部梯度在小范围内

存在明显的一致性即局部梯度符合一致性的特

征 这些一致性的特征与图像灰度对应因此可

以将时域图像的灰度作为引导对估计得到的局部

梯度进行一致化校验 本方法采用引导滤波建立

局部梯度与灰度图像局部一致性的联系从而对

梯度矩阵进行一致化处理将处理后的梯度矩阵

进行非线性映射获得加权权重 图 3 为基于梯度

局部一致性的 G 通道自适应插值权值算法的示

意图通过式(15)和式(16)计算获得的水平和垂

直方向的梯度矩阵 Dh 和 Dv 作为引导滤波的输

入上节中初始重构的 G 通道图像 G^ 作为引导图

对 Dh 和 Dv 进行处理 通过引导滤波[19]将 Dh

和 Dv 的局部梯度按照引导图 G^ 中的空间与边缘

结构进行一致化校验处理实现边缘相关优化

用 D~

h 和 D~

v 表示滤波后的水平和垂直方向的梯

度Grε(middotmiddot)为引导滤波变换

D~

h = Grε DhG^

( ) (17)

D~

v = Grε DvG^

( ) (18)其中 rε 为引导滤波参数分别表示滤波窗口的

尺寸和正则化参数 当 εgt0 时引导滤波具有边

缘保持的作用且本文算法对 ε 的值并不敏感本文设置为 ε= 1 图 4 为引导滤波处理实例可以

看出通过引导滤波处理图像局部梯度更加连续本文利用式(19)和式(20)对梯度矩阵进行

非线性化处理获得融合权值矩阵 ωh 和 ωv其中

ε 为极小的正常数

34

      南华大学学报(自然科学版) 2019 年 4 月

图 3  基于梯度局部一致性的 G 通道自适应插值权值算法的示意图

Fig 3  Schematic diagram of G-channel adaptive interpolation weight algorithm based on gradient local consistency

图 4  梯度局部一致性的建立过程

Fig 4  The process of establishing gradientlocal correlation

ωv =D~

h( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(19)

ωh = D~

v( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(20)

    本方案中非线性化处理更突出主要方向的作

用实验部分也充分说明了非线性化处理的作用最后利用公式(14)重构 G 通道图像

3  R(B)通道重建

本文采用线性自适应插值算法结合已重构的

G 通道实现 R(B)通道图像的图像重建并利用文

献[16]方法对重构结果进行细化调整 由于 R和 B 通道的重构过程相同本文只介绍 R 通道的

重建首先以 Bayer 阵列 R 通道数据和已重构的

G 通道图像为输入通过文献[16]基于引导滤波

的自适应残差插值方法得到 R 通道初步恢复结

果 R^ 由于篇幅限制本文对文献[16]方法不再

赘述具体实现方法见文献[16]由图 2 知R 通道缺失像素可分三种情况分

别以图 2 中 G34G43 和 B44 三个像素为例进行说

明 在 G34 和 G43 位置R 通道像素的重构如式

(21)和式(22)所示

R34 = Y33 + Y35

2+ 2 times G34 - G33 - G35

4+ βr34

(21)

R43 = Y33 + Y53

2+ 2 times G43 - G33 - G53

4+ βr43

(22)

其中 βr34 =2timesR^ 34-R

^33-R

^35

8βr43 =

2timesR^ 43-R^33-R

^53

8

在 B44 位置分别在对角和反对角方向得到

两个候选 R 通道像素值如式 (23) 和式 (24)所示

Rn44 = Y33 + Y55

2+

2 times G44 - G33 - G55

4+ βrn44 (23)

Rp44 = Y35 + Y53

2+

2 times G44 - G35 - G53

4+ βrp44 (24)

44

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 2: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

consistency When the algorithm restores the green channel it first interpolates from thevertical and horizontal directions to obtain candidate interpolation results Then accordingto the similar characteristics of the color channel structure the multi-channel gradientlinear weighting is used to estimate the local gradient of the imageand the guided filteringis used to achieve the consistency check of the image local gradient with the edge structureof the time domain imagethus improving the accuracy of the edge estimation Thenthegradient feature after the uniform verification is adaptively fused with the candidate interpo-lation to obtain the final green channel interpolation Finallyaccording to the structuralsimilarity prior to the image channelthe green channel structure details are used to correctthe red and blue channel reconstructed imagesthereby restoring the complete demosaickingcolor image Through the validation of the two databases in Kodak and IMAXand the per-formance comparison with other recent methodsthe results show that the subjective visualcharacteristics and objective evaluation indicators of the restored images are superior to thetraditional methods In additionit is efficient because it does not involve iteration and net-work trainingkey wordscolor filter arrayBayer-pattern arraydemosaickingadaptive interpolation

0  引  言

去马赛克(Demosaicking)是从覆有滤色阵列

(color filter arrayCFA)的感光元件所输出的不完

全彩色数据重建出全彩图像是数码相机最基本

也是最必要的技术之一 双线性插值法和三次插

值[1]是最简单的去马赛克方法但其固定的插值

模式会使得插值图像在边缘丰富的区域出现锯齿

效应 文献 [2] 提出了基于改进线性插值的

Bayer 模 式 CFA 图 像 去 马 赛 克 算 法 ( Bayer-patterned demosaicking with improved linear interpo-lationDBILI)但是它在插值方向上仍使用固定

权值而不是自适应的权值使得纹理边缘恢复结果

相对模糊平滑 Menon 等基于自然彩色的平滑先

验提出了正则化去马赛克方法( regularization ap-proaches to demosaickingRAD) [3]该算法恢复图

像纹理更清晰但仍不能完全去除锯齿效应 另

外将去马赛克问题等效为压缩感知信号恢复问

题相关学者提出了基于压缩感知去马赛克算

法[4-5]恢复效果有很大改进且克服了 CFA 种类

限制但整体算法比较耗时效率不高 另外基于小波变换法[6]稀疏表示法[7]神经网络法[8-10]

和去马赛克与去噪联合法[11]等相继被提出分别

从不同方法对已有去马赛克技术进行改进近年来基于自适应边缘方向插值的去马赛

克方法引起了广泛的关注[12-16] N Li 等提出通

过四个不同方向的高次插值和色差信息来保留边

缘信息图像边缘恢复的很好但过多方向使其在

图像纹理恢复方面性能提升的不够明显[12] 此

外作者先检测图像边缘再利用色差确定边缘方

向并根据方向进行自适应插值算法能够很好地

保留重构图像的边缘细节[13] 文献[14]提出利

用 3times3 块梯度代替单个像素点梯度提高了梯度

的精确性算法可以较好地保持图像边缘和纹理此外文献[15]利用边缘信息的同时也对权值进

行非线性处理提出了高质量去马赛克算法(highquality demosaickingHQD)该算法有效提高了恢

复图像的质量现有的基于自适应边缘方向插值的去马赛克

方法大多用图像梯度估计边缘方向很少考虑局

部梯度的一致性 事实上图像局部梯度与图像局

部像素一样具有很强的一致性而且这种一致性

可以通过局部时域灰度分布体现 基于此本文利

用引导滤波将图像局部的分段平滑的特性延伸到

图像梯度域提出了基于局部梯度一致性的自适

应去马赛克算法 主要贡献体现在两个方面1)利用彩色图像 RGB 三通道结构相似的特点提出

了基于 RGB 三通道联合的图像梯度方向估计算

法2)利用引导滤波对估计得到的图像梯度方向

进行一致化处理并依据局部梯度一致性处理后

的图像梯度方向指导自适应插值 在 Matlab 平

台上实现了算法仿真利用 Kodak[17] 和 IMAX[18]

两个图像库的图像对算法的有效性进行了验证实验结果显示本方法在客观评价指标和视觉上都

具更好的重建效果

14

      南华大学学报(自然科学版) 2019 年 4 月

1  基于自适应方向插值的去马赛克图像重建

    Bayer 阵列充分考虑了视觉对绿色敏感的特

点其绿色像素数量是红色和蓝色像素点数量的

二倍 因此比较合理的处理方案是先考虑 G 通

道的重建然后利用重建的 G 通道图像指导结构

信息弥补 R 和 B 通道信息量不足的缺陷[16] 图

1 为基于自适应方向插值的 G 通道图像重建方法

示意图 自适应插值算法首先获得多个方向的候

选插值然后根据图像梯度越小的方向像素值之

间的一致性越大的规律依据边缘方向从多个候

选插值结果中采用选择或加权平均法获得最终

插值[14]

图 1  基于自适应方向插值的 G 通道图像图像重建方法示意图

Fig 1  Schematic diagram of G channel image reconstruction based on adaptive direction interpolation

    由于彩色分量的色差和色比往往比彩色分量

本身更加平滑因此很多改进算法通常利用色差

和色比来实现方向插值[13] 考虑到彩色图像中

R 和 B 通道与 G 通道具有结构相似的特点本文

在基于色差插值的基础上提出了基于多彩色通道

联合方向插值方法 为方便表示将马赛克图标

记坐标如图 2 所示

图 2  标记坐标的马赛克原图

Fig 2  The original mosaic of the marked coordinates

首先采用滤波方法重构彩色图像其中定义

红色和蓝色通道的滤波核 F1 = 14

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

绿

色通道的滤波核 F2 = 18

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

经过 F1 和

F2 滤波得到初步重建图像的三个通道分别用R~G

~

和 B~表示 由于简单滤波会滤掉图像的部分细

节因此R~G

~和B

~相对较模糊需进一步处理 对

初步重建的G~进行进一步修正处理得到G^ 图2中

R33 位置的 G^ 通道值计算公式(1)

G^ 33 = G32 + G34 + G23 + G43

4+

4 times G~33 - G

~32 - G

~34 - G

~23 - G

~43

8(1)

每个位置的 G~值计算方式相同

然后根据初步重建的 R~G^ 和 B

~以及原始

Bayer 图像计算水平和垂直方向的 G 通道候选重

建图像为表示方便用 Y 表示原始 Bayer 采样数

据的值用 Gv 和 Gh 分别表示水平和垂直方向的

G 通道候选重建图像 其中 R33 位置的 Gv 和 Gh

计算如公式(2)和(3)所示

Gv33 = Y23 + Y43

2+ 2 times Y33 - Y23 - Y43

4+

β B~v - βGv (2)

Gh33 = Y32 + Y34

2+ 2 times Y33 - Y32 - Y34

4+

β B~h - βGh (3)

24

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 β B~vβ B

~hβGvβGh 为修正参数即利用 G 通道

与 B 通道纹理结构近似的特点根据 R33 周围 B通道的梯度信息进行 G 通道的修正

β B~v =

2 times B~33 - B

~23 - B

~43

4(4)

β B~h = 2 times B

~33 - B

~32 - B

~34

4(5)

βGv =2 times G^ 33 - G^ 23 - G^ 43

2(6)

βGh = 2 times G^ 33 - G^ 32 - G^ 34

2(7)

B44 位置的 Gv 和 Gh 计算如公式(8)和(9)所示

Gh44 = Y43 + Y45

2+ 2 times Y44 - Y42 - Y36

4+

β R~h - βGh (8)

Gv44 = Y34 + Y54

2+ 2 times Y44 - Y24 - Y64

4+

β R~v - βGv (9)

其中

β R~v =

2 times R~44 - R

~34 - R

~54

4(10)

β R~h = 2 times R

~44 - R

~43 - R

~45

4(11)

βGv =2 times G^ 44 - G^ 34 - G^ 54

2(12)

βGh = 2 times G^ 44 - G^ 43 - G^ 45

2(13)

最后根据图像局部边缘方向自适应地对 Gv 和

Gh 进行融合得到最终的 G 通道插值结果G = ωhGh + ωvGv (14)

其中 ωh 和 ωv 为融合权重其值取决于图像局部

边缘方向 本文基于梯度局部一致性的方向检测

策略在下一节详细介绍

2  基于梯度局部一致性的方向权值矩阵获取

    自适应插值中边缘方向估计的准确性对恢复

图像的质量具有很大影响 传统方法仅利用单个

颜色通道估计边缘方向的方法没有充分利用彩色

图像局部结构相似性的特点其边缘方向的准确

性有进一步提升的空间 基于此本文提出了同时

考虑三个颜色分量的改进型边缘方向估计方法

图 2 中 B44 位置对应的水平方向和垂直方向梯度

估计方法如下

Dh44 = 2 times 2 times Y44 - Y42 - Y46

3+ Y43 - Y45

3+

Y55 - Y53 + Y35 - Y33

12(15)

Dv44 = 2 times 2 times Y44 - Y24 - Y64

3+ Y34 - Y54

3+

Y55 - Y35 + Y53 - Y33

12(16)

由 BG 和 R 三个通道局部梯度通过加权来估计

最终的梯度 R33 位置对应的水平梯度和垂直梯

度估计方法与 B44 位置的计算方法相同不再

细述通过观察发现自然图像局部梯度在小范围内

存在明显的一致性即局部梯度符合一致性的特

征 这些一致性的特征与图像灰度对应因此可

以将时域图像的灰度作为引导对估计得到的局部

梯度进行一致化校验 本方法采用引导滤波建立

局部梯度与灰度图像局部一致性的联系从而对

梯度矩阵进行一致化处理将处理后的梯度矩阵

进行非线性映射获得加权权重 图 3 为基于梯度

局部一致性的 G 通道自适应插值权值算法的示

意图通过式(15)和式(16)计算获得的水平和垂

直方向的梯度矩阵 Dh 和 Dv 作为引导滤波的输

入上节中初始重构的 G 通道图像 G^ 作为引导图

对 Dh 和 Dv 进行处理 通过引导滤波[19]将 Dh

和 Dv 的局部梯度按照引导图 G^ 中的空间与边缘

结构进行一致化校验处理实现边缘相关优化

用 D~

h 和 D~

v 表示滤波后的水平和垂直方向的梯

度Grε(middotmiddot)为引导滤波变换

D~

h = Grε DhG^

( ) (17)

D~

v = Grε DvG^

( ) (18)其中 rε 为引导滤波参数分别表示滤波窗口的

尺寸和正则化参数 当 εgt0 时引导滤波具有边

缘保持的作用且本文算法对 ε 的值并不敏感本文设置为 ε= 1 图 4 为引导滤波处理实例可以

看出通过引导滤波处理图像局部梯度更加连续本文利用式(19)和式(20)对梯度矩阵进行

非线性化处理获得融合权值矩阵 ωh 和 ωv其中

ε 为极小的正常数

34

      南华大学学报(自然科学版) 2019 年 4 月

图 3  基于梯度局部一致性的 G 通道自适应插值权值算法的示意图

Fig 3  Schematic diagram of G-channel adaptive interpolation weight algorithm based on gradient local consistency

图 4  梯度局部一致性的建立过程

Fig 4  The process of establishing gradientlocal correlation

ωv =D~

h( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(19)

ωh = D~

v( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(20)

    本方案中非线性化处理更突出主要方向的作

用实验部分也充分说明了非线性化处理的作用最后利用公式(14)重构 G 通道图像

3  R(B)通道重建

本文采用线性自适应插值算法结合已重构的

G 通道实现 R(B)通道图像的图像重建并利用文

献[16]方法对重构结果进行细化调整 由于 R和 B 通道的重构过程相同本文只介绍 R 通道的

重建首先以 Bayer 阵列 R 通道数据和已重构的

G 通道图像为输入通过文献[16]基于引导滤波

的自适应残差插值方法得到 R 通道初步恢复结

果 R^ 由于篇幅限制本文对文献[16]方法不再

赘述具体实现方法见文献[16]由图 2 知R 通道缺失像素可分三种情况分

别以图 2 中 G34G43 和 B44 三个像素为例进行说

明 在 G34 和 G43 位置R 通道像素的重构如式

(21)和式(22)所示

R34 = Y33 + Y35

2+ 2 times G34 - G33 - G35

4+ βr34

(21)

R43 = Y33 + Y53

2+ 2 times G43 - G33 - G53

4+ βr43

(22)

其中 βr34 =2timesR^ 34-R

^33-R

^35

8βr43 =

2timesR^ 43-R^33-R

^53

8

在 B44 位置分别在对角和反对角方向得到

两个候选 R 通道像素值如式 (23) 和式 (24)所示

Rn44 = Y33 + Y55

2+

2 times G44 - G33 - G55

4+ βrn44 (23)

Rp44 = Y35 + Y53

2+

2 times G44 - G35 - G53

4+ βrp44 (24)

44

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 3: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

      南华大学学报(自然科学版) 2019 年 4 月

1  基于自适应方向插值的去马赛克图像重建

    Bayer 阵列充分考虑了视觉对绿色敏感的特

点其绿色像素数量是红色和蓝色像素点数量的

二倍 因此比较合理的处理方案是先考虑 G 通

道的重建然后利用重建的 G 通道图像指导结构

信息弥补 R 和 B 通道信息量不足的缺陷[16] 图

1 为基于自适应方向插值的 G 通道图像重建方法

示意图 自适应插值算法首先获得多个方向的候

选插值然后根据图像梯度越小的方向像素值之

间的一致性越大的规律依据边缘方向从多个候

选插值结果中采用选择或加权平均法获得最终

插值[14]

图 1  基于自适应方向插值的 G 通道图像图像重建方法示意图

Fig 1  Schematic diagram of G channel image reconstruction based on adaptive direction interpolation

    由于彩色分量的色差和色比往往比彩色分量

本身更加平滑因此很多改进算法通常利用色差

和色比来实现方向插值[13] 考虑到彩色图像中

R 和 B 通道与 G 通道具有结构相似的特点本文

在基于色差插值的基础上提出了基于多彩色通道

联合方向插值方法 为方便表示将马赛克图标

记坐标如图 2 所示

图 2  标记坐标的马赛克原图

Fig 2  The original mosaic of the marked coordinates

首先采用滤波方法重构彩色图像其中定义

红色和蓝色通道的滤波核 F1 = 14

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

绿

色通道的滤波核 F2 = 18

1 2 12 4 21 2 1

eacute

euml

ecircecircecircecirc

ugrave

ucirc

uacuteuacuteuacuteuacute

经过 F1 和

F2 滤波得到初步重建图像的三个通道分别用R~G

~

和 B~表示 由于简单滤波会滤掉图像的部分细

节因此R~G

~和B

~相对较模糊需进一步处理 对

初步重建的G~进行进一步修正处理得到G^ 图2中

R33 位置的 G^ 通道值计算公式(1)

G^ 33 = G32 + G34 + G23 + G43

4+

4 times G~33 - G

~32 - G

~34 - G

~23 - G

~43

8(1)

每个位置的 G~值计算方式相同

然后根据初步重建的 R~G^ 和 B

~以及原始

Bayer 图像计算水平和垂直方向的 G 通道候选重

建图像为表示方便用 Y 表示原始 Bayer 采样数

据的值用 Gv 和 Gh 分别表示水平和垂直方向的

G 通道候选重建图像 其中 R33 位置的 Gv 和 Gh

计算如公式(2)和(3)所示

Gv33 = Y23 + Y43

2+ 2 times Y33 - Y23 - Y43

4+

β B~v - βGv (2)

Gh33 = Y32 + Y34

2+ 2 times Y33 - Y32 - Y34

4+

β B~h - βGh (3)

24

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 β B~vβ B

~hβGvβGh 为修正参数即利用 G 通道

与 B 通道纹理结构近似的特点根据 R33 周围 B通道的梯度信息进行 G 通道的修正

β B~v =

2 times B~33 - B

~23 - B

~43

4(4)

β B~h = 2 times B

~33 - B

~32 - B

~34

4(5)

βGv =2 times G^ 33 - G^ 23 - G^ 43

2(6)

βGh = 2 times G^ 33 - G^ 32 - G^ 34

2(7)

B44 位置的 Gv 和 Gh 计算如公式(8)和(9)所示

Gh44 = Y43 + Y45

2+ 2 times Y44 - Y42 - Y36

4+

β R~h - βGh (8)

Gv44 = Y34 + Y54

2+ 2 times Y44 - Y24 - Y64

4+

β R~v - βGv (9)

其中

β R~v =

2 times R~44 - R

~34 - R

~54

4(10)

β R~h = 2 times R

~44 - R

~43 - R

~45

4(11)

βGv =2 times G^ 44 - G^ 34 - G^ 54

2(12)

βGh = 2 times G^ 44 - G^ 43 - G^ 45

2(13)

最后根据图像局部边缘方向自适应地对 Gv 和

Gh 进行融合得到最终的 G 通道插值结果G = ωhGh + ωvGv (14)

其中 ωh 和 ωv 为融合权重其值取决于图像局部

边缘方向 本文基于梯度局部一致性的方向检测

策略在下一节详细介绍

2  基于梯度局部一致性的方向权值矩阵获取

    自适应插值中边缘方向估计的准确性对恢复

图像的质量具有很大影响 传统方法仅利用单个

颜色通道估计边缘方向的方法没有充分利用彩色

图像局部结构相似性的特点其边缘方向的准确

性有进一步提升的空间 基于此本文提出了同时

考虑三个颜色分量的改进型边缘方向估计方法

图 2 中 B44 位置对应的水平方向和垂直方向梯度

估计方法如下

Dh44 = 2 times 2 times Y44 - Y42 - Y46

3+ Y43 - Y45

3+

Y55 - Y53 + Y35 - Y33

12(15)

Dv44 = 2 times 2 times Y44 - Y24 - Y64

3+ Y34 - Y54

3+

Y55 - Y35 + Y53 - Y33

12(16)

由 BG 和 R 三个通道局部梯度通过加权来估计

最终的梯度 R33 位置对应的水平梯度和垂直梯

度估计方法与 B44 位置的计算方法相同不再

细述通过观察发现自然图像局部梯度在小范围内

存在明显的一致性即局部梯度符合一致性的特

征 这些一致性的特征与图像灰度对应因此可

以将时域图像的灰度作为引导对估计得到的局部

梯度进行一致化校验 本方法采用引导滤波建立

局部梯度与灰度图像局部一致性的联系从而对

梯度矩阵进行一致化处理将处理后的梯度矩阵

进行非线性映射获得加权权重 图 3 为基于梯度

局部一致性的 G 通道自适应插值权值算法的示

意图通过式(15)和式(16)计算获得的水平和垂

直方向的梯度矩阵 Dh 和 Dv 作为引导滤波的输

入上节中初始重构的 G 通道图像 G^ 作为引导图

对 Dh 和 Dv 进行处理 通过引导滤波[19]将 Dh

和 Dv 的局部梯度按照引导图 G^ 中的空间与边缘

结构进行一致化校验处理实现边缘相关优化

用 D~

h 和 D~

v 表示滤波后的水平和垂直方向的梯

度Grε(middotmiddot)为引导滤波变换

D~

h = Grε DhG^

( ) (17)

D~

v = Grε DvG^

( ) (18)其中 rε 为引导滤波参数分别表示滤波窗口的

尺寸和正则化参数 当 εgt0 时引导滤波具有边

缘保持的作用且本文算法对 ε 的值并不敏感本文设置为 ε= 1 图 4 为引导滤波处理实例可以

看出通过引导滤波处理图像局部梯度更加连续本文利用式(19)和式(20)对梯度矩阵进行

非线性化处理获得融合权值矩阵 ωh 和 ωv其中

ε 为极小的正常数

34

      南华大学学报(自然科学版) 2019 年 4 月

图 3  基于梯度局部一致性的 G 通道自适应插值权值算法的示意图

Fig 3  Schematic diagram of G-channel adaptive interpolation weight algorithm based on gradient local consistency

图 4  梯度局部一致性的建立过程

Fig 4  The process of establishing gradientlocal correlation

ωv =D~

h( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(19)

ωh = D~

v( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(20)

    本方案中非线性化处理更突出主要方向的作

用实验部分也充分说明了非线性化处理的作用最后利用公式(14)重构 G 通道图像

3  R(B)通道重建

本文采用线性自适应插值算法结合已重构的

G 通道实现 R(B)通道图像的图像重建并利用文

献[16]方法对重构结果进行细化调整 由于 R和 B 通道的重构过程相同本文只介绍 R 通道的

重建首先以 Bayer 阵列 R 通道数据和已重构的

G 通道图像为输入通过文献[16]基于引导滤波

的自适应残差插值方法得到 R 通道初步恢复结

果 R^ 由于篇幅限制本文对文献[16]方法不再

赘述具体实现方法见文献[16]由图 2 知R 通道缺失像素可分三种情况分

别以图 2 中 G34G43 和 B44 三个像素为例进行说

明 在 G34 和 G43 位置R 通道像素的重构如式

(21)和式(22)所示

R34 = Y33 + Y35

2+ 2 times G34 - G33 - G35

4+ βr34

(21)

R43 = Y33 + Y53

2+ 2 times G43 - G33 - G53

4+ βr43

(22)

其中 βr34 =2timesR^ 34-R

^33-R

^35

8βr43 =

2timesR^ 43-R^33-R

^53

8

在 B44 位置分别在对角和反对角方向得到

两个候选 R 通道像素值如式 (23) 和式 (24)所示

Rn44 = Y33 + Y55

2+

2 times G44 - G33 - G55

4+ βrn44 (23)

Rp44 = Y35 + Y53

2+

2 times G44 - G35 - G53

4+ βrp44 (24)

44

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 4: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 β B~vβ B

~hβGvβGh 为修正参数即利用 G 通道

与 B 通道纹理结构近似的特点根据 R33 周围 B通道的梯度信息进行 G 通道的修正

β B~v =

2 times B~33 - B

~23 - B

~43

4(4)

β B~h = 2 times B

~33 - B

~32 - B

~34

4(5)

βGv =2 times G^ 33 - G^ 23 - G^ 43

2(6)

βGh = 2 times G^ 33 - G^ 32 - G^ 34

2(7)

B44 位置的 Gv 和 Gh 计算如公式(8)和(9)所示

Gh44 = Y43 + Y45

2+ 2 times Y44 - Y42 - Y36

4+

β R~h - βGh (8)

Gv44 = Y34 + Y54

2+ 2 times Y44 - Y24 - Y64

4+

β R~v - βGv (9)

其中

β R~v =

2 times R~44 - R

~34 - R

~54

4(10)

β R~h = 2 times R

~44 - R

~43 - R

~45

4(11)

βGv =2 times G^ 44 - G^ 34 - G^ 54

2(12)

βGh = 2 times G^ 44 - G^ 43 - G^ 45

2(13)

最后根据图像局部边缘方向自适应地对 Gv 和

Gh 进行融合得到最终的 G 通道插值结果G = ωhGh + ωvGv (14)

其中 ωh 和 ωv 为融合权重其值取决于图像局部

边缘方向 本文基于梯度局部一致性的方向检测

策略在下一节详细介绍

2  基于梯度局部一致性的方向权值矩阵获取

    自适应插值中边缘方向估计的准确性对恢复

图像的质量具有很大影响 传统方法仅利用单个

颜色通道估计边缘方向的方法没有充分利用彩色

图像局部结构相似性的特点其边缘方向的准确

性有进一步提升的空间 基于此本文提出了同时

考虑三个颜色分量的改进型边缘方向估计方法

图 2 中 B44 位置对应的水平方向和垂直方向梯度

估计方法如下

Dh44 = 2 times 2 times Y44 - Y42 - Y46

3+ Y43 - Y45

3+

Y55 - Y53 + Y35 - Y33

12(15)

Dv44 = 2 times 2 times Y44 - Y24 - Y64

3+ Y34 - Y54

3+

Y55 - Y35 + Y53 - Y33

12(16)

由 BG 和 R 三个通道局部梯度通过加权来估计

最终的梯度 R33 位置对应的水平梯度和垂直梯

度估计方法与 B44 位置的计算方法相同不再

细述通过观察发现自然图像局部梯度在小范围内

存在明显的一致性即局部梯度符合一致性的特

征 这些一致性的特征与图像灰度对应因此可

以将时域图像的灰度作为引导对估计得到的局部

梯度进行一致化校验 本方法采用引导滤波建立

局部梯度与灰度图像局部一致性的联系从而对

梯度矩阵进行一致化处理将处理后的梯度矩阵

进行非线性映射获得加权权重 图 3 为基于梯度

局部一致性的 G 通道自适应插值权值算法的示

意图通过式(15)和式(16)计算获得的水平和垂

直方向的梯度矩阵 Dh 和 Dv 作为引导滤波的输

入上节中初始重构的 G 通道图像 G^ 作为引导图

对 Dh 和 Dv 进行处理 通过引导滤波[19]将 Dh

和 Dv 的局部梯度按照引导图 G^ 中的空间与边缘

结构进行一致化校验处理实现边缘相关优化

用 D~

h 和 D~

v 表示滤波后的水平和垂直方向的梯

度Grε(middotmiddot)为引导滤波变换

D~

h = Grε DhG^

( ) (17)

D~

v = Grε DvG^

( ) (18)其中 rε 为引导滤波参数分别表示滤波窗口的

尺寸和正则化参数 当 εgt0 时引导滤波具有边

缘保持的作用且本文算法对 ε 的值并不敏感本文设置为 ε= 1 图 4 为引导滤波处理实例可以

看出通过引导滤波处理图像局部梯度更加连续本文利用式(19)和式(20)对梯度矩阵进行

非线性化处理获得融合权值矩阵 ωh 和 ωv其中

ε 为极小的正常数

34

      南华大学学报(自然科学版) 2019 年 4 月

图 3  基于梯度局部一致性的 G 通道自适应插值权值算法的示意图

Fig 3  Schematic diagram of G-channel adaptive interpolation weight algorithm based on gradient local consistency

图 4  梯度局部一致性的建立过程

Fig 4  The process of establishing gradientlocal correlation

ωv =D~

h( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(19)

ωh = D~

v( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(20)

    本方案中非线性化处理更突出主要方向的作

用实验部分也充分说明了非线性化处理的作用最后利用公式(14)重构 G 通道图像

3  R(B)通道重建

本文采用线性自适应插值算法结合已重构的

G 通道实现 R(B)通道图像的图像重建并利用文

献[16]方法对重构结果进行细化调整 由于 R和 B 通道的重构过程相同本文只介绍 R 通道的

重建首先以 Bayer 阵列 R 通道数据和已重构的

G 通道图像为输入通过文献[16]基于引导滤波

的自适应残差插值方法得到 R 通道初步恢复结

果 R^ 由于篇幅限制本文对文献[16]方法不再

赘述具体实现方法见文献[16]由图 2 知R 通道缺失像素可分三种情况分

别以图 2 中 G34G43 和 B44 三个像素为例进行说

明 在 G34 和 G43 位置R 通道像素的重构如式

(21)和式(22)所示

R34 = Y33 + Y35

2+ 2 times G34 - G33 - G35

4+ βr34

(21)

R43 = Y33 + Y53

2+ 2 times G43 - G33 - G53

4+ βr43

(22)

其中 βr34 =2timesR^ 34-R

^33-R

^35

8βr43 =

2timesR^ 43-R^33-R

^53

8

在 B44 位置分别在对角和反对角方向得到

两个候选 R 通道像素值如式 (23) 和式 (24)所示

Rn44 = Y33 + Y55

2+

2 times G44 - G33 - G55

4+ βrn44 (23)

Rp44 = Y35 + Y53

2+

2 times G44 - G35 - G53

4+ βrp44 (24)

44

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 5: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

      南华大学学报(自然科学版) 2019 年 4 月

图 3  基于梯度局部一致性的 G 通道自适应插值权值算法的示意图

Fig 3  Schematic diagram of G-channel adaptive interpolation weight algorithm based on gradient local consistency

图 4  梯度局部一致性的建立过程

Fig 4  The process of establishing gradientlocal correlation

ωv =D~

h( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(19)

ωh = D~

v( ) 2

D~

h( ) 2 + D~

v( ) 2 + ε(20)

    本方案中非线性化处理更突出主要方向的作

用实验部分也充分说明了非线性化处理的作用最后利用公式(14)重构 G 通道图像

3  R(B)通道重建

本文采用线性自适应插值算法结合已重构的

G 通道实现 R(B)通道图像的图像重建并利用文

献[16]方法对重构结果进行细化调整 由于 R和 B 通道的重构过程相同本文只介绍 R 通道的

重建首先以 Bayer 阵列 R 通道数据和已重构的

G 通道图像为输入通过文献[16]基于引导滤波

的自适应残差插值方法得到 R 通道初步恢复结

果 R^ 由于篇幅限制本文对文献[16]方法不再

赘述具体实现方法见文献[16]由图 2 知R 通道缺失像素可分三种情况分

别以图 2 中 G34G43 和 B44 三个像素为例进行说

明 在 G34 和 G43 位置R 通道像素的重构如式

(21)和式(22)所示

R34 = Y33 + Y35

2+ 2 times G34 - G33 - G35

4+ βr34

(21)

R43 = Y33 + Y53

2+ 2 times G43 - G33 - G53

4+ βr43

(22)

其中 βr34 =2timesR^ 34-R

^33-R

^35

8βr43 =

2timesR^ 43-R^33-R

^53

8

在 B44 位置分别在对角和反对角方向得到

两个候选 R 通道像素值如式 (23) 和式 (24)所示

Rn44 = Y33 + Y55

2+

2 times G44 - G33 - G55

4+ βrn44 (23)

Rp44 = Y35 + Y53

2+

2 times G44 - G35 - G53

4+ βrp44 (24)

44

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 6: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

其中 βrn44 =2timesR^ 44-R

^33-R

^55

16βrp44 =

2timesR^ 44-R^35-R

^53

16

然后根据 B44 位置图像梯度的方向合并 Rn44 和

Rp44 得到具体如式(25)所示

R44 =Rn44 Dn

44 lt Dp44

Rp44 Dn44 gt Dp

44 (25)

其中

Dn44 = 2 times Y44 - Y22 - Y66

4+ Y33 - Y55 +

2 times G44 - G33 - G55

2

Dp44 = 2 times Y44 - Y62 - Y26

4+ Y35 - Y53 +

2 times G44 - G35 - G53

2

当 Dn44 =Dp44时直接通过式(26)估计 R44

R44 = Y35 + Y53 + Y33 + Y55

4+

4 times R^ 44 - R^ 35 - R^ 53 - R^ 33 - R^ 55

4(26)

利用相同方法恢复 B 通道图像获得完整的彩色

重建图像

4  实验分析

实验中采用常用的 Kodak 和 IMAX 两个图像

库的图像来验证本文算法 先通过 Bayer 模式彩

色滤波阵列将源图像转化成 Mosaic 数据然后利

用本文提出的算法和其他去马赛克算法进行恢复

处理并以源图像为标准图像对恢复结果进行主

观和客观评价 客观评价采用彩色峰值信噪比

(CPSNR)和 S-CIELAB [20] 两个评价指标其中的

CPSNR 值越大越好S-CIELAB 值越小越好算法中公式(16)和公式(17)的参数 r 表示

滤波窗口的大小其值决定了一致化处理的范围为了验证一致化处理的范围对算法的影响给出

了 r 设置不同数值时算法对 IMAX 图像库图像的

恢复结果如表 1 所示其值为全部图像的平

均值如表 1 所示可知参数 r = 3 时可以得到最

佳的恢复结果 参数 r 的值过大( rgt7)梯度一致

化的范围过大可能导致过大范围的不相关特征

对局部梯度造成影响使得恢复图像质量下降

参数 r 的值过小表示一致化范围过小没有充分

利用梯度的局部一致性使得恢复图像质量没有

改善 且当 r = 1 时等效于没有用引导滤波对梯

度矩阵进行局部一致性处理 从实验结果可以看

出未经梯度一致性处理的结果明显不如增加了

梯度一致性处理得到的结果说明了本文算法通

过引导滤波实现梯度一致性处理从而提升算法性

能的有效性

表 1  不同尺寸窗口在 IMAX 图像库上的 CPSNR 和

S-CIELAB 比较

Table 1  Comparison of CPSNR and S-CIELAB onIMAX dataset for different size windows

r 1 2 3 5 7 9

CPSNR 35 86 36 02 36 13 35 95 35 88 35 74

S-CIELAB 1 25 1 16 1 14 1 19 1 20 1 22

为进一步验证所提出算法的优越性将本文

算法结果与其他一些最新的去马赛克算法如

RAD[3]LMSD[4]ADMM[11]DBILI[2] 和 HQD[15]

等得到结果进行对比这些算法的源代码由作者

提供参数按作者提供的默认最优进行设置 表

2 和表 3 给出各种算法在 IMAX 图像库的 CPSNR和 S-CIELAB 指标值其中加粗的数值为表现最

好的结果 通过表 2 和表 3 明显可以看出所提出

的算法在 CPSNR 和 S-CIELAB 这两个评价指标

方面都具有最优的表现 为了进一步表明本算法

在视觉上的优越性图 5 给出了 IMAX 图像库中

第 9 幅图像原图以及不同方法得到的恢复图像的

局部放大图 可以看出本文算法在纹理边缘方面

相对于其它算法恢复的效果更佳恢复出来的错

误像素值较少更加接近原始图像表 4 和表 5 给出各种算法在 Kodak 图像库的

CPSNR 和 S-CIELAB 指标值 从表 4 和表 5 可以

看出本文算法的 CPSNR 值和 S-CIELAB 值相比

其他算法结果更佳 由于本文算法充分考虑到局

部梯度的一致性才使得恢复图像更加适合于人

眼的视觉系统 图 6 为 Kodak 图像库中第 19 幅

源图像经不同算法去马赛克处理得到图像的局部

放大图 对比各图可以看出本文算法结果没有拉

链效应恢复的错误像素值也相对较少充分表明

了本文的算法在去马赛克方面的优越性

54

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 7: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

      南华大学学报(自然科学版) 2019 年 4 月

表 2  各种去马赛克算法在 IMAX 图像库上的

CPSNR 比较

Table 2  Various demosaicking algorithms comparisonof CPSNR on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 26 28 26 93 28 16 27 32 27 87 28 95

2 33 05 35 96 32 62 32 85 34 13 34 98

3 32 70 35 98 29 59 30 54 32 54 32 61

4 36 30 38 64 30 80 32 64 35 83 35 66

5 30 88 36 60 31 93 31 91 32 45 33 53

6 33 53 36 48 34 21 35 25 35 30 37 40

7 37 63 29 95 32 48 34 38 36 82 35 82

8 37 27 29 88 34 22 35 23 37 24 37 30

9 34 48 33 51 33 43 34 88 35 60 36 77

10 36 15 33 20 34 42 36 70 37 47 38 59

11 37 02 30 45 35 93 37 81 38 16 39 28

12 36 58 34 96 34 73 35 78 37 67 38 58

13 38 17 31 32 37 35 38 42 39 47 40 31

14 36 65 33 91 35 83 36 95 37 63 38 64

15 37 02 34 20 36 32 37 50 37 90 38 87

16 30 05 36 05 31 53 31 53 31 62 33 52

17 29 73 34 51 31 18 31 43 31 29 32 81

18 33 25 35 57 32 01 32 41 34 28 36 74

均值 34 26 33 78 33 15 34 08 35 18 36 13

表 3  各种去马赛克算法在 IMAX 图像库上的

S-CIELAB 比较

Table 3  Various demosaicking algorithms comparisonof S-CIELAB on IMAX dataset

IMAX RAD LMSD ADMM DBILI HQD 本文算法

1 3 49 4 37 3 66 3 27 2 70 2 45

2 1 37 1 43 2 11 1 42 1 23 1 02

3 1 74 1 32 3 09 1 87 2 12 1 91

4 0 91 0 99 3 97 1 12 1 09 1 15

5 1 70 1 48 2 78 1 51 1 53 1 25

6 1 50 1 21 2 25 1 35 1 26 0 95

7 1 06 4 62 2 55 1 32 1 18 1 28

8 0 64 2 79 1 27 0 77 0 73 0 65

9 1 32 2 16 2 35 1 32 1 25 1 00

10 1 08 1 63 1 68 1 11 0 97 0 76

11 0 84 2 58 1 26 0 85 0 74 0 64

12 1 08 2 02 1 90 1 41 0 98 0 87

13 0 82 2 18 2 00 1 05 0 75 0 62

14 0 90 2 05 1 69 1 03 0 81 0 67

15 0 89 1 84 1 31 1 02 0 84 0 73

16 2 45 0 86 2 73 2 31 1 76 1 55

17 2 33 1 43 2 82 1 93 2 04 1 70

18 1 66 1 45 3 29 2 05 1 44 1 32

均值 1 43 2 02 2 37 1 48 1 30 1 14

图 5  IMAX 图像库中第 9 幅原图以及原图的黄色标记区域经不同算法处理后的放大图

Fig 5  The 9 th image in the IMAX dataset and the enlarged view of the yellow marked area of the originalimage processed by different algorithms

64

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 8: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

第 33 卷第 2 期 王东升等基于梯度局部一致性的自适应 Bayer 模式彩色图像恢复算法

表 4  各种去马赛克算法在 Kodak 图像库上的

CPSNR 比较

Table 4  Various demosaicking algorithms comparisonof CPSNR on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 37 41 33 93 30 51 33 32 35 63 37 872 40 01 38 51 34 65 38 95 39 81 41 543 42 35 38 81 36 19 41 32 41 98 44 104 40 90 37 86 33 47 39 73 40 11 42 195 38 02 31 98 30 07 33 95 36 24 37 616 39 03 34 76 32 09 35 57 36 73 39 867 42 79 37 97 35 15 39 95 41 73 43 558 34 99 32 13 27 71 29 66 33 51 34 669 42 02 38 32 34 17 38 55 41 60 43 1310 42 30 37 20 34 23 39 08 41 30 43 1311 39 23 35 04 32 52 36 07 37 67 39 7112 43 11 40 04 35 30 39 88 41 84 43 7913 33 83 28 78 28 80 31 84 31 50 34 7914 36 37 33 27 31 71 35 64 36 52 38 2115 40 16 36 76 34 43 38 78 39 05 41 1516 41 37 38 48 35 30 39 14 40 11 42 1917 41 07 36 67 33 41 38 83 39 81 42 0118 36 84 32 77 30 00 35 26 35 34 37 4219 39 40 36 44 30 81 34 56 38 61 40 3520 40 69 36 74 34 02 38 25 39 66 41 6721 38 50 34 11 32 54 35 93 36 98 38 6522 38 22 35 23 32 62 36 34 37 78 39 4123 42 72 37 97 37 33 40 94 42 53 44 1324 35 07 31 94 30 84 33 74 33 18 36 03

均值 39 43 35 65 32 83 36 89 38 30 40 30

表 5  各种去马赛克算法在 Kodak 图像库上

的 S-CIELAB 比较

Table 5  Various demosaicking algorithms comparisonof S-CIELAB on Kodak dataset

Kodak RAD LMSD ADMM DBILI HQD 本文算法

1 1 26 1 75 3 14 1 62 1 46 1 222 0 85 0 90 1 63 0 72 0 74 0 723 0 53 1 19 2 19 0 50 0 56 0 464 0 76 1 26 2 51 0 67 0 85 0 665 0 98 2 20 2 60 1 21 1 40 1 036 0 89 1 49 3 13 1 02 1 08 0 837 0 55 1 00 2 37 0 56 0 74 0 528 1 48 2 27 3 76 2 11 1 65 1 419 0 62 1 31 3 16 0 63 0 70 0 5010 0 59 1 16 3 03 0 58 0 69 0 4911 0 80 1 42 2 56 0 92 0 96 0 7312 0 52 0 78 3 09 0 59 0 61 0 5213 1 71 3 29 3 11 1 63 2 03 1 5714 1 07 1 90 2 41 0 98 1 13 0 8315 0 71 1 04 2 31 0 72 0 72 0 7916 0 73 1 18 2 55 0 67 0 78 0 6517 0 56 1 05 2 10 0 57 0 69 0 5218 1 20 1 95 2 30 1 24 1 22 1 1519 0 86 1 52 2 96 1 08 0 97 0 8120 0 74 1 14 3 24 0 65 0 70 0 5721 0 96 2 13 3 11 0 97 1 09 0 9222 1 05 1 82 2 72 1 06 0 98 0 8523 0 54 1 40 1 52 0 58 0 54 0 5124 1 17 1 83 2 72 1 21 1 22 0 98

均值 0 88 1 54 2 67 0 94 0 98 0 80

图 6  Kodak 图像库中第 9 幅原图以及原图的黑色标记区域经不同算法处理后的放大图

Fig 6  The 19 th image in the Kodak dataset and the enlarged view of the black marked area ofthe original image processed by different algorithms

74

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84

Page 9: 模式 彩色图像恢复算法 - nhqks.cnjournals.com

      南华大学学报(自然科学版) 2019 年 4 月

5  结  论

本文提出了一种基于梯度局部一致性的自适

应 Bayer 模式彩色图像恢复算法 该算法依据图

像各通道之间的结构相似性对获得的两个方向的

候选插值进行结构调整和像素值的细化采用引

导滤波建立局部梯度与灰度图像局部一致性的联

系从而对梯度矩阵进行一致化处理将处理后的

梯度矩阵经非线性映射获得加权权重和方向候选

插值进行自适应加权融合重构缺失的 G 通道然后利用重构的 G 通道以及 R 和 B 通道经残差插

值恢复的细化图对插值法重建的 R 和 B 通道的

缺失像素值进行优化和修正处理从而获得高质

量的 R 和 B 通道图像 将所重建的三个通道合

并得到失真较少视觉效果更好的彩色去马赛克

图像 实验结果表明本算法能够更好的重构图

像的纹理减少了虚假色和拉链效应恢复出更加

清晰的彩色图像 而且不涉及迭代和网络学习相对简单高效对硬件要求不高具有更高的应用

价值

参考文献[1] RAMANATH RSNYDER W EBILBRO G Let al Dem-

osaicking methods for Bayer color arrays[J] Journal of e-lectronic imaging200211(3)306-315

[2] WANG DYU GZHOU Xet al Image demosaicking forBayer-patterned CFA images using improved linear inter-polation [ C] International Conference on InformationScience amp Technology Da NangVietnamIEEE2017464-469

[3] MENON DCALVAGON G Regularization approaches todemosaicking[J] IEEE transactions on image processing200918(10) 2209-2220

[4] AGGARWAL H KMAJUMDAR A Compressive sensingmulti-spectral demosaicing from single sensor architecture[C] China Summit amp International Conference on Signaland Information Processing Xi1049011AnChinaIEEE 2014334-338

[5] 刘丹华李平高大化等 基于压缩感知的正六边形

CFA 模式彩色图像去马赛克方法[ J] 光电子激光201526(2)360-367

[6] LIANG JLI JSHEN Zet al Wavelet frame based colorimage demosaicing[ J] Inverse problems and imaging20137(3)777-794

[7] LI JBAI CLIN Zet al Optimized color filter arrays forsparse representation based demosaicking[J] IEEE trans-actions on image processing201726(5)2381-2393

[8] KOKKINOS FLEFKIMMIATIS S Deep image demosa-icking using a cascade of convolutional residual denoisingnetworks[C] European Conference on Computer VisionMunichGermanySpringer2018303-319

[9] TAN RZHANG KZUO Wet al Color image demosa-icking via deep residual learning[C] IEEE InternationalConference on Multimedia and Expo Hong KongChinaAAER2017793-798

[10] TAN D SCHEN W YHUA K L Deep Demosaickingadaptive image demosaicking via multiple deep fullyconvolutional networks[J] IEEE transactions on imageprocessing201827(5)2408-2419

[11] TAN HZENG XLAI Set al Joint demosaicing anddenoising of noisy bayer images with ADMM[C] In-ternational Conference on Image Processing BeijingChinaIEEE20172951-2955

[12] LI NLI JRANDHAWA S Color filter array demosa-icking based on the distribution of directional colordifferences[J] IEEE signal processing letters201724(5)604-608

[13] LI NLI J S JRANDHAWA Set al Edge preservingCFA demosaicking based on nonlinear weighted colordifferences[C] IEEE Region 10 Conference SingaporeIEEE20161143-1146

[14] LIEN C YYANG F JCHEN P Y An efficient edge-based technique for colour filter array demosaicking[J] IEEE sensors journal201717(13)4067-4074

[15] NIU YOUYANG JZUO Wet al Low cost edge sensingfor high quality demosaicking[EB OL] (2018-07-03)https arxiv org abs 1806 00771

[16] MONNO YKIKU DTANAKA Met al Adaptive re-sidual interpolation for color image demosaicking[C] International Conference on Image Processing QuebecCanadaIEEE20153861-3865

[17] FRANZEN R Kodak lossless true color image suite[DB OL] [2018-10-31] http r0k us graphics ko-dak

[18] ZHANG LWU XBUADES Aet al Color demosaickingby local directional interpolation and nonlocal adaptivethresholding[J OL] Electronic imaging201120(2)23016 [2018-10-31] http www4 comp polyu eduhk ~ cslzhang CDM_Dataset htm

[19] HE KSUN JTAND X Guided image filtering[ J]IEEE transactions on pattern analysis and machine in-telligence201335(6)1397-1409

[20] 王鑫蔡圣燕 利用 S-CIELAB 进行再现意图选择规

律的初步研究[J] 包装工程200728(6)82-84(责任编辑周泉)

84