冗長変換とその画像復元応用

12015/1/30日本画像学会第 26 回　フリートーキ

ング

冗長変換とその画像復元応用

平成２７年１月３０日（金）新潟大学工学部　電気電子工学科

　准教授　村松　正吾

2

村松　正吾（むらまつ　しょうご）画像・映像信号処理の教育研究に従事

電子情報通信学会 (IEICE) ：基礎・境界，情報・システム

映像情報メディア学会 (ITE) IEEE ： SP, CAS, COMP

著書「マルチメディア技術の基礎 DCT 入門」

（ CQ 出版社 , 1997 年）「 MATLAB による画像 & 映像信号処理」

（ CQ 出版社 , 2007 年）

日本画像学会第 26 回　フリートーキング2015/1/30

3

IoT 時代を迎えて

センシング環境の多様化

センサ端末（エッジ）リアルタイム処理遠隔・協調処理特徴抽出、認識処理


ング

4

IoT 時代の画像処理

組込みビジョン技術への期待

処理フローの典型例


ング

組込み

コンピュータビ

ジョン

組込みビジョ

ン

取得画像前処理特徴抽出認識解析情報

【例】デジカメの顔検出

5

昼夜問わず、風雨に耐えて…劣悪な環境下でのセンシング前処理が重要な役割を担う

輝度・色彩調整幾何補正ノイズ除去デモザイキングボケ除去欠損修復超解像


ング

画像復元問題

冗長変換とスパース表現

共通に利用可能なツール

冗長変換とスパース表現によるボケ＋ノイズ除去の例


ング 6

原画像観測画像　PSNR: 23.84 dB

復元画像PSNR: 27.21 dB

冗長変換とスパース表現による単一フレーム超解像の例


ング 7

原画像観測画像


Bicubic 補間画像PSNR: 23.92 dB

冗長変換とスパース表現による画像修復の例


ング 8

原画像観測画像　PSNR: 12.56 dB


9

講演内容

変換と画像処理応用冗長変換の概要画像のスパース表現冗長変換の画像復元応用辞書（変換）設計まとめ


ング

10

講演内容

変換と画像処理応用冗長変換の概要画像のスパース表現スパース表現の画像復元応用辞書（変換）設計まとめ


ング

11

画像変換の効果 3- レベルウェーブレット変換


ング

𝐓𝐃

スパースな表現を与える

12

画像変換の応用例

変換符号化（ JPEG/JPEG2000 ）

順変換

逆変換逆量子化

量子化前処理

後処理


ング

エントロピー符号化

エントロピー復号

符号化

復号

画像と変換係数の関係

要素画像の線形結合

1/2 1/2

1/2 1/2

０２

４６

-1/2 1/2

-1/2 1/2

-1/2

-1/2

1/2 1/2

1/2 -1/2

-1/2 1/2

=

6 × 2×

4× 0×

変換係数

要素画像（アトム）


ング 13

U

+

++

14

要素画像 ( アトム ) の例


ング

離散コサイン変換(DCT)

9/7 離散ウェーブレット変換(9/7 DWT)

15

画像変換の変遷


ング

【８０年代以前】　ブロック直交変換アダマール変換， DCT

【８０～９０年代】重複変換、ウェーブレット変換 LOT ， LBT ， 5/3 DWT ， 9/7 DWT

【９０～００年代】指向性変換，冗長変換 X-let系 (Contourlet等 ) ， DT-WT ，混成 DirLOT

【００年代以降】学習ベース辞書（冗長変換） MOD, K-SVD, 非分離冗長重複変換 (NSOLT)

16

画像の列ベクトル表現の導入


ング

0

4

2

6

6

4

0

2

0 2

4 6

列ベクトル化

𝐱∈ℝ𝑁 𝐲∈ℝ𝑀

=

1/2 -1/2 0 0 -1/2 1/2 0

1/2 1/2 0 0 -1/2 -1/2 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

1/2 -1/2 0 0 1/2 -1/2 0

1/2 1/2 0 0 1/2 1/2 0

0 0 0 0配列化画像配列

係数画像𝐗∈ℝ𝑁 0×𝑁1

𝐃∈ℝ𝑁 ×𝑀逆変換行列（辞書）

アトム

17

講演内容



ング

18

辞書による画像表現

アトムの線形結合による画像表現


ング

𝐱=𝐃𝐲

= …+ + +

𝐝0 𝐝1 𝐝𝑀 −1

・・・𝑦 [ 0 ] 𝑦 [ 1 ] 𝑦 [𝑀−1 ]

𝐱

辞書：アトムの集合

19

基底とフレーム

基底：非冗長なアトム集合（辞書

フレーム：冗長なアトム集合（辞書


ング

(𝑥0

𝑥1)=(𝑑00 𝑑1 0

𝑑0 1 𝑑11)(𝑦 0

𝑦 1)

(𝑥0

𝑥1)=(𝑑0 0 𝑑10 𝑑20

𝑑0 1 𝑑11 𝑑21)(𝑦0

𝑦1

𝑦 2)

(𝑦0

𝑦1)

(𝑦0

𝑦1

𝑦2)

唯一

無数

20

基底と比べたフレームの利点は？


ング

ℝ𝑁

ℝ𝑀

ℝ𝑁

ℝ𝑁

𝐱

𝐲

𝐱

変換（唯一）𝐓

辞書（基底）𝐃

辞書（フレーム）𝐃

冗長な辞書（フレーム）では係数選択できる

変換（無数）

非冗長冗長

𝐓 𝐲∈𝑉 𝑥

21

係数選択の一例：最小二乗解

画像辞書に対し無数の係数候補適切な変換係数を選択する問題

2 （標準） - ノルム最小化問題として解く


ング

subject to

無数に存在する係数の候補の中からエネルギーが最小のものを探す

�̂�=𝐃𝑇 (𝐃𝐃𝑇 )− 1𝐱=𝐃+¿ 𝐱 ¿ムーア・ペンロー

ズ一般逆行列

22

講演内容



ング

23

非線形近似

= …~𝐱

近似画像

+ +

¿ 𝑦 [𝑚0 ]∨¿ 𝑦 [𝑚1 ]∨⋯∨𝑦 [𝑚𝐾−1 ]∨¿

+

𝐝𝑚0𝐝𝑚1

𝐝𝑚𝐾 −1

一部（個）の係数のみで表現（誤差が生じる）

もし- スパース

・・・


ング

𝐝𝑚𝐾

…

24

0- ノルム最小化問題

より少ない係数で良い近似を得たい標準ノルムは小さな係数を過小評価，誤差大

0- ノルム最小化問題として解く

最適な係数の組合せを探索する問題現実的な計算時間内で解を得ることは不可能貪欲法（ OMP ， MP ）による近似解の探索が一般的


ング

subject to

非零係数の数係数がスパースなほど良い

25

1- ノルム最小化問題

0- ノルム最小化問題は解の探索が困難0- ノルムに代わるスパース性尺度を導入

1- ノルム最小化問題として解く

基底追跡 (BP)法と呼ばれる線形計画問題に帰着


ング

subject to

係数の絶対値和‖𝐲‖1❑=∑

𝑚=0

𝑀− 1

¿ 𝑦 [𝑚 ]∨¿¿

26

基底追跡ノイズ除去 (BPDN)

BP法は多項式時間で解くことができるしかし、画像信号に対し事実上実現が困難

再構成誤差を許容して解く

基底追跡ノイズ除去 (BPDN)法と呼ばれる演算量を大幅に削減可能


ング

忠実度スパース性

制御パラメータ（重み）

27

ソフト縮退ノイズ除去

もし，が正規直交ならば，より


ング

分析合成：：

入力出力

𝜆− 𝜆 𝒯𝜆 (𝑣 [𝑚 ] )

Donoho, Johnstone らの

ソフト縮退処理

原画像とノイズ画像の変換係数

𝑻

𝑫

28

𝑻

𝑫2015/1/30

日本画像学会第 26 回　フリートーキング

29

講演内容

変換と画像処理応用冗長変換の概要信号のスパース表現スパース表現の画像復元応用辞書（変換）設計まとめ


ング

30

スパース表現の画像処理応用画像の劣化／復元モデル


ング

𝐱

観測画像

𝐮未知の原画像

𝐏 +

𝐰観測過程（既知）

AWGN

𝐃𝐲

𝐃�̂�

辞書（既知）

スパース表現

�̂�

復元画像

復元

はスパース

仮定

�̂�=argmi n𝐲12‖𝐱−𝐏𝐃𝐲‖2

2+𝜆𝜌 (𝐲 )

正則化項（スパース性）

問題設定

31

画像復元問題と観測過程画像復元

問題観測過程　

ボケ除去レンズの点広がり関数や手ブレによるボケ

を線形フィルタによりモデル化

超解像低解像度の観測過程を線形フィルタと

間引き処理によりとモデル化

画像修復画素の欠損を不規則間引き処理と零値挿入処理によりとモデル化

圧縮センシング

線形シフト変フィルタと不規則間引き処理により観測行列をとデル化


ング

32

画像復元問題の解法例ー ISTA（繰返し縮退／閾値アルゴリズム）

正則係数の厳密解が得られる

ソフト縮退処理の一般化と見なせる


ング

𝒯 𝜆𝐿

(⋅ )

𝐱観測画像

𝐏𝑇 𝐃𝑇

𝐏 𝐃 �̂�(𝑖−1 )

+ + 𝐃�̂�(𝑖)

�̂�(𝑖)

復元画像

− 1/𝐿�̂�(𝑖−1 )

33

講演内容

変換と画像処理応用冗長変換の概要信号のスパース表現スパース表現の画像復元応用辞書（変換）設計まとめ


ング

34

辞書の選択

解析的辞書数学的な定義に基づいて与えられる明確な構造を持ち，実装時の演算量が少ないDCT, LOT, LBT, DWT ， Contourlet 　など

学習ベース辞書対象信号や画像の事例を用いて設計対象信号や画像に対して詳細に調整可能MOD, K-SVD, SimCO, NSOLT など


ング

35

学習ベース辞書問題設定の典型例

スパース符号化

辞書更新

日本画像学会第 26 回　フリートーキング2015/1/30

スパース符号化

辞書更新

収束

true

false

{𝐱 𝑖}

�̂�

事例画像群

設計辞書

36

(a)

(b)

二次元 NSOLT の設計例

学習ベース設計例


ング

事例画像

学習辞書（アトム群） [Muramatsu,ICASSP2014]２レベル

ツリー構成

三次元 NSOLT の設計例

学習ベース設計例


ング37

[ 村松 ,SIP シンポ 2014]

38

関連技術


ング

�̂�=argmi n𝐲12‖𝐱−𝐏𝐃𝐲‖2

2+𝜆‖𝐲‖1

係数毎の設定・適応化：　 BayesShrink, MSIST など

正則化項の変更　 p ノルム　全変動 (TV) など

　

𝑝 (𝐲|𝐱 )∝𝑝 (𝐱|𝐲 )𝑝 (𝐲 )∝𝑒−‖𝐰‖2

2

2𝜎 𝑤2

⋅𝑒−

‖𝐲‖1

𝜙 𝑦

𝜆=𝜎𝑤

2

𝜙 𝑦

最大事後確率（ＭＡＰ）推

定

等価：

-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

0

0.2

0.4

0.6

0.8

1

x-4 -3 -2 -1 0 1 2 3 4

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x

辞書の設計　 Contourlet, DT-WT など

辞書の学習　 MOD, K-SVD など

局所的画像パッチを利用　 BM3D など非線形モデルへ拡張　カーネル回帰法など

分布を仮定しない　 SURE-LET など

分散最適化

39

まとめ

画像変換とその画像復元応用について概説冗長変換とスパース表現の有用性を解説学習ベース辞書の設計法と設計例を紹介医療用画像，光線場画像などボリューム拡張可関連技術と発展性

本講演が，画像のスパース表現への興味のきっかけとして役立てれば幸いです


ング

40

謝辞

本講演の機会をいただいた（社）日本画像学会編集委員会の皆様に謝意を申し上げます．

本報告内容の研究の一部は科研費 (No. 26420347) の助成を受けた．


ング

41

非冗長系－基底アトムの数が信号次元と等しい場合

アトム集合基底とよぶ．は唯一．双直交基底（例： 9/7DWT ）

正規直交基底（例： DCT ）


ング

が成り立つ

ℝ 2

ℝ 2

𝐝0

𝐝1

𝐝0𝐝1

パーセバルの等式

42

冗長系－フレーム

アトムの数が信号次元より多い場合アトム集合フレームとよぶ．は無数．


ング

𝜆min‖𝐱‖22≤‖𝐃𝑇 𝐱‖2

2≤ 𝜆max‖𝐱‖2

2

ℝ 2

𝐝0

𝐝1𝐝2

直交基底と同じ

43

一般逆行列

標準ノルム最小化問題はラグランジュ定数の導入により

を最小化する問題となる．

より

となるので，最適な係数は，

と導かれる．2015/1/30

日本画像学会第 26 回　フリートーキング

ℒ (𝐲 )=‖𝐲‖22−𝝀𝑇(𝐃𝐲−𝐱)

𝜕ℒ (𝐲 )𝜕𝐲

=2𝐲−𝐃𝑇 𝝀=0

2𝐃𝐲=2 𝐱=𝐃𝐃𝑇 𝝀 𝝀=2 (𝐃𝐃𝑇 )− 1𝐱

�̂�=𝐃𝑇 (𝐃𝐃𝑇 )− 1𝐱=𝐃+¿ 𝐱 ¿

ムーア・ペンローズ一般逆行列

44

直交マッチング追跡法 (OMP)

残差に最も近いアトムを逐次選択


ング

𝐝0

𝐝1𝐝2

𝐝0

𝐝1𝐝2

𝑦 [0]𝐝0

𝐱

𝐝0

𝐝1𝐝2

𝐱− 𝑦 [ 0 ]𝐝0

残差

𝑦 [1 ]𝐝1

選択されたアトムのみを用いて最小二乗法により係数を更新

繰り返す

45

基底追跡法 (BP)

最短経路となるようアトムを選択


ング

𝐝0

𝐝1𝐝2

𝐱

𝑦 [0]𝐝0

𝑦 [1 ]𝐝1

subject to

subject to and

線形計画法に帰着

𝐳= [𝐲 +¿ ¿ 𝐲−]∈ℝ 2𝑁

𝐲=𝐲 +¿−𝐲−∈ℝ𝑁 ¿

𝐱=𝐃𝐲=𝐃 ¿

Engineering

冗長変換とその画像復元応用