12015/11/4 第 30 回信号処理シンポジウム

非分離冗長重複変換の事例学習設計における効果的辞書更新

平成２７年１１月４日（水）新潟大学

村松正吾、石井雅基

2

発表内容

研究背景と目的 NSOLT の構成と設計 目的関数の勾配導出 解析的勾配の効果的計算法の提案 確率的勾配降下（ＳＧＤ）法の導入 NSOLT 設計の評価 まとめ

2015/11/4 第 30 回信号処理シンポジウム

3

研究背景 冗長変換の応用例：画像復元

2015/11/4 第 30 回信号処理シンポジウム

𝐛観測画像

𝐱未知の原画像

観測過程

𝐃𝐲

𝐃�̂�

冗長変換（辞書）

スパース表現

�̂�復元画像

復元

冗長変換の選択は復元性能に影響大

4

特徴 非分離性、対称性、重複性を有する冗長変換 事例に基づく設計（辞書学習）が可能

非分離冗長重複変換 (NSOLT)

2015/11/4 第 30 回信号処理シンポジウム

事例画像

学習辞書（要素画像群）[Muramatsu,ICASSP2014]

𝐃

スパース表現による画像復元

2015/11/4 第 30 回信号処理シンポジウム 5

原画像

PSNR→

観測画像

23.84 [dB]

復元画像ウィー

ナー21.99 [dB]

ISTA + →PSNR →冗長度 →

復元画像非間引 HT27.17 [dB]

復元画像NSOLT

27.27 [dB]

6

問題と目的

従来の設計（辞書学習）法 遺伝的アルゴリズム (GA) ＆準ニュートン法

無数の局所解をもつ非線形な目的関数に対応 問題点

パラメータ数が数百、数千　 　設計困難➡ 特に、準ニュートン法に時間を要する 目的関数の数値的勾配（有限差分）計算がボトルネックに

2015/11/4 第 30 回信号処理シンポジウム

【目的】　設計の効率化解析的勾配を導出、確率的勾配降下法を導入

0

0.5

5

1f()

5

1.5

f( )=||y-D x||22

1

2

0

0

2.5

0-5 -5

パーセバルタイト実装（）

Type-I NSOLT のラティス構成

2015/11/4 第 30 回信号処理シンポジウム 7

𝐱 𝐲

垂直 水平

𝐂𝐌𝑇 𝐖0

𝑇

𝐔0𝑇

𝐔𝑛{𝑑 }𝑇

- -

𝑧𝑑− 1 1/2

1/2パラメータ行列

パラメータ行列

𝜃0𝜃1 𝜃𝑝− 1𝜃𝑝

𝜃𝑝(𝑝− 1)/2

𝑠0𝑠1𝑠2𝑠𝑝 −2𝑠𝑝−1

符号パラメー

タ回転角

パラメータ

偶対称

奇対称

8

NSOLT の設計（辞書学習） 問題設定

スパース符号化

辞書更新

第 30 回信号処理シンポジウム2015/11/4

スパース符号化( 変換係数の更新 )

辞書更新( パラメータの更新 )

収束判定

true

false

事例画像群（事例数）

繰返しハード閾値処理

(IHT)

少ない係数で良い近似を得たい

GA 　＋準ニュートン

法

{𝐲 𝑖   }

�̂�

�̂�辞書更新が課題．特に，有限差分による準ニュートン

法辞書（要素画像群）

9

辞書更新の目的関数

目的関数の勾配

ここで、

目的関数の勾配導出

2015/11/4 第 30 回信号処理シンポジウム

𝑓 (𝚯 )= 1𝑆∑

𝑖=0

𝑆−1

‖𝐫 𝑖 (𝚯 )‖22= 1𝑆∑

𝑖=0

𝑆− 1

‖𝐱 𝑖−𝐃𝚯𝐲 𝑖‖22

,

𝐃𝚯

{𝐱 𝑖   } {𝐲 𝑖  }{�̂� 𝑖 (𝚯 ) }誤差

𝜃0𝜃1 𝜃𝑝− 1𝜃𝑝

𝜃𝑝(𝑝− 1)/2

𝜕𝜕𝜃 𝑗

𝑓 (𝚯 )=− 2𝑆∑𝑖=0

𝑆− 1

⟨𝐫 𝑖 (𝚯 ) , 𝜕𝜕𝜃 𝑗

𝐃𝚯 �̂� 𝑖⟩𝐆𝚯 ( 𝑗 )= 𝜕

𝜕𝜃 𝑗𝐃𝚯

{𝐲 𝑖   }{ 𝜕𝜕 𝜃 𝑗

𝐃𝚯 �̂�𝑖}偏微分システ

ム

対象となる回転行列の実装変更のみで良い

0 𝜃 𝑗+𝜋 /2

事例 近似

回転行列の微分

10

解析的勾配計算法の提案 全ての回転角について評価

同じ演算が繰返し現れる　 　➡ 非効率

中間結果の再利用．より，回転 ➡

2015/11/4 第 30 回信号処理シンポジウム

𝜕𝜕𝜃 𝑗

𝑓 (𝚯 )=− 2𝑆∑𝑖=0

𝑆− 1

⟨𝐫 𝑖 (𝚯 ) ,𝑮𝚯 ( 𝑗 )𝐲 𝑖 ⟩�̂� 𝑖𝐆𝚯 ( 𝑗 ) �̂� 𝑖

，

𝐫 𝑖 (𝚯 ) ，

𝐫 𝑖 (𝚯 ) ，

𝐫 𝑖 (𝚯 ) �̂� 𝑖

�̂� 𝑖

�̂� 𝑖

𝑗=0

𝑗= 𝐽−1

回

11

解析的勾配の速度評価 数値的勾配（有限差分）と解析的勾配の比較

２次元，間引き，次数，直流無漏洩， 準ニュートン法（MATLAB R2015b fminunc, 反復数：20回）

2015/11/4 第 30 回信号処理シンポジウム

帯域数 所要時間 [s] 速度比率

最大相対誤差

(DerivativeCheck)数値的 解析的

8+8 120.23 1.45 83.14

9+9 170.79 1.41 121.48

10+10 228.26 1.69 134.93

11+11 282.40 1.85 152.80

12+12 342.52 1.92 178.60CPU: Intel Core i7-3667U 2.00GHz, RAM:8GB, OS: Win8.1Pro(64)

12

全ての事例について評価

事例をランダムに選択して評価

確率的勾配降下 (SGD) 法の導入

2015/11/4 第 30 回信号処理シンポジウム

𝛻𝜽 𝑓 (𝚯 )= 1𝑆∑

𝑖=0

𝑆−1

𝛻𝜽 𝑓 𝑖 (𝚯)

𝛻𝛉 𝑓 𝑖 (𝚯 )=𝛻𝜽‖𝐱 𝑖−𝐃𝚯 �̂�𝑖‖22

𝛻𝜽 𝑓 (𝚯 )∼𝛻𝛉 𝑓 𝑖 (𝚯 )

事例毎の勾配

全事例の勾配（平均）

事例毎の勾配で近似

計算量削減 局所解脱出

𝜽𝑘+1=𝜽𝑘−𝜂𝑘𝛻𝜽 𝑓 (𝚯 )

𝜽𝑘+1=𝜽𝑘−𝜂𝑘𝛻𝜽 𝑓 𝑖𝑘 (𝚯 )

13

要素画像（インパルス応答）群（） 事例：barbaraからの画素パッチ（ランダム抽出）

スパース符号化実験の結果（ PSNR[dB] ） 実験緒言 ()

確率的勾配降下法による設計

2015/11/4 第 30 回信号処理シンポジウム

辞書 goldhill lena barbara baboon

Sparse K-SVD 33.55 34.87 29.35 26.22

SGD-NSOLT （提案法）

33.56 37.40 32.67 25.94

14

まとめ

辞書更新目的関数の解析的勾配を導出 偏微分合成システムを導出，効果的算出法を提案 数値的手法に比べ数十～数百倍の速度向上を確認

確率的勾配降下 (SGD) 法の導入 大規模な設計問題の最適化が可能に Sparse-KSVD と同等か優れた性能も得た

今後の課題 画像復元，特徴抽出等への応用 ボリュームデータへの適用

2015/11/4 第 30 回信号処理シンポジウム