ベイジアンモデリングと確率的画像処理 Bayesian …kazu/tutorial...Bayes 規則(Bayes Rule) とも言う． B ベイジアンネットワーク 14 January, 2010 Hokkaido

14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo）） 11

ベイジアンモデリングと確率的画像処理ベイジアンモデリングと確率的画像処理Bayesian Modeling andBayesian Modeling and

Probabilistic Image ProcessingProbabilistic Image Processing

東北大学東北大学大学院情報科学研究科大学院情報科学研究科

田中田中和之和之

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/


ContentsContents

1.1. 序論序論2.2. ベイズ統計の基礎ベイズ統計の基礎3.3. 確率的画像処理確率的画像処理4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル5.5. 確率伝搬法確率伝搬法6.6. 統計的性能評価統計的性能評価7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング8.8. まとめと展開まとめと展開


確率的情報処理確率的情報処理

理詰めの情報処理法則・命題群からの予測

現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない．必要なデータが完全に得られるわけではない．大量のデータは得られるが必要な情報の抽出が難しい．大量のデータは得られるが必要な情報の抽出が難しい．

「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!

不確実性の数学的表現→確率・統計不確実性の数学的表現→確率・統計


確率的情報処理確率的情報処理

確率的画像処理ネットワーク構造をもつ

数理モデル

単純な機能を持つたくさんの要素が関連し合い，互いに協力して複雑・高度な機能を生み出す．

不確実性を伴うデータに耐えうる推論システム

モデル化

ノードは事象，矢印は条件付き確率に対応

不確実性の数学的表現→確率・統計

重要な概念のひとつ


ContentsContents

1.1. 序論序論

2.2. ベイズ統計の基礎ベイズ統計の基礎

3.3. 確率的画像処理確率的画像処理

4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル

5.5. 確率伝搬法確率伝搬法

6.6. 統計的性能評価統計的性能評価

7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング

8.8. まとめと展開まとめと展開

14 January, 2010Hokkaido University GCOE Tutorial

(Sapporo） 6

結合確率と条件付き確率

{ } { }{ }

{ } { } { }AABBAABAAB

PrPr,PrPr

,PrPr

=⇒

≡A

B

条件付き確率と結合確率条件付き確率と結合確率

事象Aの起こる確率 }Pr{A

事象 A と事象 B の結合確率 { } { }BABA IPr,Pr =


(Sapporo） 7

結合確率と事象の独立性

{ } { }BAB PrPr =A

B

事象 A と事象 B が互いに独立であるときの

条件付き確率条件付き確率

事象 A と事象 B が互いに独立である

{ } { } { }BABA PrPr,Pr =

A

B


(Sapporo） 8

周辺確率

{ } { }∑=

=M

jj BAB

1

,PrPr

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表されるとき

結合確率 Pr{Ai,B} における事象 B の周辺確率 (Marginal Probability) 周辺化周辺化

AAii B

{ } { }∑=A

BAB ,PrPrAA B

簡略表記

事象 A の取り得るすべての互いに排反な事象についての和


(Sapporo） 9

結合確率と周辺確率

{ } { }∑∑∑=A C D

DCBAB ,,,PrPr

事象 B の周辺確率

AA BB

CC DD周辺化周辺化MarginalizeMarginalize


(Sapporo） 10

連続確率変数の周辺確率密度関数

確率変数 Y の周辺確率密度関数 (Marginal Probability Density Function)

( ) ( )dxyxyY ∫+∞

∞−= ,ρρ


(Sapporo） 11

ガウス分布（正規分布） N(μ,σ2)

( ) ( ) ⎟⎠⎞

⎜⎝⎛ −−= 2

22 21exp

21 μ

σπσρ xx

[ ] μ=XE [ ] 2V σ=X

∫∞+

∞−=⎟

⎠⎞

⎜⎝⎛− πξξ 2

21exp 2 d

平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる

平均μ，分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数

( )+∞<<∞− xp(x)

μ x0

)0( >σ


(Sapporo） 12

多次元ガウス分布

( )( )

( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛−−

−−−= −

Y

XYX y

xyxyx

μμ

μμπ

ρ 1

2,

21exp

det2

1, CC

( )∫ ∫ ∫∞+

∞−

∞+

∞−

∞+

∞−− =⎟

⎠⎞

⎜⎝⎛− CC det2

21exp 1T ddxx πξ

rrrL

d 次元ガウス積分の公式から導かれる

行列 C を正定値の実対称行列として，２次元ガウス分布(Two-Dimensional Gaussian Distribution) の確率密度関数

( )+∞<<∞−+∞<<∞− yx ,

C=⎟⎟⎠

⎞⎜⎜⎝

⎛]V[],Cov[

],Cov[]V[YXY

YXX

一般の次元への拡張も同様

において行列 C が共分散行列になる．


(Sapporo） 13

ベイズの公式の導出

{ } { } { }BBABA PrPr,Pr =


(Sapporo） 14


{ } { } { }AABBA PrPr,Pr =



(Sapporo） 15



{ } { }{ }B

BABAPr

,PrPr =



(Sapporo） 16



{ } { }{ }

{ } { }{ }B

AABB

BABAPr

PrPrPr

,PrPr ==



(Sapporo） 17



{ } { }{ }

{ } { }{ }

{ } { }{ }∑

=

==

ABAAAB

BAAB

BBABA

,PrPrPr

PrPrPr

Pr,PrPr


{ } { }∑=A

BAB ,PrPr


(Sapporo） 18



{ } { }{ }

{ } { }{ }

{ } { }{ }

{ } { }{ } { }∑∑

==

==

AAAAB

AABBAAAB

BAAB

BBABA

PrPrPrPr

,PrPrPr

PrPrPr

Pr,PrPr


{ } { }∑=A

BAB ,PrPr


(Sapporo） 19



{ } { }{ }

{ } { }{ }

{ } { }{ }

{ } { }{ } { }∑∑

==

==

AAAAB

AABBAAAB

BAAB

BBABA

PrPrPrPr

,PrPrPr

PrPrPr

Pr,PrPr

A

B


{ } { }∑=A

BAB ,PrPr


(Sapporo） 20

ベイズの公式 (Bayes Formula)

事後確率 (A Posteriori Probability)

事前確率(A PrioriProbability)

{ } { } { }{ } { }∑

=

AAAB

AABBA

PrPrPrPr

Pr

A

BBayes 規則 (Bayes Rule) とも言う．

ベイジアンネットワーク


(Sapporo） 21

ベイズの公式による確率的推論の例

A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．

教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる.

甘利俊一：情報理論 (ダイヤモンド社，1970) より


(Sapporo） 22

ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの1/4 にすぎない．

教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．

教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．


(Sapporo） 23

ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの1/4 にすぎない．

{ }41Pr =教授機嫌良い { }

43Pr =教授機嫌悪い

教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．

教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

{ }87Pr =教授機嫌良い秘書機嫌良い

{ }41Pr =教授機嫌悪い秘書機嫌良い


(Sapporo） 24

ベイズの公式による確率的推論の例（３）

{ }{ } { }{ } { }教授機嫌悪い教授機嫌悪い秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し

PrPr

PrPrPr

+

=


(Sapporo） 25


{ }{ } { }{ } { }教授機嫌悪い教授機嫌悪い秘書機嫌良し


秘書機嫌良し

PrPr

PrPrPr

+

=



{ }87Pr =教授機嫌良い秘書機嫌良い{ }

41Pr =教授機嫌悪い秘書機嫌良い


(Sapporo） 26




{ }87Pr =教授機嫌良い秘書機嫌良い{ }

41Pr =教授機嫌悪い秘書機嫌良い

{ }{ } { }{ } { }

3213

43

41

41

87

PrPr

PrPrPr

=×+×=

+

=

教授機嫌悪い教授機嫌悪い秘書機嫌良し


秘書機嫌良し


(Sapporo） 27

ベイズの公式による確率的推論の例（４）

{ }41Pr =教授機嫌良い

{ }3213Pr =秘書機嫌良い

{ }87Pr =教授機嫌良い秘書機嫌良い

{ }

{ } { }{ } 13

7

3213

41

87

PrPrPr

Pr

=×

==秘書機嫌良し


秘書機嫌良し教授機嫌良し


(Sapporo） 28

最尤推定(Maximum Likelihood Estimation)

( ) ( )∏−

=⎟⎟⎠

⎞⎜⎜⎝

⎛−−≡

1

0

222 2

1exp2

1,N

iiggP μ

σπσσμr

( )( )

( )σμσμσμ

,maxargˆ,ˆ,

gP r=

データ

( )

( )0

,

0,

ˆ,ˆ

ˆ,ˆ

=⎥⎦

⎤⎢⎣

⎡∂

∂

=⎥⎦

⎤⎢⎣

⎡∂

∂

==

==

σσμμ

σσμμ

σσμ

μσμ

gP

gP

∑−

==

1

0

1ˆN

iig

Nμ ( )∑

−

=−=

1

0

22 ˆ1ˆN

iig

Nμσ

極値条件

平均μと標準偏差σが与えられたときの確率密度関数をデータが与えられたときの平均μと分散σ

2に対

する尤もらしさを表す関数（尤度関数）とみなす．

gr

標本平均標本分散

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

−1

1

0

Ng

gg

gM

rσμ,

パラメータ


ContentsContents

1.1. 序論序論









(Sapporo） 30

画像修復の確率モデル

原画像劣化画像

通信路

雑音

{ } { } { }{ }

43421

48476444 8444 76444 8444 76

周辺尤度

事前確率尤度事後確率

劣化画像

原画像原画像劣化画像劣化画像原画像

PrPr|Pr|Pr =

白色ガウス雑音原画像劣化画像 +=


(Sapporo） 31

Prior Probability in Probabilistic Image Processing

{ } ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

221expPr αrr


(Sapporo） 32

2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？

>

== >

周りが白ければ着目画素も白くあるべき

2/α−∝ e 2/α−∝ e1∝1∝


(Sapporo） 33

2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなるもっとたくさん集まったらどうなるか?

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？-？== >

> >=

2/α−∝ e 2/α−∝ e1∝1∝


(Sapporo） 34

ゆらぎが大きいときに何が実際に起こっているのか? p

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

無秩序状態秩序状態ゆらぎが大きく点の近くのパターン

α が小さい α が大きい

最近接画素間の共分散

マルコフ連鎖モンテカルロ法によるサンプリング

Markov Networkα


(Sapporo） 35

ゆらぎが大きいときのパターンを画像処理に使えるか?

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0α

最近接画素間の共分散

p

似ている

Markov Network大小


(Sapporo） 36

事前確率(Prior Probability)

{ } ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

2)(21expPr αrr

0005.0=α 0030.0=α0001.0=α

マルコフ連鎖モンテカルロ法

{ }VV ,,2,1 L=

links theall ofSet :E


(Sapporo） 37

加法的白色ガウスノイズ(Additive White Gaussian Noise)

{ } ( )∏∈

⎟⎠⎞

⎜⎝⎛ −−∝==

Viii yxxXyY 2

221expPrσ

rrrr

劣化過程


(Sapporo） 38

ベイズ統計と画像処理

{ } { } { }{ }

( ) ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝

=

======

∑∑∈∈ Eji

jiVi

ii xxyx

yY

xXxXyYyYxX

},{

222 2

12

1exp

Pr

PrPrPr

ασ

rr

rrrrrrrrrr

xr g

{ }xX =Pr { }xXyY rrrr==Pr yr

原画像劣化画像事前確率

事後確率

加法的白色ガウス雑音または２元対称通信路

画像処理は平均，分散，共分散の計算に帰着


(Sapporo） 39

Statistical Estimation of Hyperparameters

∑ =====z

zXzXyYyYr

rrrrrrrr}|Pr{},|Pr{},|Pr{ ασσα

( )},|Pr{max arg)ˆ,ˆ(

,σασα

σαyY rr

==

xr g

Marginalized with respect to X

}|Pr{ αxX rr= },|Pr{ σxXyY rrrr

== yrOriginal Image

Marginal Likelihood

Degraded ImageΩy

x

},|Pr{ σαyY rr=

Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.


(Sapporo） 40

Maximization of Marginal Likelihood by EM Algorithm

∑ =====z

xXzXyYyYr

rrrrrrr}|Pr{},|Pr{},|Pr{ ασσαMarginal

Likelihood

( ) },|,Pr{ln}',',|Pr{

,',',

∑ =====z

yYzXyYzX

yQ

r

rrrrrrrr

r

σασα

σασα

( ) ( )( )

( ) ( )( )( )

( ) ( )( ).,,maxarg1,1 :Step-M

},|,Pr{ln)}(),(,|Pr{

,, :Step-E

,ttQtt

yYzXttyYzX

ttQ

zσασασα

σασα

σασα

βα←++

====← ∑r

rrrrrrrr

E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm

Q-Function


ContentsContents

1.1. 序論序論









(Sapporo） 42

Gaussian Graphical Model(Gauss Markov Random Fields)

( )

( ) ( )

⎟⎠⎞

⎜⎝⎛ −−−=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝ ∑∑

∈∈

xxyx

xxyx

yxP

Ejiji

Viii

rrrr

rr

CT22

},{

222

21

21exp

21

21exp

,,|

ασ

ασ

σα

( ) ( )( ) ( ) ⎟

⎠⎞

⎜⎝⎛

+−

+= yyyP

Vrrr

CIC

CI

C2

T2 2

1expdet2

det,ασ

αασπ

ασα

( ) yxdyxPxx rrrrrr 12)|(ˆ −+== ∫ CI ασ

Multidimensional Gauss Integral Formulas

( )( )

( )σασασα

,max argˆ,ˆ,

gP r=

Maximum Likelihood Estimation EM Algorithm

),( +∞−∞∈ix

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


(Sapporo） 43

Degraded Image

Statistical Estimation of Hyperparameters

∫ ===== zdzXxXyYyY rrrrrrrrr},|Pr{},|Pr{},|Pr{ γασσα

( )},|Pr{max arg)ˆ,ˆ(

,σασα

σαyY rr

==

xr g

Marginalized with respect to X

}|Pr{ αxX rr= },|Pr{ σxXyY rrrr

== yrOriginal Image

Marginal Likelihood

},|Pr{ σαyY rr=

Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.


(Sapporo） 44

1次元信号に対する例

EM Algorithm

i

i

i

0 127 255

0 127 255

0 127 255

100

0

200

100

0

200

100

0

200

ix

iy

ix̂

Original Signal

Degraded Signal

Estimated Signal

40=σ

( ) ( )( )

( )( ) ( )( ).,,maxarg

1,1

,ttQ

ttσασα

σα

σα←

++


(Sapporo） 45

Bayesian Image Analysis by Gaussian Graphical Model

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100( )tσ

( )tαyr f̂

r

ytttx rr 12 ))()(()(ˆ −+= CI σα

Iteration Procedure of EM algorithm in Gaussian Graphical Model

EM

f̂r

yr( )

),|(max arg)ˆ,ˆ(,

σασασα

gP=

40=σ

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

yttQtt rσασασασα

←++

0007130ˆ624.37ˆ

.==

ασ


(Sapporo） 46

Image Restoration by Gaussian Graphical Model and Conventional Filters

( )2ˆ||

1MSE ∑∈

−=Vi

ii ffV

315Gaussian Graphical Model

445(5x5)

486(3x3)Median Filter

413(5x5)

388(3x3)Lowpass Filter

MSE

(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianGaussian Gaussian Graphical Graphical

ModelModel

Original ImageOriginal ImageDegraded Degraded Image (Image (σσ=40)=40)

V:Set of all the pixels


ContentsContents

1.1. 序論序論









(Sapporo） 48

計算困難のポイントは何か

2N 通りの和が計算できるか？

( )∑ ∑ ∑= = =1,0 1,0 1,0

211 2

,,,x x x

NN

xxxf LL

( )

}}

} ;,,,

){1,0for(

){1,0for( 0,1){for(

;0

21

2

1

M

L

M

N

Nxxxfaa

x

xx

a

+←

=

=

=←

N 重ループ

このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分，L=30個で約12日，L=40個で約34年かかる．

厳密に計算するのは一部の特殊な例を除いて難しい．

マルコフ連鎖モンテカルロ法確率伝搬法今回


(Sapporo） 49

周辺確率(Marginal Probability)

を厳密に計算するのは一部の特殊な例を除いて難しい．

一部の特殊な例とは何か？一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか．

→ アルゴリズム化できるか？動くか？

精度はどの程度か？

( ) ( )∑∑∑ ∑=2 3 4

,,,,, 432111x x x x

NN

xxxxxPxP LL

( ) ( )∑∑∑ ∑=1 3 4

,,,,, 432122x x x x

NN

xxxxxPxP LL

( ) ( )∑∑ ∑=3 4

,,,,,, 43212112x x x

NN

xxxxxPxxP LL


(Sapporo） 50

扱いやすい確率モデルのグラフ表現


(Sapporo） 51


A B C D E∑∑∑∑∑A B C D E


(Sapporo） 52



A B∑∑∑∑∑=A B C D E

B C D EX


(Sapporo） 53



A B∑∑∑∑∑=A B C D E

B C D EX

A B∑∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

B C D E A B C D E


(Sapporo） 54



A B∑∑∑∑∑=A B C D E

B C D EX

A B∑∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

B C D E A B C D E

A B


(Sapporo） 55



A B∑∑∑∑∑=A B C D E

B C D EX

A B∑∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

B C D E A B C D E

A B

A B C D E∑∑∑∑=B C D E


(Sapporo） 56


A B C D E∑∑∑∑B C D E


(Sapporo） 57


∑∑∑∑=B C D E

C D EX


A B C


(Sapporo） 58


∑∑∑∑=B C D E

C D EX

∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

C D E B C D E


A B C

A B C X


(Sapporo） 59


∑∑∑∑=B C D E

C D EX

∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

C D E B C D E

B C


A B C

A B C X


(Sapporo） 60


∑∑∑∑=B C D E

C D EX

∑∑∑ ∑ ⎟⎟⎠

⎞⎜⎜⎝

⎛=

C D E B C D E

B C


A B C

A B C

B C D E∑∑∑=C D E

X


(Sapporo） 61




(Sapporo） 62





(Sapporo） 63






(Sapporo） 64





C D E∑∑=D E


(Sapporo） 65





C D E∑∑=D E

D E∑=E


(Sapporo） 66


A

B

EC∑∑∑∑∑∑A B C D E F

D

F


(Sapporo） 67


A

B


D

F

A

B

EC

D

F

∑∑∑∑∑=B C D E F


(Sapporo） 68


A

B


D

F

A

B

EC

∑∑∑∑=C D E F

D

FA

B

EC

∑∑∑∑∑=B C D E F

D

F


(Sapporo） 69


A

B


D

F

A

B

EC

∑∑∑∑=C D E F

D

FA

B

EC

∑∑∑∑∑=B C D E F

D

F

EC∑∑∑=D E F

D

F


(Sapporo） 70


A

B


D

F

A

B

EC

∑∑∑∑=C D E F

D

FA

B

EC

∑∑∑∑∑=B C D E F

D

F

EC∑∑∑=D E F

D

F

EC∑∑=E F

D

F


(Sapporo） 71


A

B


D

F

A

B

EC

∑∑∑∑=C D E F

D

FA

B

EC

∑∑∑∑∑=B C D E F

D

F

EC∑∑∑=D E F

D

F

EC∑∑=E F

D

F

E∑=F F


(Sapporo） 72

確率的画像処理における確率伝搬法(Belief Propagation)


(Sapporo） 73


着目画素とその近傍画素だけを残すと木構造になる．


(Sapporo） 74


着目画素とその近傍画素だけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴ

リズムとしての転用


(Sapporo） 75


∑∑∑ ∑=1 3 4x x x xN

L 2 2

( ) ( )∑∑∑ ∑=1 3 4

,,,,, 432122x x x x

NN

xxxxxPxP LL

≅


(Sapporo） 76


∑∑ ∑=3 4x x xN

L

( ) ( )∑∑ ∑=3 4

,,,,,, 43212112x x x

NN

xxxxxPxxP LL

1 2 1 2≅


(Sapporo） 77


211 7

6

88

( ) ( )∑=1

211222 ,x

xxPxP

Message Update Rule

144

5

33

2

6

88

77

3

2 1

5

4∑=1x

12


(Sapporo） 78

閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)

( )MMrrr

Ψ= メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．ただし，得られる結果は厳密ではなく近似アルゴリズム

２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる

3

2 1

5

413→M

14→M

15→M∑=

1x1

21→M2


(Sapporo） 79

Fixed Point Equation and Iterative Method

Fixed Point Equation ( )** MMrrr

Φ=Iterative Method

( )( )( )

M

rr

rr

rr

23

12

01

MM

MM

MM

Φ←

Φ←

Φ←

0M1M

1M

0

xy =

)(xy Φ=

y

x*M


(Sapporo） 80

確率的画像処理における確率伝搬アルゴリズムの基本構造

ひとつの画素ごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

画素上での動作の様子の一例


(Sapporo） 81

確率伝搬法(Belief Propagation)とEMアルゴリズム

Input

Output

BP EM

Update Rule of BP

２１

３

４

５


(Sapporo） 82

Maximization of Marginal Likelihood by EM Algorithm

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

gttQtt rσασασασα

←++

yr

( )ymx rrr ,ˆ,ˆˆ σα=

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100

Loopy Belief Propagation

Exact

0006000ˆ335.36ˆ

.==

LBP

LBP

ασ

0007130ˆ624.37ˆ

.==

Exact

Exact

ασ

α

σ


(Sapporo） 83

Image Restoration by Gaussian Graphical Model

Original ImageOriginal Image Degraded ImageDegraded Image

MSE: 1529MSE: 1529

MSE: 1512MSE: 1512

EM Algorithm with Belief Propagation

( )2ˆ|V|

1MSE ∑∈

−=Vi

ii xx

14 January, 2010 84Hokkaido University GCOE Tutorial

(Sapporo）

Image Restoration by Image Restoration by Gaussian Graphical ModelGaussian Graphical Model

Original ImageOriginal Image

MSE:315MSE:315

MSE: 545MSE: 545 MSE: 447MSE: 447MSE: 411MSE: 411

MSE: 1512MSE: 1512

Degraded ImageDegraded Image

LowpassLowpass FilterFilter Median FilterMedian Filter

Exact

Wiener Filter

( )2ˆ|V|

1MSE ∑∈

−=Vi

ii xx

Belief PropagationBelief Propagation

MSE:325MSE:325


(Sapporo）

Original ImageOriginal Image

MSE236MSE236MSE: 260MSE: 260

MSE: 372MSE: 372 MSE: 244MSE: 244MSE: 224MSE: 224

MSE: 1529MSE: 1529

Degraded ImageDegraded Image Belief PropagationBelief Propagation

LowpassLowpass FilterFilter Median FilterMedian Filter

Exact

Wiener Filter

Image Restoration by Gaussian Image Restoration by Gaussian Graphical ModelGraphical Model


(Sapporo）

Spatially Flatness and Smoothness in Spatially Flatness and Smoothness in MultiMulti--Valued Image ProcessingValued Image Processing

Observed Data

Q-state Potts Model (Flatness)

Original Signal

Q-Ising Model (Smoothness)


(Sapporo） 87

Digital Images Inpaintingbased on MRF

Inpu

t

Out

put

MarkovRandom

FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.


(Sapporo） 88

確率モデルと確率伝搬法

確率的情報処理確率モデル

ベイズの公式

確率伝搬法（Belief Propagation）

J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).C. Berrou and A. Glavieux: Near optimum error correcting coding and decoding: Turbo-codes, IEEE Trans. Comm., 44(1996).

ベイジアンネットワーク


(Sapporo） 89

確率伝搬法の定式化

確率伝搬法と平均場理論の類似性の指摘Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and Practice (MIT Press, 2001).

一般化された確率伝搬法の提案S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energyapproximations and generalized belief propagation algorithms, IEEE Transactions on Information Theory, 51 (2005).

確率伝搬法の情報幾何的解釈S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, 16 (2004).


(Sapporo） 90

統計物理学による確率伝搬法の一般化

一般化された確率伝搬法一般化された確率伝搬法J. S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energy approximations and generalized belief propagation algorithms, IEEE Transactions on Information Theory, 51 (2005).

クラスター変分法という統計物理学の手法クラスター変分法という統計物理学の手法がその一般化の鍵がその一般化の鍵R. Kikuchi: A theory of cooperative phenomena, Phys. Rev., 81(1951).T. Morita: Cluster variation method of cooperative phenomena andits generalization I, J. Phys. Soc. Jpn, 12 (1957).


(Sapporo） 91

確率伝搬法の統計物理学的位置付け

確率伝搬法は統計力学のベーテ近似と等価(Kabashima and Saad)．

閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝搬法はベーテ近似またはその拡張版であるクラスター変分法に等価である（Yedidia, Weiss and Freeman, NIPS2000）．

ベーテ近似=確率伝搬法

木構造のグラフィカルモデルの確率伝搬法=転送行列法

クラスター変分法（菊池近似）

一般化された確率伝搬法


(Sapporo） 92

イジング模型の確率変数の期待値

(a) 平均場近似（ワイス近似）(b) ベーテ近似=確率伝搬法

(c) クラスター変分法（菊池近似）=一般化された確率伝搬法

(a) 厳密解（L. Onsager）

α/1

∑∞→ x

iNxPx

r

r)(lim

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−∝

=

∑∈ Eji

ji

N

xx

xxxPxP

},{

2

21

)(21exp

),,,()(

α

Lr

1±=ix


ContentsContents

1.1. 序論序論









(Sapporo） 94

標本平均による統計的性能

xr

Signal


(Sapporo） 95


1yr

xr2yr

3yr

4yr

5yr

ObservedData

SignalA

dditi

ve W

hite

G

auss

ian

Noi

se


(Sapporo） 96


1yr

xr2yr

3yr

4yr

5yr

1x̂r

2x̂r

3x̂r

4x̂r

5x̂rPost

erio

r Pr

obab

ility

Estimated ResultsObserved

Data

SignalA

dditi

ve W

hite

G

auss

ian

Noi

se


(Sapporo） 97


1yr

xr2yr

3yr

4yr

5yr

1x̂r

2x̂r

3x̂r

4x̂r

5x̂rPost

erio

r Pr

obab

ility


Data

Mean Square Error の標本平均

SignalA

dditi

ve W

hite

G

auss

ian

Noi

se

∑=

−≅5

1

2||ˆ||51][MSE

nnxx rr


(Sapporo） 98

脳の物理モデルの記憶容量，パーセプトロンの容量の評価に類似の議論


1yr

xr2yr

3yr

4yr

5yr

1x̂r

2x̂r

3x̂r

4x̂r

5x̂rPost

erio

r Pr

obab

ility


Data

Mean Square Error の標本平均

Signal

スピングラス理論による解析的評価が可能

Add

itive

Whi

te

Gau

ssia

n N

oise

∑=

−≅5

1

2||ˆ||51][MSE

nnxx rr


(Sapporo） 99

強磁性体と確率モデル強磁性体と確率モデル

>

=

=

>

=

=

x

y

画像は各画素ごとの強さの異なる光であらわされる．

0 255

共通点：まわりと同じ状態をとろうとする

Ising モデル

Markov Random Field (MRF) モデル


(Sapporo） 100

0

0.1

0.2

0.3

0.4

0 0.2 0.4 0.6 0.8 1

Statistical Performance Estimation for Bayesian Networks

∑ −=Data

2 }Signal|DataPr{SignalData),Estimate(1)Signal|(MSE ααV

0

200

400

600

0 0.001 0.002 0.003α

σ=40

)Signal|(MSE α

σ=1

α

)Signal|(MSE α

Spin Glass Theory in Statistical Mechanics

Mean Sqauare Error


ContentsContents

1.1. 序論序論









(Sapporo） 102

Belief Propagation for Bayesian Networks


(Sapporo） 103

Hidden Markov Models

隠れマルコフモデルはベイジアンネットワークのひとつ．隠れマルコフモデルはベイジアンネットワークのひとつ．前向き・後向きアルゴリズムは確率伝搬法に対応．前向き・後向きアルゴリズムは確率伝搬法に対応．


(Sapporo） 104

誤り訂正符号での確率伝搬法

)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

110011

6

5

4

3

2

1

xxxxxx


(Sapporo） 105


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

110011

6

5

4

3

2

1

xxxxxx

1)2 (mod 1000)2 (mod 1010)2 (mod 011

9

8

7

=++=

=++=

=++=

XXX


(Sapporo） 106


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

110011

6

5

4

3

2

1

xxxxxx

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

100110011

9

8

7

6

5

4

3

2

1

xxxxxxxxx

1)2 (mod 1000)2 (mod 1010)2 (mod 011

9

8

7

=++=

=++=

=++=

XXX

符号語


(Sapporo） 107


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

110011

6

5

4

3

2

1

xxxxxx

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

100110011

9

8

7

6

5

4

3

2

1

xxxxxxxxx

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

101110111

9

8

7

6

5

4

3

2

1

yyyyyyyyy

1)2 (mod 1000)2 (mod 1010)2 (mod 011

9

8

7

=++=

=++=

=++=

XXX

1 1

0

p−1

1

0

0p−1

p

p

受信語

符号語

2元対称通信路


(Sapporo） 108


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=


(Sapporo） 109


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=


(Sapporo） 110


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=


(Sapporo） 111


)2 (mod )2 (mod )2 (mod

6439

5328

3217

XXXXXXXXXXXX

++=

++=

++=

TurboTurbo符号，符号，LDPCLDPC符号の基礎となる概念符号の基礎となる概念


ContentsContents

1.1. 序論序論









(Sapporo） 113

確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門

ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布確率伝搬法（確率伝搬法（Belief PropagationBelief Propagation））磁性体の統計理論による統計的性能評価磁性体の統計理論による統計的性能評価


(Sapporo） 114

確率的情報処理の深化と展開

通信理論・像情報処理・確率推論

More is different

統計科学

統計的学習理論

情報統計力学計算理論

日常生活の情報処理

データマイニング

複雑ネットワーク科学

例えばSAT

量子情報

生命情報科学

例えば量子誤り訂正符号，量子アニーリング

例えばSVMを用

いた遺伝子解析

例えば機械学習への応用

平均場法スピングラス理論

ベイズ法最尤法


ReferencesReferences1.1. H. Nishimori: Statistical Physics of Spin Glasses and InformatioH. Nishimori: Statistical Physics of Spin Glasses and Information n

Processing, Processing, ------An Introduction, Oxford University Press, 2001.An Introduction, Oxford University Press, 2001.2.2. M. Opper and D. M. Opper and D. SaadSaad D (D (edseds): Advanced Mean Field Methods ): Advanced Mean Field Methods ------

Theory and Practice, MIT Press, 2001.Theory and Practice, MIT Press, 2001.3.3. A. K. Hartmann and H. A. K. Hartmann and H. RiegerRieger: Optimization Algorithms in Physics, : Optimization Algorithms in Physics,

WileyWiley--VCHVCH,, 2001.2001.4.4. A. K. Hartmann and M. A. K. Hartmann and M. WeigtWeigt: Phase Transitions in Combinatorial : Phase Transitions in Combinatorial

Optimization Problems, WileyOptimization Problems, Wiley--VCH,VCH, 20052005..5.5. C. M. Bishop: Pattern Recognition and Machine Learning, SpringerC. M. Bishop: Pattern Recognition and Machine Learning, Springer, ,

2006.2006.6.6. M. J. Wainwright and M. I. Jordan: Graphical Models, ExponentialM. J. Wainwright and M. I. Jordan: Graphical Models, Exponential

Families, and Families, and VariationalVariational Inference, now Publishing Inc, 2008.Inference, now Publishing Inc, 2008.7.7. M. M. MezardMezard, A. , A. MontanariMontanari: Information, Physics, and Computation, : Information, Physics, and Computation,

Oxford University Press, 2009.Oxford University Press, 2009.


ReferencesReferences

1.1. 田中和之編著田中和之編著: : 臨時別冊・数理科学臨時別冊・数理科学SGCSGCライブライブラリ「確率的情報処理と統計力学ラリ「確率的情報処理と統計力学 ------様々なア様々なアプローチとそのチュートリアル」プローチとそのチュートリアル」, , サイエンス社サイエンス社, , 20062006年年99月月..

2.2. 田中和之著田中和之著: : 確率モデルによる画像処理技術確率モデルによる画像処理技術入門入門, , 森北出版森北出版, 2006, 2006年年99月月..

3.3. 田中和之著田中和之著: : ベイジアンネットワークの統計的ベイジアンネットワークの統計的推論の数理推論の数理，，コロナ社コロナ社, 2009, 2009年年1010月．月．


文部科学省科学研究費補助金特定領域研究

「情報統計力学の深化と展開」

文部科学省文部科学省科学研究費補助金科学研究費補助金特定領域研究特定領域研究

「「情報統計力学の深化と展開情報統計力学の深化と展開」」

２００６年４月－２０１０年３月領域代表：樺島祥介（東工大総合理工）２００２００６６年４月－２０年４月－２０１０１０年３月年３月領域代表：樺島祥介（東工大総合理工）領域代表：樺島祥介（東工大総合理工）

http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/http://dexhttp://dex--smi.sp.dis.titech.ac.jp/DEXsmi.sp.dis.titech.ac.jp/DEX--SMISMI//

情報統計力学検索

DEX-SMI 検索

北大におけるメンバー：井上純一


DEXDEX--SMISMI EventsEventsInternational Workshop International Workshop on Statisticalon Statistical--Mechanical Informatics (IWMechanical Informatics (IW--SMI)SMI)

IWIW--SMI2007 (13SMI2007 (13--16 September, 2007, Kyoto)16 September, 2007, Kyoto)Information and Communication Technology and SMI Information and Communication Technology and SMI

IWIW--SMI2008 (14SMI2008 (14--17 September, 2008, Sendai)17 September, 2008, Sendai)Quantum Information Processing and SMI Quantum Information Processing and SMI

IWIW--SMI2009 (13SMI2009 (13--16 September, 2009, Kyoto)16 September, 2009, Kyoto)BioBio--Informatics and SMIInformatics and SMI

IWIW--SMI2010 (7SMI2010 (7--10 March, 2010, Kyoto)10 March, 2010, Kyoto)StatisticalStatistical--Mechanical Informatics (SMI)Mechanical Informatics (SMI)

Proceedings Proceedings Journal of Physics: Conference Series (IOP)Journal of Physics: Conference Series (IOP)

情報統計力学検索

DEX-SMI 検索

Documents

ベイジアンモデリングと確率的画像処理 Bayesian …kazu/tutorial...Bayes 規則(Bayes Rule) とも言う． B ベイジアンネットワーク 14 January, 2010 Hokkaido