電気・通信・電子・情報工学実験D 確率的情報処理 …kazu/ECEI-Experiment...平均 μ，分散 σ2 のガウス分布 N(µ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を

April, 2018 電気・通信・電子・情報工学実験D

[Kazuyuki Tanaka Practice] 1

電気・通信・電子・情報工学実験D確率的情報処理の基礎技術Practice(2018年4月)

東北大学大学院情報科学研究科

田中和之

[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/

本実験DのWebpage:http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2018/



本講義の参考文献

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006. 安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009.

Contents

1.  序論：確率的情報処理とベイジアンネットワーク2.  確率の基礎知識3.  確率的計算技法の基礎

---マルコフ連鎖モンテカルロ法と確率伝搬法--- 4.  確率的画像処理とベイジアンネットワーク

---マルコフ確率場と確率伝搬法--- 5.  確率推論とベイジアンネットワーク

---グラフィカルモデルと確率伝搬法--- 6.  まとめ





まとめ

不確実さを伴う情報処理と確率

各種確率的情報処理

データのゆらぎをてなずける画像処理フィルター・確率推論システムの設計へ

詳細はhttp://www.smapip.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/

April, 2018 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

5

確率的情報処理の基礎技術課題

課題レポート提出方法：LaTeX で作成し，最終版を PDF に変換し，電子メール添付にて smapip-acstaff [at mark] smapip.is.tohoku.ac.jp 宛に送付．



 確率的情報処理の基礎技術課題 1

( )( )

( )1 cosh2

exp)( ±== xaaxxP

確率変数 X が ±1 の２値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が

により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し，そのについての値を C 言語，Java またはMatLab を用いて計算し，グラフを書け．

11 ≤≤− a




( )( )

( )1 ,1 cosh4

exp),( ±=±== yxa

axyyxP

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 X が状態 x をとり，かつ事象 Y が状態 y をとり，という事象 (X=x)∩(Y=y) の確率分布 P(x,y) が

により与えられるとき確率変数 X についての周辺確率 P(X) と共分散 Cov[X,Y] の表式を導出せよ．




( ) yxyx ppxyP ,, 1)( 1 δδ −= −

⎟⎟⎠

⎞⎜⎜⎝

⎛ −≡

ppa 1ln

21

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Y が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が

( )( )aaxyxyP

cosh2exp)( =

次の表式でも与えられることを示せ．

ヒント：次の等式を用いる． ( ) ( )1 ,1 121

, ±=±=+= yxxyyxδ( )pp lnexp=cosh(c) は任意の実数 c に対して偶関数




∫∞+

=⎟⎠

⎞⎜⎝

⎛−0

2

221exp π

ξξ d

ガウス積分の公式を証明せよ．

∫∫ ∫

∫ ∫∫

=+∞→

+ +

+∞→

∞+

∞−

+

+∞→

+

−+∞→

⎟⎠

⎞⎜⎝

⎛−=⎟⎠

⎞⎜⎝

⎛ −−=

⎟⎠

⎞⎜⎝

⎛−=⎟⎠

⎞⎜⎝

⎛−=⎟⎠

⎞⎜⎝

⎛−

1

2

0 0

22

0

222

21explim2

21

21explim2

21explim2

21explim

21exp

rR

R R

R

R

R

R

RR

rdrdd

ddd

!

!ηξηξ

ξξξξξξ

ヒント




( ) ( ) ⎟⎠

⎞⎜⎝

⎛ −−= 222 21exp

21

µσπσ

xxp

[ ] µ=XE [ ] 2V σ=X

で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフを書け．

確率変数 X が任意の実数 X をとる連続確率変数であり，その確率密度関数が

( )+∞<<∞− x




一様分布 U(0,1) に従う乱数（一様乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け．

rand()randmax1

←x

C 言語では rand() は0,1,2,…,randmax のなかのいずれかの値をランダムに生成される命令である．randmax の値は rand() の出力の最大値であり，システムによって異なる場合があるので注意．




平均 μ，分散 σ2 のガウス分布 N(µ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け．

任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 µ，分散 σ2/n のガウス分布 N(µ,σ2/n) に従う[中心極限定理]

61221 −+++← xxx !ξ

区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる．

平均 0, 分散 1 のガウス乱数

σξ+µが平均 µ, 分散 σ2 のガウス乱数

ヒント：




( ) ( ) ( )∫ ∫ ∫∞+

∞−

∞+

∞−

∞+

∞−

− =⎟⎠

⎞⎜⎝

⎛ −−− CC det221exp 1T dd πξµξµξ

!!!"

任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明せよ．

13

2

1

000

000000000

−

⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

= UUC

dλ

λ

λ

λ

!

"#"""

!

!

!

( )duuuU !"!! ,,, 11=

行列 C の固有値 λi に対応する固有ベクトル (i=1,2,…,d) とすると行列 C は次のように対角化される

iu!

ヒント：




( )( )

( ) ( )⎟⎠

⎞⎜⎝

⎛ −−−= − µµπ

!!!!! xxxpd

1T

21exp

det2

1 CC

( )

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

+∞∞−∈

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛ /

= d

dx

xx

x ,2

1

!

"

により与えられるとき，その平均ベクトルが，共分散行列が C となることを示せ．

µ!

確率ベクトル変数の各成分がいずれも任意の実数をとる連続確率変数であり，正定値の実対称行列 C に対してその確率密度関数が

X!




非線形方程式 x=tanh(Cx) を反復法を用いて数値的に解くプログラムを作成し，C=0.5, 1.0, 2.0 に対する解を求めよ．また C=0.5, 1.0, 2.0 のそれぞれに対して y=tanh(Cx) と y=x のグラフを書き，C の値により非線形方程式 x=tanh(Cx) がどのような解を持ち，初期値 x0 により反復法がどのような解に収束するかについて議論せよ．

( )( )( )

!

23

12

01

tanhtanhtanh

CxxCxxCxx

←

←

←

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 16

( ) ( ) ( )∑=x'

x'x'xx PwP

( ) ( ) ( ) ( )x'x'xxxx' PwPw =詳細釣り合い

が成り立つことを示せ．

( ) 1=ʹ∑́x

xxwおよびを満たすとき


April, 2018


⎟⎟⎠

⎞⎜⎜⎝

⎛=

2112

31W推移確率行列が　　　　　　　により与えられるとき，

その極限分布　　　　　　　　　　　　を求めよ．但し，　　　　　　　　　　である．⎟⎟

⎠

⎞⎜⎜⎝

⎛=⎟⎟

⎠

⎞⎜⎜⎝

⎛

−

−

)1()0(

)1()0(

1

1

t

t

t

tPP

WPP

⎟⎟⎠

⎞⎜⎜⎝

⎛≡⎟⎟

⎠

⎞⎜⎜⎝

⎛

+∞→ )1()0(

lim)1()0(

t

tt P

PPP


April, 2018


( ) ( )

( ) ( ) ( ) ( ) ( )yMyMyxWxMxM

ya,b,c,d,xPyxP

DCXYXBXA

a b c dXY

22,

,,

→→→→=

=∑∑∑∑

( ) ( )∑≡→a

AXA xaWxM , ( ) ( )∑≡→b

BXB xbWxM ,

( ) ( )∑≡→c

CYC ycWyM , ( ) ( )∑≡→d

DYD ydWyM ,

( ) ( ) ( ) ( ) ( ) ( )ydWycWyxWxbWxaWya,b,c,d,xP DCXYBA ,,,,,, =

確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える．

確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与えられることを示せ．


April, 2018


( ) ( ) ( ) ( ) ( )1151141131121

111 xMxMxMxMZ

xQ →→→→=

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )228227226211211511411312

2112 ,1, xMxMxMxxWxMxMxMZ

xxQ →→→→→→=

( ) ( ) ( ) ( ) ( )∑ →→→→ =

1

115114113211212

1221 ,

xxMxMxMxxW

ZZxM

以下の形に与えられる２つの周辺確率分布

( ) ( )∑=2

211211 ,x

xxQxQを　　　　　　　　　　　　　　に代入することにより次の等式を導出せよ．


April, 2018


{ } { }{ }∑ ==

========= ++−−

iz

LLiiiiiii fFfFfFfFfFgGzFgGfF

gGPrPr

,,,,,,Pr 11111 !!

は画素 i のすべての最近接画素の集合を表す．i∂

{ }{ }

( )

( )∑∏

∏

∑∂∈

∂∈

Φ

Φ

===

==

ii z ijjiji

ijjiji

zfz

ff

,

,

PrPr

},{

},{

gGzFgGfF

確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)T およびその状態ベクトル変数f=(f1,f2,…,f|V|)T および g=(g1,g2,…,g|V|)Tから定義される事後確率

に対して

ZPosterior は規格化定数，Eはすべての最隣接頂点対の集合，

{ }gG ====== ++−− ,,,,,,Pr 11111 LLiiiiiii fFfFfFfFfF !!

が成り立つことを説明し，その上で次の等式が成り立つことを示せ．

ここで

{ } ( )∏∈

Φ===Eji

jiji ffZ },{

},{Posterior

,1Pr gGfF


April, 2018




yL

xL

Q=2, α=2 に対して生成されたサンプルの例L=Lx×Ly

以下の図で与えられる正方格子 L=Lx×Ly によるグラフのすべてのリンクからなる集合を B として各ノードの確率変数 Fi が 0,1,2,…,Q-1 の整数値をとり，結合確率がにより与えられる無向グラフ上の確率モデルから互いに独立な状態 (f1,f2,…,fL) をランダムに N 個生成するプログラムをマルコフ連鎖モンテカルロ法により作成し，様々のαの値に対して数値実験を実行せよ．

{ } ( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛−−= ∑

∈EjijiL FF

ZFFF

},{

2

Prior21 2

1exp1,,,Pr α!

Q=256, α=0.0005 に対して生成されたサンプルの例


各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読み込み各画像ごと独立に平均0，分散σ2の加法的白色ガウスノイズ

により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値実験を実行せよ．ここで，Vはすべての画素からなる集合である．

{ } ( )∏∈

⎟⎠

⎞⎜⎝

⎛ −−===Vi

ii gf 222 21exp

21Pr

σπσfFgG


April, 2018



各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

{ } ( )∏∈

Φ===Bij

jiij ffZ

,1PrPosterior

gGfF

( ) ( ) ( ) ( ) ⎟⎠

⎞⎜⎝

⎛ −−−−−−≡Φ 222

21

81

81exp, jijjiijiij ffgfgfff αββ

具体的なアルゴリズムは田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636.

などを参照．




確率的情報処理の基礎技術課題18のヒント

２１

３

４

５

２１

３

４

５

Step 2: 得られたメッセージをに代入し，原画像の推定値をにより求める．

( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )∑ = →→→→

→→→→← 1

0 115114113112

11511411311211 ,,

zzMzMzMzM

fMfMfMfMfP σαg

( )zPfz 11,01 maxargˆ=

=

Step 1: 4L 個のメッセージについての連立非線形方程式を反復法により数値的に解く．

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

= =→→→

=→→→

→

Φ

Φ

= 1

0

1

01151141132112

1

01151141132112

221

1 2

1

,

,

z z

z

zMzMzMzz

zMzMzMfzfM




各画素の階調値が任意の実数値をとる画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

{ } ( )∏∈

Φ===Eji

jiji ffZ },{

},{Posterior

,1Pr gGfF

( ) ( ) ( ) ( ) ⎟⎠

⎞⎜⎝

⎛ −−−−−−≡Φ 222},{ 2

181

81exp, jijjiijiji ffgfgfff αββ

具体的なアルゴリズムは田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．を参照．




以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の厳密な値を C 言語，Java または MatLab を用いて求めよ．

各条件付き確率表は田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009

のp.50の図3.12と表3.11の値を用いよ．

{ }{ } { } { }{ } { } { }{ } { }21

132425

43667658

821

PrPrPrPrPr

,PrXPr,Pr ,,,Pr

XXXXXXXX

XXXXXXXXXX

×

×

=

!




以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の値を確率伝搬法により計算するプログラムを C 言語，Java または MatLab を用いて求めよ．

各条件付き確率表は「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」のp.50の図3.12と表3.11の値を用いよ．

{ }{ } { } { }{ } { } { } { } { }21132425

43667658

821

PrPrPrPrPr

,PrXPr,Pr ,,,Pr

XXXXXXXX

XXXXXXXXXX

×

=

!

ヒント：具体的なアルゴリズムは「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」の7.2節参照．

Documents

電気・通信・電子・情報工学実験D 確率的情報処理 …kazu/ECEI-Experiment...平均 μ，分散 σ2 のガウス分布 N(µ,σ2) に従う乱数（ガウス乱 数）を発生するプログラムを作成せよ．乱数を

電気・通信・電子・情報工学実験D 確率的情報処理 …kazu/ECEI-Experiment...平均 μ，分散 σ2 のガウス分布 N(µ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を