「予測にいかす統計モデリングの基本」第二章 確率による記述：基礎体力をつける

Takahiro Yoshinaga (Univ. of Tokyo)

状態空間モデル勉強会

Based on 「予測にいかす統計モデリングの基本」 , 樋口知之 , 講談社 , 2011

2015 年 2 月 24 日 @UT

2　第二章の概要

「必要な確率論の知識を学ぶ」あとでよく使う道具の定義（ 2.1節）

確率の乗法定理 ベイズの定理

最適化 ⇔ 事後分布の推定最適化問題から統計モデルへ（ 2.2節）

3　 2.1 確率の基礎

例題： 100 人の買い物データ

30 人がコーヒーを買った（ 70 人は買わなかった）　 A ＝ 1 ：コーヒーを買った , A = 0 ：買わない

60 人が牛乳を買った　 B ＝ 1 ：牛乳を買った , B = 0 ：買わない

10 人がコーヒーと牛乳の両方を買った

A B20 10 50

30 60

20

4　 2.1 確率の基礎

例題： 100 人の買い物データA B20 10 50

30 60

20

ある事象の確率：事象が起きた回数と全試行の回数の比　コーヒーを買う確率 P(A=1) = 30/100, 牛乳を買う確率 P(B = 1) = 60/100

重なり部分は同時確率 (A と B が同時に起きる確率 )　コーヒーと牛乳の両方を買う確率 P(A = 1, B = 1) = 10/100

P(A) (P(B)) は B (A) についての足しあわせ：周辺確率　 P(A = 1) = P(A = 1, B = 0) + P(A = 1, B = 1) = 10/100 + 20/100 = 30/100

　 P(B = 1) = P(A = 0, B = 1) + P(A = 0, B = 1) = 10/100 + 50/100 = 60/100

5　 2.1 確率の基礎

例題： 100 人の買い物データA B20 10 50

30 60

20

条件付き確率　コーヒーを買った人の中で牛乳を買う確率 P(B=1|A=1) = 10/30 = 1/3

　　ベン図的には、共通部分 P(A=1, B=1) を全施行 P(A=1) で割る：　　　 P(B=1|A=1) = P(A=1, B=1)/P(A=1) = (10/100)/(30/100) = 10/30

　牛乳を買った人の中でコーヒーを買わない確率： 　　　 P(A=0|B=1) = P(A=0, B=1)/P(A=1) = 50/60

6　 2.1 確率の基礎

Notation

：確率変数 A 上で定義された確率分布　　 A が離散値：ヒストグラム、 A が連続値： A の連続関数

： B が所与のもとでの A の条件付き確率： A, B の同時確率

和をとると 1 ( 確率なので )

和の取り方に注意

規格化条件をかえたらちゃんと規格化されないよ

7　 2.1 確率の基礎

周辺化 (2 つ前のスライド参照 )

確率の乗法定理 (1 つ前のスライド参照 )

ベイズの定理 ( 乗法定理と周辺化の逆を使う )

Bの条件付き確率⇒ Aの条件付き確率例題： 100 人の買い物データ

大事な性質

8　 2.2 最適化問題から統計モデルへ

データの確率を予測確率で表現

( 乗法定理 )

( さらに乗法定理 )

同時確率の分解公式

データの確率＝予測確率の積 (*2)

(*2) 　　　　　 …１時刻前までのデータが得られたもとでの現時刻のデータの確率：予測確率(*1)

9　 2.2 最適化問題から統計モデルへ

データの確率を予測確率で表現

(y に関して乗法定理 )

同時確率の分解公式（多変数）

(x に関して乗法定理 )

yt : 観測データ、 xt ：観測できない潜在変数 (*) とすると同時確率＝データと潜在変数の予測確率の積

(*) 本勉強会ではこのような場合を興味の対象にする、公式は一般の系列に関して成立

10　 2.2 最適化問題から統計モデルへ

最適化関数を確率分布関数で表現 最適化関数を適切に係数をかけて指数化してみる

平均 μt 、分散 σ2 の正規分布 平均 2μt-1-μt-2 、分散 σ2α2 の正規分布

11　 2.2 最適化問題から統計モデルへ

最適化関数を確率分布関数で表現 指数化した量の解釈

yt を確率変数としたときの分布 μt を確率変数としたときの分布

μ1:T と y1:T の同時確率

12　 2.2 最適化問題から統計モデルへ

最適化は事後確率を最大化する解の探索 指数化した量の解釈

ベイズの定理より

よりEを最小化⇔同時確率を最大化

Eを最小化⇔事後分布を最大化

（最適化問題を確率統計の言葉で議論できるようになった！）

13　第二章のまとめ

「ベイジアンで統計モデリングの準備」あとでよく使う道具の定義（ 2.1節）

確率の乗法定理 ベイズの定理

最適化 ⇔ 事後分布の推定最適化問題から統計モデルへ（ 2.2節）