Gaussian Processes for Machine Learning のExercise 3.10.5 の答え

Gaussian Processes for Machine LearningのExercise 3.10.5の答え

正田備也＠長崎大学

平成 24 年 4 月 17 日

先ず、式 (3.56)で

σ2−i = (σ−2

i − σ̃−2i )−1 (1)

と定義された σ2−i が、見かけに反して σ̃2

i に依存しないことを示したい。

式 (3.53)より

Σ = (K−1 + Σ̃−1)−1 (2)

よって

Σ−1 = K−1 + Σ̃−1 (3)

ここで、Appendix Aの式 (A.12)の P̃ = P−1 + P−1QMRP−1という等式を、A = Σ、P = Σii = σ2i と設

定して用いると、

(Σ−1)ii = σ−2i + σ−2

i QMRσ−2i (4)

を得る（Σii = σ2i であることは式 (3.55)のすぐ下に書いてある）。ところで、式 (3)より

(Σ−1)ii = (K−1)ii + (Σ̃−1)ii (5)

が言えるが、Σ̃は σ̃2i を第 ii成分とする対角行列である（式 (3.52)のすぐ下の行を見よ。）から、(Σ̃−1)ii = σ̃−2

i

である。よって、式 (4)と式 (5)を組み合わせて

σ−2i + σ−2

i QMRσ−2i = (K−1)ii + σ̃−2

i (6)

よって

σ−2i − σ̃−2

i = (K−1)ii − σ−2i QMRσ−2

i (7)

が得られ、式 (1)は次のように書きなおせることが分かる。

σ2−i = ((K−1)ii − σ−2

i QMRσ−2i )−1 (8)

この式の右辺を見ると、K または Σに依存する量で、σ̃2i には依存していない。

次に、式 (3.56)で

µ−i = σ2−i(σ

−2i µi − σ̃−2

i µ̃i) (9)

と定義された µ−i が、見かけに反して µ̃i にも σ̃2i にも依存しないことを示す。

先に、σ2−iが µ̃iにも σ̃2

i にも依存しないことは示した。また、σ−2i µiは明らかに µ̃iにも σ̃2

i にも依存しな

い。よって、残る σ̃−2i µ̃i が µ̃i にも σ̃2

i にも依存しないことを示せばよい。

式 (3.53)にある µ = ΣΣ̃−1µ̃より、Σ−1µ = Σ̃−1µ̃が成り立つ。両辺の第 i成分にのみ注目すれば、右辺

は σ̃−2i µ̃i である。ところで左辺は µ̃i にも σ̃2

i にも依存しない。よって右辺の σ̃−2i µ̃i も、見かけに反して µ̃i

にも σ̃2i にも依存しない。

1