Appendix Aderivatives of matrices

&テイラー展開

Song11/8

なぜいるか？

• 数式の簡潔化• 微分計算の簡単化（最大尤度推定など）

–同時に定義分からないと式の意味も理解できない。

–各文献によって定義のしかたが違う場合がある。

例：正規分布ときの最大尤度推定

∂�∂ ln p(X|�,Σ) = 0 ⇒ �ML =?

∂Σ

∂ ln p(X|�,Σ) = 0 ⇒ ΣML =?

X = (X1, X2...XN)T, X1, X2...XN : IID ,Xi = N(Xi|�,Σ)

各標示

• R:一般的なn*n行列• S：対称行列n*n• B：使うとき定義する• 基本的に大文字は行列かベクトル、そして小文字はスカラー変数

基本定義(1)fはスカラー、Yは(n*1)ベクトルの時：

∂∂∂∂∂∂

=∂∂

n

2

1

yf...yfyf

:Yf

この本では

p182の5.1にこのような定

義している。

基本定義(２)• Rは(n*n)行列、xはスカラー変数：

∂∂

∂∂

∂∂

∂∂

∂∂ ∂

∂∂∂

∂∂

=∂∂

xR...

xR

xR

.....xR...

xR

xR...

xR

xR

:xR

nn2n1n

n221

n11211

この本では

p564のA.1で定義している。

基本定義(３)fはスカラー、Rは(n*n)行列の時：

∂∂

∂∂

∂∂

∂∂

∂∂ ∂

∂∂∂

∂∂

=∂∂

nn2n1n

n221

n11211

Rf...

Rf

Rf

.....Rf...

Rf

Rf...

Rf

Rf

:Rf

この本では

p570のA.40下にこのよう

な定義してい

る。

基本ルール（部分）

tr(ABC) = tr(CAB) = tr(BCA)

∂x

∂(UV)=

∂x

∂UV+

U,V,A,B,Cは行列、ｘはスカラー変数

A,B,Cは以上の掛け算ができるという前提。

U∂x

∂V

∂x

∂(tr(U)) = tr(∂x

∂(U))

逆行列の微分

• Rは(n*n)行列,xはスカラーRR

�1= I

∂x

∂(RR�1)= 0

∂x

∂R�1

=�R�1

∂x

∂RR�1

∂rij

∂R�1

=�R�1

∂rij

∂RR�1

=�R�1IijR

�1

Iij はij位置の数字は1で他の

は全部0(Rと同じn*n)(A.2)

(A.3)

∂x

∂(UV)=

∂x

∂UV+ U

∂x

∂V

逆行列の微分

• Sは対称行列

S =x y

y z

� �

∂y∂S

=?

∂sij

∂S= Iij+ Iji � �ijIij = I

⋆

ij

∂z

∂S=?

I⋆

21=

0 1 ...

1

例：

例：

(A.4)

Traceの微分

f = tr(S�1B)

∂sij

∂f = � tr(S�1I⋆ijS�

1B)

tr(ABC) = tr(CAB) = tr(BCA)

注意すべき：fはスカラーである

� tr(I⋆ijS�1BS

�1) = � �ij + �ji� �ij�ij[ ]

Θ = S�1BS

�1

∂S

∂f = � [Θ + ΘT� diag[Θ]]

(A.7)

(A.8)

(A.8)

(A.9)

A.4

Bは(n*n)行列

行列式の微分

∂rij

∂|R|= |Rij|

|Rij|

adjR =|R11| |R21| ...

...

[ ]

はrijのcofactor(余因子)、スカラーである。

http://en.wikipedia.org/wiki/Cofactor_%28linear_algebra%29

∂R

∂|R|= (adjR)T = |R|(R�1)T

R�1 =|R|1 adj(R)

(A.18)

(A.19)

（（（（クラメルクラメルクラメルクラメルのののの公式公式公式公式 ）

（（（（Laplace expansion ）

特別な場合

tr(�1MMT) = tr(MT�1M) =MT�1M

Λ�1Mは(n*1)のベクトル、 は(n*n)の対角行列

一次テイラー展開

f(M� ,Σ�)=�f(M,Σ) +∑

∂mi

∂f (m� i� m i)+∑∑

∂cij

∂f (c�ij� cij)

= f(M,Σ) + (∂M∂f )T(M� �M)+ tr{∂Σ

∂f⋆(Σ� � Σ)}

注意１：

注意2∂M∂f=

∂M�∂f |

M�=M

Σ� はn*nの行列

テイラー展開は

変数を中心して

いる。 の中

ではn*n個変数

があるわけでは

ない、

(1+2+…+n)個し

かない。

Σ�

一次テイラー展開

f⋆ Σ�つまり、 の微分は

対称行列でない場合と

同じ答えである。

∂Σ(symmtric)∂f⋆

=

∂Σ(nonsymmtric)∂f

二次までのテイラー展開

f(Y�) = f(Y) + (∂Y∂f)T(Y� � Y) +

2

1(Y� � Y)T∂2Y

∂f2(Y� �Y) + ...

Taylorを二次まで展開すると：

ここでは

∂∂∂

∂∂∂∂∂

∂∂∂

∂∂∂

∂∂∂

∂

=∂∂

nn

2

1n

2

12

2

n1

2

21

2

11

2

2

2

yyf...yy

f.......yy

fyyf...yy

fyyf

Yf

Hessian matrixと呼ぶ。

T

n21 yf...y

fyf

Yf

∂∂

∂∂

∂∂=∂

∂はJacobianという。

T

)Yf(∂∂

Reference:– wikipedia: Matrix calculus,cofactor,taylor expansion,laplace expansion

– Jan R. Magnus:Matrix calculus– M. P. WAND:Vector Differential Calculus in Statistics

– PRML