Embed Size (px)
Citation preview
静学的パネルデータの分析2
(最小二乗推定量の行列表現)
担当: 長倉大輔
1
22
最小二乗推定量の行列表現
◼ 多変量回帰モデルの行列表現
被説明変数 Yi (i =1,…,n) は K個の説明変数 X1i,
X2i…, XKi (i =1,…,n) と以下の関係があるとする。(定数項を入れる場合は、X1i =1 とすればよい)
Yi = β1 X1i + … + βk XKi + εi
ここで εiは被説明変数の説明変数だけでは説明できない部分をまとめたものである。
33
最小二乗推定量の行列表現
ここで
, , , ,
とすると
⇒
のように簡潔に表現できる。
1 1 11 1 1
2 1 12 2 2
1 1 2
...
...
:
...
K K
K K
n n K K n
Y X X
Y X X
Y X X
= + + +
= + + +
= + + +
= +Y Xβ ε
=
nY
Y
Y
:
2
1
Y
11 21 1
12 22 2
1 2
...
...
: : : :
...
K
K
n n Kn
X X X
X X X
X X X
=
X
1
2
:
n
=
ε
1
2
:
K
=
β
44
最小二乗推定量の行列表現
◼ 単回帰モデルの行列表現
単回帰モデル、すなわち定数項と1つの説明変数しかない場合は、先ほどの行列 Xは
,
となる。また説明変数ベクトル βを としよう。
以下では説明の簡単化のために単回帰モデルの場合について考える。
=
nX
X
X
1
::
1
1
2
1
X
0
1
=
β
55
最小二乗推定量の行列表現
◼ 残差平方和の行列表現
b = (b0, b1)T とすると、残和平方和の行列表現は
となる。行列に関する微分を知っていれば、このSSRのbに関する微分は
となる(行列に関する微分については講義Webの資料を参照)。
2 T0 1 0 1
1
( , ) ( ) ( ) ( )
n
i i
i
SSR b b Y b b X
=
= − − = − − Y Xb Y Xb
0 1
0 T T0 1
0 1
1
( , )
( , )2 2
( , )
SSR b b
bSSR b b
SSR b b
b
= = − +
X Y X Xbb
66
最小二乗推定量の行列表現
◼ 最小二乗推定量の行列表現
この SSRの bに関する微分を 02,1 とおいたもの、すなわち
は 1 階の条件の行列表現に他ならない。ここで 0r,s は(太字であることに注意)全ての成分が 0 の r× s行列とする。
これを bについて解くと
という最小二乗推定量の行列表現が得られる。
T T2,12 2− + =X Y X Xb 0
YXXXbT1T )( −=
77
最小二乗推定量の行列表現
この行列表現を実際に計算してみると
となる。
1
1
1 11 1T 1 T
1 12
1 1 1
2
2
2
1 1
11 ... 1 1 ... 1ˆ ( ) : : :
... ...1
1
n n
i i
i i
n n nn n
n n i i i i
i i i
i
n n
i i
i i
n X YX Y
X X X XX Y X X X Y
X
n X X
−
−
= =−
= = =
= =
= = =
= −
β X X X Y
1 1 1
1 1
2
1 1 1 1
2
2
1 11 1
1
n n n
i i
i i i
n n
i i i
i i
n n n n
i i i i i
i i i i
n nn n
i i i ii i ii ii i
X Y
X n X Y
X Y X X Y
X Y n X Yn X X
= = =
= =
= = = =
= == =
− −
−
= − + −
1
n
=
88
最小二乗推定量の行列表現
一般に説明変数が K 個ある場合は
Y = Xβ + ε
において、b = (b1, …, bK)T とすると、残差平方和
を最小にする bは、まったく同じ議論により
b = (X TX)–1XTY
となる。これが βの最小二乗推定量、 である。β̂
21 2 1 1 2 2
1
T
( , , ..., ) ( ... )
( ) ( )
n
K i i i K Ki
i
SSR b b b Y b X b X b X
=
= − − − −
= − −
Y Xb Y Xb
99
最小二乗推定量の性質
◼ 誤差項に関する仮定
説明変数 Xki, k = 1,…,K と誤差項 εiは確率変数と考え、以下の仮定のもとで最小二乗推定量のいくつかの性質を導く。
(A1) (条件付き期待値 0 の仮定)
E(εi | X) = 0, i = 1,…,n.
(A2) (条件付き均一分散の仮定)
var (εi | X) = E(εi2 | X ) = σ2.
(A3) (誤差項の独立性の仮定)
εi, i =1,…, Nは互いに独立。
1010
最小二乗推定量の性質
(A4) (説明変数についての仮定)
xi = [X1i, X2i, …., XKi]T とする。この時、この K×1 ベク
トル xi, i =1,…, nは互いに独立で であ
るとする。ここで Qは K×Kの正値定符号行列とする。
Qの (r, s)成分(r, s = 1,…, n) は E(Xri Xsi) となっていることに注意。
これらの仮定は緩めることもできるが、とりあえず説明の簡単化のため、このように仮定する。ただし、ここではクロスセクションデータを念頭においているため、これらの仮定もそこまで厳しい仮定というわけではない。
T( )i iE =x x Q
1111
線形回帰分析仮定(A1)は
E(ε | X) = 0n,1
と表しても同じことである(ベクトルの期待はそれぞれの成分の期待値が並んだものであることに注意)。
また仮定(A2), (A3) は、確率ベクトル εの条件付き分散共分散行列(次ページ参照)、 var(ε | X) が
var(ε | X) = σ2In (Inは n×nの単位行列)
となることを意味している。
1212
線形回帰分析◼ 分散共分散行列
確率ベクトル z = [z1, z2,…, zn]Tの分散共分散行列とは、
その成分が zi, i=1,..,nの分散と共分散からなる行列で
var(z) = E([z – E(z)] [z – E(z)]T )
と定義される(条件付きの場合は上記の期待値が全て条件付き期待値に置き換わるだけ)。
実際に計算してみると (次ページ)
1313
線形回帰分析
のようになり、第 i対角成分が ziの分散、第(i, j) 成分がzi と zjの共分散になっている。
1 1
2 21 1 2 2
21 1 1 1 2 2 1 1
22 2 1 1 2 2 2 2
( )
( )var( ) ( ) ( ) ... ( )
:
( )
{[ ( )] } {[ ( )][ ( )]} ... {[ ( )][ ( )]}
{[ ( )][ ( )]} {[ ( )] } ... {[ (
n n
n n
n n
z E z
z E zE z E z z E z z E z
z E z
E z E z E z E z z E z E z E z z E z
E z E z z E z E z E z E z E z
−
− = − − − −
− − − − −
− − − −=
z
21 1 2 2
1 1 2 1
2 1 2 2
1 2
)][ ( )]}
: : ... :
{[ ( )][ ( )]} {[ ( )][ ( )]} ... {[ ( )] }
var( ) cov( , ) ... cov( , )
cov( , ) var( ) ... cov( , )
: : ... :
cov( , ) cov( , ) ... var( )
n n
n n n n n n
n
n
n n n
z E z
E z E z z E z E z E z z E z E z E z
z z z z z
z z z z z
z z z z z
− − − − − −
=
1414
線形回帰分析var(ε | X)を実際に計算してみると、仮定(A1)よりE(ε |X ) = 0n,1 、仮定(A2) より E(εi
2 | X) = σ2、仮定(A3) より E(εi εj | X ) = 0 なので
となる。
21 1 2 11
22T 1 2 2 2
1 2
21 2
21 1 2 1
22 1 2 2
...
...var( | ) ( | ) ...
: : : ... :
...
( | ) ( | ) ... ( | )
( | ) ( | ) ... ( |
n
nn
nn n n
n
n
E E E
E E E
E E E
= = =
=
ε X ε ε X X X
X X X
X X
2
2
2 21 2
2
0 ... 0
) 0 ... 0
: : ... : : : ... :
( | ) ( | ) ... ( | ) 0 0 ...n n n
n
E E E
=
=
X
X X X
I
1515
演習問題問題1 一般に K× K分散共分散行列 Aは, K×1 ベクトル x ≠ 0に対して、
xTAx ≥ 0
であることを示しなさい。これは分散共分散行列が半正値定符号行列であることを示している。
問題2仮定 (A1) – (A2) のもとで
E(ε) = 0および var(ε) = σ2 In
であることを示しなさい(つまり無条件期待値と無条件分散共分散行列も同じ)。(ヒント：重複期待値の法則)
1616
線形回帰分析◼ 最小二乗推定量の性質
仮定(A.1) – (A.4) の下で、βの最小二乗推定量 は以下のような性質を持っている。
(P1) は βの不偏推定量である。
(P2) は βの一致推定量である。
(P3) は漸近的に正規分布に従う。
(P4) は (X という条件付きで)最良線形不変推定量(Best linear unbiased estimator) である。
(P1) – (P3) について順に見て行く( P4は来週)。
β̂
β̂
β̂
β̂
β̂
1717
線形回帰分析
◼ 最小二乗推定量の不偏性
まず を以下のように書き直す。
X という条件付き期待値を計算すると 、
よって、仮定(1)および重複期待値の法則より
となり、 は βの不偏推定量である事がわかる。
εXXXβ
εXXXXβXXX
εXβXXXYXXXβ
T1T
T1TT1T
T1TT1T
)(
)()(
)()()(ˆ
−
−−
−−
+=
+=
+==
T 1 Tˆ( | ) ( ) ( | )E E−= +β X β X X X ε X
β̂
ˆ ˆ( ) [ ( | )] [ ]E E E E= = =β β X β β
β̂
1818
線形回帰分析◼ 最小二乗推定量の一致性(ラフな説明)
最小二乗推定量が確率収束する、すなわち
を示す(→pで確率収束を表すとする) これは、先ほどの表現 において、(XTX)–1XTε →p 0K,1
を示せばよい (Y = c + X, X→p 0 の時、Y→p cなので)
以下では において
および となることより、
この第2項が 0に収束することを示すことを考える。
ˆp→β β
T 1 Tˆ ( )−= +β β X X X ε
1T T
T 1 T( )n n
−
−
=
X X X εX X X ε
1T
1p
n
−
−
→
X XQ
T
pn
→X ε
0
1919
線形回帰分析XTXは
と書き直せる。ここで xi = [X1i, X2i, …., XKi]Tである。
11 1 11 1T
1 1
21 1
1 1
T
12
11 1
n K
K Kn n Kn
n n
i i Kii i n
i i
n n i
Ki i Kii i
X X X X
X X X X
X X X
X X X
= =
=
= =
=
= =
X X
x x
2020
線形回帰分析同様に XTεは
と書き直せる。これより
と書き直せる。
1111 1 1
T
11
11
n
i ii nn
i i
n iK Kn n
i ii
XX X
X XX
=
=
=
= = =
X ε x
11T T
T 1 T T
1 1
1 1( )
n n
i i i i
i in n n n
−−
−
= =
= =
X X X εX X X ε x x x
2121
線形回帰分析仮定(A1)より E(xiεi) = E[xi E(εi |X)] = 0であること、また仮定(A4)より E(xi
Txi) = Qである。さらに仮定(A3), (A4) のもとで、大数の法則より
および
であるので、連続射影定理(continuous mapping
theorem)より
となる。よって は βの一致推定量である。
1
1n
i i p
in
=
→x 0 T
1
n
i i p
i=
→x x Q
1
T 1 T T 1
1 1
1 1( ) 0
n n
i i i i p
i in n
−
− −
= =
= → = X X X ε x x x Q 0
β̂
2222
線形回帰分析
◼ の分散共分散行列
の分散共分散行列は
と表せるが
なので
となる。
T T 1 T T T 1
T 1 T T T 1
2 T 1 T T 1
2 T 1
ˆ ˆ[( )( ) | ] [( ) ( ) | ]
( ) ( | ) ( )
( ) ( )
( )
E E
E
− −
− −
− −
−
− − =
=
=
=
β β β β X X X X εε X X X X
X X X εε X X X X
X X X X X X
X X
β̂
β̂
T Tˆ ˆ ˆ ˆ ˆvar( ) [( )( ) ] { [( )( ) | ]}E E E= − − = − −β β β β β β β β β X
2 T 1 2 T 1ˆvar( ) [ ( ) ] [( ) ]E E − −= =β X X X X
2323
線形回帰分析◼ 最小二乗推定量の漸近分布
以下を仮定する(A5) 全ての i, kおよび δ > 0 に対して
E( | εi |2+δ) < ∞, E( |Xki|2+δ ) < ∞
が成り立つ。もしくは
(A6) εi と xiはそれぞれ同一の分布に従う。
ここまで εiおよび xiについては分散共分散行列(2次モーメント)が有限で独立という仮定しか置いていなかったが、漸近分布を導出するには、より高次のモーメントの存在(A5)、もしくは、同一分布(A6)を仮定する必要が出てくる。
2424
線形回帰分析仮定(A1) – (A5) もしくは仮定(A1) – (A4) (A6)のもとで、それぞれの仮定の下で成り立つ、中心極限定理(Central limit theorem) を用いると、最小二乗推定量は漸近的に(K変量)正規分布に従うことを示すことができる
( の漸近分布)
ここで→dは分布収束を表す。ほぼ同じ表し方として
とも書く。
β̂
β̂2 1ˆ( ) ( , )dn N −− →β β 0 Q
2 11ˆ ~ ,a Nn −
β β Q
2525
線形回帰分析
◼ m変量正規分布
m変量確率変数 Z = (Z1,…, Zm)Tが m変量正規分布N ( μ, Σ ) に従うとは Z1,…, Zmのそれぞれが正規分布に従いその平均が E(Z) = μ、分散共分散行列がvar(Z) = Σであるような分布の事である。
2626
線形回帰分析◼ 誤差項の分散の推定
線形回帰モデルの誤差項 εiの分散 σ2の推定を考えよう
通常 σ2の推定には最小二乗推定量を代入して得た残差平方和 SSR( )を n – kで割った
が用いられる。ここで
である。
β̂
kns
n
i i
−= =1
2
2̂
1 1 2 2ˆ ˆ ˆˆ ... , 1, ...,i i i i k kiY X X X i n = − − − − =
2727
線形回帰分析◼ s2の性質
誤差項 εiの分散 σ2の推定量として s2には次の性質がある。仮定(A1) ~ (A4)のもとで
(S1) s2 は σ2の不偏推定量である。
(S2) s2 は σ2 の一致推定量である。
(S3) s2 は ( X という条件付きで) σ2の最良2次不偏推定量である。
以下では（S1)だけを確認する。
2828
線形回帰分析◼ s2の不偏性
s2が σ2の不偏推定量である事を見て行こう。これはそれほど難しくないが、いろいろと準備がいる。まず とすると この は
と表す事ができる。ここでM = In – X(X TX) –1X である。MはM2 = MM = Mを満たす(演習問題)。
T1 2ˆ ˆ ˆˆ ( , , ..., )n =ε
T 1 T
T 1 T
ˆˆ
( )
( ( ) )n
−
−
= −
= −
= −
=
ε Y Xβ
Y X X X X Y
I X X X X Y
MY
ε̂
2929
線形回帰分析◼ s2の不偏性
さらに
であるから
である。
ˆ
( )
=
= +
= +
=
ε MY
M Xβ ε
MXβ Mε
Mε
0
XX
XXXXXXMX
=
−=
−= − ))(( T1T
3030
線形回帰分析◼ s2の不偏性
よってs2の分子の部分は
となる。期待値をとると
となる。ここで mijはMの(i, j)成分であり tr (A) とは行列Aの対角要素の和を表す。
T
1 1
1 1
2 2
1
( | ) ( | )
( | )
tr( )
n n
ij i ji j
n n
ij i ji j
n
iii
E E m
m E
m
= =
= =
=
=
=
= =
ε Mε X X
X
M
2 T T T T
1ˆ ˆ ˆ ( ) ( )
n
ii
== = = = ε ε Mε Mε ε MMε ε Mε
3131
線形回帰分析◼ s2の不偏性
(もう少し…)
ここで tr(M) = n – kである事が示せるので(演習問題)、
が得られる。よって s2の条件付き期待値は
となる。したがって、s2の無条件期待値も σ2になるので、s2は σ2の不偏推定量である。
T 2( | ) ( )E n k = −ε Mε X
2 T 21( | ) ( | )E s E
n k= =
−X ε M ε X
3232
演習問題スライドに出てきた行列
M = In –X(XTX)–1XT
について
問題3 Mは対称行列である事を証明しなさい
問題4 MはM2 = MM = Mを満たす事を証明しなさい
(このような行列を巾等行列という)
問題5 tr(M) = n – Kである事を証明しなさい。
問題5のヒント: 2つの行列 A, Bに対して、もし AB も BA
も定義されるならば tr(AB) = tr(BA)である。
