11

中級計量経済学線形回帰分析3

担当： 長倉 大輔

（ながくら だいすけ）

22

線形回帰分析3

線形回帰分析や最小二乗推定法に関連した話題として、ここでは以下の2つをとりあげ、説明する。

(1) FWL 定理、偏相関(2) 定式化の誤り

以下では次の重回帰モデルを考える。

Yi = α + β1X1i + β2X2i + … + βK XKi + ui, i = 1,…, n

またこの重回帰モデルの最小二乗推定量を , , … ,

としその残差を とする。 1

ˆK

ˆiu

33

線形回帰分析3

◼ FWL定理、偏相関

FWL (Frisch-Waugh-Lovell) 定理とは以下で与えられる定理で、最小二乗法にある明快な意味を与える。また偏相関も同様の解釈を最小二乗法に与えるものである。

FWL 定理を述べる準備として以下の3つの残差および最小二乗推定量を考えよう。ある説明変数 Xkiについて[1] Yiを Xki以外の説明変数(定数項を含む)に回帰した時の残差を とする。

[2] Xkiを Xki以外の説明変数(定数項を含む)に回帰した時の残差を とする。

[3] を のみ(定数項を含まない)に回帰した時の残差を とし、その最小二乗推定量を とする。

ˆiw

iv

ˆiw iv

iu k

44

線形回帰分析3

このとき、FWL定理は以下で与えられる。

定理 4 (FWL定理）

および

定理 4 は Xkiの最小二乗推定量は、Yi から Xki以外の変数で説明できる部分と、 Xkiから Xki 以外の変数で説明できる部分を除いたときの残った部分どうしの係数と等しいということを意味している。

これは最小二乗推定量による Xkiの係数は他の残りの説明変数で説明できる部分を全て除いた後、さらに Xki

固有の特徴のみで説明できる部分を反映しているということである。

ˆk k = ˆ

i iu u=

55

線形回帰分析3

この時、偏相関は と の相関係数、すなわち

で与えられる。ここで と は残差であるのでそれらの標本平均は 0 であることに注意。またこの時、

が成り立つ。

ˆiw iv

1

2 21 1

ˆ ˆ

ˆ ˆ

ni ii

wvn n

i ii i

w vr

w v

=

= =

=

2 2 21

1

ˆ ˆ(1 )n

ni wv ii

i

u r w==

= −

ˆiw iv

66

線形回帰分析3

◼ FWL定理の前半部分の証明

今、一般性を失わずに XKiについてFTW定理が成り立つことを証明する。

XKiを 1, X1i, …, XK–1, iについて回帰した回帰式の係数の最小二乗推定量を とすると

が成り立つ(これは恒等式であることに注意)。また Yiを全ての説明変数に回帰した式の残和平方和は

で与えられるが(これを最小にする α, β1,…, βKが最小二乗推定量)

0 1 1 1 1,ˆ...Ki i K K i iX X X v − −= + + + +

0 1 1, , ..., K −

21 1 1 1,1( .. )

ni i K K i K Kii Y X X X − −= − − − − −

77

線形回帰分析3

XKiについての先ほどの恒等式をこの残和平方和に代入すると

を得る。ここで , ,

k =1, … , K–1 である。

( )

2

1 1 1 1,

1 0 1 1 1 1,

2

0 1 1 1

1 1 1 1,

2

0 1 1 1 1,1

..

ˆ( ... )

( ) ( ) ...

ˆ( )

ˆ...

n i i K K i

i K i K K i i

ni K K i

i K K K K i K i

n

i i K K i K ii

Y X X

X X v

Y X

X v

Y X X v

− −

= − −

= − − −

− −=

− − − − − + + + +

− + − + − = − + −

= − − − − −

0 0K = +k k K k = +

88

線形回帰分析3

この時、もとの残差平方和を(α, β1, … , βKを動かして)

最小にする βKの値はこの残和平方和において δ0, δ1,

… ,δK–1, βKを動かし最小化した時の βKの値に等しい。

残差の性質より

, , k =1, …, K–1

が成り立ち、また[1]において を計算した時の最小二乗推定量を とすると

が成り立つ。

1

ˆ 0n

i kii

v X=

=1

ˆ 0n

ii

v=

=

0 1 1 1 1,ˆ...i i K K i iY X X w − −= + + + +

ˆiw

0 1 1, , ..., K −

99

線形回帰分析3

よって

が成り立つ。

(ここまでの結果でこれから使うもの)

, ,

0 1 1 1 1,1 1 1 1 1

1

ˆ ˆ ˆ ˆ ˆ ˆ...

ˆ ˆ

n n n n n

i i i i i K i K i i ii i i i i

ni ii

v Y v v X v X v w

v w

− −= = = = =

=

= + + + +

=

11

ˆ ˆ ˆn

ni i i ii

i

v Y v w==

= 1

ˆ 0n

ii

v=

=1

ˆ 0n

i kii

v X=

=

k =1, …, K–1

1010

線形回帰分析3

これらより、先ほどの残差平方和は

と書き直せる。この式を βKについて最小化した時の(βK

についての) 1階の条件は

20 1 1 1 1,1

20 1 1 1 1,1

2 20 1 1 1 1,

1 1

2 2 20 1 1 1 1,

1 1 1

ˆ( ... )

( ... )

ˆ ˆ2 ( ... )

ˆ ˆ ˆ( ... ) 2

ni i K K i K ii

ni i K K ii

n n

K i i i K K i K ii i

n n n

i i K K i K i i K ii i i

Y X X v

Y X X

v Y X X v

Y X X v w v

− −=

− −=

− −= =

− −= = =

− − − − −

= − − − −

− − − − − +

= − − − − − +

1111

線形回帰分析3

である。これより βKの最小二乗推定量は

で与えられることがわかるが、これは[3]において計算した と等しい。

2

1 1

ˆ ˆ ˆ2 2 0n n

i i K ii i

v w v= =

− + =

1

21

ˆ ˆˆ

ˆ

ni ii

K nii

v w

v =

=

=

K

1212

線形回帰分析3

◼ の証明

実は先ほどの残和平方和を δk, k = 0,1, …, K–1 について最小化する1階の条件と を求めた時の1

階の条件は同じになっている(ことは容易に確かめられる)。よって

が成り立つことがわかる。ここで は

を最小化する値である。またこの最小化された残和平方和は に等しいので、

ˆk k =

2 2 21 1

ˆ ˆ(1 )n n

i wv ii iu r w= == −

0 1 1, , ..., K −

21

ˆnii u=

20 1 1 1 1,1

ˆ( ... )n

i i K K i K ii Y X X v − −= − − − − −

ˆk

1313

線形回帰分析3

を得る。

2 2 2 21 1 1 1

2 22 1 1

1 2 21 1

22 1

1 21

221

12 21 1

ˆ ˆˆ ˆ ˆ ˆ ˆ2

ˆ ˆ ˆ ˆ( ) ( )ˆ 2

ˆ ˆ

ˆ ˆ( )ˆ

ˆ

ˆ ˆ( )ˆ1

ˆ ˆ

(1

n n n ni i K i i K ii i i i

n ni i i in i i

ii n ni ii i

ni in i

ii nii

ni i ni

iin ni ii i

w

u w v w v

v w v ww

v v

v ww

v

v ww

v w

r

= = = =

= ==

= =

==

=

==

= =

= − +

= − +

= −

= −

= −

2 2

1ˆ)

nv ii w=

1414

宿題

FWL 定理の後半部分、すなわち

となることを証明せよ。

ˆi iu u=

15

線形回帰分析3

◼ 定式化の誤り

線形回帰モデルを用いた分析において、真のモデル（変数間の関係）が、想定した回帰モデルと違う場合、どのようなことが起こるだろうか？

このような問題を定式化の誤りと呼ぶ。

定式化の誤りには様々な形が考えられる。例えば真の関係が線形でなかったり、もしくは誤差項の性質が想定と違っていたりなどである。

16

線形回帰分析3

以下では、被説明変数に関係のない余分な説明変数が加えられている場合（過剰定式化）と、真の関係に含まれている説明変数が推定に用いられなかった場合（過小定式化）を考えよう。後者は省略変数問題とも呼ばれる。

以下で見るように過剰定式化は実はそれほど深刻な問題ではなく、より深刻になる可能性が高い問題は過小定式化である。

ここでは議論を簡単にするため、再び説明変数は確率変数ではないと仮定するが、確率変数の場合も本質亭には同じ議論が成り立つ。

17

線形回帰分析3

◼ 過剰定式化

今、被説明変数 Yi と 1 つの説明変数 Xiの間に以下の真の関係があるとする（簡単化のために説明変数は1つとするが、複数ある場合も考え方は同じである）。

Yi = α + β Xi + ui .

しかしながら、分析者は当然真の関係はわからないので、この回帰分析を行う際、誤って関係のない変数 Zi も加えた以下の回帰式を推定したとする。

Yi = α + β Xi + γ Zi + ui .

18

線形回帰分析3

このように、真の関係式には含まれない説明変数を加えることを過剰定式化という。

過剰定式化においては、過剰に加えられた説明変数の係数を 0 とすれば真の関係式と等しくなることに注意が必要である。上記の例では γ = 0 とすれば真の関係式が得られる。

すなわち、過剰定式化においては係数の値によって真の関係式が得られる、つまり過剰定式化は正確には定式化の誤りではない。

19

線形回帰分析3

◼ 過剰定式化の問題

それでは過剰定式化を行ったときに、どのような問題が起こるであろうか？

例として、真のモデル: Yi = α + β Xi + ui からの最小二乗推定量を 、過剰定式化したモデル: Yi = α + β Xi

+ γ Zi + ui からの βの最小二乗推定量を としよう。

~

20

線形回帰分析3

この時、以下のことが知られている。

(1) と はともに、真のモデルのもとで不偏推定量である。

（2）過剰定式化モデルからの推定量 の分散は真のモデルからの推定量 の分散以上になる（実際にはほぼ大きくなる）。

(3) と はともに、一致推定量である。

(4) これら 2 つの推定量が等しくなる条件は(真のモデルの下で定数項があることに注意)

および となることである(例題1)。

~

~

01 = =ni ii ZX

~

01 = =ni iZ

21

線形回帰分析3

これらのことは過剰定式化によって

⚫ 真に関係のある説明変数の係数の推定量は効率性は落ちるが一致性はある。

ことを示唆している。これは問題ではあるが観測数が増えれば正しい分析結果を得られるという意味でのちに見る過小定式化より深刻な問題ではない。また

⚫ 関係のない説明変数の係数の真の値は 0 と考えられ、その最小二乗推定量は正しくその値 (すなわち0 ) を推定する。

も言えるので、過剰定式化によって関係のない説明変数を加えても観測数が増えれば深刻な問題ではないと言える。

22

線形回帰分析3

例題1

真のモデル: Yi = α + βXi + uiからの β の最小二乗推定量を 、過剰定式化したモデル： Yi = α + βXi + γZi + uiからの β の最小二乗推定量を とする。 および

の時、この 2 つの推定量は等しくなることを確認しなさい。

~

01 = =ni ii ZX

01 = =ni iZ

23

線形回帰分析3

◼ 過小定式化

過剰定式化が関係のない説明変数を加えるのに対して、過小定式化は関係のある説明変数を間違って推定モデルから除いてしまうという問題である。

以下の例に見るように、過小定式化は定式化の誤りであり、観測数が増えても解決しないという意味で深刻な問題を引き起こす。

以下では真のモデルの下で説明変数が 2 つの場合を考えるが複数の場合でも考え方は同じである。

24

線形回帰分析3

例として、先ほどとは逆に以下の線形回帰モデルを真の回帰モデルとする。

Yi = α + β Xi + γ Zi + ui .

これに対して、推定モデルとして説明変数 Ziを除いた以下のモデルを推定したとする。

Yi = α + β Xi + ui .

ここで真のモデルからの β の推定量を 、下の方の誤った定式化の下での β の推定量を しよう。

~

25

線形回帰分析3

過小定式化は推定モデルのもとで係数をどのような値にしても真のモデルに帰着することはないため、定式化の誤りである。

以下では上記の例において過小定式化の下での推定値が真のモデルの βの推定量としてバイアスがあることを示す。

誤差項についての通常の仮定は全て成り立っているとする。

26

線形回帰分析3

◼ 過小定式化の問題

先ほどの例において過小定式化の下での推定モデルは単回帰モデルであるからその最小二乗推定量は、以前の単回帰分析のスライドで出てきた議論により

と書き表すことができる。ここで真のモデルの関係式Yi = α + βXi + γZi + uiを代入すると

=

=

−

−=

ni i

ni ii

XX

YXX

12

1

)(

)(

27

線形回帰分析3

を得る。ここでも単回帰分析のスライドと同じ議論により、

第 1 項は0、第2項は β となるので、さらに

=

=

=

=

=

=

=

=

−

−+

−

−+

−

−+

−

−=

ni i

ni ii

ni i

ni ii

ni i

ni ii

ni i

ni i

XX

uXX

XX

ZXX

XX

XXX

XX

XX

12

1

12

1

12

1

12

1

)(

)(

)(

)(

)(

)(

)(

)(ˆ

28

線形回帰分析3

となる。この両辺の期待値を取ると( Zi も確率変数ではないとして)

を得る。これより のバイアスは

=

=

=

=

−

−+

−

−+=

ni i

ni ii

ni i

ni ii

XX

uXX

XX

ZXX

12

1

12

1

)(

)(

)(

)(ˆ

=

=

=

=

=

=

−

−+=

−

−+

−

−+=

ni i

ni ii

ni i

ni ii

ni i

ni ii

XX

ZXX

XX

uEXX

XX

ZXXE

12

1

12

1

12

1

)(

)(

)(

)()(

)(

)()ˆ(

29

線形回帰分析3

であることがわかる。このバイアスの絶対値は γの絶対値が大きくなるほど大きくなることがわかる。

=

=

−

−=−=

ni i

ni ii

XX

ZXXEbias

12

1

)(

)()ˆ()ˆ(

30

線形回帰分析3

また

と書き直せるのでこれより、バイアスの絶対値は① Zi の標本分散が大きいほど大きくなり、② Xiの標本分散が大きいほど小さくなり、また③ Xi と Ziの標本相関の絶対値が大きいほど大きくなることがわかる。

==

=

=−

=−

=

=

−−

−−

−

−=

−

−

ni i

ni i

ni ii

ni in

ni in

ni i

ni ii

ZZXX

ZZXX

XX

ZZ

XX

ZXX

12

12

1

12

11

12

11

12

1

)()(

))((

)(

)(

)(

)(

31

線形回帰分析3

また、さらに

は Zi を Xi と定数に回帰した時の Xiの係数の最小二乗推定量、すなわち線形回帰モデル

Zi = δ + ψ Xi + ei

の ψの最小二乗推定量に等しいことにも注意が必要である。

=

=

−

−

ni i

ni ii

XX

ZXX

12

1

)(

)(

32

線形回帰分析3

これらをまとめると、過小定式化によって

⚫ 真に関係のある説明変数の係数の推定量にバイアスがかかる。

⚫ またMSEは真のモデルからの βの推定量よりも大きくなり、また標本数が増えても 0 に収束しない、また推定量の一定性もない(例題2参照)。

⚫ 観測数が大きくなってもこれらの問題は解決されない。

といった問題が生じることがわかる。

33

線形回帰分析3

例題2

先ほどの過小定式化の例における のMSEを求めなさい。

34

演習問題

問題1 Yi = α + β Xi + ui , E(ui) = 0, var(ui) = σ2の最小二乗推定量 および について αの真の値が 0 の時ののMSEおよび βの真の値が 0 の時の のMSEを求

めなさい。

問題2 Yi = βXi + ui , E(ui) = 0, var(ui) = σ2 の最小二乗推定量 を求めそのMSEを求めなさい。問題1で求めたMSEとどちらが小さいか?

問題3 Yi = α + ui , E(ui) = 0, var(ui) = σ2 の最小二乗推定量 を求めそのMSEを求めなさい。問題1で求めたMSEとどちらが小さいか?

~