Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
7.4 説明変数:確率変数のケース
本節では,簡単化のために,単回帰 Yi = α + βXi + ui を考える。
(1) Xi は非確率変数 −→ 今までの最小二乗推定量
(2) Xi は確率変数
(2a) Xi と ui は相関なし −→ Cov(Xi, ui) = 0(7.4.1節)
(2b) Xi は ui は相関あり −→ Cov(Xi, ui) , 0(7.4.2節)
470
7.4.1 説明変数と誤差項に相関がない場合
最小二乗法による推定量:
β̂ =
∑(Xi − X)(Yi − Y)∑
(Xi − X)2= β +
∑ωiui
ただし,ωi =Xi − X
∑(X j − X)2
とする。
X = (X1, X2, · · · , Xn)とする。
471
—————————–
(*復習) 2つの確率変数(X,Y)の独立について:
X と Y の同時密度関数 fxy(x, y)
X の周辺密度関数 fx(x)
Y の周辺密度関数 fy(y)
Y を与えたもとで X の条件付き密度関数 fx|y(x|y)
• fxy(x, y) = fx|y(x|y) fy(y)は必ず成り立つ。
• fxy(x, y) = fx(x) fy(y) ⇐⇒ X と Y は独立
• fx|y(x|y) = fx(x) ⇐⇒ X と Y は独立
—————————–
472
—————————–
(*復習) 2つの確率変数(X,Y)の独立について(その 2):
X と Y が独立のとき,
• Cov(X,Y) = 0
• E(X|Y) = E(X),V(X|Y) = V(X)
となる。
—————————–
条件付き期待値を取ると,
E(β̂|X) = E(β +∑
i
ωiui|X) = β +∑
i
ωiE(ui|X) = β
となり,β̂は βの不偏推定量となる。
473
ωi は X1,X2,· · ·,Xn の関数となっている。
X = (X1, X2, · · · , Xn)と uiに相関がない場合,すなわち,j = 1, 2, · · · , nについてCov(X j, ui) =
0の場合,E(ui|X) = E(ui) = 0となる。
条件付き分散については,
V(β̂|X) = V(β +∑
i
ωiui|X) = V(∑
i
ωiui|X) =∑
i
ω2i V(ui|X) = σ2
∑
i
ω2i =
σ2
∑i(Xi − X)2
となる。
すなわち,説明変数が確率変数であっても,誤差項と相関がなければ,何も変更せずに,
最小二乗法を適用することができる。
474
7.4.2 説明変数と誤差項に相関がある場合
X と ui に相関がある場合,E(ui|X) , E(ui) = 0となるので,
E(β̂|X) = E(β +∑
i
ωiui|X) = β +∑
i
ωiE(ui|X) , β
となる。
したがって,β̂は βの不偏推定量とはならない。
β̂は βの一致推定量かどうか?
β̂ = β +∑
i
ωiui = β +
∑i(Xi − X)ui∑j(X j − X)2
475
= β +
1n
∑i(Xi − X)ui
1n
∑j(X j − X)2
−→ β +Mxu
Mxx, β
ただし,n −→ ∞ のとき, 1n
∑i(Xi − X)ui −→ Mxu , 0, 1
n
∑i(Xi − X)2 −→ Mxx とする。
n −→ ∞のときは,分子・分母は別々に計算することができる(証明略)。
Mxu は,n −→ ∞のとき,Xi と ui の共分散に相当する。Mxx は,n −→ ∞のとき,Xi の
分散に相当する。
以上から,β̂は βの不偏推定量でも一致推定量でもない。
α̂も同様に不偏推定量でも一致推定量でもない。
476
なぜなら,α̂は,
α̂ = Y − β̂X = α +∑
i
λiui
と書き換えられる(5.3.2節参照)。
ただし,λi =1n− Xωi とする。
λi は X の関数である。
●例:X に観測誤差(measurement error)が含まれる場合: 真のモデルを
Y∗i = α + βX∗i
とする。(Y∗i,X∗i )は非確率変数とする。
477
しかし,(Y∗i,X∗i )は観測されず,代わりに,(Yi,Xi)が観測されるものとする。
(Y∗i,X∗i )と (Yi,Xi)との関係は以下の通りとする。
Yi = Y∗i + ui, Xi = X∗i + vi
ui,vi は観測誤差と呼ばれるもので,
E(ui) = 0, V(ui) = σ2u
E(vi) = 0, V(vi) = σ2v
を仮定する。
さらに,ui,vi は互いに独立と仮定する。
478
すなわち,i , jとなるすべての i, jについて Cov(ui, u j) = Cov(vi, v j) = 0,かつ,すべて
の i, jについて Cov(ui, v j) = 0とする。
Y∗i = α + βX∗i に Yi = Y∗i + ui,Xi = X∗i + vi を代入する。
Yi = α + βXi + (ui − βvi)
観測されるのは (Yi,Xi)なので,(ui − βvi)を誤差項として,最小二乗法で β̂を求める。
まずは,Xi と ui − βvi の共分散を求める(共分散がゼロかどうかを確認する)。
479
—————————–
(*復習)共分散について:
2つの確率変数 (X,Y)を考える。
E(X) = µx,E(Y) = µy とする。
共分散の定義は,Cov(X,Y) = E((X − µx)(Y − µy)
)
書き換えると,
Cov(X,Y) = E(XY − Xµy − µxY + µxµy) = E(XY) − E(X)µy − µxE(Y) + µxµy = E(XY) − µxµy
となる。
—————————–
480
この場合,
Cov(Xi, ui − βvi) = Cov(X∗i + vi, ui − βvi)
= E((X∗i + vi)(ui − βvi)
)− E(X∗i + vi)E(ui − βvi)
= E(X∗i ui + viui − X∗i βvi − βv2i )
= E(X∗i ui) + E(viui) − E(X∗i βvi) − E(βv2i )
= X∗i E(ui) + E(viui) − X∗i βE(vi) − βE(v2i )
= −βσ2v , 0
となる。
したがって,観測できる (Yi,Xi)を用いて,βの最小二乗推定量 β̂は不偏推定量にはなら
ない。
481
特に,
β̂ =
∑(Xi − X)(Yi − Y)∑
(Xi − X)2= β +
∑ωi(ui − βvi)
= β +
∑(Xi − X)(ui − βvi)∑
(Xi − X)2
= β +
1n
∑(Xi − X)(ui − βvi)1n
∑(Xi − X)2
と書き換えられ,右辺第 2項の分母は Xiの分散に対応し,分子は Xiと (ui − βvi)との共分散
−βσ2v に対応する。
したがって,n −→ ∞のとき,
β̂ −→ β +−βσ2
v
Mxx
482
となる。右辺第 2項の分母は必ず正,分子は βが正(負)の場合は負(正)となる。
すなわち,
• β > 0のとき, β̂ −→ β − βσ2v
Mxx< β
• β < 0のとき, β̂ −→ β − βσ2v
Mxx> β
となる。
483
● X と ui に相関がある場合の対処法: Yi = α + βXi + ui について,Cov(Xi, ui) , 0のとき
を考える。
β̂ =
∑i(Xi − X)(Yi − Y)∑
i(Xi − X)2= β +
∑i(Xi − X)ui∑j(X j − X)2
= β +
1n
∑i(Xi − X)ui
1n
∑j(X j − X)2
−→ β +Mxu
Mxx, β
右辺第 2項の分母は Xi の分散に相当し,分子は Xi と ui の共分散に相当する(n −→ ∞のときは,分子・分母を別々に計算することができる)。
Cov(Xi, ui) , 0が問題となって,E(β̂) , βとなる。
よって,第 2項の分子がゼロになるような修正を加えればよい。
484
Cov(Zi, ui) = 0となる Zi が存在するとする。
このとき,下記のような推定量
β̃ =
∑i(Zi − Z)(Yi − Y)
∑i(Zi − Z)(Xi − X)
を考えてみよう。ただし,Z =1n
∑
i
Zi とする。
(*) Zi を Xi で置き換えると,β̃は最小二乗推定量 β̂ =
∑i(Xi − X)(Yi − Y)∑
i(Xi − X)2に等しくなる。
β̃を変形していく。
485
β̃ =
∑i(Zi − Z)(Yi − Y)
∑i(Zi − Z)(Xi − X)
=
∑i(Zi − Z)Yi − Y
∑i(Zi − Z)
∑i(Zi − Z)(Xi − X)
=
∑i(Zi − Z)Yi∑
i(Zi − Z)(Xi − X)
(=
∑
i
ω∗i Yi, ただし,ω∗i =Zi − Z
∑j(Z j − Z)(X j − X)
)
=
∑i(Zi − Z)(α + βXi + ui)∑
i(Zi − Z)(Xi − X)
=α∑
i(Zi − Z) + β∑
i(Zi − Z)Xi +∑
i(Zi − Z)ui∑i(Zi − Z)(Xi − X)
= β +
∑i(Zi − Z)ui∑
i(Zi − Z)(Xi − X)
(= β +
∑
i
ω∗i ui
)
= β +
1n
∑i(Zi − Z)ui
1n
∑i(Zi − Z)(Xi − X)
−→ β +0
Mzx= β
486
2行目の右辺の分子の第 2項目は∑
i(Zi − Z) =∑
i Zi − nZ = 0に注意。
3行目では,β̃ =
∑i(Zi − Z)Yi∑
i(Zi − Z)(Xi − X)=
∑
i
ω∗i Yi と書き換えることができ,β̃も Yi の線形推
定量と言える。
ただし,ω∗i =Zi − Z
∑j(Z j − Z)(X j − X)
である(分母の添字を iから jに変更)。
4行目の右辺分子の第 1項目はゼロ,第 2項目は∑
i(Zi−Z)Xi =∑
i(Zi−Z)Xi−∑i(Zi−Z)X =
∑i(Zi − Z)(Xi − X)となるので分母と同じになる。このようにして,5行目が得られる。
6行目右辺第 2項の分子は Zi と ui の共分散に対応し,分母は Zi と Xi の共分散に対応し,
nを大きくするとそれぞれゼロ,Mzx に収束するものとする。
すなわち,β̃は βの一致推定量となる。
487
nが大きければ,E(ω∗i ui) −→ 0となる(分子・分母を別々に計算することができる)。
しかし,一般的には,E(ω∗i ui) , 0なので(ω∗i の分母は Xi に依存していて,Xi と ui は共
分散がゼロでないと仮定),E(̃β) , βとなり,β̃は不偏推定量にはならない。
Zi を操作変数(instrumental variable)と呼ぶ。操作変数を用いた推定方法を操作変数法
という。
Zi の選択について,(i) Zi と ui は相関がない,(ii) Zi と Xi は強い相関がある,という 2つ
の条件が必要になる。
(ii)については,Zi はもともと Xi の代わりに使うものなので,Xi と相関の強い Zi が望ま
しい。
488
● Zi の選択について(その 1): iが時間を表す場合(時系列データの場合),Zi = Xi−1 を
用いることが可能である。
Cov(Xi, ui) , 0としても,X を一期ずらして Cov(Xi−1, ui) = 0となるのは不自然ではない。
● Zi の選択について(その 2): Xi の予測値 X̂i を Xi の代わりに用いる。
ei を誤差項として,
Xi = γ0 + γ1W1i + γ2W2i + · · · + γmWmi + ei
を最小二乗法で推定して,γ̂0,γ̂1,· · ·,γ̂m を求める。
ただし,W1i,W2i,· · ·,Wmi は ui と相関のない変数でなければならない。
489
W1i,W2i,· · ·,Wmiには,Xi−1,Xi−2,· · ·のように Xiのラグ変数を用いてもよい。理由は,
前述の通りで,Xi と ui に相関かあったとしても,Xi のラグ変数 Xi−1,Xi−2,· · ·と ui とに相
関があるとは考えにくいからである。
Xi の予測値 X̂i を求める。
X̂i = γ̂0 + γ̂1W1i + γ̂2W2i + · · · + γ̂mWmi
を Zi として用いる。
Zi は ui と相関のない変数でなければならない。
γ̂ j は γ j の一致推定量なので,n −→ ∞のとき,
X̂i = γ̂0 + γ̂1W1i + γ̂2W2i + · · · + γ̂mWmi −→ γ0 + γ1W1i + γ2W2i + · · · + γmWmi
490
となる。
操作変数法による推定量 β̃が βの一致推定量になる理由は,
β̃ = β +
1n
∑i(Zi − Z)ui
1n
∑i(Zi − Z)(Xi − X)
−→ β +0
Mzx= β
から,操作変数 Zi と誤差項 ui との相関がゼロという条件(2項目の分子)が重要なポイン
トとなっている。
Zi に X̂i を用いると,n −→ ∞のとき,X̂i −→ γ0 + γ1W1i + γ2W2i + · · · + γmWmi となるこ
とから,W1i,W2i,· · ·,Wmi が ui と相関がなければ, 1n
∑i(X̂i − X)ui −→ 0となる(X̂ = X
に注意)。
この方法は,二段階最小二乗法(two-stage least squares method)と呼ばれる。1段階目
491
で X̂i を求める。2段階目で β̃を得る。
492