Upload
ismet
View
141
Download
1
Embed Size (px)
DESCRIPTION
多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法. 広島大学大学院 理学研究科 博士課程前期 (2 年 ) 数学専攻 永井 勇. 目的・動機. 多変量線形回帰モデルにおいて 説明変数間の相関が高い ⇒最小二乗推定量 (LSE) の分散が大 ⇒単変量の場合には他の推定法が提案 ⇒その手法を多変量に拡張 特に情報量規準によるパラメータの推定法の拡張. 目次. 一般化リッジ回帰モデル モデルの拡張 リッジパラメータ推定法の拡張 情報量規準による推定 その他の推定法による推定 検定統計量との関係 シミュレーション 参考文献. - PowerPoint PPT Presentation
Citation preview
2
目的・動機• 多変量線形回帰モデルにおいて 説明変数間の相関が高い
⇒最小二乗推定量 (LSE) の分散が大
⇒単変量の場合には他の推定法が提案
⇒その手法を多変量に拡張– 特に情報量規準によるパラメータの推定法の
拡張
11
リッジパラメータの推定法• MSE を小さくするパラメータ ⇒ で最小
の各行が従っている分布の共分散行列 の 行目のベクトル
未知パラメータを含んだ形で陽に求まる未知パラメータに直接推定量を代入 (Plug in Estimator)
MSE の推定量を最小に
( 情報量規準の最小化に対応 )
別の推定法
18
未知パラメータに直接代入する方法1. MSE を最小にする に直接代入 (PI)
(Hoerl & Kennard, 1970)
2. (LSE の 行目 )
という反復
を用いる (IT-2) (IT-1=PI)
(Hoerl & Kennard, 1970)
20
検定統計量との関係• V.S.
検定統計量
実現値cの値p LSE を縮小 or
0
LSE を縮小 or 0
IT-∞ 4p LSE を縮小 or 0
PC 2p LSE のまま or 0
を棄却
24
まとめ• RE や GRE の多変量モデルへの拡張• 多変量一般化リッジ回帰モデルでの情報
量規準 の提案– 最適なパラメータが陽に求まる
– 他の陽に求まる手法の拡張 (PI,IT-2,IT-∞,PC)
• 手法の比較– サンプル数が少ない場合 ; – ある程度大きい場合 ; IT-∞
25
参考文献1. Hoerl, A. E. & Kennard,R.W.(1970).Ridge regression
: biased estimation for nonorthogonal problems. Technometrics , 12 ,55-68
2. Lawless, J.F. (1981). Mean squared error properties of generalized ridge estimators.
J. Am . Stat . Assoc ., 76 ,462 – 4663. Mallows, C. L. (1973).Some comments on . Techn
ometrics , 15 , 661-675 4. Walker, S.G. & Page, C. J.(2001).Generalized ridge
regression and a generalization of the statistic. J. Appl. Statist.,28,911-9221. Yanagihara, H. & Satoh, K.(2008).An unbiased cri
terion for multivariate ridge regression. TR No. 08-04, Statistical Research Group, Hiroshima University.