Embed Size (px)
Citation preview
1
アンサンブルカルマンフィルターによる大気海洋結合モデルへのデータ同化 データ同化モデルにおける観測ノイズ分散共分散行列のベイズ推定法
上野玄太 (統計数理研究所)
1. 状態空間モデル
2. 観測ノイズ分散共分散行列の推定
2
準備：状態空間モデル
•以上の２つをそれぞれシステムモデル、観測モデルと呼び、それらを合わせて状態空間モデルという。データ同化の基本となるモデルである。
•シミュレーションモデルでは思うように現象が再現・予測できない。このとき、シミュレーションモデルに「遊び」を許し、観測データの情報を取り込める自由度を持ったものへと拡張する。
•シミュレーションモデルと観測データの間にも自由度を持った関係を構築する。
•シミュレーションモデルでは思うように現象が再現・予測できない。そのため、シミュレーションモデルの大規模化・精緻化・階層化などを進める
[いわゆる「演繹一本槍」]
3
シミュレーション (1/2)
x の時間発展を与える微分方程式
txgdt
dx,
fupuut
u
21
tt
xgt
xtxt ,1
1
離散化
collt
f
v
f
m
F
x
fv
t
f
1:
,11
tx
tf
ttt
xgxtxt移項
4
シミュレーション (2/2)
シミュレーションモデル
Ttxtf txt ,,2,1,1
•x :シミュレーション変数をまとめたベクトル量で、状態もしくは状態ベクトルと呼ぶ。
•x0: 初期状態もしくは初期条件と呼ぶ。シミュレーションの計算の前にあらかじめ与える
上の設定から当たり前のことではあるが、
初期状態 x0 を与えると、その後の状態の列
(x1, x2, …, xT) が一意に決まる。
5
時間発展の不確定性、システムノイズ
Ttxtf txtxtf txt ,,2,1,11
Ttt
vxtf txt ,,2,1,1
近似等号を表現するために、付加項 vt を含めて
等号で結ぶ：
付加項 vt の確率分布を仮定する：
Ttt
vpt
v ,,2,1,~
vtをシステムノイズと呼ぶ。
6
システムモデル
シミュレーションモデル
Ttxtf txt
xx
,,2,1,1
100
システムモデル
初期条件はこのあたりか？
時間発展はこんなものか？
初期条件はこうだ！
時間発展はこうだ！
Ttt
Qt
vpt
v
Ttt
vxtf txt
Vxxpx
,,2,1,;~
,,2,1,1
0,1
0;
0~
0
初期状態の確率分布
システムノイズの確率分布
x0
xp 0
1
0x
0V
7
モデルとデータのつき合わせ
状態
次元ベクトルの列k
Ttxt ,,2,1,
観測データ
次元ベクトルの列l
Ttt
y ,,2,1,
状態は多くの変数を要素に持つベクトルであるが、
実際に観測されるのは一部の変数である (l < k)。
つき合わせたい
xt yt
xt yt広瀬・万田
(2006)
8
観測モデル、観測ノイズ
考え方：得られた状態は観測と近い
Ttt
xt
ht
y ,,2,1,
Ttt
Rt
wpt
w ,,2,1,;~
付加項 wt の確率分布を仮定する：
wtを観測ノイズと呼ぶ。
近似等号を表現するために、付加項 wt を含めて
等号で結ぶ：
Ttt
wt
xt
ht
y ,,2,1,
観測モデル
9
観測ノイズ
•観測ノイズ wt の定義は、 観測とモデルの差 yt-ht(xt)
•観測機器の特性に起因する、いわゆる「測定誤差」は、観測ノイズに寄与する要素の一部と考えるべき
[観測ノイズ、という言葉から類推しないでください]
•極端な例として、観測ノイズと「測定誤差」が一致する場合を考えると、モデルが観測機器をとりまく自然現象を完璧に再現できる場合に対応
•通常はモデルにはそこまでの能力はないため、モデルが再現し切れない部分も差としてカウントされる
10
状態空間モデル
システムモデル、観測モデルからなるモデルを
状態空間モデルと呼ぶ。
Ttt
Qt
vpt
v
Ttt
vxtf txt
Vxxpx
,,2,1,;~
,,2,1,1
0,1
0;
0~
0
システムモデル
Tt
tR
twp
tw
Ttt
wt
xt
ht
y
,,2,1,;~
,,2,1,
観測モデル
（狭い意味で）データ同化では、初期状態の確率分布、システムノイズの確率分布、観測ノイズの確率分布を与えたときに、観測データに基づいて、状態の確率分布を求める。
11
データ同化における状態空間モデル
• データ同化 = 状態変数 を推定する問題
– : タイムステップ t でのシミュレーションの全変数を
まとめたベクトル (x0: 初期条件)
– : タイムステップ t での観測される全変数
– : システムノイズ. シミュレーションの不確定部分を表現 する確率変数 (不確定部分: 境界条件、パラメータ、 …)
– : 観測ノイズ
ty
tx
tv
tw
tx
t
xt
ht
y
tx
tf
tx
)
1(
t
wt
xt
ht
y
tv
tx
tf
tx
)1
((システムモデル)
(観測モデル)
変数の次元 tx : 104~106 : 102~105 )dim()dim( tt yx ty
,
0
~ 0,
~ 0,
~0 | 0 0 | 0
v N Q
w N
t t
t t
N V
R
x x
12
データ同化における共分散行列
,1
f x vt t t t
y h x wt t t
x
t
状態空間モデル
共分散行列
Qt小 → モデルよりの状態推定値
Rt小 → データよりの状態推定値
V0|0小 → x0|0 よりの初期値
• θ = (V0|0, Q1:T, R1:T) の
最尤推定 初期値
システム
ノイズ
観測
ノイズ
システムモデル
観測モデル
13
データ同化結果
Q大
sh大)
R大
(a大) どれがいいのか？
尤度とは
与えられた観測値 yobs が得られるような、
一番もっともらしい確率分布はどれか？
もっともらしさ = 尤度 L(t) = p(yobs|θ)
上の例では q3 が一番もっともらしい。
|1
p y q |2
p y q |3
p y q
yobs yobs yobs
, , , |1 2
, , ,| | , | , , | ,1 21 2 1 3 1 2 1
| ,1: 11
L p y y yT
yy yp p p py y y y y y yT T
Tp y yt t
t
q q
q q q q
q
時系列の尤度
この量を最大とするようなθを求める。
実際上は、対数を最大とするようにすると扱いやすい。
log1:
| ,1:
|
g
11
loT
p
p yT
y yt t
t
q
q q
時系列の尤度
log
1
lo
| ,1: 1
| , | ,1
1: 1
g
Tp y y
t t
p y x x y dxt t t
t
T
tp
tt
q q
観測モデルから決まる
予測分布
,H xt t t
N R,
f fxt
Pt
N ~ 0,
y H wt t t t
w Nt t
x
R
一般にガウス分布ではない
[力学モデルが非線型なので]
でもガウス
だと思うと
尤度
17
分布のアンサンブル近似
アンサンブルカルマンフィルタ (EnKF),
粒子フィルタ (PF)
非ガウス分布
アンサンブル
近似/粒子近似
xt
xt V jtx jtN |,|
x jt |
V jt |xt
ガウス分布
厳密に
表現可能
カルマンフィルタ (KF)
シミュレーションの抽象的表現
18
x : 状態
x1
x2
x3
ある時点での全格子点上の
全物理量をまとめて表すベクトル
t : 時刻 t =1 t =2 t =3 t =0
xt=f(xt-1) シミュレーションによる状態の時間発展
初期値 x0
アンサンブル予測
19
x1(1)= f1(x0
(1)) x2
(1)= f2(x1(1)) x0
(1) x3(1)= f3(x2
(1))
x2(2)
x0(2) x1
(2) x3
(2)
x0(3)
x0(4) 異なる初期値で
シミュレーションを実施
アンサンブル型データ同化
20
x0(1)
y1
y2
データ同化 データ同化
データに応じて、アンサンブルを改変
• アンサンブルカルマンフィルタ (EnKF),
• 粒子フィルタ (PF)
21
EnKF と PF
x tt)1(
1|1
x tt)1(
1|
x tt)1(|
リサンプリング
y t
x tt)1(
1|1
x tt)1(
1|
x tt)1(|
近似カルマンゲイン
y t
x ntt
ytp )(1|
|
EnKF PF
xt 1 xt xt
KF
| | 1 | 1
n n n nyx x w xHK tt ttt t t t t t
1
| 1 | 1 | 1V H H V H RK t t t t t t t t t t
22
問題意識
•状態推定の結果は、あらかじめ設定した θ によって、いかようにもできる (正則化パラメータと同様)
•θ = (V0|0, Q1:T, R1:T)
V0|0 : 初期状態の分散共分散行列 (Bと書くことあり)
Qt: システムノイズの分散共分散行列
Rt: 観測ノイズの分散共分散行列
•なるべくデータの情報を取り込む設定に興味がある
•グリッドサーチ（総当たり）、リサンプリング
計算が大変
探索範囲にどうしても限界がある (候補を自分で用意するため)
23
尤度のアンサンブル近似
|
dim 1log 2 log
2 21
1 1log exp log| 1 | 121
log1:
T ytRt
t
N n nNy yh x h xRt ttt
p yT
tt t t tn
q
q
尤度は各アンサンブルメンバー xt|t-1(n) の尤度の平均
で近似できる
( )
~ 0,
y h x wt t t
wt
t
N Rt
• この量 (対数尤度) を最大化するθ を求める。
24
観測誤差共分散行列の尤度
今回 , ,1: 1: 1:
B Q R RT T T
q のうち、 のみに着目
, , ,1: 1 2
R R R RT T
, ,1 :
12
,1
R RT t
t
Rt
TR
対数尤度
Rt
1: 1R
t
,1: 1t t
R R
dim 1log 2 log
2 2
1 1log exp| 1 | 12
1:
1
log
ytRt
N n ny yh x h xRt ttt tt t t t
Rt t
n
N
但し
25
推定の方針
• ℓt(R1:t) は Rt の推定のためだけに用いる • 本来は R1:t-1 もパラメータだが、これらは過去の対数尤度 ℓ1(R1),
…, ℓt-1(R1:t-1) で推定され、現時点では固定とする • 各時点tで、 Rtが推定される
• 各時点で yt に応じてRt を推定するので、ばたばたするかも • 時点に依存しない一定の R を推定することは できない
Rt
1: 1R
t
,1: 1t t
R R
dim 1log 2 log
2 2
1 1log exp| 1 | 12
1:
1
log
ytRt
N n ny yh x h xRt ttt tt t t t
n
R
N
t t
• これで最尤推定ができる。のだが、
26
観測誤差共分散行列のベイズ推定
•動機その１：
最尤推定では、 Rt がスカラー倍か対角の場合でしか
うまくいかない。本当は非対角（理想は全成分） Rt
の推定がしたい。
•動機その２：
Rt が激しく時間変化するというのはいかがなものか
•Rt に事前分布を与えたベイズ推定へ
27
ベイズ推定
尤度 (今まで)
事後分布
| ,
1 1
1; ,
| 1:1
t
N np y h x Rtt t
y R ytNt t
nt
| | , |1: 1: 1 1: 1
|1
; ,| 1
11: 1
p p
N ny h
R y y R y p R yt t t t t t t
p R yt t
x Rtt ttn
tN
事前分布 尤度
28
EMアルゴリズム
E ステップ
M ステップ
•対数事後分布の最適性条件
log | , ,1:
0p R y S
t t
Rt
標本共分散と事前共分散の線型和
; ,| 1
; ,| 1
11
| 1 |
1
11
1
t
t
n ky h x
t t t tk
n n ky h x
t t t t
Nk k n nR z y h x y h x
t n t t t
R
zN
t t t t tn
S
R
m
m
n
where
29
データとシミュレーション
年
経度
色は海面高度の変動を示している
dim 503
0 503 3:5t
yt
R
行列
30
最尤推定値 [いかがなものか]
Rt t
a , ,1
diag rR rt m
分散
•いずれも、1998年あたりで大
•平均値はいずれも40cm2
•at は振幅小、diag rt は振幅大
1992- 年 -2002
31
ベイズ推定値 (事前重み 0.95)
• ばたばた感は解消
• 事前情報に重み0.95
ˆ,1
St t t
R a a
, ˆ1
diag r S diagR rt t t
分散
1992- 年 -2002
• 小さめ
32
ベイズ推定値 (事前重み推定)
• ばたばた感は解消
• 事前情報に重み
ˆ,1
St t t
R a a
, ˆ1
diag r S diagR rt t t
分散
1992- 年 -2002
• 小さめ
33
ベイズ推定値 (全要素推定)
分散
共分散
34
平滑化推定値 (Rt: 最尤推定)
Rt t
a diagRt t
r
経度
35
平滑化推定値 (Rt: ベイズ推定)
ˆ,1
St t t
R a a
, ˆ1
diag r S diagR rt t t
• ばたばた感が解消した分、データへの追従も抑制気味
36
まとめ
• 観測ノイズの共分散行列 Rt のベイズ推定
• 全成分を推定することが可能
• 時間変化を滑らかにすることが可能
• EMアルゴリズムを構成 [最尤推定の場合と同様]
• 事前分布のパラメータは直前推定値、経験値、周辺尤度などから
• エルニーニョモデルを用いた数値実験
• 必要な反復回数は5,6回程度
