Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Verifikacija rezultata ALADIN modela
Iris Odak Plenković, Mario Hrastinski, Kristian Horvath, Martina Tudor, Stjepan Ivatek-Šahdan, Antonio Stanešić, Alica Bajić, Tomislav Kovačić
Državni hidrometeorološki zavodSlužba za meteorološka istraživanja i razvoj operativnih prognostičkih modela
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
SADRŽAJ
1. Uvod
2. Operativna verifikacija
3. Razvojna verifikacija
a. Kontinuiranog prediktanda
b. Kategoričkog prediktanda
c. Probabilističkog prediktanda
4. Zaključak
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
UVOD
VERIFIKACIJA • Operativna – prati rad numeričkog modela ALADIN• Razvojna – analiza i poboljšanje rada ALADIN-a
MOTIVACIJA – Praćenje, analiza i razvoj numeričkog modela ALADIN
PODACI• ALADIN 8 km: 37 nivoa; 240 x 216 točaka mreže; 72-satna
prognoza, 3-satni izlaz; hidrostatski
• ALADIN 2 km: 37 nivoa; 450 x 450 točaka mreže; 24-satna prognoza; 1-satni izlaz; nehidrostatski
• DADA 2 km: 15 levels; 450 x 450 grid points; 72-satna prognoza; 3-satni izlaz; hidrostatski
CILJ – pokazati na primjerima postupak verifikacije kakav se koristi na DHMZ-u
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
OPERATIVNA VERIFIKACIJA- Prati rad numeričkog modela ALADIN
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
OPERATIVNA VERIFIKACIJA- Prati rad numeričkog modela ALADIN
RMSEBIASSTD
mjerenja HARMONIE ver. pack.
VERAL ver. pack.
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
OPERATIVNA VERIFIKACIJA- Prati rad numeričkog modela ALADIN
A8 - bias
A8 - std
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Kvalitativno:• Dijagram raspršenja, vremenski niz, razdiobe• Razdiobe mjerene i modelirane brzine vjetra
0 2 4 6 8 10 12 14 16 18 200
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.50.5
wind speed (m/s)
Most Krk
wbl-measmeasAL8DA2AL2
0 2 4 6 8 10 12 140
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
wind speed (m/s)
Slavonski Brod
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
-4-20246
RM
SE c
omp.
ALADIN 8 km forecast - 2010-2012.
-4-20246
RM
SE c
omp.
DADA 2 km forecast - 2010-2012.
-4-20246
RM
SE c
omp.
ALADIN 2 km forecast - 2010-2012.
RAZVOJNA VERIFIKACIJA
• Kvantativno
RMSE: Generalna ocjena uspješnosti prognoze
Usporedba rezultata prognoze brzine vjetra:3 verzije modela za 16 različitih stanica usrednjeno za sva nastupna vremena
Dekompozicija:
BStd
PHE
BM
RMSE
BM2
BStd2
PHE2RMSE2
m/s
m/s
m/s
Bil
Gos
Gra
Jas
Kni
MK
rkM
Pag
Mak
Nov
Ogu
Osi
Š
ib Slb
Spl Var
Zag
postaje
VERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Dekompozicija:
Poboljšanje rezultata u obalnom području
1. Prostorne sistematske pogreške se značajno smanjuju s 8 km (A8) na 2 km rezoluciji (D2, A2)
2. Fazna pogreška je dominantni izvor RMSE-ana 2 km
BStd
RMSE
m/s
m/s
m/s
Bil
Gos
Gra
Jas
Kni
MK
rkM
Pag
Mak
Nov
Ogu
Osi
Š
ib Slb
Spl Var
Zag
postaje
-4-20246
RM
SE c
omp.
ALADIN 8 km forecast - 2010-2012.
-4-20246
RM
SE c
omp.
DADA 2 km forecast - 2010-2012.
-4-20246
RM
SE c
omp.
ALADIN 2 km forecast - 2010-2012.
BStd
PHE
BM
RMSE
m/s
m/s
m/s
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
-6-4-20246
RM
SE c
omp.
ALADIN 8 km forecast - Most Krk
-6-4-20246
RM
SE c
omp.
DADA 2 km forecast - Most Krk
J F M A M J J A S O N D-6-4-20246
RM
SE c
omp.
ALADIN 2 km forecast - Most Krk
Dekompozicija za postaju u obalnom području po mjesecima:
Poboljšanje rezultata u zimskom razdoblju
BStd
PHE
BM
RMSE m/s
m/s
m/s
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
5 10 15 20 25-1
-0.5
0
0.5
1Bias
Nb. of AE members
5 10 15 20 251.4
1.5
1.6
1.7
1.8
RMSE
Nb. of AE members5 10 15 20 25
0.5
0.55
0.6
0.65
0.7
0.75RCC
Nb. of AE members
• upotreba u razvoju AE post-processing statističke metode za prognozu brzine vjetra (14 postaja, sva nastupna vremena):određivanje optimalnih parametara
A8
KF
AE2AE1
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Spektralna analiza – kvalitativno:Usporedba po dijelovima spektra na raznim skalama
7 5 2 1 0.5 0.25 10
3
104
105
106
107
Period (days)
PSD
(Ws-1
)
Wind speed (Jasenice)
Missing data: 2.2 %
measAL8DA2AL2
7 5 2 1 0.5 0.25 10
3
104
105
106
107
Period (days)
Wind speed (Slavonski Brod)
Missing data: 2.5 %
measAL8DA2AL2
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
22-26h 22-26h
Diurnalnacirkulacija
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Spektralna analiza: Kvantifikacija spektralne verifikacije (Jasenice)
PLTD/PTOT PDIU/PTOT PSUB/PTOT PTOT/PTOT(mj)
Mjerenja 0.778 0.045 0.177 1.000ALADIN 8 km 0.709 0.098 0.193 0.158DADA 2 km 0.847 0.036 0.117 0.654
ALADIN 2 km 0.815 0.039 0.146 1.105
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
1-SEEPS • Mjeri pogrešku prognoze (idealno 1)• Od modela najuspješniji A2 model
A8 A2 DA A8 A2 DA A8 A2 DA 0
0.1
0.2
0.3
0.4
0.5
Group 1
1-SE
EPS
0 A8 A2 DA A8 A2 DA A8 A2 DA 0
0.1
0.2
0.3
0.4
0.5
Group 2
A8 A2 DA A8 A2 DA A8 A2 DA 0
0.1
0.2
0.3
0.4
0.5
Group 3
Brzina vjetra podijeljena je u 3 kategorije koje su određene 50. i 90. percentilom
AE1KFmodelAE1KFmodel AE1KFmodel
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KATEGORIČKOG PREDIKTANDA
Razmatraju se 3 grupe postaja: obalne, na većoj nadmorskoj visini i kontinentalne
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Indeks uspješnosti
(CSI; eng. Critical Success Index)
• mjera relativne točnosti
za svaku kategoriju
• Idealno 1
Obalne postaje:
• Velike brzine vjetra – najteže
za prognozirati
• Najbolji ukupni rezultat za A2
• Poboljšanje statističkim
prognoziranjem
0
0.2
0.4
0.6
0.8
1Category 1
CSI
0
0.2
0.4
0.6
0.8
1Category 2
A8 A2 DA A8 A2 DA A8 A2 DA0
0.2
0.4
0.6
0.8
1Category 3
CSI
AE1KFmodel
AE1KFmodelAE1KFmodel
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KATEGORIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Polihorički koeficijent korelacije (PCC)
• Mjeri asocijaciju u tablici kontingencije (idealno 1)
• AE1 statističko prognoziranje – poboljšava rezultat u sve tri grupe postaja
0 A8 A2 DA A8 A2 DA A8 A2 DA 0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
Group 1
PCC
A8 A2 DA A8 A2 DA A8 A2 DA 0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
Group 2
A8 A2 DA A8 A2 DA A8 A2 DA A80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
Group 3
AE1KFmodelAE1KFmodel
AE1KFmodel
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KATEGORIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Učestalost pristranosti po kategorijama (Fbias; eng. Frequency Bias)
• idealno 1 – najbliži A2 model u sve 3 kategorije
0
0.5
1
1.5
Category 1
FBia
s
0
0.5
1
1.5
Category 2
A8 A2 DA A8 A2 DA A8 A2 DA0
0.5
1
1.5Category 3
FBia
s
AE1KFmodel
AE1KFmodel AE1KFmodel
RAZVOJNA VERIFIKACIJAVERIFIKACIJA KATEGORIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Dijagram atributa:
• Kvalitativna
mjera
pouzdanosti
(idealno na
dijagonali)
• LR i AE1 su
pouzdane
probabilističke
prognoze
za sve 3
grupe postaja
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
Forecast probability
Forecast probability
AE1
LR
RAZVOJNA VERIFIKACIJAVERIFIKACIJA PROBABILISTIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
0 +12 +27 +42 +57 +720
0.02
0.04
0.06
0.08
0.1
UTC forecast time [h]
Gro
up1
Wind speed >5 m/s; 1.1.2012.-31.12.2012.
0 +12 +27 +42 +57 +720
0.1
0.2
0.3
0.4
0.5
UTC forecast time [h]
Kvantitativna ocjena: Brierova mjera uspješnosti (BSS)
• Dekompozicija na više aspekata:
pouzdanost (rel), rezoluciju (res) i neizvjesnost (unc)
LR res
AE res
LR rel AE rel
AE BSS
LR BSS
unc
RAZVOJNA VERIFIKACIJAVERIFIKACIJA PROBABILISTIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
ROCSS
Mjera uspješnosti
temeljena na
osjetljivosti
0 +12 +27 +42 +57 +720.35
0.4
0.45
0.5
0.55
0.6
0.65
0.7
0.75
0.8
2012 (366 days verification period)
UTC forecast time [h]
Gro
up 1
0 +12 +27 +42 +57 +72
0.4
0.5
0.6
0.7
0.8
UTC forecast time [h]
Gro
up 2
0 +12 +27 +42 +57 +72
0.4
0.5
0.6
0.7
0.8
UTC forecast time [h]G
roup
3
LR
AE
RAZVOJNA VERIFIKACIJAVERIFIKACIJA PROBABILISTIČKOG PREDIKTANDA
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
Mjere disperzije ansambla:
• Dijagram disperzije
• Dijagram ranga
RAZVOJNA VERIFIKACIJAVERIFIKACIJA PROBABILISTIČKOG PREDIKTANDA
0 5 10 15 20 250.8
1
1.2
1.4
1.6
1.8
2
2.2
Lead time [h]G
roup
1
AE mean RMSESPRD
0 5 10 150
0.05
0.1
0.15
0.2
0.25
Ogulin - MRE=14.4475
Bin number
Rel
ativ
e fr
eque
ncy
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
ZAKLJUČAK
• Verifikacija je složen i sveobuhvatan postupak
• Nužno je provoditi rutinski, ali i u razvojne svrhe
• Na mnogo različitih načina govori nam o
numeričkom modelu koji se razmatra, pružajući
korisne informacije kako razvojnom timu, tako i
korisnicima
• Istaknute su prednosti ALADIN modela 2 km
horizontalne rezolucije, te statističkog prognoziranje
“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.
HVALA NA PAŽNJI!
p (o1)=0.297 p (o2)=0.703fi p (fi | o1) p (fi | o2)
0.0 0.152 0.3630.1 0.108 0.1820.2 0.084 0.107… … …1.0 0.044 0.010
DISKRIMINACIJSKI DIJAGRAM & ROC krivulja
H F0.8480.741
…0.044
0.6370.455
…0.010
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
False alarm rate
Hit
rate
ROC krivulja