1© Icastat - AMOIcastat - AMO
NHV - dinsdag 6 maart 2012NHV - dinsdag 6 maart 2012
drs. Paul K. Baggelaardrs. Paul K. Baggelaar Icastat Icastat
ir. Eit C.J. van der Meulenir. Eit C.J. van der MeulenAMOAMO
Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit
Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit
2© Icastat - AMOIcastat - AMO
Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten
Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten
Beschrijven en beoordelen van:Beschrijven en beoordelen van:
1.1. de de toestandtoestandobjectiveren met behulp van normenobjectiveren met behulp van normen
2.2. de de veranderingverandering van de toestand van de toestandobjectiveren met behulp van statistische objectiveren met behulp van statistische methodenmethoden vergt veel inspanning bij grootschalig vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)meetnet (duizenden reeksen)
3© Icastat - AMOIcastat - AMO
TrendTrendTrendTrend
Vorm van niet-stationariteitVorm van niet-stationariteit
Verandering in het Verandering in het centrum centrum van de van de kansverdeling van meetwaarden over kansverdeling van meetwaarden over tenminste enkele jarentenminste enkele jaren
We richten ons op de We richten ons op de monotonemonotone trend trend
4© Icastat - AMOIcastat - AMO
Onderdelen van trendanalyseOnderdelen van trendanalyseOnderdelen van trendanalyseOnderdelen van trendanalyse
1.1. Trend Trenddetectiedetectie: objectieve uitspraak : objectieve uitspraak over wél of géén trendover wél of géén trend
2.2. Trend Trendkwantificeringkwantificering: schatting van de : schatting van de grootte van de trendgrootte van de trend
5© Icastat - AMOIcastat - AMO
Toetsen op monotone trendToetsen op monotone trendToetsen op monotone trendToetsen op monotone trend
Bekendste: toets op lineaire Bekendste: toets op lineaire regressiehellingregressiehelling
YYtt = b = b00 + b + b11XXtt + e + ett
onderzoeksvariabele
tijdsindex
intercept
helling tijd
modelresidu
6© Icastat - AMOIcastat - AMO
Trendtoetsen met lineaire regressieTrendtoetsen met lineaire regressieTrendtoetsen met lineaire regressieTrendtoetsen met lineaire regressie
Toetshypothesen:Toetshypothesen:0:en 0: 110 aHH
][ 1
1
bs
bT
Verwerp H0 als T > t(0,975;n-2)
Toetsingsgrootheid:
Student-t-waarde
7© Icastat - AMOIcastat - AMO
Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie
Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie
1.1. ModelresiduënModelresiduën zijn afkomstig uit zijn afkomstig uit (dezelfde) normale kansverdeling(dezelfde) normale kansverdeling
2.2. ModelresiduënModelresiduën vertonen geen vertonen geen autocorrelatieautocorrelatie
8© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg/l
Trendplot M_10J _NA_0% (Testreeks)
meetwaardentijdreekswaardenLowesstrendlijn
Voorbeeld lineaire regressieVoorbeeld lineaire regressieVoorbeeld lineaire regressieVoorbeeld lineaire regressie
9© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5
0
5
jaar
mg/l
Tijdreeksplot modelresiduen M_10J _NA_0% (Testreeks)
-3 -2 -1 0 1 2 3-5
0
5
normaalscore
mg/l
PP-plot
-3 -2 -1 0 1 2 3 40
10
20
30
aanta
l
waarde mg/l
Histogram
Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?
10© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4
-2
0
2
4
jaar
mg/l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)
5 10 15 20 25
-0.2
0
0.2
0.4
0.6
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?
11© Icastat - AMOIcastat - AMO
e + N = N
N + Xb + b = Z
t-tt
ttt
11
10
Uitgebreide lineaire regressieUitgebreide lineaire regressieUitgebreide lineaire regressieUitgebreide lineaire regressie
modelruis
autoregressieve modelparameter modelresidu
12© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg/l
Trendplot M_10J _NA_0% (Testreeks)
meetwaardentijdreekswaardenLowesstrendlijn
Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie
Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie
13© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3
-2
-1
0
1
2
jaar
mg/l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)
5 10 15 20 25
-0.2
-0.1
0
0.1
0.2
0.3
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?
14© Icastat - AMOIcastat - AMO
Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens
Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens
Ondergrens van nulOndergrens van nul Gecensureerde meetwaarden Gecensureerde meetwaarden (bv. < 1 (bv. < 1
g/l)g/l) Uitschieters, meestal naar bovenUitschieters, meestal naar boven Scheve kansverdeling Scheve kansverdeling (naar rechts)(naar rechts) SeizoenspatroonSeizoenspatroon Correlatie in tijd of ruimteCorrelatie in tijd of ruimte
Rekening mee houden bij statistische analyse
15© Icastat - AMOIcastat - AMO
e + N = N
N + )I( + Xb + b = Z
t-tt
tii
s
=itt
11
210
Nóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressie
aantal seizoenen
seizoensindex
seizoenseffect
modelruis
autoregressieve modelparameter
seizoensindicator
modelresidu
16© Icastat - AMOIcastat - AMO
Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets
Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets
Z-Z = S tk
n
+t=k
-n
=t
sgn1
1
1
0als1sgn
0 als 0sgn
0 als1sgn
< =
= =
> =
18
521Varen 0E
nnn = S = S
0als
Var
1
0 als 0
0 alsVar
1
< S S
ST
= S =T
> S S
ST
toetseng tweezijdibij
:als trendtesignificanh Statistisc
21 UT )/(
17© Icastat - AMOIcastat - AMO
Uitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toets
][sgn1
1
1Z-Z = S igkg
ng
=i+k
gn
=ig
S = S g
s
=g
* 1
0 = S = S g
s
=g
][E][E1
*
][Cov][Var][Var11
* S,S + S = S hg
s
gh
s
=gg
s
=g
Toetsingsgrootheid per seizoen
18© Icastat - AMOIcastat - AMO
Toetsen op monotone trendToetsen op monotone trendToetsen op monotone trendToetsen op monotone trend
ParametrischParametrisch
Lineaire regressie | +s | +a | +sa |Lineaire regressie | +s | +a | +sa |
VerdelingsvrijVerdelingsvrij
Mann-Kendall | +s | +a | +sa |Mann-Kendall | +s | +a | +sa |
Spearman | +s |Spearman | +s |
Lettenmaier | +a | +sa |Lettenmaier | +a | +sa |
Farrell | +s |Farrell | +s |
Wanneer welke toets gebruiken?Wanneer welke toets gebruiken?
19© Icastat - AMOIcastat - AMO
Criteria bij keuze trendtoetsCriteria bij keuze trendtoetsCriteria bij keuze trendtoetsCriteria bij keuze trendtoets
1.1. Empirisch significantieniveau niet hoger Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau (dan gehanteerd significantieniveau () ) verleent objectiviteit en zeggingskracht aan verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnetsignaleringsfunctie van het meetnet
2.2. Hoogste onderscheidend vermogen ( Hoogste onderscheidend vermogen (1-1-) ) van alle trendtoetsen die aan van alle trendtoetsen die aan 1.1. voldoen voldoen er wordt dan zo efficiënt mogelijk informatie er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevensgefilterd uit de duur betaalde meetgegevens
20© Icastat - AMOIcastat - AMO
Voorbeeld keuze trendtoetsVoorbeeld keuze trendtoetsVoorbeeld keuze trendtoetsVoorbeeld keuze trendtoets
Onderscheidend vermogen trendtoetsen
0%
20%
40%
60%
80%
100%
Trendgrootte ->0
1
2
3
=5%
21© Icastat - AMOIcastat - AMO
Percentage trenddetectie bij normale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/ jaar]
LRMK
n = 120
22© Icastat - AMOIcastat - AMO
Percentage trenddetectie bij lognormale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/ jaar]
LR
MK
n = 120
23© Icastat - AMOIcastat - AMO
Kenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsen
1.1. Doet bij normale kansverdeling niet Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen veel onder voor parametrisch toetsen
2.2. Is bij niet-normale kansverdeling Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen krachtiger dan parametrisch toetsen
3.3. Geen last van uitschieters !Geen last van uitschieters !
24© Icastat - AMOIcastat - AMO
En transformeren?En transformeren?En transformeren?En transformeren?
Lukt zelden volledig en toepassen van Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan een parametrische toets/schatter is dan niet optimaalniet optimaal
Geeft ‘kromme’ trends in de meetschaalGeeft ‘kromme’ trends in de meetschaal
Bij niet-normaliteit geven wij de voorkeur Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methodenaan verdelingsvrije methoden
25© Icastat - AMOIcastat - AMO
Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure
Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure
ParametrischParametrisch
Lineaire regressieLineaire regressie en uitbreidingen en uitbreidingen
VerdelingsvrijVerdelingsvrij
Mann-KendallMann-Kendall en uitbreidingen en uitbreidingen
26© Icastat - AMOIcastat - AMO
Preferentieprocessen van de toetsenPreferentieprocessen van de toetsenPreferentieprocessen van de toetsenPreferentieprocessen van de toetsen
Toets S A S+A S A S+A
LR
LRs
LRa
LRsa
MK
MKs
MKsa
Normale kansverdeling Geen normale kansverdeling
Statistische kenmerken van proces
27© Icastat - AMOIcastat - AMO
28© Icastat - AMOIcastat - AMO
TrendkwantificeringTrendkwantificeringTrendkwantificeringTrendkwantificering
Trendtoets Trendschatter
(Uitgebreide) lineaire regressie Lineaire regressiehelling
Mann-Kendall Theilhelling
Seizoenale Mann-Kendall
Seizoenale Mann-Kendall met verdiscontering autocorrelatieKendall-seizoenshelling
Theilhelling en Kendall-seizoenshelling zijn beideTheilhelling en Kendall-seizoenshelling zijn beide
zuiverezuivere en en robuusterobuuste schatters, met schatters, met
grotere nauwkeurigheidgrotere nauwkeurigheid dan lineaire regressie- dan lineaire regressie-
helling bij scheve kansverdelingenhelling bij scheve kansverdelingen
29© Icastat - AMOIcastat - AMO
Principe TheilhellingPrincipe TheilhellingPrincipe TheilhellingPrincipe Theilhelling
Tijd 1 2 3 4 5 6 7
Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.8
1 1.2
2 1.6 0.40
3 3.4 1.10 1.80
4 3.7 0.83 1.05 0.30
5 5.2 1.00 1.20 0.90 1.50
6 16.0 2.96 3.60 4.20 6.15 10.80
7 5.8 0.77 0.84 0.60 0.70 0.30 -10.20
Theilhelling is mediaan van de hellingen = 1.00
30© Icastat - AMOIcastat - AMO
Robuustheid TheilhellingRobuustheid TheilhellingRobuustheid TheilhellingRobuustheid Theilhelling
0
2
4
6
8
10
12
14
16
18
1 2 3 4 5 6 7
Lineaire regressielij n
Theillij n
Uitschieter
31© Icastat - AMOIcastat - AMO
Nauwkeurigheid TheilhellingNauwkeurigheid TheilhellingNauwkeurigheid TheilhellingNauwkeurigheid Theilhelling
RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)
[Hirsch et al., 1991]
32© Icastat - AMOIcastat - AMO
Toepassingen procedureToepassingen procedureToepassingen procedureToepassingen procedure
Grootschalige meetnetten waterkwaliteitGrootschalige meetnetten waterkwaliteit RIWARIWA RWSRWS 10 waterschappen10 waterschappen drinkwaterbedrijfdrinkwaterbedrijf ProvincieProvincie VMMVMM
Structureren presentatie uitvoer is uitdaging Structureren presentatie uitvoer is uitdaging !!
33© Icastat - AMOIcastat - AMO
ConclusiesConclusiesConclusiesConclusies
1.1. Maatwerk bij trendanalyse loont: meer Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschattenen grotere nauwkeurigheid bij trendschatten
2.2. Selectie toets/schatter obv soort Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten kansverdeling en al of geen seizoenseffecten en/of autocorrelatieen/of autocorrelatie
3.3. Bij niet-normaliteit verdelingsvrije methodenBij niet-normaliteit verdelingsvrije methoden
4.4. Selectieprocedure en trendanalyse zijn Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen wordenuitgevoerd kunnen worden
34© Icastat - AMOIcastat - AMO
Vragen?Vragen?Vragen?Vragen?