Automated Homogenization of Monthly Temperature Series via Pairwise Comparisons

Briefing on Pairwise Approach toClimate Data Homogenization

1 NOAA’s National Climatic Data Center

Automated Homogenization of Monthly Temperature Series via Pairwise Comparisons

Matthew Menne and

Claude WilliamsNOAA/National Climatic Data Center

Asheville, North Carolina USA



Outline

1. Motivation: The United States Historical Climatology Network (U.S. HCN)

2. Overview of the “pairwise” homogenization algorithm

3. Some examples4. Impact of inhomogeneities on U.S.

temperature trends5. A word about GHCN-Daily



U.S. Climate Network

Historical Climatology Network

Cooperative Observer



U.S. HCN -- Version 1Monthly Data

• 1221 stations selected to comprise the HCN in mid-1980s

• Monthly dataset originally released in 1987 • Addressed the following:

– Time of observation bias (Karl et al. 1986; Vose et al. 2003)– Station History Changes (Karl and Williams 1987)

• Optimized reference series based on station history archives

– Urbanization (Karl et al. 1988) – LiG to MMTS instrument change (Quayle et al. 1991)



U.S. HCN -- Version 2Monthly Data

• 1218 stations in a re-defined network• Addresses

– Time of observation bias (Karl et al. 1986; Vose et al. 2003)

– Station history (documented) and undocumented changes (Menne and Williams, Journal of Climate, in review)

• Automated pairwise comparison of series



Station Siting Example of ratings assigned by Watts based upon NOAA/NCDC criteria

Class 1 - Flat & horizontal ground. Sensors located at least 100 meters from artificial heating

Class 2 - Same as Class 1, except no artificial heating sources within 30 meters.

Class 3 - Same as Class 2, except no artificial heating sources within 10 meters.

Class 4 - Artificial heating sources <10 meters.

Class 5 - Temperature sensor located next to/above an artificial heating source

Siting Classification based upon standards

for NOAA’s U.S. Climate Reference

Networkftp://ftp.ncdc.noaa.gov/pub/data/uscrn/

documentation/program/X030FullDocumentD0.pdf

www.surfacestations.org



Station Siting Example of ratings assigned by Watts based upon NOAA/NCDC criteria

Class 4 - Artificial heating sources <10 meters.

Class 5 - Temperature sensor located next to/above an artificial heating source

Siting Classification based upon standards for NOAA’s U.S. Climate Reference Network

ftp://ftp.ncdc.noaa.gov/pub/data/uscrn/documentation/program/X030FullDocumentD0.pdf



Why Pairwise?

• Avoid problems associated with reference series, e.g.,– Difficulties in ensuring homogeneity– Mix of record lengths in climate series

• All temperature series can be evaluated



Pairwise Comparison of Series

• Jones et al. (1986) – Informal examination of paired temperature

series• Cassinus and Mestre (2004)

– Optimal segmentation of paired difference series

– Series causing the change point can be traced more directly



Basic Steps1. Form combinations of pairwise difference series 2. Apply undocumented changepoint tests to the

difference series3. “Unconfound” the identified changepoints4. Conflate changepoint dates

– Undocumented changepoints attributed to date of metadata event, or

– To most common changepoint date

5. Calculate multiple pairwise estimates of step change amplitude for each target changepoint



Step 1: Formation of difference series

• All series are paired the with most highly correlated neighboring series

• First difference correlation used to minimize impact of step changes and trends on correlation

nTnTnT YXD

number) cycle (theyear the and

index,monthly theis 1,...,12 cycle, annual theas 12 where

n

T



Simulations

• Simulated 1000 groups of 21 correlated red noise series (n=1200)

• Imposed between 0 and 10 changepoints at random locations and of random magnitude (average = 5)



σ (°C)

Simulated temperature series with random shifts caused by station moves/site changes

•Series in red treated as the target in subsequent figures

•All shifts are considered to be undocumented

•True “climate” trend in all simulated series is zero

(Annual Averages)



Case 7 unadjustedTarget series (lower panel) and differences with neighbors



Step 2: Breakpoint Testing

Change in mean with no trend

Change in mean within constant trend

Change in mean and/or change in trend

SNHT (Alexandersson,1986) –- “TPR-0”

“TPR-2” (Lund and Reeves 2002)

“TPR-1” (Wang 2003)

Multiple breaks resolved via a semi-hierarchical splitting algorithm (Hawkins, 1976; Menne and Williams 2005)



Step 2: Breakpoint Testing

• Use SNHT (TPR-0) with Bayesian Information Criterion (S(q)) verification of changepoint



n

ttt nqDD

nnqS

1

2 )log(])ˆ(1log[)(

q = 1

q = 2

q = 4

q = 4 q = 3

q = 4

q = 5

Step 2: Changepoint model identification

q = 4



Why worry about local trends?

• Determine impact of land use changes (e.g., urbanization)

• Trend changes get confounded with step changes (especially at annual resolutions)



|010|011|012|013|014|015|016|017|018|019|01a|01b|01c|01d|01e|01f|01g|01h|01i|01j|01k|1940 4 472 | 1|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|1940 5 473 |---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|1940 6 474 |---| 1|---|---|---|---|---|---|---|---|---|---| 1|---| 1|---| 4|---| 1|---|---|1940 7 475 |---|---| 1|---|---| 1| 1|---|---| 1| 1|---|---|---|---| 1| 2|---|---|---|---|1940 8 476 |---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---| 3| 1|---|---|---|1940 9 477 |---| 3|---|---|---|---|---|---|---|---|---| 1| 1| 1| 1|---|---|---| 1|---|---|1940 10 478 |---|---| 1|---|---| 1|---|---|---| 1|---|---|---|---|---|---| 1|---|---|---|---|1940 11 479 |---| 2|---|---| 1| 6|---|---| 1|---|---|---|---| 1|---|---|---| 1| 1|---| 1|1941 1 481 |---| 4|---| 1|---|---| 1|---|---|---|---|---|---|---|---| 1|---|---|---|---| 1|1941 2 482 |---| 1|---| 1|---|---| 1| 1|---| 1| 1|---|---|---|---|---|---|---| 2|---|---|1941 3 483 |---|---| 1| 2|---|---| 1|---|---|---|---| 1|---|---|---|---|---|---|---|---| 1|1941 4 484 | 1|---|---| 2|---|---|---| 2|---|---|---|---|---|---| 1|---|---|---|---|---| 2|1941 5 485 |---| 1| 1| 1|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|1941 6 486 |---|---| 3| 3|---|---| 1|---| 1| 1|---|---|---|---|---|---|---| 1| 1|---| 1|1941 8 488 | 1|---| 1|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 11 491 |---|---|---|---|---|---| 1| 1| 4| 1|---|---|---|---|---|---|---|---|---| 1|---|1941 12 492 | 1|---|---|---|---|---|---|---| 2|---|---|---|---| 1|---|---|---|---|---|---|---|1942 1 493 |---|---|---|---| 1|---|---|---| 1|---|---|---|---|---|---|---|---|---|---|---|---|1942 2 494 |---|---| 1|---|---|---|---|---| 3|---| 1|---|---|---|---|---|---|---| 1|---|---|1942 4 496 |---|---| 4|---| 1|---|---|---|---| 1|---|---|---|---|---| 1|---|---|---| 1|---|1942 7 499 | 1|---|---|---|---|---|---|---| 1| 1|---|---| 5|---|---| 1|---|---|---| 1|---|1943 10 514 |---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|---|---|1943 11 515 |---|---|---|---|---|---|---|---| 2| 1|---|---|---| 1|---|---|---|---|---|---|---|1944 2 518 |---| 1| 1|---|---|---|---|---|---|---|---|---| 5|---| 1| 1| 1|---|---|---|---|1944 3 519 |---|---|---|---|---|---| 2|---|---| 1|---|---| 3|---| 1| 1|---| 1|---| 1|---|1944 4 520 | 1|---|---|---|---|---|---|---| 1|---|---|---| 2|---|---|---|---|---|---|---|---|1944 5 521 |---|---|---|---|---|---|---| 1|---|---|---|---|---| 1|---|---|---|---|---|---|---|1944 12 528 | 1|---| 1|---| 1|---| 5| 6| 1| 2| 1|---|---|---| 1|---|---|---| 1|---|---|1945 1 529 |---|---|---|---|---|---| 1| 2|---|---|---|---|---|---|---|---|---| 1|---|---| 2|1945 2 530 |---|---|---|---|---|---| 1|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|1945 4 532 |---|---| 2|---|---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|1945 11 539 | 1|---|---|---|---| 1|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|1946 1 541 |---|---|---|---|---|---|---|---|---|---|---|---|---| 1| 1|---|---|---|---|---|---|1946 2 542 |---|---|---| 1|---|---|---|---| 1|---|---| 1|---| 3|---|---| 1|---| 1|---|---|1946 3 543 |---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|1946 5 545 |---|---|---| 1|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|---|---|1946 8 548 |---|---|---| 1|---|---| 1|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|1946 10 550 |---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|---|---|---|---|1947 2 554 |---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|1948 3 567 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---| 1|1948 7 571 |---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|---|---| 2|---|---|---|1948 8 572 |---|---|---|---|---|---|---|---|---| 1|---|---| 1|---|---|---|---| 2|---|---|---|1948 12 576 |---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|---|1949 6 582 | 1| 1| 1|---|---|---| 1|---|---| 1|---|---|---|---| 1| 1| 9| 1| 1|---|---|1950 5 593 |---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|



Step 3: Attribute Cause of Shifts

• Date by date find station whose target-neighbor difference series has failed Ho the most

• Subtract one from tally of total number of shifts on corresponding date from each neighbor-target difference series

• Iterate for all dates and difference series



|010|011|012|013|014|015|016|017|018|019|01a|01b|01c|01d|01e|01f|01g|01h|01i|01j|01k|1940 4 472 | 1|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|1940 5 473 |---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|1940 6 474 |---| 1|---|---|---|---|---|---|---|---|---|---| 1|---| 1|---| 4|---| 1|---|---|1940 7 475 |---|---| 1|---|---| 1| 1|---|---| 1| 1|---|---|---|---| 1| 2|---|---|---|---|1940 8 476 |---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---| 3| 1|---|---|---|1940 9 477 |---| 3|---|---|---|---|---|---|---|---|---| 1| 1| 1| 1|---|---|---| 1|---|---|1940 10 478 |---|---| 1|---|---| 1|---|---|---| 1|---|---|---|---|---|---| 1|---|---|---|---|1940 11 479 |---| 2|---|---| 1| 6|---|---| 1|---|---|---|---| 1|---|---|---| 1| 1|---| 1|1941 1 481 |---| 4|---| 1|---|---| 1|---|---|---|---|---|---|---|---| 1|---|---|---|---| 1|1941 2 482 |---| 1|---| 1|---|---| 1| 1|---| 1| 1|---|---|---|---|---|---|---| 2|---|---|1941 3 483 |---|---| 1| 2|---|---| 1|---|---|---|---| 1|---|---|---|---|---|---|---|---| 1|1941 4 484 | 1|---|---| 2|---|---|---| 2|---|---|---|---|---|---| 1|---|---|---|---|---| 2|1941 5 485 |---| 1| 1| 1|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|1941 6 486 |---|---| 3| 3|---|---| 1|---| 1| 1|---|---|---|---|---|---|---| 1| 1|---| 1|1941 8 488 | 1|---| 1|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 11 491 |---|---|---|---|---|---| 1| 1| 4| 1|---|---|---|---|---|---|---|---|---| 1|---|1941 12 492 | 1|---|---|---|---|---|---|---| 2|---|---|---|---| 1|---|---|---|---|---|---|---|1942 1 493 |---|---|---|---| 1|---|---|---| 1|---|---|---|---|---|---|---|---|---|---|---|---|1942 2 494 |---|---| 1|---|---|---|---|---| 3|---| 1|---|---|---|---|---|---|---| 1|---|---|1942 4 496 |---|---| 4|---| 1|---|---|---|---| 1|---|---|---|---|---| 1|---|---|---| 1|---|1942 7 499 | 1|---|---|---|---|---|---|---| 1| 1|---|---| 5|---|---| 1|---|---|---| 1|---|1943 10 514 |---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|---|---|1943 11 515 |---|---|---|---|---|---|---|---| 2| 1|---|---|---| 1|---|---|---|---|---|---|---|1944 2 518 |---| 1| 1|---|---|---|---|---|---|---|---|---| 5|---| 1| 1| 1|---|---|---|---|1944 3 519 |---|---|---|---|---|---| 2|---|---| 1|---|---| 3|---| 1| 1|---| 1|---| 1|---|1944 4 520 | 1|---|---|---|---|---|---|---| 1|---|---|---| 2|---|---|---|---|---|---|---|---|1944 5 521 |---|---|---|---|---|---|---| 1|---|---|---|---|---| 1|---|---|---|---|---|---|---|1944 12 528 | 1|---| 1|---| 1|---| 5| 6| 1| 2| 1|---|---|---| 1|---|---|---| 1|---|---|1945 1 529 |---|---|---|---|---|---| 1| 2|---|---|---|---|---|---|---|---|---| 1|---|---| 2|1945 2 530 |---|---|---|---|---|---| 1|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|1945 4 532 |---|---| 2|---|---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|1945 11 539 | 1|---|---|---|---| 1|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|1946 1 541 |---|---|---|---|---|---|---|---|---|---|---|---|---| 1| 1|---|---|---|---|---|---|1946 2 542 |---|---|---| 1|---|---|---|---| 1|---|---| 1|---| 3|---|---| 1|---| 1|---|---|1946 3 543 |---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|1946 5 545 |---|---|---| 1|---|---|---|---|---| 1|---|---|---|---|---|---|---|---|---|---|---|1946 8 548 |---|---|---| 1|---|---| 1|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|1946 10 550 |---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|---|---|---|---|1947 2 554 |---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|1948 3 567 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---| 1|1948 7 571 |---|---|---|---| 1|---|---|---|---|---|---|---|---|---| 1|---|---| 2|---|---|---|1948 8 572 |---|---|---|---|---|---|---|---|---| 1|---|---| 1|---|---|---|---| 2|---|---|---|1948 12 576 |---|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---| 1|---|---|---|---|1949 6 582 | 1| 1| 1|---|---|---| 1|---|---| 1|---|---|---|---| 1| 1| 9| 1| 1|---|---|1950 5 593 |---| 1|---|---|---|---|---|---|---|---|---|---|---| 1|---|---|---|---|---|---|---|



|010|011|012|013|014|015|016|017|018|019|01a|01b|01c|01d|01e|01f|01g|01h|01i|01j|01k|1940 6 474 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 4|---|---|---|---|1940 7 475 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---|1940 8 476 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 3|---|---|---|---|1940 9 477 |---| 3|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1940 11 479 |---|---|---|---|---| 6|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 1 481 |---| 4|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 2 482 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|1941 3 483 |---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 4 484 |---|---|---| 2|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 6 486 |---|---| 3| 3|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1941 11 491 |---|---|---|---|---|---|---|---| 4|---|---|---|---|---|---|---|---|---|---|---|---|1941 12 492 |---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|1942 2 494 |---|---|---|---|---|---|---|---| 3|---|---|---|---|---|---|---|---|---|---|---|---|1942 4 496 |---|---| 4|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1942 7 499 |---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---|---|1943 11 515 |---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|1944 2 518 |---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---|---|1944 3 519 |---|---|---|---|---|---| 2|---|---|---|---|---| 3|---|---|---|---|---|---|---|---|1944 4 520 |---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|1944 12 528 |---|---|---|---|---|---| 4| 5|---|---|---|---|---|---|---|---|---|---|---|---|---|1945 1 529 |---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|1945 4 532 |---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|1945 11 539 |---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|1946 2 542 |---|---|---|---|---|---|---|---|---|---|---|---|---| 3|---|---|---|---|---|---|---|1946 8 548 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|1948 7 571 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|1948 8 572 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|1949 6 582 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 9|---|---|---|---|



Step 4: Conflation of Changepoint Dates



Step 4: Conflation of Changepoint Dates

• Estimate magnitude of changepoint• Assign cluster of changepoint dates within

“uncertainty window” – to a single event in the target station’s history or,– to most common changepoint date if undocumented



|010|011|012|013|014|015|016|017|018|019|01a|01b|01c|01d|01e|01f|01g|01h|01i|01j|01k| 1940 6 474 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 4|---|---|---|---| 1940 7 475 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---| 1940 8 476 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 3|---|---|---|---| 1940 9 477 |---| 3|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1940 11 479 |---|---|---|---|---| 6|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 1 481 |---| 4|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 2 482 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---| 1941 3 483 |---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 4 484 |---|---|---| 2|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 6 486 |---|---| 3| 3|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 11 491 |---|---|---|---|---|---|---|---| 4|---|---|---|---|---|---|---|---|---|---|---|---| 1941 12 492 |---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---| 1942 2 494 |---|---|---|---|---|---|---|---| 3|---|---|---|---|---|---|---|---|---|---|---|---| 1942 4 496 |---|---| 4|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1942 7 499 |---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---|---| 1943 11 515 |---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---| 1944 2 518 |---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---|---| 1944 3 519 |---|---|---|---|---|---| 2|---|---|---|---|---| 3|---|---|---|---|---|---|---|---| 1944 4 520 |---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---| 1944 12 528 |---|---|---|---|---|---| 4| 5|---|---|---|---|---|---|---|---|---|---|---|---|---| 1945 1 529 |---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---| 1945 4 532 |---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1945 11 539 |---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---| 1946 2 542 |---|---|---|---|---|---|---|---|---|---|---|---|---| 3|---|---|---|---|---|---|---| 1946 8 548 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---| 1948 7 571 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---| 1948 8 572 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---| 1949 6 582 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 9|---|---|---|---|



|010|011|012|013|014|015|016|017|018|019|01a|01b|01c|01d|01e|01f|01g|01h|01i|01j|01k| 1940 6 474 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 9|---|---|---|---| 1940 11 479 |---|---|---|---|---| 6|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 1 481 |---| 7|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 2 482 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---| 1941 4 484 |---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 6 486 |---|---| 3| 7|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1941 11 491 |---|---|---|---|---|---|---|---| 9|---|---|---|---|---|---|---|---|---|---|---|---| 1942 4 496 |---|---| 4|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1942 7 499 |---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---|---| 1943 11 515 |---|---|---|---|---|---|---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---| 1944 2 518 |---|---|---|---|---|---|---|---|---|---|---|---| 10|---|---|---|---|---|---|---|---| 1944 12 528 |---|---|---|---|---|---| 7| 8|---|---|---|---|---|---|---|---|---|---|---|---|---| 1945 4 532 |---|---| 2|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 1946 2 542 |---|---|---|---|---|---|---|---|---|---|---|---|---| 5|---|---|---|---|---|---|---| 1946 8 548 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 2|---|---|---| 1948 7 571 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 4|---|---|---| 1949 6 582 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| 9|---|---|---|---|



Step 5: Estimation of Step Change

• Use remaining metadata• Step-change magnitude calculated

according to model appropriate for each target-neighbor changepoint or as a simple difference in means

• Median of step estimates is used as adjustment; significance evaluated by estimating the 5th (median > 0) or 95th (median < 0) of pairwise estimates.



σ (°C)

Simulated temperature series with random shifts caused by station moves/site changes

•Series in red treated as the target in subsequent figures

•All shifts are considered to be undocumented

•True “climate” trend in all simulated series is zero

(Annual Averages)



Case 7 unadjustedTarget series and differences with neighbors before adjustment for undocumented shifts



Target series and differences with neighbors after adjustment for undocumented shifts



σ (°C)

Simulated temperature series following adjustment by pairwise algorithm

•Original Target Series in Red

•Adjusted Target Series in Green

•Adjusted Neighbor Series in Black

(Annual Averages)



Diagnostic

• For the target example and its nine neighbors, 34 of 43 changepoints were detected and attributed to the correct series.

• Of the 9 changepoints not accounted for – 6 are under ±0.3σ– 2 are under ±0.5 σ– 1 was equal to 0.696σ (but was preceded by an

unidentified shift of -0.451 10 months earlier)



Simulations

• Simulated 1000 groups of 21 correlated red noise series (n=1200)

• “Monthly Case 1”: Imposed between 0 and 10 changepoints at random locations and of random magnitude (average = 5)

• “Monthly Case 2”: As in case 1, except with random unrepresentative (“local”) trends (from 0.001σ/month up to about 0.18σ/month)



Algorithm Results for “Step Change Only” Case



Algorithm Results for “Steps and Local Trends” Case













Impact of Adjustments on Trends

U.S. annual and seasonal temperature trends (°C dec-1) 1895 to 2006

0.0280.046-.0140.014S-O-N

0.0620.0640.0080.036J-J-A

0.0460.0590.0300.069M-A-M

0.0660.1010.0470.094D-J-F

0.0520.0700.0170.056Annual

UnadjustedAdjustedUnadjustedAdjusted

Minimum TemperatureMaximum TemperatureSeason

0.0280.046-.0140.014S-O-N

0.0620.0640.0080.036J-J-A

0.0460.0590.0300.069M-A-M

0.0660.1010.0470.094D-J-F

0.0520.0700.0170.056Annual

UnadjustedAdjustedUnadjustedAdjusted

Minimum TemperatureMaximum TemperatureSeason



















How to conceive of the difference series?

function. step a is then , and in constant is if

)())(()(

vnT

YXYv

Xv

YvnT

XvnT

YvnT

XvnT

YXYv

XvvnT

D

nTD



An Example: Reno, NevadaFrom: http://wattsupwiththat.wordpress.com/2008/01/10/how-not-to-measure-temperature-part-46-renos-ushcn-station/

http://wattsupwiththat.wordpress.com/2008/01/10/how-not-to-measure-temperature-part-46-renos-ushcn-station/






Reno, Nevada – Average Minimum Temperature















Reno, Nevada

(a) Mean annual TOB and fully adjusted (TOB+Pairwise) minimum temperatures at Reno, Nevada(b) Difference between minimum temperatures at Reno and the mean from its 10 nearest neighbors.

Move toAirport

Likely urbanwarming

ASOS Equip.Moves



Conclusions

• Pairwise comparison is the most direct way to detect undocumented changepoints

• Changepoint modeling is necessary in changepoint testing in order to identify unrepresentative trends

• No way to “safely” pass local (unrepresentative) trends through homogenization process

• Aliasing of trend inhomogeneities leds to a confused discussion about magnitude of UHI



Future

• Adjust trend inhomogeneities as trends• Homogenize monthly data from Global

Historical Climatology Network• Derive daily adjustments for U.S. and

GSN/GHCN-Daily



THANK YOU!

Documents

Automated Homogenization of Monthly Temperature Series via Pairwise Comparisons