1MAVT-2006 – ESRIN - 20-24 March 2006
MAVT - 2006 SummarySession 4: AATSR SST and LST Validation
Gary Corlett
2MAVT-2006 – ESRIN - 20-24 March 2006
AATSR SST Validation
AATSR is required to measure global SST values to within 0.3 K (1 σ) insingle point coincidences and over 0.5º (30´) x 0.5 º (30´) averagesATS_NR__2P
Gridded 1km by 1km global product– Against in situ radiometer measurements– Against in situ buoy measurements
ATS_AR__2PSpatially averaged products at various resolutions (30´; 10´; 50 km; 17 km)
– Against in situ buoy measurements– Against other satellite sensor measurement
Two types of validationHow accurate is AATSR?What is the accuracy of the data?
The validation uses truly independent data sets - there is no tuningto in situThe validation uses the operational AATSR data – there is no post-processing
3MAVT-2006 – ESRIN - 20-24 March 2006
Conclusions - Accuracy of AATSR Skin SST products
Bias (K) Bias (K) * Std. Devn. (K) Bias (K)**AATSR SST2 -0.36 -0.65 0.80
SST3 -0.10 0.00 0.11SST4 0.13 0.01 0.29SST6 -0.05 0.00 0.22
AATSR SST validation against Bulk SST (Perth ferry)SST2 -0.27 -0.56 0.31 -0.73SST4 0.30 0.17 0.13 0.00
* Bias for 2005 coefficients** 2005 coeffs + “skin-effect of 0.17 K”
From: Ian Barton
4MAVT-2006 – ESRIN - 20-24 March 2006
Validation of AATSR:Robust reproducible procedure-based validationAATSR is performing exceptionally well
D3
N3
D2
N2
From: Craig Donlon
5MAVT-2006 – ESRIN - 20-24 March 2006
########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
#########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
############################################################################################################################################################################################################################################################################
########################################################################################################################################################################################
#########################################################################################################################################################################################
##########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
######################################################################################################################################################################################################################################################################
########################################################################################################################################################################################################################
#################################################################################################################################################################################################################
#####################################################################################################################
#############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
###############################################################################
###################################################################
#####################################################################################################################
################################################################################################################
########################################################################################################################################
###############################################################################################################################################
##################################################################################################################################################################################################################################################################################
####################################################################################################################################################################################################################################################################################################################
###########################################################################################
###########################################################################################################################################################################################################################################################
###########################################################################################################################################################
####################################################################################################################################################
############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
##################################################################################
#############################################################################################################################################################################################################################
#############################################################################################################################################################################################################################################################################################################################################################################################
#######################################################################################################
########################################################################################################################################################
#############################################################################################################################################################################################################
###############################################################################
#######################################################################################################################################################################
#############################################################################################################################################################################################################################################
#####################################################################################################################################################################################################################################################################################################################################################################################################################################
##############################################################################################################################################################################################################################################################################################################################################################################################################
#######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
Color Festival: Oslo –Hirtshals
Operative since August 2001 EU-project FerryBox and DISMARData used in REVAMP projectUsed for algal monitoring, satellitevalidation and phytoplankton studies
Fjord Norway: Bergen –Hanstholm
In operation since May 2005 Used for algal monitoring
Fjord Norway: Bergen –Newcastle
Started November 2005
Hurtigruten: Bergen –Kirkenes
MS Trollfjord operated by NIVA – InteReg project NorSEN– Algal monitoring
www.ferrybox.no
Bergen
Oslo
HanstholmHirtshals
Kirkenes
(Newcastle)
From: Tim Nightingale
6MAVT-2006 – ESRIN - 20-24 March 2006
M-AERI (EotS) Results Jan 2003 – Dec 2005
0.29+0.092650.32+0.55115‘High’ D-N 3-channel
1.18-1.03330.57+0.7133‘High’ D-N 2-channel
0.26+0.267520.28+0.10750‘Normal’ D-N 3-channel
0.52+0.772650.50+0.06266‘Normal’ D-N 2-channel
0.27+0.248680.33+0.16865All match-ups 3-channel
0.97+0.633020.55+0.14300All match-ups 2-channel
St. Dev. (K)Bias (K)NSt. Dev. (K)Bias (K)NMatch-ups
NadirDual
Matchups: Overpass ± 120 min; 1x1 Block
From: John Remedios
7MAVT-2006 – ESRIN - 20-24 March 2006
AATSR compared to buoy SSTs
AATSR SST – buoy SSTMeans for 2 complete years1 Aug 2003 – 31 Jul 2005:
SKINAll: 0.02 K (σ = 0.29 K)Night: 0.05 K (σ = 0.26 K)Day: -0.02 K (σ = 0.33 K)
Agreement within ± 0.3 K
BULKAll: 0.18 K (σ = 0.29 K)Night: 0.21 K (σ = 0.24 K)Day: 0.15 K (σ = 0.33 K)
From: Thomas Blackmore
8MAVT-2006 – ESRIN - 20-24 March 2006
Buoy Match-ups – New Coefficients
Buoy match-up statistics from 07/12/05 to 18/02/06: (5120 match-ups)Mean St. Dev.
New coefficient dual-view SST 0.017 0.339Old coefficient dual-view SST -0.004 0.343
New coefficients used in the skin SST calculations for
AATSR were made operational by ESA on
07/12/2005.
D2 day, D3 night
From: Thomas Blackmore
9MAVT-2006 – ESRIN - 20-24 March 2006
Errors calculated from 3-point analysisCalculated error for each observation type:
AATSR bulk D3 SST = 0.13KBuoy SST = 0.21KAMSR-E SST = 0.43K
Similar trends are seen when in Northern and Southern hemispherematch-ups individually, using moored and drifting buoys individually, and using a 1-hour cutoff instead of 3 hours:
– 0.13K <= error in AATSR SST <= 0.16K– 0.20K <= error in buoy SST <= 0.22K– 0.4K <= error in AMSR-E SST <= 0.49K
From: Thomas Blackmore
10MAVT-2006 – ESRIN - 20-24 March 2006
SST Validation Issues
Cloud and aerosol contaminationUse of the D-N test for improved data qualityAffect on the climate SST?
Most data presented were comparisons to pre-launchcoefficients
Updated coefficients now available (07/12/2005)Removes D2/D3 bias (offset – latitudinal correction now available)
Do not have a well defined error budgetAdopt GHRSST-PP SSES
11MAVT-2006 – ESRIN - 20-24 March 2006
The AATSR LST Product
First LST product from the ATSR missionAlgorithm developed by Fred Prata and Andrew BirksOperational since March 2004 (prototype available priorto this date)
Available since start of mission through reprocessingProvides 1x1 km gridded LST over the entire globe
Spatially averaged under considerationTarget accuracy of 2.5 K in day (better results obtained atnight, 1.0 K)*Land surface is classified into 14 biomes
* Prata, A. J., 2000, Land Surface Temperature Measurement from Space: AATSR Algorithm Theoretical Basis Document, ESA/CSIRO Publication
12MAVT-2006 – ESRIN - 20-24 March 2006
Cloud Contamination
Cloud screening by eye and 3σfiltering of differences
AATSR LST Validation Results 12/03-12/05
Day (cloud-free):N = 50Bias = 0.5 KStDev = 3.3 K
Night (cloud-free):N = 44 Bias = 1.2 KStDev = 1.2 K
Operational cloud screening Additional cloud screening
Seasonal bias:
• warmer in summer
• colder in winter
From: Lizzie Noyes
13MAVT-2006 – ESRIN - 20-24 March 2006
AATSR LST Auxiliary Data: Biome Map (1)
UMD Land Use Map (1 km resolution)
Operational AATSR LST Biome Map (0.5º resolution)
Biome numbers are not equivalent!
Lake Tahoe
• Lake Tahoe is not currently classified as a lake!
From: Lizzie Noyes
14MAVT-2006 – ESRIN - 20-24 March 2006
AATSR LST Auxiliary Data: Biome Map (2)
AATSR biome grid appears offset by approximately 1ºlongitude to the west.
From: Lizzie Noyes
15MAVT-2006 – ESRIN - 20-24 March 2006
AATSR IFOV
From: Lizzie Noyes
16MAVT-2006 – ESRIN - 20-24 March 2006
Results: AATSR (Surface) FOV
• Maximum difference observed between the two sets of LSTs is 0.7 K.
• Results for 12 pixels show that the true AATSR FOV may be an important consideration in some applications
From: Lizzie Noyes
17MAVT-2006 – ESRIN - 20-24 March 2006
Comparison Ts(in situ) vs Ts(algorithms)
306308310312314316318320322324
306 308 310 312 314 316 318 320 322 324
Ts Algorithms (K)
Ts In
situ
(K)
Level2
SW 6
DAY/Cluster 14a 14b 17a 17b 17c 20 in situ 317.40 317.64 307.30 312.60 313.54 319.74 Standard
Bias
deviation σRMSE
Level2 5.05 5.97 -1.64 -0.63 -2.61 -3.80 0.39 4.11 4.13
SW 6 -2.78 -1.60 0.56 1.44 0.18 1.10 -0.18 1.65 1.66
SW 6 + ε, W 0.57 1.12 0.01 1.84 -1.73 1.9 0.62 1.36 1.50
Validation of LST from Level 2 data and algorithms
From: Guillem Soria
18MAVT-2006 – ESRIN - 20-24 March 2006
Year Date (day/month)
Ground LST (ºC) RAL LST (ºC) Ground –
RAL LST (ºC)10/07 28.6 32.1 -3.5 13/07 27.6 31.8 -4.2 26/07 27.9 32.0 -4.1 08/08 26.5 29.4 -2.9 14/08 28.5 30.8 -2.3 17/08 29.1 32.0 -2.9
2002
05/09 28.0 31.2 -3.2 08/07 28.3 33.1 -4.8 11/07 29.1 33.0 -3.9 14/07 28.6 32.7 -4.1 24/07 28.8 32.5 -3.7 30/07 28.9 32.5 -3.6
2003
12/08 31.3 33.9 -2.6 28/06 29.2 34.0 -4.8 08/07 25.7 28.8 -3.1 14/07 27.2 31.1 -3.9 27/07 27.7 31.2 -3.5 30/07 27.8 32.1 -4.3
2004
12/08 28.4 31.0 -2.6 12//07 27.0 30.6 -3.6 21/07 28.5 31.8 -3.3 28/07 28.8 32.0 -3.2
2005
06/08 28.0 31.0 -3.0 Average difference (ºC) -3.5 Standard deviation (ºC) 0.7
Range of differences (ºC):[–4.8 ; –2.3]
AATSR LST product – RAL processor
From: Cesar Coll
19MAVT-2006 – ESRIN - 20-24 March 2006
AATSR LST (ºC) Ground-AATSR LST (ºC) Year Date (day/month)
Ground LST (ºC) Eq. (1) Eq. (2) Eq. (1) Eq. (2)
10/07 28.6 28.6 28.6 0.0 0.0 13/07 27.6 28.3 28.0 -0.7 -0.4 26/07 27.9 28.6 28.3 -0.7 -0.4 08/08 26.5 26.5 25.9 0.0 0.6 14/08 28.5 27.7 27.5 0.8 1.0 17/08 29.1 28.7 28.4 0.4 0.7
2002
05/09 28.0 27.9 27.7 0.1 0.3 08/07 28.3 29.4 29.3 -1.1 -1.0 11/07 29.1 29.2 29.6 -0.1 -0.5 14/07 28.6 29.0 28.9 -0.4 -0.3 24/07 28.8 28.9 28.8 -0.1 0.0 30/07 28.9 28.9 28.6 0.0 0.3
2003
12/08 31.3 30.3 30.8 1.0 0.5 28/06 29.2 29.8 30.0 -0.6 -0.8 08/07 25.7 25.8 25.8 -0.1 -0.1 14/07 27.2 27.7 27.3 -0.5 -0.1 27/07 27.7 27.8 27.8 -0.1 -0.1 30/07 27.8 28.8 28.5 -1.0 -0.7
2004
12/08 28.4 27.9 28.1 0.5 0.3 12//07 27.0 27.1 27.3 -0.1 -0.3 21/07 28.5 28.4 28.4 0.1 0.1 28/07 28.8 28.5 28.4 0.3 0.4
2005
06/08 28.0 28.1 28.2 -0.1 -0.2 Average difference (ºC) -0.1 0.0 Standard deviation (ºC) 0.5 0.5
Range of differences (ºC): [–1.1 ; 1.0] [–1.0 ; 1.0]
Validation of AATSR LST
From: Cesar Coll
20MAVT-2006 – ESRIN - 20-24 March 2006
Summary SST
AATSR NR D3 SSTsWarm bias of +0.10 K (σ = 0.28 K) in the CaribbeanWarm bias of + 0.02 K (σ = 0.24 K) in the Bay of BiscayCool bias of –0.05 K (σ = 0.22 K) around Australia
AATSR AR D3 SSTsWarm bias of +0.20 K (σ = 0.24 K) globallyWarm bias of +0.22 K (σ = 0.24 K) in the CaribbeanWarm bias of +0.05 K (σ = 0.33 K) in the Bay of BiscayDifference between NR and AR in Caribbean is cloud contaminationStrong spatial pattern in differences to buoys
D2-D3 bias affects previous validation of D2 SSTsThis bias is removed by the use of updated coefficients from 07/12/2005Limited validation shows new coefficients give more accurate and precise products
Benefits of long term validation data sets from the in situ buoynetwork and from the M-AERI and ISAR instruments are clear
Incorrect conclusions on product accuracy would otherwise be drawn
21MAVT-2006 – ESRIN - 20-24 March 2006
Summary LST
AATSR NR LSTsDay time warm bias of +0.05 K (σ = 0.33 K) at the ARM-SGP siteNight time warm bias of +1.20 K (σ = 1.20 K) at the ARM-SGP siteCool bias of -3.5 (σ = 0.7 K) at Valencia for operational algorithmCool bias of -0.1 (σ = 0.1 K) at Valencia for optimised algorithmWarm bias of -0.39 (σ = 4.11 K) at Barrax for operational algorithmWarm bias of +0.62 (σ = 1.36 K) at Barrax for optimised algorithm
The 0.5º×0.5º resolution of land cover/vegetationfraction is too coarse to account for theheterogeneity of land surfaces.
22MAVT-2006 – ESRIN - 20-24 March 2006
Recommendations
Long term autonomous in situ data are needed for bothSST and LST validation
More sites (particularly for LST)Apply current knowledge to ATSR-1 & ATSR-2The seasonal bias in the AATSR LST data needsaddressingImprovements to the current LST auxiliary data aredesperately needed
ResolutionEnsuring all land is covered by these data (with no shift!)
Using EO-GRID and BEAM for algorithm application, testing/optimisation
Needs implementation of the prototype/operational processorsThe climate community needs ATSR-4!
23MAVT-2006 – ESRIN - 20-24 March 2006
From Simon Good (UL)
AATSR Surface Temperaturesover the UK and Northern France