Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Page 1
IPSL Climate Service & Expertise
Robert Vautard, Animateur activités de Services CLimatiquesGuillaume Levavasseur & Sébastien Denvil, IPSL-MesoCentre
IPSL-CSE committee:John BazireOlivier BoucherPascale BraconnotNada CaudSébastien DenvilMarie-Alice FoujolsFlorence HabetsSylvie Joussaume
Hervé Le TreutNathalie de NobletNicole PapineauAmélie RajaudSabrina SpeichBenjamin SultanRobert VautardMathieu Vrac
L’Institut Pierre-Simon Laplace
Etude du climat, de l’environnement
9 laboratoires, 14 lieux, 15 tutelles
LATMOS
LMD(3)LSCEGEOPS
LMD(1/2)LOCEAN (1)METISLERMA team
LISA
LOCEAN(2)
Plus de 1400 personnes
CEREA(2)
IPSL-CSE(Laboratoire d’Excellence L-IPSL)
• Recherche sur le développement de méthodologies
permettant d'adapter les simulations climatiques aux besoins des utilisateurs: descente d’échelle, correction de biais, sélection de sous-ensembles de simulations
• Diffusion de données de projections climatiques et indicateurs dans le cadre international ESGF: données échelle mondiale, européenne, demandant expertise ou accompagnement
• Développement de projets pilotes co-construits (démonstrateurs)
• Accompagnement et formation d’utilisateurs (expertise)
ESGF: Une infrastructure internationale de distribution des projections climatiques et services associés IPSL-Prodiguer
L’IPSL est l’un des « noeuds principaux » du système ESGF
Prévisions
météorologiques
et saisonnières
Données locales
et sectorielles
Produits
satellitesAutres secteurs
(santé, énergie,
eau, ressources
marines…)
…
Evaluation des
modèles sur le
Sénégal
Cartes de risques
et d’opportunités
pour les décideurs
Elaboration et
évaluation de stratégies
d’adaptation
Indicateurs de
changement
climatique au
Sénégal
Expertise et
recherche
Données
locales et
sectorielles
Lien avec les
parties
prenantes et
autres
disciplines
(besoins,
usage…)
Portail de Services Climatiques
Collaboration en
Afrique
Produits
Prochaine phase?
Scénarios de
changement climatique
Sorties de modèles de
climat sur le Sénégal et
l’Afrique
Risques pour
l’agriculture
Indicateurs pour
l’agriculture, options
d’adaptation
Collaborationavec
Projets pilotes: Risques pour l’agriculture
Débits mensuels minimums de période de retour 5 ans: QMNA5
Thèse Gildas Dayon, 2015
� En cours: Affinement des estimations via la prise en compte explicite des nappes phréatiques dans le projet Aqui-FR
Projets pilotes: Evolution des débits d’étiage
Démonstrateur européen de service pour accompagner la transition énergétique et l’adaptation dans le secteur de l’énergie
L’IPSL coordonne un projet européen
« Copernicus C3S» pour développer, de façon co-
construite avec des industriels, des données
climatiques adaptées au secteur de l’énergie
CLIM4ENERGY
Implications dans le programme européen « Copernicus Climate Change Service »
• Coordination du volet « données de simulations » des projections climatiques régionales européennes
• Coordination d’un démonstrateur pour le secteur de l’énergie http://clim4energy.climate.copernicus.eu
• Participation au volet « données » des projections globales
• Participation à la « roadmap Copernicus sur les projections globales »
• Participation au projet visant à élargir l’ensemble de projections régionales EURO-CORDEX (lead SMHI)
Développements au niveau national(soutien du MEEM et MESR [Labex L-IPSL])
Participation à DRIAS / Rapport
« Jouzel » avec Météo-France:
Méthodes statistiques, projections
climatiques à haute résolution
EXTREMOSCOPE: Attribution et
interprétation des événements
extrêmes dans le cadre du
changement climatique
(avec Météo-France)
Projets avec
plusieurs PMEs
Développement de
la start-up TCDF
Un nouveau cadre pour la coordination nationale : la « Convention Services Climatiques » (financement MEEM)
5 démonstrateurs de services
climatiques co-construits:Evolution des submersions côtières
Rendements agricoles en Afrique
Evolution des eaux sous-terraines
Définition des aires marines protégées en Médit.
Descente d’échelle et indicateurs du climat urbain
EXTREMOSCOPE
Suite: vers un service
opérationnel?
GICN
Formation
�Supports numériques
�3 thèses
Communication
� Journées thématiques
The IPSL mesocentre as a data andservices provider for climate services
Guillaume Levavasseur1
Sébastien Denvil1
June 1st, 2017
Timeline:
IntroductionIPSL Prodiguer Working TeamUnwieldy and bulky climate data
IPSL mesocentreInfrastructureArchive, distribute and analyse
Climate services or impact studies relationshipsConclusion
1CNRS/IPSL
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 12
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
The IPSL PRODIGUER working team(8 engineers with the support of IPSL ISI team)
Software
Design, develop and deploy tools for data access facilities from the IPSL mesocentreStrengthening the ESGF infrastructure at the national and European
levels for efficient data distribution
Services
Download data of interest on demandBuild pipelines of various processes/algorithm (e.g., quality check,
grid interpolation, bias correction, etc.) NetCDF formatting (in some cases)Support and guidance
Expertise
Climate analysis experimentKnowledge of (meta)data standards and conventions (e.g., CF, MIP,
etc.)(« Big ») Data management plans (e.g., data reference syntaxes,
controlled vocabularies, data documentation, etc.)
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 13
Unwieldy and bulky climate data
Heterogeneous HPC environments…Large community (not always disciplined)…SSH and NetCDF are kings…No global view…Very complex workflows…Very dense information…etc.
… do not allow clear and easy analyses, especially for other scientific communities.
« I have not failed, I have just found 10000 ways that don’t work. » (A. Einstein)
CMIP6 horizon: increasing data amount and data management
IPSL example: data produced by IPSL models for CMIP6 are estimated at 4 PB and will be distributedfrom the data centres GENCI (i.e., from their production site). CMIP5 led to 400 TB of IPSL data distributedfrom centres (i.e., 200,000 files).
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 14
ESPRI committee = coordination and networking of computing andstorage ressources to ensure an optimal data management,archiving, processing and distribution for all scientific thematicsrelated to the IPSL.
The IPSL mesocentre — Overview
We formed a broadcast and data analysis « e-infrastructure »allowing scientific teams an optimal access to climate observationsand model results in the best possible conditions; especially duringintensive periods of scientific analysis preceding the publication of theIPCC reports.
2-sites infrastructure at UPMC andPolytechnique Campus with similar softwaresand computing environments, and dedicateddata access between each of them,Shared computing resources closest to thedata storage,Computational cluster over 1,200 cores and3 Tb RAM,ESGF nodes hosting,Server virtualisation for optimisation andreactivity,Close coopération with climate services,200k€/yr shared funds.
https://mesocentre.ipsl.fr
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 15
The IPSL mesocentre — Data content
The IPSL mesocentre gathers 1.6 PB of spatial or atmospheric data, reanalysis or climate modelsresults. Those data have been produced by the IPSL scientific community or replicated from other datacentres or communities. We aims to enhance synergies between models and data for trend and climatevariability analysis and help model evaluation.
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
Climate observations
Different types of observation data: in-situ,reanalyses, FCDR, etc.10-year reanalysis of atmospheric datafrom the SIRTA observatory,CFMIP-Observations, obs4MIPs, Gewex Cloud Assessment,Field campaigns: AMMA, Mistrals, balloons, etc.,Long term satellite observations (IAISI, GOSAT, MeteoSat, etc.).
Climate model results
IPSL climate models simulations,Multi-projects participation and replication,• MIPs (CMIP3/5/6, PMIP, TAMIP, GeoMIP, ISI-MIP).• (EURO)CORDEX & BCCORDEX,• LUCID,• EUCLIPSE.
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 16
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
The IPSL mesocentre — Data distribution
The IPSL Mesocentre hosts several ESGF nodes, part of a decentralised and federated nodes network withinternational collaboration. The PRODIGUER members are heavily involved in ESGF platform. Each ESGF Node iscomposed of services and applications that collectively enable metadata discovery, data access, and user management:
Operational since 2011Hundreds of users per monthHundreds of TB downloaded per monthAbout 10,000 registered users
IPSL mesocentre
ESGF indexnode
ESGF datanode
Scientific community
Metadata catalogs,Access protocols to data endpoints.
Indexes and broadcasts available data from all datanodes,Front-end with search UI,Links with models documentation,Redirects users requests to the appropriate
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 17
The IPSL mesocentre — Data analysis facilities
The IPSL developed SYNDA to mirrors at the request of its researchers a relatively large subset of ESG-F data (currently420 Tb) on its local filesystem. A post-processing pipeline is available to analyse MIP files in the best conditions andprovide easy access to high quality climate data.
ESGF nodes IPSL users requests Download with SYNDA
Post-processingSafe usable dataIPSL users
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
https://github.com/Prodiguer/synda
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 18
DOI
IPSL is allowed to generate DOI on data (INISTconvention)
ES-DOC
Standards based eco-system in support of earthsystem modelling documentation creation, analysis &dissemination.
ES-DOC errata
Web-service to provide timely information aboutknown issues and enable users to query aboutmodifications and/or corrections applied to the data.
The IPSL mesocentre — Data documentation
The potential to interpret, compare and reuse climate information results is strongly related to thequality of their description.
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 19
Climate services or impact studies relationships
The IPSL mesocentre is a computing and analysis infrastructure for all research teams in the scopeof IPSL supported thematics. Hydrologists, geologists and other research bodies are steadily interestedto access our database for impact studies. Moreover, the IPSL is turning increasingly towards climateservices through partnerships:
The Climate Data Factory
Distributing user-friendly climate projections data to facilitate and reducetime for adaptation strategies using specific data preprocessing (spatial andtemporal interpolations, bias correction).http://www.theclimatedatafactory.com/
The Copernicus Climate Change Service
Providing reliable and up-to-date information on how our planet and itsclimate are changing for decision makers, businesses and citizens.IPSL is especially involved in the « Climate and Energy » sectoralinformation system.http://www.copernicus.eu/main/climate-and-energy
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 2
Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion
National High Performance Data (HPD) Analysis Environment
Mutualised (delivered by IPSL laboratories, used by IPSL community and its french partners),Access services to ESGF system (users don't have to find, download, keep up to date and preprocess the data they
need),Analysis capabilities (ecosystem of tools for environmental data, compute and web services provision),Big data platform (access to curated and high-quality archive, +1Pb of high performance disk coupled to hundreds of cores
configured for analysis).
Model codeData management,Documentation and trainings,Search interfaces,Access protocols,Web (Mapping) Services,(Inter-)Monitoring,Automated atlas.
Climate engineer
Specific simulations, variables, frequency, time periods, etc.,Overviews on data with simple graphics or maps,Complex analyses using different languages (R, Python, Ferret, etc.),Analyse reproducibility.
Researcher
Clarifying access to available data,Simplifying simulations runs,Automating recurring needs (means, anomalies, etc.),Applying specific script,Ensuring support and data management.
Researcher-friendly platform
Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017
Page 22
Journée Utilisateurs des Services Climatiques
Ier Juin 2017 – Campus Jussieu
Harilaos Loukos TCDF
Page 23
Une équipe issue de l’IPSL
Page 24
Une collaboration avec ‘IPSL
Traiter
statistiquement
les données des
modèles
climatiques pour
les rendre
« utilisables »
Traiter
statistiquement
les données des
modèles
climatiques pour
les rendre
« utilisables »
Développer les
outils
informatiques
nécessaires à un
traitement
« industriel »
Développer les
outils
informatiques
nécessaires à un
traitement
« industriel »
Diffuses les
données sur un
site «simplifié»
+ assister
techniquement
les utilisateurs
Diffuses les
données sur un
site «simplifié»
+ assister
techniquement
les utilisateurs
Page 25
données climatiques à valeur ajoutée
Re-
mapping
Re-
mapping
Ajustement
de biais
Ajustement
de biais
Controle
Qualité
Controle
Qualité
Données
Brutes
(ESGF)
Données
Brutes
(ESGF)
Vrac et al 2016
MESAN Rean.
WATCH-FDEI
Vrac et al 2016
MESAN Rean.
WATCH-FDEICDO (MPI)CDO (MPI)
CMOR (CF & DRS)
Tech QA (DKRZ)
Phy QA (IPSL/TCDF)
CMOR (CF & DRS)
Tech QA (DKRZ)
Phy QA (IPSL/TCDF)
CMIP5/CORDEX
6 variables de surf
Tout RCP/models
CMIP5/CORDEX
6 variables de surf
Tout RCP/models
Page 26
aussi simple que possible
Page 27
Pour un public professionel international
Chercheurs
Impacts
Chercheurs
Impacts
Professionnels
de l’adaptation
au CC
Professionnels
de l’adaptation
au CC
Consultants
Ingénieurs
Consultants
Ingénieurs
Page 28
un service innovant
Page 29
mercitheclimatedatafactory.com
Page 30
technology
Page 31
content distribrution netwok
Page 32
user friendly search (beta)
Page 33
user friendly search (beta)
Page 34
simple & extensive product info
0,00 €