View
10
Download
0
Category
Preview:
Citation preview
Réunion HPC@OMP 1er juillet 2013
Roland MARTIN et Merlin MEHEUT
GET (Géosciences Environnement Toulouse), UMR CNRS 5563, Observatoire Midi-Pyrénées, Université Paul Sabatier, University of Toulouse, 14 avenue Edouard Belin,
31400 Toulouse, France
Thématiques du GET utilisant l'outil informatique
1/ Hydrologie/végétation/ressources en eau: - Etude hydrologique de bassins versants (Amazone, Karsts) : modélisation d'écoulements, crues, transport sédimentaire, cycles géochimiques, lien avec l'altération, érosion (J M Martinez, D Labat, MP Bonnet)Tâches : traitement de données, modélisation, interprétation des observations - Transport en milieux poreux, flux d'énergie et de matière, lien avec l'altération (L Orgogozo)- Lien hydrologie-végétation, sécheresse au Sahel (E. Mougin) Tâches : traitement d'images, SIG, couplage codes météo - Gestion de la ressource en eau (Y Auda)
2/ Erosion/altération/sédimentation/paléoclimats- Modélisation de l'altération et reconstruction des paléoclimats (Y Godderis, E Nardin) - Erosion-sédimentation-géomorphologie:chaines de montagne, recul des falaises, bassins sédimentaires (S Carretier, D Rouby)
3/Géophysique-sismologie-tectonique- Inversion de données gravimétriques et sismiques (R. Martin)- Evolution micro-structurale des roches (M. Jessel) - Simulation de la déformation lithosphérique (J. Martinod)
4/ Géochimie - couplage hydrologie-géochimie - modélisation du cycle géochimique du mercure (J Sonke)- modélisation atomistique : calcul ab initio, physique des minéraux (M Méheut)
Codes de calcul au sein du GETGéophysique/sismologie : ELLE: Mark Jessell. Non Parallèle.SPECFEM2D, SPECFEM3D : Dimitri komatitsch, Roland Martin, V. MonteillerSPECFEM-GEOTECH : Dimitri Komatitsch, Roland Martin, H.N. Gharti, J. TrompTOMOFAST3D : R. Martin, D. Komatitsch, V. Monteiller, G. Ramilien, L. Seoane, F. Frappart, D. GodekkeSEISMIC-CPML : R. Martin, D. Komatitsch
Géomorphologie : Altération-ErosionWITCH 1D ---->3D Y GodderisCIDRE : S. Carretier. Automates cellulaires 3D.COASTER : S. Carretier. DATE: S. Carretier
HydrologieGeLiSqPropag., Crue éclair, Pro GUM, DyLEM-1DCALMUBIM3D : R. Martin, L. Orgogozo, C. Noiriel. Modélisation 3D des transferts de fluide en milieux poreux.RICHARDS-FOAM: L. Orgogozo. Modélisation 3D des transferts dans les sols pour l'étude des BV expérimentaux. MGB Grand Bassin M.P BonnetELMO3MAELIA : P. Mazzega. Multi-agent for Environmental norms Impact Assessment
Paleo-ClimatModèle GEOCLIM : Y. Godderis, E. Nardin. Evolution des cycles biogéochimiques.
VégétationSTEPGéochimieGlobal1DBlockModelForMercuryIsotope
Machines de CALCUL à l'OMP
YANG : cluster local partagé. Machines Y. Godderis et M. Méheut. Gestion par le LA (Didier Gazen). Codes maison généralement monoprocesseurs. Y. Godderis, E. Nardin, Mark Jessell, S. Carretier, M. Méheut, L. Orgogozo,
Projets au CALMIP et dans les centres nationaux :
Utilisateurs principaux du HPC au GET : R. Martin, L. Orgogozo, M. Méheut
SPECFEM2D/SPECFEM3D/SEISMIC_CPML : CALMIP (300000 heures/an) , mésocentre d'Aix-marseille, CCRT/CEA (500 000 heures/an)TOMOFAST3D : 200000 heures en 2013, machines Titane et CurieCALMUBIM : 200000 heures/an au CALMIP.RichardsFOAM : 50000h/an au CALMIPQuantum Espresso, CPMD 600000 heures/an CALMIP (50%) et au CINES (50%)
Merlin Méheut : Physique du solide et géochimie isotopique
But : comprendre les processus naturels (chimie) affectant les signatures isotopiques
Isotopes du Li :7Li : 92.5(2)% 6Li : 7.5(2)%
Rapport isotopique :
Signature isotopique :
Fractionnement isotopique entre deux phases A et B:
Fractionnement à l'équilibre : propriété thermodynamique, calculable, Dépend « seulement » de T
Exemple : fractionnement du Li entre argile et solution
But : conditions de formation des argiles océaniques (smectites)
Données naturelles, expérimentales, calcul (intérêt : simplicité)
δ7Li=1000∗
Réch .
−Rstandard
Rstandard
Réch .
=7Li
6Li
Δ7Li (A,B )=δ 7
Li A−δ7LiB
1/ Modèles atomistiques ab initio (périodiques) : Solide : smectite Solution : Li++8H
2O
2/ calcul des propriétés vibrationnelles et Thermodynamiques (fractionnement)
Efficace pour les solides et gazs mais problème avec les solutions : - modélisation plus réaliste : dynamique moléculaire- développement de méthodes thermodynamiques adaptées
Codes : Quantum Espresso (solides, vibrations) : DFT, pseudopotentiels, ondes planes CPMD : dynamique moléculaire
Collaborations : * communauté d'utilisateurs (hors OMP) : M. Benoît (CEMES, Thèse de R. Dupuis), D. Connétable (CIRIMAT) * géochimistes et expérimentateurs au sein du GET
Outils : calcul de structure électronique, dynamique moléculaire et physique du solide
Code d'inversion de données massives TOMOFAST3DImagerie géophysique et hydrodynamique 3D
GET/Toulouse, LMA/Marseille, Computer Science Department/Dortmund, Institut Mexicain du Pétrole. Géophysique, calcul scientifique, hydrologie, hydrogéophysique (INSU, INSIS, INEE)Roland Martin, Guillaume Ramilien, Lucia Seoane, Sylvain Bonvalot, Mark Jessell, Frédéric FrappartLMA : Dimitri Komatitsch, Vadim MonteillerDortmund University, Computing Department : Dominik Godekke Collaborations avec le Mexique (UNAM), Australie (Monash University)
- Plateformes de calcul : mésocentre CALMIP, GENCI (Curie/CCRT/CEA, Ada et Turing à l'IDRIS) - Inversion conjointe multi-paramètres, multi-physiques et multi-techniques : gravimétrie, magnétisime, électrique et sismique.
Type de code : Code parallèle récent (2012). Résolution de systèmes linéaires et inversion de données massives par méthodes linéaires/non-linéaires (stochastique). Accélération par compression en ondelettes.
- Applications pétrolières : sismique et tomographie de capacitance électrique - Applications minières : méthodes potentielles : gravimétrie, magnétisme
Applications principales
----> En entrée : couplages possibles futurs avec SPECFEM3D, SEISMIC_CPML et problèmes directs en capacitance ou résistivité électrique, électromagnétisme etc.
Inversion de données gravimétriques (100000 données, 55 millions de paramètres).
Temps CPU < 45mns, sur 2096 CPU coeurs, 192 GPUs
Inversion Magnétique 25 fois plus de données
Inversions d'anomalies gravimétriques (Sud-Ouest Ghana)
Données inversées – Données réelles(mGal)
Sections inverséesDensités obtenues après inversion
Code d'éléments finis SPECFEM2D/3D « Open source »Propagation d'ondes en milieux hétérogènes
LMA (Marseille) : Dimitri KomatitschGET : Roland MartinIRAP : Rafael Garcia, Sebastien ChevrotPrinceton : J. TrompType de code : maillages non-structurés, milieux viscoélastiques, poreux, fluides, bathymétrie, topographies, conditions absorbantes optimisées PML. Haute résolution, très peu dispersif
Applications principales
1. Echelle d'exploration géophysique et applications pétrolières
2. Echelle de milieux fracturés et couches altérées : 10-30 km.
Pièges d'énergie et phénomènes de guide d'onde en zone altérée Vs=300 m/s, fréquences 2-10 Hz
-----> Transposable à toutes les échelles
Milieux atténuants en fond marin : Fréquence dominante 15 Hz
Fluide
Dôme de sel
PML
Martin, Xie, Komatitsch
T=0.1 s
T=6 s
Réduction de la zone de modélisation Réduction de la zone de modélisation
Imagerie de la lithosphère Pyrénéenne par inversion de forme d'onde télésismiqueImagerie de la lithosphère Pyrénéenne par inversion de forme d'onde télésismique
Vadim Monteiller, Sébastien Chevrot, Dimitri Komatitsch, Roland Martin Vadim Monteiller, Sébastien Chevrot, Dimitri Komatitsch, Roland Martin
Autres applications : Modélisation numérique à l'échelle de la Terre (fluide-solide), de l'atmosphère (fluide), laboratoire (viscoélasticité, non-linéarités, poro-viscoélasticité).
Plateformes : mésocentre CALMIP, GENCI (Curie/CCRT/CEA, Ada et Turing à l'IDRIS)
→ Modélisation 3D rapide des ondes télé-sismiques (période 1s)
Propagation 1-D à l'échelle globale
Modèle de Terre à symétrie sphériqueMéthode DSM : simulations jusqu'à 1.25Hz
(Geller et al, 1996)
Éléments Spectraux(Komatitsch et al, 2002)
Topographie de la surface Topographie interfaces Hétérogénéités isotropes et anisotropes Atténuation
Couplage de méthodes de propagations d'ondes : Global / Régional Couplage de méthodes de propagations d'ondes : Global / Régional
Méthode BFGSMéthode BFGSmk+1=m
k+(G kt G k+Cm−1)
−1
∇ J (mk )• Algorithme itératif de Gauss-Newton
δmk
• BFGS : estimation de δmk
A partir de : mk−1,m
k−2 ,mk−3 ,. .. ,m0
∇ J (m k−1 ) ,∇ J (mk−2) , . .. ,∇ J (m0 )→ pas de construction ni d'inversion de matrice
Modèle P
Modèle SModèle P
Paramétrisation : Vp, Vs
Paramétrisation : Vp/Vs, Vs
Code de différences finies et volumes finis SEISMIC_CPML Ecoulements et propagation d'ondes sismiques en milieux hétérogènes
LMA/Marseille et GET/Toulouse
Type de code : conditions absorbantes optimisées PML. Crucial pour l'imagerie sismique 3D rapide et les écoulements compressibles (Euler, Navier-Stokes, Saint-Venant)
Applications principales
1. Echelles exploratoires et pétrolières : 10m-100km
2. Echelle du laboratoire : sismique en milieu élastique non-linéaire (< 10m)
Tranches fines en milieux granulaires : approche de milieux poreux non-linéaires
PMLs optimales pour des ondes en milieu complexe (fréquences: 1-100 Hz)
PML
25 cm
1m
Martin et coll., 2009
Code plus flexible que SPECFEM3D : tests de rhéologies complexes, non-linéaires, mécanique des fluides, solutions de référence.
Modèles atténuants non-linéaires
Modèles granulaires par approche élastique compacte et/ou milieux poreux (SEISMIC_CPML)
Objectifs à moyen terme : avec SPECFEM3D puis TOMOFAST3D- Comparaisons expérimentales et numériques 3D des vitesses de phase et comportements rhéologiques (linéaires, non-linéaires, atténuants, milieux poreux, granulaires)- Possibles applications : caractérisation des formations superficielles et des hydrosystèmes
Vers l'inversion de la forme d'onde sismique complète et non-linéaire en proche surface Martin (GET), Rejiba et Bodet (Sisyphe/Paris 6)
Fré
qu
en
ce(kH
z )
Vitesse de phase (m/s)Vitesse de phase (m/s)
Apport NumériqueMETIS: expérimental Modèle de vitesses en profondeur F
réq
ue
nce
(kHz )
Vite
sses d
e p
ha
se (m
/s )
GET : Roland Martin, Laurent Orgogozo, Catherine Noiriel IMFT : Gérald Debenest, Michel Quintard. INPT, UPS, Institut de Mécanique des Fluides de Toulouse)Université de Nancy : F. Golfier. Géo-Ressources, UMR 7359 CNRS/UL/CREGU, ENSGPlateforme : mésocentre CALMIP
CALMUBIM : Calcul haute performance pour la modélisation numérique des transferts de fluides en milieux poreux en présence de BIOFILMS
• Etude de la biodégradation de contaminants en milieux : estimation des paramètres effectifs de transport et interprétation des expériences en laboratoire.
• Mitigation de la pollution souterraine par des polluants organiques: méthodes de bioremédiation + modèles complexes grande échelle du transports de contaminants à l'échelle du pore (Sturmann et al., 1995).
• Acquisition de structures réelles de milieux poreux 3D possibles maintenant en laboratoire(Iltis et al., 2011, Davit et al., 2011)
• Paramètres effectifs de transport à l'échelle d'intérêt (REV= Volume élémentaire
représentatif) en présence de biofilm : « volume averaging method/VAM »(Orgogozo et al., 2010, Davit et al., 2010, Wood et al., 2011).
• Calcul précis des champs de vitesses dans milieux poreux réalistes complexes avec biofilm.
Compréhension des relations entre les phénomènes aux petites échelles et les paramètres effectifs à plus grande échelle dans les processus de bioremédiation.
Golfier et al., 2009 : Unit cell constructed using MRI . Solid (red) and biofilm (blue)
Davit et al. 2011 : 3D biofilm surface reconstructed ( blue) + polyamid bead (dark) – X-ray tomography
Notre approche: utilisation de techniques de calcul massivement parallèle pour le
calcul de champs de vitesses dans des géométries poreuses complexes 3D en des
temps de calcul acceptables
Objectifs actuels : quel est le REV des échantillons ?REV= Variations de perméabilités et de porosités < 15%
- Ecoulement interpore sans biofilm : faible nombre de Reynolfs, Equation de Stokes.
- Résolution : algorithme d 'Uzawa (consitions périodiques et conditions de non-glissement aux interfaces fluide-solide et fluide-biofilm) + Volumes Finis + parallélisation MPI parallelization + solveur linéaire SOR/CG
II. Transport de fluide 3D en milieu poreux (biofilm partie de la matrice
Biofilm Fluide Solide
I. Contexte de précipitation carbonatée pour le stockage de CO2 :
Structures 3D de milieux poreux obtenus par tomographie X (Noiriel et coll. 2012)
Avant precipitation Après precipitation 2503~16 millions de points
Vitesses 6403~262 millions de points
0 200 400 600 800 1000 1200 14000,00%
20,00%
40,00%
60,00% 46,43%51,61%
12,14%0,00%
Relative K difference vs. number of mesh points
Mesh size
Rel
ativ
e di
ffere
nce
0 200 400 600 800 1000 1200 14001,00E-007
1,26E-007
1,59E-007
2,00E-007
permeability vs. number of number of mesh points
Mesh size
Pe
rme
ab
ility
Convergence atteinte pour un maillage de 6403 points
Bonne scalabilité pour un maillage de 6403 points Paramètres
Précision 1,00E-006
nbMeshx 640
nbItération 800
nbProc 10 20 40 80 160
48 24 12 6 3
wall time (h) 96 48 24 12 6
480
Résultats
Perméabilité 1,25E-07
expected time (h)
expected cpu time (h)
Parallel efficiency
0,00
5,00
10,00
15,00
20,00
0 50 100 150 200
number of processsors
Para
llel
eff
icie
nc
(%) Ideal
observed
Computation times
0,00
10,00
20,00
30,00
40,00
0 50 100 150 200
number of processors
Co
mp
uta
tio
n t
im
(s) Ideal computation times
Observed computation times
Cumulated computation times
0
100
200
300
400
0 50 100 150 200
number of processors
Cu
mu
late
d
co
mp
uta
tio
n t
im
(s) Cumulated computation
times
TRANSFERT D’EAU ET D’ENERGIE DANS LES SOLS SOUS OpenFOAM :Depuis 2011 à l’OMP
Orgogozo L., Goddéris Y., Pokrovsky O.S., Viers J., Labat D., Prokushkin A.S., Dupré B., 2011. Numerical study of weathering fluxes at the catchment scale in a boreal watershed: a coupled thermo-hydro-geochemical mechanistic approach. Poster at the Goldschmidt Conference , August 14-19 2011, Prague.
Orgogozo L., Renon N., Hénon F., Soulaine C., 2012. Application of OpenFOAM to transfers in soils: First developments and perspectives. Oral presentation at the 7th OpenFOAM WorkShop , June 25-28 2012, Darmstadt.
Orgogozo L., Labat D., Renon N., Tomer S.K., Soulaine C., Hénon F., Ababou R., Quintard M., 2013. An OpenFOAM massively parallel solver for Richards Equation : towards mechanistical modelling of transfers at the watershed scale. Oral presentation at the InterPore conference , May 21-24 2013, Prague.
Orgogozo L., Renon N., Soulaine C., Hénon F., Tomer S.K., Labat D., Pokrovsky O., Sekhar M., Ababou R., Quintard M.., in prep.Mechanistic modelling of water fluxes at the watershed scale: An open source massively parallel solver for Richards equation. Submission to Computers & Geosciences in july 2013.
OBJECTIF GLOBAL : Fournir des données hydrologiques prédictives au modèle mécanistes d'altération WITCH (Y. Goddéris) pour étudier l'impact du changement climatique sur les flux d'altération
Code RichardsFOAM (L. Orgogozo) : modélisation mécaniste 3D des transferts dans les sols avec OpenFOAM, échelles : siècles, dizaines de km 2. Fait : transfert d'eau (soumission d'un article en juillet) → application en bassin versants tropicaux et tempéré (ORE BVET, MSEC, ...)En finalisation : transfert d'energie avec gel/degel (permafrost) → application en bassins versants boréaux (GDRI CAR WET SIB )
OpenFOAM Calcul massivement parallèle clé en main
OpenFOAM : une boite à outil de CFD open source, dévelo ppé en c++
- Volumes Finis
- Modélisations multiphysiques couplées
- Solveur maison implémentable
- Construit dès l’origine pour le calcul massivement parallèle
- Manque de documentation, mais il y a une communauté active
( e.g.: http://www.extend-project.de
http://www.cfd-online.com/Forums/openfoam/
http://openfoamwiki.net )
- Références : Weller et al., 1998, www.openfoam.com
Performance parallèle : Weak scaling (calcul à « grand e » échelle)
• Versant limoneux
• 0,2 à 11,6 km2, épaisseur 6 m
• ~2 à ~134 millions de mailles
• versant initialement sec et une pluie se produit
• suivi de l’infiltration pendant 10 j
�������
�����
(performed on the CALMIP cluster, www.calmip.cict.fr)
Computation times ~5 mn
Performance parallèle : Weak scaling (calcul à « grand e » échelle)
Recommended