Szegedi mini-HPC csoport - az első három év · Az ötlet és megvalósítása zHardver-beszerzéá ááés forrása: NKTH/KPI KIIF pályázat (2005->2006) infrastruktúra-fejlesztésre!

Szegedi mini-HPC csoport -g paz első három év

Fekete A. Zoltánadmin@hpc u szeged hu [email protected] <http://ZAF.has.it>

Σ HPCHΨ Szeged

hpc.inf.huhpc.inf.hu

Előadás menete

Múlt: hogyan lőn HPC-Szeged csoport(és mi is az)?(és mi is az)?

Jelen: hogyan működünkJövendő: hogyan tovább?

Milyen tapasztalatokat hasznosítsunk?Milyen tapasztalatokat hasznosítsunk?Milyen gyakorlatot változtassunk?

Σ HPCHΨ Szeged


Fő profil:nagyteljesítményű infrastruktúranagyteljesítményű infrastruktúra

a tudományos számítások l ál tábszolgálatában

á í ó éKiemelt terület: számítógépes kémiai alapkutatás

(lehetséges alkalmazások: gyógyszer-fejlesztés, biotech., gy gy j , ,anyagtudomány, nanotech.)

Σ HPCHΨ Szeged


Az ötlet és megvalósítása

é á á áHardver-beszerzés forrása: NKTH/KPI KIIF pályázat (2005->2006) infrastruktúra-fejlesztésre!El él ti ké ik k (d kt i ) b áti Elméleti kémikusok (doktori program) „baráti társasága” a projekt mögött: tudományos alapok, alkalmazási tapasztalatok felhasználási igényekalkalmazási tapasztalatok, felhasználási igényekA finanszírozás elnyerése után: a kívánt architektúra véglegesítésére és a szállító(k) kiválasztásáravéglegesítésére és a szállító(k) kiválasztásáratöbb-fordulós verseny-tárgyalást folytattunka potenciális felhasználók bevonásával

Csak a kezdeti költségre volt fedezet, intézményi háttér esetleges, működési költség ad hoc…

Σ HPCHΨ Szeged


Működési alapelvek

Egyetemi/akadémiai (non-profit) kutatók számára szabad hozzáférés biztosítunkszámára szabad hozzáférés biztosítunk.Megközelítésünk a használat támogatásának tudományos oldalára helyezi a hangsúlyt -tudományos oldalára helyezi a hangsúlyt szemben a gyakran tapasztalható „tiszta” informatikusi megközelítéssel! (A kétfős kiszolgáló állomány alap-végzettsége természet-tudományi és nem számítógépes.)A l h tő é k k t i b lül f lh álók A lehetőségek keretein belül a felhasználók maximális szabadságára törekszünk.Belső és külső együttműködések kerete:Belső és külső együttműködések kerete:„falak nélküli számítógépes laboratórium”

Σ HPCHΨ Szeged


Hírünk az országban(MTI 2006 május 04 )(MTI 2006. május 04.)

S á ító é t h l t k ü b S dSzuperszámítógépet helyeztek üzembe SzegedenMegötszörözi […] a Szegedi Tudományegyetemen (SZTE) folyó kutatásokhoz rendelkezésre álló számítási kapacitást …pA számítógépen az első időszakban neurológiai, orvos- és gyógyszerkémiai kutatásokhoz szükséges modellezések számításait fogják elvégezni mivel ilyen tevékenység kisebb gépeken illetvefogják elvégezni, mivel ilyen tevékenység kisebb gépeken, illetve személyi számítógépekből összeállított hálózatokon már jelenleg is folyik az egyetemen …A t ü b h l tt d t ti l játA most üzembe helyezett rendszer megteremti az alapját egy regionális szuperszámítógép-központ létrehozásának. A regionális központ kialakításához "csupán" a kapacitásokat kellene mintegy tí bő ít i it kö ljö őb ió ál á ti f á kbóltízszeresre bővíteni, amit a közeljövőben uniós pályázati forrásokból szeretne megtenni az SZTE …

Σ HPCHΨ Szeged


„HPC csoport” SZTE (Szote Kht.,Dél-alföldi Neurobiológia Tudásközpont)Dél-alföldi Neurobiológia Tudásközpont)

High Performance Computing =N T lj í é ű S á í áNagy Teljesítményű Számítás(irány a TeraFlopok útja)!Nyers csúcs kapacitás: összesenNyers csúcs-kapacitás: összesenközel 500 GFLOPs = ½ TFLOPs

Silicon Graphics Altix 3700: SMPSilicon Graphics Altix 3700: SMP(Shared Memory Parallel)

48 Intel-Itanium CPU 1.3GHz, ,48 GB RAM, kb. 310 eFt/GFLOPsFujitsu-Siemens: ‘1U(4cm)’ klaszter19x2x2 AMD-Opteron CPU 1.8GHz, 19x4 GB RAM, kb. 70 eFt/GFLOPs

Σ HPCHΨ Szeged


SGI Altix 3700: NUMAflex nagyteljesítményű felépítés

Σ HPCHΨ Szeged


Helyünk a (TOP500) ilá b 2006

6 :

világban - 2006HPC csoport +

½ IBM-P5s@SZTEPetaFLOP

5

5.5

GFL

OP

:45

3.

LOP

:7. P:

@

HPC csoport

4.5

5

OP/

s)

2640

4

891

GFL

2337

8 G

FLO

P78

91.

HPC Europa központok

HPC S d

HPC-Szeged3.37

HPC-Poznan2.663.42

y = -0.66x + 5.182

3.5

4

lg(G

FLO

398HPC-Europa központok

TeraFLOP HPC-Szeged3.902.60

2.95R2 = 0.98

2.5

3TeraFLOP

20 0.5 1 1.5 2 2.5 3 3.5 4 4.5

lg(rank)

Σ HPCHΨ Szeged


lg(rank)

A rendszer beüzemelve2006.06.07-

*** $Id: motd v 1 3 2007/10/02 07:13:45 root Exp $ *** $Id: motd,v 1.3 2007/10/02 07:13:45 root Exp $ * This is FSC at HPC-Szeged; the cluster has: ** - 19 compute nodes (n241001 - n241019), each with: ** - 2x2 Opteron 1 8GHz dual-core dual-processor CPUs 4GB memory * 2x2 Opteron 1.8GHz dual core dual processor CPUs, 4GB memory * - local /files/scratch directories, with ~130 GB capacity ** - shared (NFS) /home directory, with ~100 GB capacity ONLY! ** - shared (NFS) /files/export directory with ~450 GB capacity * - shared (NFS) /files/export directory, with 450 GB capacity ************************************************************************************** Use the Sun Grid Engine (SGE) commands for jobs on cluster nodes: ** qsub qdel for submitting/deleting regular jobs * qsub, qdel for submitting/deleting regular jobs * qstat, qstat -f to check if your job is running ** qstat -u USER to check USER's jobs in the queue ** qhost qhost u USER to check the nodes state and USER's job * qhost, qhost -u USER to check the nodes state and USER s job * quse & qshare to monitor fair share policy *************************************************************************************

Σ HPCHΨ Szeged


Szoftver-ellátottságá úKulcsfontosságú: GAUSSIAN-03 (D02),

népszerű kommerciális kvantumkémiai program;jogtiszta 64-bites forráskód egyetemi site-licencejogtiszta 64-bites forráskód egyetemi site-licenceSok egyéb molekula-modellezési alkalmazás:AMBER9 NAMD2 GROMACS AUTODOCK4 stbAMBER9, NAMD2, GROMACS, AUTODOCK4 stb.Nagyteljesítményű parallel fordítói környezetek:Portland és Intel Fortran, C, C++Portland és Intel Fortran, C, Cegyaránt rendelkezésre áll

Job-ütemezés: Sun GridEngine ‘fair-share’grendszer, kiegyensúlyozott prioritások kis és nagy felhasználóknak, egyenletes hozzáférés!

Σ HPCHΨ Szeged


CPU idő fogyasztásalkalma ások s erintalkalmazások szerint

GaussianORCA Cl t SMPORCA

MOPACADF

Cluster SMP

ADFAMBER

NAMDGromacsMCNPX

MiMisc.shell

Autodock

0 500 1000 1500

AutodockTINKER

Σ HPCHΨ Szeged


0 500 1000 1500CPU time (1000 hours)

CPU idő megoszlás

2% 1% 1%GaussianGaussianORCAMOPAC

Dock.

45%

27% ADFAMBER

Q t ChRadio PhysNAMDGromacs

Quant.Chem.Radio.Phys.

8%

1%MCNPXMisc.

Mol.Mech.Mol.Dyn.

1%1%

13%

8% shellAutodockTINKER

Σ HPCHΨ Szeged


1% TINKER

CPU idő fogyasztásfelhasználók szerintfelhasználók szerint1000 Totals

ours

)

'Zipf'

100

000

ho slots<=4

10me

(10 slots>4

10

CPU

ti

1

C

Σ HPCHΨ Szeged


1 10 100User rank

CPU kihasználás (heti átlag)

300 SGI+FSCs

Tot.avg.Cluster

200

e co

res

SMP

100fect

ive

Eff

00 50 100 150

Σ HPCHΨ Szeged


0 50 100 150Week#

Kumulatív CPU használat

SGI+FSC3000

ours

) Cluster

2000

000

ho SMP

1000me

(10

1000

CPU

ti

00 50 100 150

C

Σ HPCHΨ Szeged


0 50 100 150Week#

Publikációk a HPC erőforrás felhasználásával (2007)1. T.A. Martinek, I.M. Mandity, L. Fulop, G.K. Toth, E. Vass, M. Hollosi, E. Forro and F. Fulop (2006)

Effects of the Alternating Backbone Configuration on the Secondary Structure and Self-Assembly of beta-Peptides J. Am. Chem. Soc. 128, 13539.

2. B. Leitgeb, F. Bogar, G. Paragi, A. Kerenyi, B. Penke and G. Rakhely (2006) Investigation of secondary structural elements and intramolecular H-bonding patterns of poly-(Ala) and poly-(Gln) peptides by molecular modelling methods J Peptide Sci 12 187 Suppl Speptides by molecular modelling methods J. Peptide Sci. 12, 187 Suppl. S.

3. A. Bende, F. Bogar and J. Ladik (2007) Charge transfer between the PO4- groups of DNA and the

arginine+ and lysine+ side chains of proteins Chem. Phys. Lett. 437, 117.4. T.A. Martinek, T. Varga, Ferenc Fulop and M. Bartok (2007) NMR spectroscopic and theoretical

evidence of cinchona alkaloid-ketopantolactone complex formation in aprotic solvents: Implications for the mechanism of Pt-catalyzed enantioselective hydrogenation of activated ketones J Catalfor the mechanism of Pt catalyzed enantioselective hydrogenation of activated ketones J. Catal.246, 266.

5. B. Viskolcz, M. Szori, R. Izsak, Sz.N. Fejer and I.G. Csizmadia (2007) Thermodynamic functions of conformational changes, part IV: Functional analysis of conformational entropy of substituted ethane and methanol Int. J. Quant. Chem. 107, 1826.

6. R. Berkecz, I. Ilisz, A. Ivanov-Sztojkov, I. Szatmari, F. Fulop, D.W. Armstrong and A. Peter (2007) j p g ( )HPLC Enantioseparation of 1-(α-Aminobenzyl)-2-naphthol and 2-(α-Aminobenzyl)-1-naphthol Analogs on a β-Cyclodextrin-Based Chiral Stationary Phase Chromatographia 65, 337.

7. M. Szori, T. Abou-Abdo, C.Fittschen, I.G. Csizmadia and B. Viskolcz (2007) Allylic hydrogen abstraction II. H-abstraction from 1,4 type polyalkenes as a model for free radical trapping by polyunsaturated fatty acids (PUFAs) Phys. Chem. Chem. Phys. 9, 1931.

8 J Ladik A Bende and F Bogar (2007) Calculation of the band structure of polyguanilic acid in the 8. J. Ladik, A. Bende and F. Bogar (2007) Calculation of the band structure of polyguanilic acid in the presence of water and Na+ ions J. Chem. Phys. 127, 055102.

9. Z.A. Fekete, E.A. Hoffmann, T. Kortvelyesi and B. Penke (2007) Harmonic vibrational frequency scaling factors for the new NDDO Hamiltonians: RM1 and PM6 Mol. Phys. in press.

Σ HPCHΨ Szeged


Kutatási példa (2009)Sztereokémiai építőkockák"programozott" szekvenciái

új ű bi i tik héli kh t kújszerű biomimetikus hélixekhez vezetnek.

A racionális tervezési megközelítésA racionális tervezési megközelítésperiodikus struktúrák kiépítésénekúj lehetőségeit kínálja.

Σ HPCHΨ Szeged

hpc.inf.huhpc.inf.huMándity I.M., Wéber E., Martinek T.A. et al., Angew. Chem. Int. Ed. (2009) 48:2171.

Kurrens kutatások - montázs

Σ HPCHΨ Szeged


Alkalmazási tanulság:gismerd meg önmagad adatait!

A parallel futtatások kihasználásának A parallel futtatások kihasználásának algoritmusa:

1. Ismerd meg (még jobban) a módszered é é áviselkedését a saját adataiddal

2. Gyűjts releváns benchmark adatokatEl jó/ / tí ll li álá ?3. Elemezz: jó/rossz/negatív parallelizálás?

iterálj az 1. ponttól…Érdemes átgondolni nagy teljesítményű (HPC) Érdemes átgondolni, nagy teljesítményű (HPC) avagy nagy áteresztőképességű (HTC) számítás célszerűbb-e; hosszabb távon az utóbbi lő ö bb d ö id tá telőnyösebb, de rövid távon ezttúl gyakran szem elől veszítjük…

Σ HPCHΨ Szeged


A kevesebb néha több…

10391200 1200

696

816900

s]

900

e [s

]

565

69650

549

4600cloc

k [s

600

PU ti

me

498

54

300

wal

l c

300 tota

l CP

258146

300 300 t

14692 72 690

0 4 8 12 160

Σ HPCHΨ Szeged


nCPU

Hol tartunk?

Megteremtődött annak a lehetősége, hogy erre a bázisra alapozva jelentős központ fejlődjön ki a

á í ó é ké áb (é á d á kb )számítógépes kémiában (és társ-tudományokban) Az eddigi időszak a felhasználók számáraj ll ő é i tí ú j ktj ikh új bb jellemzően a régi típusú projektjeikhez újabb processzorok hozzáadását nyújtottaCélszerű lenne az egyetemen ill régiójában Célszerű lenne az egyetemen ill. régiójában meglevő, igen számottevő de szétszórt, szürkeállomány összefogása, és koncentrált s ü eá o á y öss e ogása, és o ce áprojektek kialakítása (PÉNZ, PÁLYÁZATOK, PÉNZ)…

Σ HPCHΨ Szeged


ÁÁltalános tapasztalatokEgy óra gondolkodás megtakaríthatEgy óra gondolkodás megtakaríthatezer óra számítást!

Még a tipikusnak gondolt feladatok esetén is Még a tipikusnak gondolt feladatok esetén is érdemes elemezni a tervezett számítás erőforrás-igényét, és különösen a skálázási sajátságait. g y , j gJob-ütemezés és elosztás:türelem rózsát terem(ne)

SGE fair-share ütemezés technikailag jó (felhasználók érzelmi hozzáállása még csiszolandó)Architektúra választás: sok lúd disznót győz elv érvényesül a klaszter – SMP összehasonlításban

Σ HPCHΨ Szeged


Követendő irányoké á á éSzemlélet-változásokra van szükség

A pillanatnyi teljesítmény maximalizálása helyett t lj ít tt k ti li álá l az teljesített munka optimalizálása lenne

kívánatos – Performance vs. ThroughputÉrzelmi helyett értelmi viszonyulás Érzelmi helyett értelmi viszonyulás a számítások tervezésénél, ütemezésénélGazdálkodási jellegű gondolkodás Gazdálkodási jellegű gondolkodás tudatosítása az erőforrások elosztásánálIntézményes egyetemi támogatás, és/vagy Intézményes egyetemi támogatás, és/vagy szorosabb alegység-szintű összefogás kell a továbblépéshez (regionális föderáció?)

Σ HPCHΨ Szeged


Köszönet-nyilvánítás

Bartha FerencBogár FerencDombi György, HPC projekt-vezetőLabádi MátéMartinek TamásPenke Botond (Neurobiológiai Tudásközpont)( g p )Viskolcz BélaNKTH/KPI KIIF pályázat:/ p yALAP4-00092/2005.Kapcsolat: [email protected]

Σ HPCHΨ Szeged


Documents

Szegedi mini-HPC csoport - az első három év · Az ötlet és megvalósítása zHardver-beszerzéá ááés forrása: NKTH/KPI KIIF pályázat (2005->2006) infrastruktúra-fejlesztésre!