PhD defence

Resenı rozsahlych inzenyrskych uloh na paralelnıchpocıtacıch

Obhajoba disertacnı prace

Jaroslav Broz

Katedra mechanikyFakulta stavebnıCVUT v Praze

10. brezen 2011

Obsah Paralelnı implementace CG FETI predpodmınenı Fixujıcı uzly Zaver a budoucı prace Podekovanı

Obsah

1 Paralelnı implementace metody sdruzenych gradientu

2 Impementace predpodmınenı pro metodu FETI

3 Vyber fixujıcıch uzlu pro metodu FETI-DP

4 Zaver a budoucı prace


Algoritmus predpodmınene metody sdruzenych gradientu

Algoritmus predpodmınene metody sdruzenych gradientux0 = 0r0 = bz0 = C−1r0d0 = z0i = 0while i ≤ imax or tol < rT

i ri

bTb do

αi =rT

i zi

dTi Adi

ri+1 = ri − αiAdi

xi+1 = xi + αidi

zi+1 = C−1ri+1

βi =rT

i+1zi+1

rTi zi

di+1 = zi+1 + βidi

i = i + 1end while


Implementace metody

Paralelnı implementace metody sdruzenych gradientu

Implementovana do volne dostupneho programoveho balıkuSIFEL

Paralelizacnı schema Master - SlavesMASTER

SLAVE 1 SLAVE 2 SLAVE 3

send

receive

send

receive

send

receive

Knihovna MPICH2 pro mezi-procesorovou komunikaci


Implementace metody

Algoritmus BPCG - paralelnı nasobenı matice s vektorem aparalelnı skalarnı soucin

αi =rT

i zi

dTi Adi

ri+1 = ri − αiAdi

βi =rT

i+1zi+1

rTi zi

Knihovna PETSc pro nekompletnı LU faktorizaci matice

z0 = C−1r0

zi+1 = C−1ri+1

kde C = LU + E


Numericke testy

Porovnanı BPCG algoritmu, sekvencnıho CG algorimu a PETSc CG algoritmu

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

150

160

170

180

190

200

0 50000 100000 150000 200000 250000 300000 350000 400000 450000 500000

Čas

řeš

ení s

oust

avy

rovn

ic [

s]

Počet stupňů volnosti v problému

SIFEL SEQ CGPETSC SEQ CG

BPCG 2sdBPCG 4sd


Numericke testy

Porovnanı ILU predpodmıneneho a nepredpodmıneneho algoritmu BPCG

0

2500

5000

7500

10000

12500

15000

17500

20000

22500

25000

27500

30000

32500

35000

0 500000 1e+06 1.5e+06 2e+06 2.5e+06 3e+06 3.5e+06

Po

čet

iter

ací


4d nepředpodmíněno4d PETSc ILU


0

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

1600

1700

1800

1900

2000

2100

2200

0 500000 1e+06 1.5e+06 2e+06 2.5e+06 3e+06 3.5e+06

Cel

kový č

as ř

ešen

í [s

]





Metoda FETI

Metoda FETI

Hruby problem

(F G

GT 0

)(λα

)=

(ge

)(1)

F =

m∑j=1

BjK+j B

Tj

g =

m∑j=1

BjK+j f j

G = (−B1R1,−B2R2, . . . ,−BmRm, )

eT =((−RT

1 f 1)T,(−RT

2 f 2)T, . . . ,

(RT

mfm)T)

αT =(αT

1 ,αT2 , . . . ,α

Tm,)T

Resenı hrubeho problemuMatice soustavy hrubeho problemu je symetricka a positivnesemidefinitnı→ Resenı redukovaneho hrubeho problemu pomocımodifikovane metody sdruzenych gradientu


Metoda FETI

Modifikovana metoda sdruzenych gradientu

Inicializace

λ0 = G(GTG

)−1 em0 = g− Fλ0w0 = Pm0h0 = PC−1

ID|Lw0

d0 = h0

Iteracek = 0while k ≤ kmax ortol > (mk)

TmkgTg do

δk =(hk)

Twk

(dk)TFdk

λk+1 = λk + δkdkmk+1 = mk − δkFdkwk+1 = Pmkhk+1 = PC−1

ID|Lwk+1

βk =(wk+1)hk+1

(hk)wk

dk+1 = hk+1 + βkdkk = k + 1

end while


Predpodmınenı metody FETI

Typy predpodmınenı

Dirichletovo predpodmınenı

C−1ID =

N∑n=1

Bs

(0 00 S(s)

bb

)B(s)T

S(s)bb = K(s)

bb −K(s)T

ib K(s)−1

ii K(s)ib

Lumped predpodmınenı

C−1IL =

N∑n=1

Bs

(0 00 K(s)

bb

)B(s)T


Numericke experimenty

0

25

50

75

100

125

150

175

200

225

0 20 40 60 80 100 120 140 160 180 200 220 240 260

Poče

t it

erac

í

Počet podoblastí

nepředpodmíněnodirichletlumped

0

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

0 20 40 60 80 100 120 140 160 180 200 220 240 260

Cel

kový č

as ř

ešen

í [s

]

Počet podoblastí

nepředpodmíněnolumpeddirichlet


Numericke experimenty

0

25

50

75

100

125

150

175

200

225

250

275

300

325

350

375

400

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70

Poče

t it

erac

í

Počet podoblastí


0 25 50 75

100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 525 550 575 600

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70

Cel

kový č

as ř

ešen

í [s

]

Počet podoblastí



Metoda FETI-DP

Hruby problem

(FIrr FIrc

FTIrc−K∗cc

)(λuc

)=

(dr

−f∗c

)(2)

FIrr =

s=Ns∑s=1

BsrK

s−1

rr BsT

r FIrc =

s=Ns∑s=1

BsrK

s−1

rr KsrcBsT

c

K∗cc = Kcc −s=Ns∑s=1

(KsrcBs

c)T Ks−1

rr (KsrcBs

c)

dr =

s=Ns∑s=1

BsrK

s−1

rr f sr f∗c = f c −

s=Ns∑s=1

BsT

c KsT

rc Ks−1

rr f sr


Metoda FETI-DP

Redukovany problem na rozhranı

(FIrr + FIrcK

∗−1

cc FTIrc

)λ = dr − FIrcK

∗−1

cc f∗c (3)

Resenı hrubeho problemuMatice soustavy hrubeho problemu je symetricka a positivne definitnı→ Resenı redukovaneho hrubeho problemu pomocı metodysdruzenych gradientu


Fixujıcı uzly

Problemy s vyberem fixujıcıch uzlu

Definice z puvodnıho clanku produkuje mnoho fixujıcıch uzlu

Existujı pouze nastroje na rozklad sıte na podoblasti (METIS,JOSTLE, CHACO atd.) - zalozeny na delenı grafu

Omezena data - k dispozici pro vyber je pouze sıt’ konecnychprvku


Algoritmus pro vyber fixujıcıch uzlu ve 2D

Definice fixujıcıch uzlu ve 2D

Ω1

Ω2

Ω3

Ω4

Ω5

Ω6

Ω7

Ω8

Ω9

1

2

3

4

5

6

7

8

9

10

11

12

Ω1

Ω2

Ω3

Ω4

1

2

3

4

5

6

7

8



Kontrola vyberu fixujıcıch uzlu

Kontrola poctu vybranych fixujıcıch uzlu

1

2

3Ω1

Ω2

Geometricky vyber fixujıcıch uzlu

Kontrola vzdalenostı mezi fixujıcımi uzly



Rozsıreny algoritmus

Zalozen na rozdelenı hranicnıho grafu

Dalsı fixujıcı uzly je mozne vybrat jakoBj

1 centra podgrafuBj

2 konce podcest v podgrafu Bj

3 n nahodne vybranych vrcholu podgrafuBj



Numericke experimenty - Patro

Ctyri podoblasti Deset podoblastı



Numericke experimenty - Patro

150

175

200

225

250

275

300

325

350

375

400

425

450

475

0 25 50 75 100 125 150 175 200 225 250 275 300 325 350

Poče

t it

erac

í v

hru

bém

pro

blé

mu

Počet fixujících uzlů v problému

10sd podcesty10sd náhodně4sd podcesty4sd náhodně

10sd minimum10sd centrum

10sd optimum4sd minimum

4sd centrum4sd optimum

50

60

70

80

90

100

110

120

130

140

150

160

170

180

190

200

0 25 50 75 100 125 150 175 200 225 250 275 300 325 350

Cel

kový č

as ř

ešen

í [s

]


10sd podcesty10sd náhodně4sd podcesty4sd náhodně

10sd minimum10sd centrum

10sd optimum4sd minimum4sd optimum4sd centrum



Definice

Kostka rozlozena do osmipodoblastı Hranicnı graf B



Definice

Hranicnı graf krivek C Hranicnı graf ploch P



Kontrola vyberu fixujıcıch uzlu

Kontrola poctu vybranych fixujıcıch uzlu

Geometricky vyber fixujıcıch uzluKontrola vzdalenostı mezi fixujıcımi uzly




Zalozen tez na vyberu vrcholu z hranicnıch podgrafu ploch Pj

Dalsı fixujıcı uzly je mozne vybrat jako1 centra podgrafu Pj

2 m nahodne vybranych vrcholu podgrafu Pj




Zalozen tez na vyberu vrcholu z hranicnıch podgrafu ploch Pj

Dalsı fixujıcı uzly je mozne vybrat jako1 centra podgrafu Pj2 m nahodne vybranych vrcholu podgrafu Pj



Numericke experimenty - Prehrada

75

80

85

90

95

100

105

110

115

120

125

130

135

140

145

150

155

0 25 50 75 100 125 150 175 200 225 250 275 300

Poče

t it

erac

í v

hru

bém

pro

blé

mu


křivky - podcestykřivky- náhodněplochy - náhodně

minimumkřivky - centum

plochy - centurm

1045

1050

1055

1060

1065

1070

1075

1080

1085

1090

1095

1100

1105

1110

1115

1120

1125

1130

0 25 50 75 100 125 150 175 200 225 250 275 300

Cel

kový č

as ř

ešen

í [s

]


křivky podcestykřivky náhodněplochy náhodně

minimumkřivky - centum

plochy - centurm



Numericke experimenty - Prehrada



Numericke experimenty - Most


Zaver a budoucı prace

Provedena paralelnı implementace metody sdruzenych gradientu

Provedena implementace predpodmınemı metody FETI dopogramu SIFEL

Vyvinut algoritmus pro vyber fixujıcıch uzlu pro libovolnou sıt’.

Budoucı prace: Optimalizace algoritmu, automaticka volba poctufixujıcıch uzlu


Podekovanı

Dekuji Vam za Vasi pozornost.

Prace na teto disertacnı praci byla financovana nasledujıcımi projektygrant HPC-EUROPA++ (cıslo projektu 211437) aHPC-EUROPA2 (cıslo projektu 228398) Pan-European researchinfrastructure on high performance computing for 21st centuryscience funded under Seventh Framework Programmeinternı grant CVUT (IGS) CTU0805511 Skalovatelnost metoddomenove dekompozicegrant GA CR 103/09/H078 Computer and experimental analysisof civil engineering materials and their multilayered systemsgrant GA CR 103/07/1455 Modelling of Reinforcement-MatrixInteractioninternı grant CVUT (SGS) SGS10/020/OHK1/1T/11 Pokrocilealgoritmy pro numerickou analyzu a modelovanı

Education

PhD defence