Paralelno programiranje - Praktikum iz operativnih sistema

Paralelno programiranjePraktikum iz operativnih sistema

Filip Br£i¢

9. juni 2006

Filip Br£i¢<brcha@users.sourceforge.net> () Paralelno programiranje 9. juni 2006 1 / 29

Osnove paralelnog programiranja

Tradicionalno programiranje

Jedan kompjuter

Jedna memorija

Jedan program

Jedan podatak

Flinovo grananje

JIJP Jedna Instrukcija � Jedan Podatak

JIVP Jedna Instrukcija � Vi²e Podataka

VIJP Vi²e Instrukcija � Jedan Podatak

VIVP Vi²e Instrukcija � Vi²e Podatak

Razlike izme�u tradicionalnog i paralelnog programiranja

Organizacija taskova

Faze inicijalizacije pre ra£unanja

Izbor granularnosti

Heterogenost sistema

Osnove paralelnog programiranja Paradigme paralelnog programiranja

Standardne paradigme paralelnog programiranja

�Gospodar � rob� odnos (master � slave)

Komunisti£ki model (svi su jednaki)

Model drveta

Hibridni modeli

Model grupe

�Gospodar � rob� i komunisti£ki modeli su su²tinski isti

Jedna instanca prikazuje rezultate (i) ra£una

Ostale instance samo ra£unaju

Pogodno za algoritme gde se zna broj instanci unapred (mnoºenjamatrica)

Model drveta

Najprirodniji model za paralelne algoritme

Nepoznat broj instanci unapred

Prva instanca prikazuje rezultate,

ostale instance samo vra¢aju rezultate �roditeljskoj� instanci.

Pogodno za rekurzivne algoritme (pretrage, sortiranja,�zavadi-pa-vladaj�, . . . )

Osnove paralelnog programiranja Model grupe

Model grupe

Faze algoritma

1 Inicijalizacija procesa grupe (u zavisnosti od parametara problema)

2 Ra£unanje (svi u isto vreme)

3 Sklapanje �nalnog rezultata i prikaz rezultata (�gospodar�)

Ilustracija modela grupe � Mandelbrot

Program gospodara � Inicijalizacija

f o r i := 0 to Bro jRadn ika − 1S t a r t u j r a dn i k a iP o s a l j i zadatak r adn i ku i

e nd f o r

Program gospodara � Rad

wh i l e ( ImaPos la )Pr im i r e z u l t a tP o s a l j i zadatak s l edecem slobodnom radn i kuP r i k a z i r e z u l t a t

endwh i l e

Program gospodara �Kraj

f o r i := 0 to Bro jRadn ika − 1Pr im i r e z u l t a tUb i j r a dn i k a iP r i k a z i r e z u l t a t

e nd f o r

Program radnika

wh i l e ( t r u e )Pr im i zadatakI z r a c u n a j r e z u l t a tP o s a l j i r e z u l t a t gospodaru

endwh i l e

Osnove paralelnog programiranja Model drveta

Model drveta

Faze algoritma

1 Podela podataka

2 Slanje podataka £vorovima ispod (deci)

3 Skupljanje podataka od £vorova ispod (dece)

4 Sklapanje podataka u celinu

5 Slanje podataka roditeljskom £voru (ili ispis)

MPI �ta je MPI?

�ta je MPI?

Speci�kacija biblioteke

Implementacije na Fortran-u, C-u, C++-u

Za paralelne ra£unare, klastere i heterogene mreºe

MPI �ta je MPI?

�ta je MPI?

Osobine MPI-a

Modularnost

Portabilnost

Heterogenost

Sigurna komunikacija

Podgrupe

Topologije

Alati za merenje performansi

MPI �ta je MPI?

Koliko je komplikovan MPI?

MPI je veliki: MPI-1 ima 128 funkcija, a MPI-2 152 funkcije

MPI je mali: sa samo 6 funkcija moºe 99% stvari da se postigne.

MPI Osnovnih 6 funkcija MPI-a

Osnovnih 6 funkcija MPI-a

1 Inicijalizacija MPI_Init ()

2 Kraj rada MPI_Finalize ()

3 Koliko ima ra£unara u klasteru? MPI_Comm_size ()

4 Koji je moj rang? MPI_Comm_rank ()

5 Po²alji podatke MPI_Send ()

6 Primi podatke MPI_Recv ()

Najmanji MPI program

Inicijalizacija i kraj rada

#inc lude < s t d i o . h>#inc lude "mpi . h"i n t main ( i n t argc , char ∗∗ a rgv ){

MPI_Init (& argc , & argv ) ;p r i n t f ( "Zdravo sv ima !\ n" ) ;MPI_Fina l i ze ( ) ;return 0 ;

Najmanji MPI program

Moj rang i veli£ina klastera

#inc lude < s t d i o . h>#inc lude "mpi . h"i n t main ( i n t argc , char ∗∗ a rgv ){

i n t rank , s i z e ;MPI_Init (& argc , & argv ) ;MPI_Comm_rank (MPI_COMM_WORLD, & rank ) ;MPI_Comm_size (MPI_COMM_WORLD, & s i z e ) ;p r i n t f ( "Zdravo sv ima ! Ja sam %d od %d\n" , rank , s i z e ) ;MPI_Fina l i ze ( ) ;return 0 ;

MPI Potpun MPI program

Pocetak rada

#inc lude < s t d i o . h>#inc lude <mpi . h>i n t main ( i n t argc , char ∗∗ a rgv ){

i n t i , rank , s i z e , d e s t ;i n t to , s r c , from , count , tag ;i n t st_count , s t_source , st_tag ;double data [ 1 0 0 ] ;MPI_Status s t a t u s ;MPI_Init (& argc , & argv ) ;MPI_Comm_rank (MPI_COMM_WORLD, & rank ) ;MPI_Comm_size (MPI_COMM_WORLD, & s i z e ) ;p r i n t f ( " Proces %d od %d se j a v l j a . \ n" , rank , s i z e ) ;d e s t = s i z e − 1;s r c = 0 ;

Slanje podataka

i f ( rank == s r c ) {to = de s t ;count = 100 ;tag = 2001;fo r ( i = 0 ; i < 100 ; i++)

data [ i ] = i ;MPI_Send ( data , count , MPI_DOUBLE, to , tag ,

MPI_COMM_WORLD) ;}

Primanje podataka

e l s e i f ( rank == de s t ) {tag = MPI_ANY_TAG;count = 100 ;from = MPI_ANY_SOURCE;MPI_Recv ( data , count , MPI_DOUBLE, from , tag ,

MPI_COMM_WORLD, & s t a t u s ) ;MPI_Get_count (& s t a t u s , MPI_DOUBLE, & st_count ) ;s t_source= s t a t u s .MPI_SOURCE;st_tag= s t a t u s .MPI_TAG;p r i n t f ( " I n f o rm a c i j e : i z v o r = %d , oznaka = %d , "

" v e l i c i n a = %d\n" ,s t_source , st_tag , st_count ) ;

p r i n t f ( " %d p r im i o : " , rank ) ;fo r ( i = 0 ; i < st_count ; i++)

p r i n t f ( "%l f " , data [ i ] ) ;p r i n t f ( "\n" ) ;

}Filip Br£i¢<brcha@users.sourceforge.net> () Paralelno programiranje 9. juni 2006 24 / 29

Kraj rada

MPI_Fina l i ze ( ) ;return 0 ;

Primer

Ilustracija modela drveta � Bucket sort

Primer sa adrese http://csce.uark.edu/�aapon/courses/concurrent/-mpiexamples/16parallel_bucket_sort.c

Klaster

Gentoo GNU/Linux, AMD Athlon64 3000+, 3GB RAM, 200GBHD, IP: 192.168.1.1, LAM/MPI 7.1.1

FreeBSD 6.1, AMD Athlon64 3000+, 128MB RAM, 5GB HD,IP: 192.168.4.2, LAM/MPI 7.1.1

Debian GNU/kFreeBSD 20060331, AMD Athlon64 3000+,128MB RAM, 5GB HD, IP: 192.168.6.2, LAM/MPI 7.1.1

Kraj predavanja

Literatura

http://www-unix.mcs.anl.gov/mpi/

http://www.lam-mpi.org/

http://www.mpi-forum.org/

http://csce.uark.edu/�aapon/courses/concurrent/schedule.html

Kontakt

Filip Br£i¢ <brcha@users.sourceforge.net>

Web: http://purl.org/NET/brcha/home/documents/MPI

Paralelno programiranje - Praktikum iz operativnih sistema

Documents

INTERNA I OPERATIVNA REVIZIJA ključ finansijskih i operativnih

Programiranje 2 - Računarstvo 550. semestar/Programiranje 2... · Programiranje 2 (550) Funkcije 3 Programiranje 2 5 Funkcija Imenovani, nezavisni dio koda koji obavlja određeni

Programiranje 2 1. predavanje - unizg.hrsinger/prog2/P2_1920/01.pdf · Programiranje 1 (Prog1), prije toga Uvod u raˇcunarstvo, Programiranje 2 (Prog2), prije toga Programiranje

Programiranje c++, uvod u programiranje

Uvod u programiranje Programiranje 1 (450) - …. semestar/Programiranj… · Uvod u programiranje Programiranje 1 (450) Poglavlje 4 Procedure i postupci 1 drddrrdr. .. . scssccsc

Paralelno programiranje II · Dinamika molekula Obrada među-atomskih sila, neke zavisnosti Zajednički činioci Zadaci su pridruženi iteracijama petlje Zadaci su uglavnom poznati

Paralelno programiranje predavanja - fer.hr · su čvorovi zadaci (koji se mogu izvoditi paralelno i neovisno jedan o drugome) a veze su kanali kojima zadaci komuniciraju • broj

Paralelno Asinhrono Programiranje

Programiranje 1 - IMPLETUMuranic.tsckr.si/VIŠJA ŠOLA/Programiranje I/Programiranje 1 - IMPLETUM.pdf · Programiranje 1 - zbirka rešenih nalog v C#. Zbirka ima poglavja razporejena

Programiranje 2 - · PDF filerječnik, Moodle forum. 5 Predavanja ... Kolegiji Programiranje 1 i programiranje 2

KONKURENTNO PROGRAMIRANJE ORACLE BAZA, …2 1. KONKURENTNO PROGRAMIRANJE U ORACLE BAZI Uz programiranje operacijskih sustava i programiranje superračunala, programiranje sustava za

PARALELNO PROGRAMIRANJE: Z IRKA RIJEŠENIH ...mapmf.pmfst.unist.hr/~tdadic/ParalelnoProgramiranje/...Sveučilište u Split, Prirodoslovno – matematički fakultet 1 UVOD Ova zbirka

Unaprjeđenje operativnih praksi u hotelijersko

Programiranje u realnom vremenu - etf.bg.ac.rs · PDF filepodrazumeva neophodno predznanje iz objektno orijentisanog programiranja, algoritama i struktura podataka, operativnih sistema,

Uvod u programiranje Programiranje 1 (450) - …. semestar/Programiranje... · Uvod u programiranje Programiranje 1 (450) ... 22 Računalni programi i programski jeziciRačunalni

Paralelno programiranje I - rt-rk.uns.ac.rs Paralelno...Fiksni zadaci naspram parametrizovanih zadataka Efikasnost Zadaci sa dovoljno posla da se amortizuje cena njihovog stvaranja

Ukrep Sodelovanje - program-podezelja.si...Programiranje inovacij - Sodelovanje Glavni ukrep PRP 2014-2020, povezan z inovativnostjo je ukrep Sodelovanje, še posebej preko operativnih

O ORGANIZIRANJU I FUNKCIONIRANJU OPERATIVNIH CENTARA ...kucz.ks.gov.ba/sites/kucz.ks.gov.ba/files/PRAVILNIK O ORGANIZIRANJU I... · općinskih operativnih centara civilne zaštite

Istorijat i razvoj operativnih sistema

Teorija operativnih sistema: pomoćni materijali za