51
PO KREATIVNI POTI PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKA PRIPRAVIL: DEJAN PENKO MENTORICA: doc. dr. BILJANA MILEVA BOSHKOSKA, doc. dr. LEON KOS

PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• PO KREATIVNI POTI

• PROJEKT: SUPERRAČUNALNIK ZA VSE

• KAKO DO SUPERRAČUNALNIKA

• PRIPRAVIL: DEJAN PENKO

• MENTORICA: doc. dr. BILJANA MILEVA BOSHKOSKA,

doc. dr. LEON KOS

Page 2: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

KAKO DO SUPERRAČUNALNIKA

• Pridobitev certifikata in članstva v virtualni organizaciji VOMS za dostop to Rudolf superračunalnika

• Namestitev Linux Operacijskega sistema• Prikazana bo uporaba orodja Oracle VM VirtualBox za delo z

navideznim računalnikom z Linux Operacijskim Sistemom (XUbuntu) znotraj Windows 10 OS

• Namestitev programske opreme potrebne za dostop do superračunalnika

• Povezava na superračunalnik

KORAKI

Page 3: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

PRIDOBITEV CERTIFIKATA IN ČLANSTVA V VOMS

1. Izpolnitev vloge za izdajo osebnega elektronskega potrdila SiGNET

• Obrazec ter dodatne informacije: http://signet-ca.ijs.si/

Page 4: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

2. Dostava izpolnjene vloge ter kopije osebnega dokumenta s sliko informatiku na FIŠ

3. Vnos osebnih podatkov v spletni obrazec na http://signet-ca.ijs.si/pub/

! SKOZI CELOTEN POSTOPEK PRIDOBITVE JE !

! OBVEZNA UPORABA ISTEGA MOZILLA FIREFOX !

! BRSKALNIKA NA ISTEM RAČUNALNIKU !

! (digitalno potrdilo bo shranjeno znotraj !

! brskalnika) !

Page 5: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• User -> Request a certificate -> Request a certificate with automatic browser detection

• Čez nekaj dni

na vnešeni

e-naslov

prispe e –mail

z navodili za

prevzem

potrdila

Page 6: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

4. Po potrjenem digitalnem potrdilu:

https://voms.sling.si:8443/voms/hpc.fis.unm.si

• Brez potrjenega digitalnega potrdila je ta spletna stran nedosegljiva

Page 7: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

5. Izvoz digitalnega potrdila iz brskalnika Firefox

• Options -> Advanced -> Certificates -> View Certificates

Page 8: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• -> Your Certificates -> Backup

• Shrani kot .p12 datoteko

Page 9: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Navodila za izvoz digitalnega potrdila so na voljo tudi na:

https://www.sslsupportdesk.com/export-certificate-firefox/

Page 10: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

NAMESTITEV NAVIDEZNEGA RAČUNALNIKA Z LINUX (XUbuntu) OPERACIJSKEGIM

SISTEMOM NA WIN10

• Oracle VM VirtualBox• https://www.virtualbox.org/

• Xubuntu 16.04.2 LTS• https://xubuntu.org/getxubuntu/

Page 11: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

1. Ustvarimo nov navidezni računalnik s poljubnim imenom ter določeno vrsto in različico

Page 12: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

2. Določimo poljubno velikost pomnilnika ter tip in velikost navideznega trdega diska

Page 13: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako
Page 14: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

3. Uredimo nastavitve navideznega računalnika• Ukaz

Page 15: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako
Page 16: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

4. Zaženemo ustvarjeni navidezni računalnik ter namestimo Xubuntu• Ukaz -> izberemo datoteko navideznega optičnega diska ( )

Page 17: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Nadaljujemo s postopkom namestitve kot je prikazano na naslednjih slikah

Page 18: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako
Page 19: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• S tem je namestitev XUbuntu OS na navidezni računalnik zaključena

Page 20: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

5. Prvi zagon XUbuntu OS in namestitev paketov za boljšo kompatibilnost z VirtualBox orodjem (večja resolucija, možnost kopiranja besedila med „host“ WIN10 in „guest“ XUbuntu OS…)

Page 21: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Zaženemo terminalski emulator

in zapišemo ukaz

$ sudo apt-get install virtualbox-guest-dkms virtualbox-guest-

utils virtualbox-guest-x11

Page 22: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Vpišemo geslo (geslo uporabnika/administratorja)

• Ko nas terminal vpraša, ali želimo res namestiti ta paket,

vpišemo „y“

• Sporočilo ob uspešni namestitvi paketa

Page 23: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Znotraj VirtualBox-a izklopimo navidezni računalnik: Datoteka -> Zapri

ter ga ponovno zaženemo

• Sedaj je naš navidezni računalnik pripravljen za nadaljnje delo

Page 24: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

NAMESTITEV PROGRAMSKE OPREME POTREBNE ZA DOSTOP DO

SUPERRAČUNALNIKA (Xubuntu)

• Navodila za namestitev programske opreme na druge operacijske sisteme so na voljo na http://www.sling.si/sling/uporabniki/uporabniski-vmesniki/

• Razlaga nekaterih Linux ukazov, uporabljenih v nadaljevanju navodil, lahko najdemo na spletu:• http://www.dummies.com/computers/operating-

systems/linux/common-linux-commands/

• http://searchenterpriselinux.techtarget.com/tutorial/77-useful-Linux-commands-and-utilities

Page 25: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

1. Zaženemo terminalski emulator

2. Namestitev preprostega orodja KWrite za urejanje tekstovnih datotek

$ sudo apt-get update

$ sudo apt-get install kwrite

Page 26: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

3. Namestitev vmesno programske opremeoziroma odjemalec NorduGrid ARC

$ wget

http://download.nordugrid.org/repos/latest/ubuntu/dists/trusty/mai

n/binary-amd64/nordugrid-release_13.11~trusty1_all.deb

$ sudo dpkg -i nordugrid-release_13.11~trusty1_all.deb

$ wget -q -O - http://download.nordugrid.org/DEB-GPG-KEY-

nordugrid.asc | sudo apt-key add -

$ sudo apt-get install nordugrid-arc-client nordugrid-arc-plugins-

globus

Page 27: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

4. Namestitev Certificate Authority metapaketa

$ sudo kwrite /etc/apt/sources.list

# Na koncu datoteke sources.list zapišemo naslednji dve vrstici:

#### EGI Trust Anchor Distribution ####

deb http://repository.egi.eu/sw/production/cas/1/current egi-igtf core

Page 28: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

$ wget -q -O -

https://dist.eugridpma.info/distribution/igtf/current/GPG-KEY-

EUGridPMA-RPM-3 | sudo apt-key add -

$ sudo apt-get update

$ sudo apt-get install ca-policy-egi-core

Page 29: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

UREDITEV CERTIFIKATA IN DATOTEK Z INFORMACIJAMI O UPORABNIKU TER

SUPERRAČUNALNIKU

1. Kreiranje direktorija, v katerem bodo shranjene vse datoteke potrebne za povezavo na superračunalnik

$ mkdir ~/.arc

Page 30: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

2. Pretvorba certifikata (imen. usercert.p12) v zahtevan format• Potreben je vnos gesla, katerega smo določili v koraku pridobivanja

certifikata

• Naslednje ukaze je potrebno zagnati znotraj direktorija, kjer se nahaja usercert.p12 datoteka

$ openssl pkcs12 -in usercert.p12 -nocerts -nodes -out userkey.pem

$ openssl pkcs12 -in usercert.p12 -clcerts -nokeys -out usercert.pem

Page 31: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

3. Dodelitev potrebnih pravic ustvarjenim datotekam

$ chmod 400 userkey.pem

$ chmod 644 usercert.pem

Page 32: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

4. Premeščanje ustvarjenih datotek v direktorij .arc

$ mv userkey.pem ~/.arc/

$ mv usercert.pem ~/.arc/

Page 33: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Datoteki userkey.pem ter usercert.pempredstavljata digitalno potrdilo ter tako vsebujeta overjene potrebne podatke o uporabniku, potrebne za dostop do superračunalnika.

Page 34: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

5. Zapis datotek z informacijami o lokaciji digitalnih potrdil, uporabniku ter superračunalniku

$ kwrite .arc/client.conf

Page 35: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• zapišemo (namesto „<username>“ uporabimo svoje uporabniško ime!)

[common]

keypath=/home/<username>/.arc/userkey.pem

certificatepath=/home/<username>/.arc/usercert.pem

[computing/jost]

url=ldap://jost.arnes.si:2135

infointerface=org.nordugrid.ldapng

jobinterface=org.nordugrid.gridftpjob

Page 36: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

$ mkdir -p ~/.arc/vomses/

$ cat <<end > ~/.arc/vomses/hpc.fis.unm.si

"hpc.fis.unm.si" "voms.sling.si" "15005"

"/C=SI/O=SiGNET/O=SLING/CN=voms.sling.si"\

"hpc.fis.unm.si"

end

Page 37: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

$ mkdir -p ~/.arc/vomsdir

$ cat <<end > ~/.arc/vomsdir/hpc.fis.unm.si

/C=SI/O=SiGNET/O=SLING/CN=voms.sling.si

/C=SI/O=SiGNET/CN=SiGNET CA

end

Page 38: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Končna vsebina direktorija .arc, vomsdir ter vomses

• Sedaj je sistem pripravljen za delo s superračunalnikom

Page 39: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

UPORABA SUPERRAČUNALNIKA RUDOLFPRIPRAVA SISTEMA NA UPORABO SUPERRAČUNALNIKA

1. Pridobitev zastopniškega oz. proxy certifikata

• V primeru da zgornji ukaz ne deluje obstaja še drugi ukaz

$ arcproxy -S hpc.fis.unm.si

$ arcproxy -C .arc/usercert.pem -K .arc/userkey.pem -s

.arc/vomsdir -V .arc/vomses

Page 40: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Prikaz informacij o proxy certifikatu

$ arcproxy -I

Page 41: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Prikaz informacij o razpoložljivosti superračunalnika

$ arcinfo -c jost.arnes.si

Page 42: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

UPORABA SUPERRAČUNALNIKA RUDOLFPRIMER TESTNE NALOGE

1. Ustvarimo .xrsl datoteko

• in zapišemo

$ kwrite test.xrsl

&

(executable = /usr/bin/env)

(jobname = "test")

(stdout=test.log)

(join=yes)

(walltime=5)

(gmlog=log)

Page 43: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

2. Nalogo pošljemo v sistem

$ arcsub -c jost.arnes.si -o joblist.xml test.xrsl

Page 44: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Preveritev statusa naloge

$ arcstat gsiftp://jost.arnes.si:2811/jobs/<vpišite-ID-tukaj>

Page 45: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Preveritev statusa vseh nalog

$ arcstat -a

Page 46: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Preveritev poslane naloge na Grid Monitorju• http://www.sling.si/gridmonitor/loadmon.php -> Arnes -> all

Page 47: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako
Page 48: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako
Page 49: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

3. Prevzem rezultatov (po statusu FINISHED)

• Rezultati se prenesejo v direktorij z enakim imenom kot je ID naloge

$ arcget gsiftp://jost.arnes.si:2811/jobs/<vpišite-ID-tukaj>

Page 50: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

• Več različnih primerov je na voljo na

http://www.sling.si/sling/vec/dogodki/delavnica-arc-fis-18-04-2016/

Page 51: PROJEKT: SUPERRAČUNALNIK ZA VSE KAKO DO SUPERRAČUNALNIKAhpc.fs.uni-lj.si/sites/default/files/Superracunal... · •po kreativni poti •projekt: superraČunalnik za vse •kako

Hvala za pozornost