Upload
mingan
View
35
Download
1
Embed Size (px)
DESCRIPTION
Úvod do použití Gridů. Jan Kmun íč ek CESNET. Obsah. Definice a vlastnosti Gridů Schéma služeb a jejich funkce Detaily gridové architektury Virtuální organizace Bezpečnostní prvky Gridů Evropské gridové prostředí. Definice a vlastnosti Gridů. Definice Gridu - PowerPoint PPT Presentation
Citation preview
INFSO-RI-508833
Enabling Grids for E-sciencE
www.eu-egee.org
Úvod do použití Gridů
Jan Kmuníček
CESNET
Seminář projektu EGEE-II, 12. prosinec, 2006 2
Enabling Grids for E-sciencE
INFSO-RI-508833
Obsah
• Definice a vlastnosti Gridů
• Schéma služeb a jejich funkce
• Detaily gridové architektury
• Virtuální organizace
• Bezpečnostní prvky Gridů
• Evropské gridové prostředí
Seminář projektu EGEE-II, 12. prosinec, 2006 3
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Definice Gridu
– „A computational grid is a hardware and software infrastructure
that provides dependable, consistent, pervasive, and inexpensive
access to high-end computational capabilities.“
– „Výpočetní grid je hardwarová a softwarová infrastruktura,
která poskytuje spolehlivý, standardizovaný, všudypřítomný
a levný přístup ke špičkovým výpočetním službám. “
(I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998)
– rozsáhlý distribuovaný systém organizačně samostatných
elementů, kterými mohou být individuální počítače (paměti,
pevné disky) a informační systémy vzájemně propojeny
počítačovou sítí
Seminář projektu EGEE-II, 12. prosinec, 2006 4
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Grid versus distribuované prostředí
– Distribuované aplikace jako specializované systémy pro jediný cíl
nebo skupinu uživatelů.
– Gridy rozšiřují původní distribuované aplikace o nové vlastnosti
různé druhy zdrojů nevyžadován striktně stejný hardware, data a aplikace různé druhy interakcí různé uživatelské skupiny a aplikace interagují s Gridem různě dynamická povaha zdroje a uživatelé často přibývají / ubývají / mění se
Seminář projektu EGEE-II, 12. prosinec, 2006 5
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Vlastnosti Gridu/Gridů
– velmi početné výpočetní zdroje– výpočetní zdroje jsou
heterogenní geograficky separované spojeny heterogenními sítěmi plně pod kontrolou jejich vlastníků
– vlastnictví vzájemně nezávislými organizacemi & jedinci– vyžadovány různé bezpečnostní požadavky a pravidla– vyžadována různá pravidla správy zdrojů– potenciální zahrnutí vadných zdrojů
Seminář projektu EGEE-II, 12. prosinec, 2006 6
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Výpočetní Grid
– Grid poskytující výpočetní servis
– poskytuje zabezpečené služby pro spouštěníaplikací na distribuovaných výpočetních zdrojích
– jedná se o „virtuální distribuovaný počítač“ pro řešení výpočetně náročných aplikací
– dynamicky agreguje výpočetní kapacitu velkéhopočtu individuálních počítačů
Seminář projektu EGEE-II, 12. prosinec, 2006 7
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Datový Grid
– principiálně jde o zpracování rozsáhlých datovýchsad pomocí služeb „výpočetního Gridu“
– charakterizován sdílením velkého množství dat,poskytováním zabezpečeného přístupu k těmtodatům a umožnění jejich následné správy
– řešeno formou replikovaných datových katalogůvytvářejících iluzi jednotného hromadnéhodatového úložiště
Seminář projektu EGEE-II, 12. prosinec, 2006 8
Enabling Grids for E-sciencE
INFSO-RI-508833
Definice a vlastnosti Gridů
• Informační / Znalostní Grid
– často také nazýván jako kolaborativní nebo aplikační Grid
– charakterizován snahou o rozšíření možnostídatových Gridů o poskytování kategorizace dat,ontologií, sdílení znalostí a tvorby workflow
– součástí informačních Gridů jsou virtuální prostředípro spolupráci resp. virtuální laboratoře umožňujícívzdálenou kontrolu a správu senzorů a zařízení
Seminář projektu EGEE-II, 12. prosinec, 2006 9
Enabling Grids for E-sciencE
INFSO-RI-508833
Schéma služeb a jejich funkce
Bezpečnost
Správa zatížení zdrojůSpráva datInformace & monitorování
AplikaceVýpočetní & datové kapacity
• Zjednodušené schéma fungování
– funkce jednotlivých prvků víceméně společné všem Gridům
– pojmenování jednotlivých elementů podle projektu EGEE
Seminář projektu EGEE-II, 12. prosinec, 2006 10
Enabling Grids for E-sciencE
INFSO-RI-508833
Detaily gridové architektury
• Jednotlivé prvky UI – User Interface
– zprostředkovává uživatelům „přístup“ do Gridu
– tvoří rozhraní ke službám Gridu (grafické nebo
pomocí příkazové řádky)
– UI umožnuje
přihlásit se do Gridu zadávat výpočetní úlohy (ve formátu JDL – Job Description Language) sledovat stav zadaných úloh zjišťovat informace o volných zdrojích získávat & vizualizovat výsledky zadaných výpočetních úloh správu uživatelských dat
Seminář projektu EGEE-II, 12. prosinec, 2006 11
Enabling Grids for E-sciencE
INFSO-RI-508833
Detaily gridové architektury
• Jednotlivé prvky CE – Computing Element
– tvoří frontend pro konkrétní skupinu výpočetních uzlů
– hlavní funkce CE jsou
přijímat joby určené pro konkrétní cluster/farmu (homogenní uzly) poskytovat detailní informace o výpočetní kapacitě a nainstalovaném
systémovém / aplikačním softwaru přijaté výpočetní úlohy následně předat lokálnímu dávkovému
plánovacímu systému (PBS, LFS, NQE, LoadLeveler, Condor, …),
který pošle úlohy ke zpracování na výpočetní prvky (WNs)
Seminář projektu EGEE-II, 12. prosinec, 2006 12
Enabling Grids for E-sciencE
INFSO-RI-508833
Detaily gridové architektury
• Jednotlivé prvky SE – Storage Element
– tvoří jednotné rozhraní k ukládaní dat uživatelů Gridu a umožňuje přístup k jednotlivým souborům
– soubory je možné replikovat a přistupovat k „nejbližší“ replice (tvořítaké zálohu pro případ výpadku některého z SE obsahujícího instanci souboru)
– každý registrovaný soubor má svoji identifikaci v Gridu, přes kterou se k němu přistupuje (nezávislé na jménu a umístění)
– znalost přesného umístění souboru (kolekce souborů/dat) není nezbytná
Seminář projektu EGEE-II, 12. prosinec, 2006 13
Enabling Grids for E-sciencE
INFSO-RI-508833
Detaily gridové architektury
• Jednotlivé prvky WNs – Worker Nodes
– tvoří vlastní výpočetní prvky – slouží ke zpracování jednotlivých úloh
– charakteristiky WN
musí mít přístup k aplikačnímu softwaru – řeší se většinou mountem z nějakého sdíleného prostředku
musí mít nainstalován software pro I/O dat na SE (grid-ftp) jediné nemusí být dosažitelné „zvenku“, ale pouze z CE
Seminář projektu EGEE-II, 12. prosinec, 2006 14
Enabling Grids for E-sciencE
INFSO-RI-508833
Virtuální organizace
• Gridového počítání
– „Grid computing is coordinated resource sharing and problem
solving in dynamic, multi-institutional virtual organizations.“
(I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998)
– Virtuální organizace (VO)
souhrn výpočetních zdrojů a lidí pracujících na společném projektu
– Cíle virtuálních organizací
sdílení datových zdrojů a výpočetních kapacit použitelných
pro zpracování výpočetních úloh
Seminář projektu EGEE-II, 12. prosinec, 2006 15
Enabling Grids for E-sciencE
INFSO-RI-508833
Virtuální organizace
• Principy fungování
– uživatelé by si měli z Gridu vzít prostředky,
které zrovna potřebují, když je potřebují, tam kde je potřebují
procesory resp. jejich výkon diskový prostor přenosová kapacita sítí speciální hardware (mikroskopy, senzory, …)
– Grid zajistí
unifikovaný přístup, bezpečnost, spolehlivou dodávku vyúčtování za spotřebu
Seminář projektu EGEE-II, 12. prosinec, 2006 16
Enabling Grids for E-sciencE
INFSO-RI-508833
Bezpečnostní prvky Gridů
• Autentizace
– proces ověření identity komunikujících partnerů (uživatel – služba)
Jste opravdu tím, kým tvrdíte, že jste?
– certifikace – mechanismus pro ustavení důvěry mezi partnery
• Autorizace
Máte přístup ke zdrojům, které požadujete?
• Šifrování
– utajení citlivých uživatelských dat (biomedicínské Gridy)
• Accounting
Co jste udělali, kdy jste to udělali a odkud jste to udělali?
Seminář projektu EGEE-II, 12. prosinec, 2006 17
Enabling Grids for E-sciencE
INFSO-RI-508833
Evropské gridové prostředí
• rozvoj gridových technologií a reálné nasazení Gridů
podporováno Evropskou Unií (EU) - 5., 6. rámcový program EU
• heterogenita gridových projektů EU
– infrastrukturní budování jednotné evropské gridové infrastruktury(Damien, DataTAG, DEISA, SEE-GRID,
EGEE/EGEE-II)
– výzkumné rozvoj gridového middlewaru a gridových nástrojů(GRIP, Eurogrid, GridLab, DataGrid)
– aplikační specifické aplikačně orientované projekty(GRIA, EGSO, Crossgrid, Diligent, BioInfogrid)
http://egee.cesnet.cz/cs/grid/links.html