Upload
jerry-mays
View
57
Download
1
Embed Size (px)
DESCRIPTION
Grid Orta Katmanı ve İş Akışı. TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi. Küme B ilgisayar Mimarisi Bile şenler Kuyruk S istemi İş Akışı Grid Mimarisi (gLite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi. - PowerPoint PPT Presentation
Citation preview
www.grid.org.tr
Grid Orta Katmanı ve İş Akışı
TR ATLAS
Gaziantep Grid Workshop
19-21 Haziran, 2008. Gaziantep Üniversitesi
www.grid.org.tr
İÇERİK
• Küme Bilgisayar Mimarisi
Bileşenler
Kuyruk Sistemi
İş Akışı
• Grid Mimarisi (gLite Ortakatman Yazılımı)
Grid Katmanları
Grid Servisleri
Veri Yönetimi
İş Yükü Yönetimi
www.grid.org.tr
Küme Bilgisayar ve Grid...
Küme Bilgisayar• Birbirine LAN yoluyla bağlı
homojen hesaplama kaynakları
• Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri
• Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var:
– Isı, boyut, donanım kısıtlamaları...
• Basit mimari
• İş göndermede ve sonuç almada hızlı erişim
Grid• Coğrafi olarak dağıtık, heterojen
kaynaklar• Araştırmaların önünü açacak insan
ağının oluşturulması• Hesaplama + DEPOLAMA kaynakları• Ölçeklenirlikte kısıt yok!• Karmaşık mimari (Küme servisleri +
siteler arası ortak servisler)• Network bağlantılarının yeterince
hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)
www.grid.org.tr
Küme Bilgisayar Bileşenleri (yazılım)
www.grid.org.tr
Küme Bilgisayar Kuyruk Sistemi
Planlayıcı
Hesaplama Kaynakları
Kuyruk A
Kuyruk B
Kuyruk C
Kuyruk D
B
C D
A
Kuyruk Sistemi
www.grid.org.tr
Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)
www.grid.org.tr
Grid Mimarisi (Ortakatman)
Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur.
Grid ortakatmanı:
• uygulamaların çalışacağı
uygun yerleri bulur.
• kaynak kullanımını
optimize eder.
• veri yığınlarına etkin
erişim sağlar.
• birçok grid sitesinde kullanılan
ortak bir kimlik doğrulama ve
yetkilendirme servisi sağlar.
• işleri çalıştırır ve anlık iş durumunu
izlemenize izin verir.
• işlerin sonuçlarını kullanıcılara taşır.
www.grid.org.tr
gLite-3.0 Ortakatman Sürümü, Tarihçe
• 2006 Baharıyla birlikte LCG-2.7.0 ve gLite-1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti:
– Üretim seviyesinde altyapıda süreklilik
– Uygulamalar tarafından kullanılırlığın sağlanması
– İşyükü yönetimine yönelik yeni çalışmalar
• LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır.
• gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır.
LCG-2
prototyping
prototyping
product
2004
2005 product
gLite
2006 gLite 3.0
www.grid.org.tr
Grid Katmanları
Grid Uygulama KatmanıGrid Uygulama Katmanı
Ortak ServislerOrtak Servisler
Temel Grid ServisleriTemel Grid Servisleri
En Alt Seviye Yapı Servisleri
En Alt Seviye Yapı Servisleri
Altyapı Taşları
Grid
Uygulamalar
GLOBUSCondor(VDT)
UYGULAMALAR
ORTAKATMAN
www.grid.org.tr
Grid Yapıtaşları (Temel Servisler)
Gridin kaynaklarını kullanmak istiyorum!
Doğru kaynağı nerden
bulabilirim?
İşimin sonuçlarını depolama
k istiyorum!
Tüm bu istediklerim güvenli bir ortamda yapılmalı!
www.grid.org.tr
Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme
Kimlik Doğrulama• GSI (Grid Security
Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA)
– Proxy sertifikaları– MyProxy Sunucusu ve uzun
süreli proxy sertifikaları
• Kabul gören güven ağı:– International Grid Trust
Federation (IGTF)» EUGridPMA» APGridPMA» TAGPMA
• Tüm EGEE siteleri IGTF altındaki CA’lara güvenir.
Yetkilendirme• VOMS (Virtual Organization
Membership Service), sanal organizasyonlar (VO)– Kullanıcıların disiplinlere göre
gruplandırılması– Sitelerin VO tabanlı kaynak ayırımı
• LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı.– Kullanıcı tabanlı yetkilendirme
• LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları– VO tabanlı lokal yetkilendirme
servisleri
TAGPMA APGridPMA
The Americas Grid PMA
European Grid PMA
EUGridPMA
Asia-Pacific
Grid PMA
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
GRİD ORTA KATMANIgLite Ana Servis Tipleri
• Kullanıcı Arayüzü (UI)
• Bilgi Servisi (IS)
• Hesaplama Elemanı (CE)– İş Dağıtıcı– Hesaplama Ucu (WN)
Depolama Elemanı (SE)
Replika Kataloğu (RLS,LFC)
İşyükü Yöneticisi (WMS)
Kaynak Aracısı (RB)
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Kullanıcı Arayüzü - UI
• gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır.
• Kullanıcı arayüzünde:– Kullanıcılar kişisel hesaplara sahiptir.– Kullanıcıların sertifikaları yüklüdür.
• Aşağıdaki işlemleri komut satırı arayüzü sağlar:– Çalıştırılmak üzere iş göndermek– Bir iş için uygun kaynakları göstermek– Dosyaları kopyalamak ve replika etmek– İşleri takip etmek ve iptal etmek– Bitmiş işlerin sonuçlarını almak
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Hesaplama Elemanı - CE
• gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip)
• gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir.
• Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir.
• Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır:– Globus kapısıdır.– Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”)
sunucusudur.– Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF,
Condor...)
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
DEPOLAMA ELEMANI - SE
• Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar.
• Her bir gLite sitesi en az bir depolama elemanı içerir.
• İki protokol kullanırlar:– Dosya transferi için GSIFTP– Dosya erişimi için RFIO (“Remote File Input/Output”)
• Depolama kontrol yönetimi:– Dosyalara saydam erişim sağlar– Dosyaların durumunu gösterir– Dosyaların saklanma zamanını takip eder
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Veri Yönetimi Servisleri
UI
SECECE
SECECE
Grid BileşenleriGrid Bileşenleri
Grid ortamına dosya yüklemeGrid ortamına dosya yükleme
Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden)
Uygulamanın depolama elemanına veri saklaması
Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak)
Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Veri Yönetimi Servisleri
Grid Ortamından Dosya AlmaGrid Ortamından Dosya Alma
• Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı
– Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir.
• Uygulamanın depolama elemanından veriyi alıp lokal kullanması
• Uygulamanın depolama kaynağından alınıp çalıştırılması
UI
SECECE
SECECE
Grid BileşenleriGrid Bileşenleri
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Bilgi Servisleri - IS• Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi
verir.• gLite bilgi servisleri, LDAP tabanlıdır. • LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında
hızlı bilgi verecek şekilde tasarlanmıştır.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Bilgi Servisleri - IS
SELokal GRIS
SELokal GRIS
CELokal GRIS
SELokal GRIS
CE Lokal GRIS
CELokal GRIS
CE Lokal GRIS
SELokal GRIS
CE Lokal GRIS
CESite GIIS
CESite GIIS
CESite GIIS
BDII-A BDII-B
Kullanıcı Uygulaması
İş Dağıtıcısı
İzleme Servisleri
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Veri Yönetimi Servisleri• Veri yönetimi nedir?
– Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar.– Veriler grid dosyaları şeklinde saklanabilirler.– Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur.– Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir.
• Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler.
– Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”
– Site URL (SURL) (or Physical/Site File Name (PFN/SFN))
“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat”
– Logical File Name (LFN)
“lfn:cms/20030203/run2/track1”
– Transport URL (TURL)
“gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
İş Yükü Yönetimi - WMS
• Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler.• İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak
yönetimi sağlar. • Kullanıcıların:
– İşlerini gönderebilmelerine,– İşlerini en uygun kaynaklarda çalıştırmalarına,– Kaynakların kullanımını da aynı anda optimize etmeye,– İşleri hakkında bilgi almasına,– İşlerinin sonuçlarını almasına
sağlar.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
İş Yükü Yönetimi - WMS• WMS aşağıdaki parçalardan oluşur:
– İş Yükü Yöneticisi: Sistemin ana parçasıdır.– Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun
kaynakları bulur.– İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı
ayarlar.– Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel
operasyonlardan sorumludur.– Kayıt Tutma: İş hakkında bilgi tutar.
• İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır.
• WMS servisinin bir işi çalıştırabilmesi için:– İşin karakteristiğini (basit, MPI, DAG)– Hesaplama ihtiyaçlarını ve seçeneklerini– Yazılım bağımlılıklarını
bilmesi gerekir.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UIAğ
Sunucusu
Kontrol Servisi
İş Yükü Yöneticisi
LFC
Bilgi Servisi
HesaplamaElemanı Depolama
Elemanı
WMS
CE bilgisive durumu
SE bilgisi ve durumu
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
UIAğ
Sunucusu
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
UI: Komut satırı, GUI, C++,Java API’leri ile kullanıcınıniş yükü yönetiminin bütün özelliklerini kullanmasını sağlar.
Gönderildi
İş Durumu
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
Gönderildi
İşDurumu
glite-job-submit myjob.jdlMyjob.jdl
JobType = “Normal”;Executable = "sum.exe";InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"};OutputSandbox = {“sim.err”, “test.out”, “sim.log"};Requirements = other. GlueHostOperatingSystemName == “linux“;
İş tanımlama dili(JDL) işin ihtiyaçlarını vekarakteristiğini belirler.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Beklemede
Gönderildi
GirişTorbasındakiDosyalar (InputSandbox)
İş
Ağ sunucusu: Gelen istekleri karşılamaklayükümlüdür.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UIAğ
Sunucusu
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Beklemede
Gönderildi
İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Beklemede
Ğönderildi
Kaynak Aracısı
Gönderilen iş nerede çalışmalı ?
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgive durumu
SE bilgive durumu
İşDurumu
RBdeposu
Beklemede
GönderildiKaynakAracısı
Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE characts& status
SE characts& status
İşDurumu
RBDeposu
Beklemede
ĞönderildiKaynakAracısı
İhtiyaç duyulan verilernerede?
Grid'indurumu nedir ?
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Beklemede
Gönderildi
KaynakAracısı
CE seçimi
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Beklemede
Gönderildi
İşAdaptör
ü
İş Adaptörü: İş gönderilmeden önce sonişlemleri yapmakla sorumludur (Gerekliön işleme betiklerinin yaratılması...).
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
İşDurumu
RBDeposu
Kontrol Servisi: Gerçekiş yönetimi işlemlerindensorumludur.
Ğönderildi
Beklemede
Hazır
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
CE bilgisive durumu
SE bilgisive durumu
Job Status
RBDeposu
İş
GirişTorbasıDosyaları
Gönderildi
Beklemede
Hazır
Planlandı
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UIAğ
Sunucusu
Kontrol Servisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
İşDurumu
RBDeposu
Gönderildi
Beklemede
Hazır
Planlandı
Çalışıyor
Grid olanaklıveri transferleri
İş
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
İşDurumu
RBDeposu
ÇıkışTorbasıDosyaları
Gönderildi
Beklemede
Hazır
Planlandı
Çalışıyor
Bitti
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
İşDurumu
RBDeposu
Gönderildi
Beklemede
Hazır
Planlandı
Çalışıyor
Bitti
glite-job-output <job-id>
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
Grid Servislerinde İş Akışı
UI
AğSunucus
u
KontrolServisi
İş YüküYöneticisi
LFC
BilgiServisi
HesaplamaElemanı
DepolamaElemanı
WMS
İşDurumu
RBDeposu
Gönderildi
Beklemede
Hazır
Planlandı
Çalışıyor
Bitti
ÇıkışTorbasıDosyaları
Temizlendi
İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR
SORULAR ?
Emrah AKKOYUNTÜBİTAK-ULAKBİM
NOT: Bu sunum ULAKBİM tarafından organize edilmis diğer etkinliklerde kullanılan dökümanlardan derlenmiştir.