Upload
cleta
View
68
Download
1
Embed Size (px)
DESCRIPTION
Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space. Jacek Kitowski and Łukasz Dutka ACK CYFRONET AGH, Cracow Institute of Computer Science AGH-UST in collaboration with Partners of PL-Grid Consortium. - PowerPoint PPT Presentation
Citation preview
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Development of Polish Grid Development of Polish Grid Infrastructure - PL-Grid - in the Infrastructure - PL-Grid - in the
European Research SpaceEuropean Research Space
Jacek Kitowski and Łukasz DutkaACK CYFRONET AGH, Cracow
Institute of Computer Science AGH-UST
in collaboration with
Partners of PL-Grid Consortium
Konferencja Użytkowników Komputerów Dużej Mocy, ACK CYFRONET-AGHZakopane 18-19.03.2010
Narodowa Inicjatywa Gridowa w Polsce Motywacja – e-Science, Science 2.0 Uzasadnienie i Podstawy Stan Zaawansowania
Projekt PL-Grid – Rezultaty Podsumowanie
Plan wystąpieniaPlan wystąpienia
Działania integracyjne zachodzące w Europie w ramach European Grid Initiative
Badania naukowe: Teoretyczne Doświadczalne W komputerze
W komputerze (in silico) Zaawansowane, rozproszone obliczenia Wieloskalowe i wielodyscyplinarne Odnoszą się do zjawisk o ekstremalnych
skalach czasowo-przestrzennych Wymagające postępów w zakresie
informatyki i nauk obliczeniowych Realizowane przez międzynarodowe
zespoły badawcze we współpracy
Podejście e-Science: Science 2.0Podejście e-Science: Science 2.0
ACK: David de Roure, http://www.soton.ac.uk/~dder/talks.html
Oczekiwania ze strony środowisk naukowychOczekiwania ze strony środowisk naukowych
4
e-Infrastructures in Europe: Research Network infrastructure:
GEANT pan-European network interconnecting National Research and Education Networks
Computing Grid Infrastructure: Enabling Grids for E-SciencE (EGEE project) Transition to the sustainable European Grid
Initiative (EGI) currently worked out through EGI_DS project
Data & Knowledge Infrastructure: Digital Libraries (DILIGENT) and repositories (DRIVER-II)
A series of other projects : Middleware interoperation, applications, policy and support
actions, etc.
Cyber-Infrastructures around the world: Similar in US and Asia Pacific
Research e-Infrastructures
ACK: Fabrizio Gagliardi, Microsoft, ICCS 2008
Explosion of Data
Experiments Archives LiteratureSimulations
PetabytesDoubling every
2 years
ACK: Fabrizio Gagliardi, Microsoft, ICCS 2008
Petascale is coming
BlueGene/L, 596 TFlops peak, Low power, cheap processors
Earth Simulator, 35 TFlops peakVector processing
Jaguar / Franklin, 120 / 100 TFlops peak, Vector processing
Roadrunner, 1457 TFlops peak, Heterogeneous / PowerXCell 8iAMD Opteron DC 1.8GHzBE 3.2GHz (12.8 Gflops)
ACK: Hank Childs, Lawrence Livermore National Laboratory, ICCS 2008
129600 cores
212992 cores
TOP500, Nov.2008
ACK: F. Gagliardi
Zasoby – Usługi Obliczeniowe Dane Infrastruktura
Konsorcjum utworzone w styczniu 2007 jako odpowiedź na potrzeby polskiej społeczności naukowej i bieżących aktywności gridowych w Europie w ramach EGI_DS.
Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH
Cele dzialalności Konsorcjum: Dostarczenie polskiej społeczności naukowej usług informatycznych, służących
e-Science .Utworzenie stabilnej infrastruktury obliczeniowej kompatybilnej z gridem europejskim i światowym.
Rozwój specjalizowanych narzędzi i usług dla różnych dziedzin nauki i aplikacji Wchodzi w skład EGI (European Grid Initiative) jako Polish NGI (NGI_PL) Członkowie EGI Council nominowani przez MNiSW:
Prof. K. Wiatr, Prof. M. Turała Członkowie EGI Executive Board z wyboru:
Prof. M. Turała Członkowie grona ekspertów w F3 EU
„Research Infrastructure” nominowani przez MNiSW: Prof. J. Kitowski
Uczestnictwo w projektach: EU (FP6, FP7, EGI InSPIRE….), PO IG
Konsorcjum PL-GridKonsorcjum PL-Grid
Projekt PL-Grid Konsorcjum realizuje Projekt PL-Grid:
„„Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej” – PL-Grid
Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka.
Czas trwania Projektu: 01.01.2009 – 31.12.2012 Beneficjent:
Akademickie Centrum Komputerowe CYFRONET AGH Numer umowy: POIG.02.03.00-00-007/08 Project website: www.plgrid.pl
Projekt PL-Grid jest podzielony na kilka zadań
Planowana realizacja celówPlanowana realizacja celów
Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Pakiet Pakiet 22: : InfrastrukturaInfrastruktura
Główne osiągnięcia Pakietu Główne osiągnięcia Pakietu 22
Rafał Tylman Rafał Tylman TASKTASK
9
WP 2 - InfrastrukturaWP 2 - Infrastruktura
CYFRONET, ICM, PCSS infrastruktury zasilająca i chłodząca gotowe na przyjęcie serwerów i pamięci masowych
WCSS końcowy etap instalacji infrastruktury zasilającej i chłodzącej
TASK faza końcowa procedur przetargowych infrastruktury zasilającej i chłodzącej
Serwery i Pamięć Masowa Systemy do wdrożenia w I połowie roku:
CYFRONET – zakończony arbitraż ICM – zakończony arbitraż PCSS – dostawa w trakcie realizacji
Systemy do wdrożenia w II połowie roku: WCSS – właśnie startuje procedura przetargowa TASK – przygotowanie procedury przetargowej (start maj)
Trwają przygotowania do instalacji systemów oraz uzgadniane są pakiety aplikacji do instalacji w pierwszym etapie. Pierwsze serwery PL-Grid gotowe na przyjęcie użytkowników już wkrótce.
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Pakiet Pakiet 33: : Centrum OperacyjneCentrum OperacyjneGłówne osiągnięcia Pakietu Główne osiągnięcia Pakietu 33
Centrum Operacyjne PL-Grid a UżytkownicyCentrum Operacyjne PL-Grid a Użytkownicy
Marcin RadeckiMarcin Radecki
ACK Cyfronet AGHACK Cyfronet AGH
11
Usługi Centrum Operacyjnego dla UżytkownikówUsługi Centrum Operacyjnego dla Użytkowników
Centrum Operacyjne dąży do ułatwienia dostępu do infrastruktury poprzez prostsze procedury oraz wdrożenie przydatnych narzędzi:
System rejestracji i zarządzania kontem użytkownika PL-Grid• dostępny pod adresem https://konto.plgrid.pl/• wymagany wpis w bazie OPI bądź potwierdzenie opiekuna naukowego• gridowy dostęp do zasobów PL-Grid
5 ośrodków – gLite 1 ośrodek - UNICORE
• lokalny dostęp do sytemu kolejkowego klaster „zeus” w ACK CYFRONET AGH
• możliwość aplikowania o certyfikat gridowy on-line (wkrótce)• aplikowanie o dostęp do usług obliczeniowych w innych ośrodkach (wkrótce)
System pomocy „Helpdesk PL-Grid”• umożliwia zgłaszanie i śledzenie usterek• dostępny pod adresem https://helpdesk.plgrid.pl• dostęp również poprzez interfejs e-mail: [email protected]• dokumentacja: https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid →
System Pomocy Helpdesk
12
Centrum Operacyjnego dla UżytkownikówCentrum Operacyjnego dla Użytkowników Centrum Operacyjne dba o poprawne działanie infrastruktury dla użytkowników PL-
Grid poprzez pro-aktywne monitorowanie elementów infrastruktury dostępności usług infrastrukturalnych aplikacji obliczeniowych wspieranych przez PL-Grid
Zapewnienie zgodności infrastruktury PL-Grid z europejską (EGI) oprogramowanie procedury operacyjne procedury bezpieczeństwa
Zaawansowane prace nad koncepcją „grantów PL-Grid” Integracja prezentacji danych dotyczących wykorzystania zasobów dla użytkownika Prace nad wprowadzeniem zintegrowanego portalu użytkownika
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Pakiet 4: RozwPakiet 4: Rozwójój oprogramowania oprogramowania e-infrastruktury i narzędzi użytkownikae-infrastruktury i narzędzi użytkownika
Główne osiągnięcia Pakietu 4Główne osiągnięcia Pakietu 4
Krzysztof KurowskiKrzysztof Kurowski
Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)
Główne osiągnięcia Pakietu 4go - Nowa infrastrukturaGłówne osiągnięcia Pakietu 4go - Nowa infrastruktura Stworzenie infrastruktury rozwojowej łączącej zasoby obliczeniowe wszystkich 5
ośrodków superkomputerowych w kraju Bliska współpraca 8 grup programistyczno-testowych, około 20 osób Instalacja oraz udostępnienie do celów testowych środowiska warstwy pośredniej
gLlite, Unicore oraz QosCosGrid - zakończonie około 70 zadań Około 30 różnych konfiguracji wirtualnych maszyn z zainstalowanym
oprogramowaniem wykorzystywanych do celów rozwojowych i testowych nowych narzędzi dla użytkowników - zakończony wybór technologii
Testy funkcjonalne, zgodności oraz wydajnościowe wybranych pakietów oprogramowania badawczego celem przeprowadzenia wdrożenia oraz wsparcia na poziomie produkcyjnym nowych narzędzi i usług
Główne osiągnięcia Pakietu 4go - Nowe narzędzia i usługiGłówne osiągnięcia Pakietu 4go - Nowe narzędzia i usługi
Rozbudowa śrdowiska GridSpace o zestaw nowych funkcji, wsparcie dla nowych skryptów oraz integracja z nowymi usługami gridowymi
Implementacja i udostępnienie zaawansowanych interfejsów graficznych, wizualizacji oraz zarządzania zadań i danych dla wybranych aplikacji nowych użytkowników z wykorzystaniem Vine Toolkit
Testy wydajnościowe i funkcjonalne usług warstwy pośredniej QosCosGrid oraz integracja na poziomie systemów kolejkowych z infrastrukturą gLilte i Unicore
Integracja narzędzi Migrating Desktop oraz gEclipse z różnymi usługami warstwy pośredniej w PL-GRID
Plan rozbudowy oraz wdrożenia nowych narzędzi FiVO do zarządzania i monitorowania wirtualnych organizacji
Testowe wersje narzędzi dla użytkowników oraz administratorów systemów: Bazzar, mobilny dostęp do infrastruktury, nowe aplikacje bezpieczeństwa
Integracja wybranych narzędzi oraz aplikacji web’owych ze środowiskiem portalowym Liferay i systemem monitorowania Nagios
Główne osiągnięcia Pakietu 4go - nowi użytkownicyGłówne osiągnięcia Pakietu 4go - nowi użytkownicy Bezpośredni kontakt z nowymi użytkownikami na podstawie ogólnopolskiej ankiety
dostępnej pod adresem: www.plgrid.pl/ankieta Wymagania polskich użytkowników (wyniki ~100 ankiet) uwzględniane w nowych
aplikacjach, narzędziach oraz usługach rozwijanych i testowanych w ramach Pakietu 4go
Liczna grupa użytkowników współpracująca z zespołami Pakietu 4go Wydziału Chemii Uniwersytetu Jagiellońskiego Zakład Bioinformatyki i Telemedycyny CMUJ Uniwersytet Adama Mickiewicza Politechnicka Poznańska Politechnika Wrocławska Administratorzy centrów obliczeniowych …
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Pakiet Pakiet 55: : Szkolenia i Wsparcie UżytkownikówSzkolenia i Wsparcie Użytkowników
Główne osiągnięcia Pakietu Główne osiągnięcia Pakietu 55
Mariusz SterzelMariusz Sterzel
ACK Cyfronet AGHACK Cyfronet AGH
Maciej FilochaMaciej Filocha
ICMICM
18
Szkolenia i wsparcie użytkownikówSzkolenia i wsparcie użytkowników
Przeprowadziliśmy pierwszą serię szkoleń podstawowych z dostępu do infrastruktury poprzez środowiska gLite i UNICORE we wszystkich ośrodkach uczestniczących w projekcie – Gdańsk/Kraków/Poznań/Warszawa/Wrocław
Rozpoczęliśmy drugą serię szkoleń. Jeśli pojawi się zapotrzebowanie, podobne szkolenia możemy
przeprowadzić w innych ośrodkach (bezpłatnie!) W najbliższych dniach poprzez stronę projektu udostępnione zostaną
pierwsze szkolenia zdalne – dla każdego, bez ruszania się z domu (w technologii Blackboard).
Wsparcie użytkowników odbywać się będzie poprzez specjalizowany interfejs – tak, aby każde zgłoszenie było sprawnie obsłużone i trafiło do osób kompetentnych.
Pytania i uwagi: [email protected] oraz [email protected]
19
Aplikacje obliczenioweAplikacje obliczeniowe
Dostęp do aplikacji obliczeniowych zapewniony będzie w miarę możliwości na dwa sposoby: poprzez środowisko gLite, znane z EGEE i starszych projektów
gridowych, poprzez UNICORE – w środowisku graficznym.
Udostępniamy aplikacje licencjonowane bezpłatnie, a także niektóre płatne, m.in. Dalton, CPMD, NWChem, Cfour, Gaussian, GAMESS, Turbomole, ANSYS/Fluent, kolejne pakiety w trakcie udostępniania.
W razie zapotrzebowania udostępnimy większość aplikacji uruchamianych na dotychczasowej infrastrukturze obliczeniowej ośrodków KDM, jak również nowe oprogramowanie zaproponowane przez użytkowników.
Zachęcamy do zgłoszenia nam swoich oczekiwań – przygotowana jest specjalna ankieta:http://www.plgrid.pl/news/ankieta_projektu
Oprogramowanie Specjalistyczne Przykłady oprogramowania udostępnianego na infrastrukturze
PL-Grid
BiologiaAutoDock, BLAST, ClustalW2, CPMD, Gromacs, NAMD
Chemia kwantowaACES II, ADF, CFOUR, CHARMM, Dalton, GAMESS, Gaussian, MacroModel, Molcas, Molpro, MOPAC, NWChem, OpenBabel, Siesta, TURBOMOLE
Fizyka: Meep
Metody numeryczne i symulacja Mathematica, MATLAB
Oprogramowanie naukoweOprogramowanie naukowe
21
Oprogramowanie naukowe Wprowadzenie zunifikowanego systemu dostępu do aplikacji w środowisku
gridowym opartym o pakiet Modules Opracowanie i wdrożenie (wspólnie z WP3) systemu testowania aplikacji w
środowisku gridowym Poprawność działania aplikacji naukowych monitorowana jest automatycznie
w każdym z ośrodków na bieżąco. Wdrożenie szeregu aplikacji komercyjnych i ogólnie dostępnych na architekturze
obliczeniowej PL-Grid Dostępne pakiety
ADF, Blender, CFOUR, GAMESS, Gaussian, NAMD, Root, Turbomole W najbliższym czasie planowane jest udostępnienie kolejnych pakietów
oprogramowania naukowego
System szkoleńSystem szkoleń Pakiet 5 opracował zbiór szkoleń (zarówno tradycyjnych jak i on-line w systemie
Blackboard) Szkolenia dostępne są nieodpłatnie dla wszystkich użytkowników platformy PL-Grid System Blackboard będzie udostępniał szkolenia na poziomie podstawowym jak i
zaawansowanym Obecnie dostępne szkolenia to:
ABC użytkownika PL-Grid Po ukończeniu kursu danego poziomu użytkownik otrzymuje certyfikat.
22
Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science
in the European Research Spacein the European Research Space
Pakiet Pakiet 66: : Bezpieczeństwo InfrastrukturyBezpieczeństwo Infrastruktury
Główne osiągnięcia Pakietu Główne osiągnięcia Pakietu 66
Bartłomiej BalcerekBartłomiej BalcerekWCSSWCSS
WP6 OsiągnięciaWP6 Osiągnięcia
24
Udostępnienie dwóch CA - centrów certyfikacji PKI użytkownikom gridu, Projekt systemu SimpleCA ułatwiającego użytkownikom otrzymywanie certyfikatów
PKI i ich użytkowanie - system zostanie udostępniony w marcu, Projekt i wdrożenie bezpiecznej konfiguracji infrastruktury, zgodnej z najnowszymi
standardami bezpieczeństwa, Projekt systemu monitorowania zgodności konfiguracji wdrożonej w ośrodkach z
polityką bezpieczeństwa, Powołanie zespołu specjalistów z dziedziny bezpieczeństwa w celu ciągłego
monitorowania środowiska, natychmiastowej reakcji na incydenty oraz wsparcia użytkowników i administratorów,
Prototypowa wersja systemu korelacji informacji o atakach na infrastrukturę (ACARM-ng)
Audyty kluczowych dla bezpieczeństwa gridu aplikacji.
Jaka aplikacja może być przystosowana do użytkowania w PL-Grid?
Każda!(niektóre po lekkich modyfikacjach)
Programy sekwencyjne – bez zmian Aplikacje równoległe (MPI) – bez zmian Programy interaktywne – wymagana zmiana w komunikacji z
użytkownikiem Operacje na wielkich zbiorach danych – zmiana dostępu do
danych
Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu
25
Oprogramowanie – problemy użytkownikaOprogramowanie – problemy użytkownika
ACK: M. Sterzel
Jak zostać użytkownikiem ?Jak zostać użytkownikiem ? Każda osoba związana z polską nauką może korzystać z zasobów
PL-Grid
Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat
Procedura rejestracji oraz dalsze informacje dostępne są na stronie:http://www.plgrid.pl
Z chęcią odpowiemy na pytania:[email protected]
Procedura rejestracji:email: [email protected]
26ACK: M. Sterzel
Podsumowanie: Działania KonsorcjumPodsumowanie: Działania Konsorcjum Krótkoterminowe
Rozwój udostępnianych usług Zapewnienie środków dla pokrycia kosztów działania i współpracy międzynarodowej Nawiązanie współpracy z D-Grid (wstępne ustalenia poczynione) Zgłoszone zainteresowanie współpracy ze strony BE-Grid
Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk
• Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, PaaS, SaaS….)• National Cloud Initiative (chmury obliczeniowe, chmury danych)• paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym
Strategiczne Rozwój środowisk domenowo specyficznych
PodziękowaniaPodziękowania ACK Cyfronet AGH
Kazimierz Wiatr Michał Turała Krzysztof Zieliński Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur
ICM Piotr Bała Maciej Filocha
PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk
WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński
TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman
28
http://plgrid.plhttp://plgrid.pl
Backup slidesBackup slides
30
Oczekiwania ze strony Środowisk NaukowychOczekiwania ze strony Środowisk Naukowych
E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych
Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk,
elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne
zasoby danych• Pochodzące z eksperymentów, obserwacji
i symulacji • Przy wykorzystaniu zarządzania jakością,
wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne
• Obliczenia i dane wieloskalowe• Wiarygodne, ekonomicznie uzasadnione,
o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę
środowisk naukowych• Przez współdzielenie wiedzy i zasobów• Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności
M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK
I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007