Vadim PetukhovVadim Petukhov((IHEPIHEP, , ProtvinoProtvino))

What are Grids?What are Grids?((Что такое Что такое Grid?Grid?))

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

The Grid: Объединенные сетью центры обработки данных и соответствующее программное обеспечение ”middleware” как элемент связующий ресурсы

Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения.

Научные инструменты и эксперименты поставляют огромные массивы данных

The Grid Vision (The Grid Vision (Взгляд на Взгляд на GRID)GRID)

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Основные понятия Основные понятия GRID- GRID- вычисленийвычислений

• GRID и распределенные вычисления -однотипные ресурсы, локальные или специализированные компьютерные сети; однородные задачи

- разнородные ресурсы, динамическое подключение и удаление ресурсов; большие коллективы

• Факторы способствовавшие появлению GRID-Интернет, высокоскоростные сети, Петабайты данных (1PB=10**15 B)

• Понятие Виртуальной Организации (VO)-много организаций объединяются для решения проблем в режиме скоординированного распределения своих ресурсов

• GRID и WWW-в случае www организуется доступ к распределенным информационным ресурсам (незначительных вычислительные)-GRID – инфраструктура для доступа к распределенным значительным вычислительным ресурсам и данным

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Сравнение уровневых моделей GRID и Internet(По материалам: I. Foster, C. Kesselman, S. Tuecke The Anatomy of the GRID: Enabling Scalable Virtual Organizations.)

Fabric ( Fabric ( Ресурсы)Ресурсы)• Вычислительные ресурсы: Включают механизмы запуска

программ, мониторинга, управления завершением программ; функции определения типа Hardware и Software; состояния загрузки процессоров, очередей и т.п.

• Ресурсы файловой памяти: Механизмы приема/передачи файлов (включая возможности компрессии); средства резервирования и освобождения файлового пространства; функции определения типа Hardware и Software; мониторинг доступного пространства и скоростей обмена.

• Сетевые ресурсы: Механизмы определения и назначения ресурсов (включая запросы на приоритеты и резервацию).

• Хранилище кодов: Специализированный ресурс для работы с различными версиями исходных и объектных кодов.

• Каталоги: Специализированный ресурс для работы с порядком доступа и обновлением каталогов (например, реляционные базы данных).

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

• Коммуникационные протоколы для обмена данными между ресурсами (транспортировка, маршрутизация, работа с именами). Интернет (IP и ICMP), Транспорт (TCP, UDP), Прикладные (DNS, OSPF, RSVP, и т.д.).

• Средства аутентикации пользователей и ресурсов должны поддерживать:

- одноразовая проверка подлинности; - делегирование прав (условных и безусловных) - взаимодействие с локальными средствами безопасности (в т.ч. Unix, Kerberos и т.п.) - доверительные отношения пользователей (А+Б=АБ) Гибкость политики безопасности (контроль за защитными

механизмами с возможностью в критических случаях снимать или ограничивать делегированные права).

ConnectivityConnectivity ( (Быстрое и безопасное соединение)Быстрое и безопасное соединение)

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

ResourceResource ( (Распределение одиночных ресурсов)Распределение одиночных ресурсов)

• Этот уровень обслуживает только локальные ресурсы. Глобальными ресурсами занят другой уровень.

• Средства (протоколы) для операций с доступом к индивидуальным ресурсам:

- информационные протоколы определения состояния ресурсов (конфигурация, текущая загрузка, политика – например, стоимость) - управляющие протоколы определяющие условия доступа к ресурсам, включая качество обслуживания, резервирование, формы оплаты и т.д.

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Collective Collective ((Координация глобальных ресурсов)Координация глобальных ресурсов)

Большое разнообразие протоколов необходимо для: • Обслуживание директорий (определение участниками доступных

ресурсов VO и/или их свойств)• Службы приписки, планировки и выделения ресурсов• Службы мониторинга и диагностики ресурсов• Службы репликации данных (обеспечение наивысшей

производительности при доступе к данным – время реакции, надежность, стоимость)

• Средства контроля и корректировки загрузки ресурсов• Службы определения и выбора оптимальных версий Software для

различных вычислительных платформ• Серверы авторизации (проведение политики выделения ресурсов и

политики безопасности)• Службы подсчета потребленных ресурсов (в т.ч. для оплаты)

• Службы поддержки больших коллабораций

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

ApplicationsApplications ((Приложения)Приложения)

• Прикладной уровень для каждого класса задач имеет свои особенности и предполагает взаимодействие с другими уровнями модели с использованием либо стандартных либо собственных средств и сервисов (например, на основе наборов SDKs и интерфейсов APIs)

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Virtual Data ToolkitVirtual Data Toolkit –

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Grid Middleware components from several projectsPackaged and tested togetherFoundation of EGEE/ LCG

Globus ToolkitCondor ChimeraEDG & LCG toolsNCSA ToolsOther Tools

Globus ToolkitGlobus Toolkit –

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Grid Security Infrastructure (GSL)X.509 authentication with delegates and single sign-on

Grid Resource Allocation Mgmt (GRAM)Remote allocation, reservation, monitoring, control of compute resources

GridFTP protocol (FTP extensions)High-performance data access & transport

Grid Resource Information Service (GRIS) +Monitoring and Discovery Service (MDS)

Access to structure & state information

XIOTCP, UDP, IP multicast, and file I/O

Others…

UK – OGSA-DAI, RealityGrid, GeoDise, Comb-e-Chem, DiscoveryNet, DAME, AstroGrid, GridPP, MyGrid, GOLD, eDiamond, Integrative Biology, …Netherlands – VLAM, PolderGridGermany – UNICORE, Grid proposalFrance – Grid funding approvedItaly – INFN GridEire – Grid proposalsSwitzerland - Network/Grid proposalHungary – DemoGrid, Grid proposalNorway, Sweden - NorduGrid

DataGrid (CERN, ...)EuroGrid (Unicore)DataTag (CERN,…)Astrophysical Virtual ObservatoryGRIP (Globus/Unicore)GRIA (Industrial applications)GridLab (Cactus Toolkit)CrossGrid (Infrastructure Components)EGSO (Solar Physics)

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Полезные ссылкиПолезные ссылки::European DataGrid (EDG) www.edg.org

LHC Computing GRID (LCG) cern.ch/lcg

CrossGRID www.crossgrid.org

DataTAG www.datatag.org

GridLab www.gridlab.org

EUROGRID www.eurogrid.org

EGEE public.eu-egee.org

RDIG www.egee-rdig.ru

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.

Gilder’s Law(32X in 4 yrs)

Storage Law (16X in 4yrs)

Moore’s Law(5X in 4yrs)

Triumph of Light – Scientific American. George Stix, January 2001

Pe

rfo

rman

ce p

er D

olla

r S

pen

t Optical Fibre(bits per second)

Chip capacity(# transistors)

Data Storage(bits per sq. inch)

Number of Years0 1 2 3 4 5

9 12 18

Doubling Time(months)

NA3 Induction Courses, NA3 Induction Courses, Дубна, 28 июня, 2004 г.Дубна, 28 июня, 2004 г.