Upload
liluye
View
61
Download
1
Embed Size (px)
DESCRIPTION
Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы. http://lit.jinr.ru. Аппаратно-программная конфигурация ЦИВК. Структурная схема ЦИВК Сетевые соединения. 1Gbit Ethernet - опорная сеть. - PowerPoint PPT Presentation
Citation preview
Аппаратно-программная конфигурация ЦИВК
Аппаратные ресурсы.
Программное обеспечение.
Организация работы пользователей.
Грид в ЦИВК, принципы работы.
http://lit.jinr.ru
Структурная схема ЦИВК Сетевые соединения
Сетевое окружение
1Gbit Ethernet - опорная сеть.
Маршрутизатор и коммутаторы 1GbE.
Не более 3-х коммутаций между любыми
2-мя машинами ЦИВК.
4-8 линий между 1-ым и 2-ым уровнями
(802.3ad – link aggregation).
10GbE до опорной сети ОИЯИ (план).
Вычислительные ресурсы -счетная ферма
60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура - x86_64.
2 x ЦПУ по 2 ядра = 4 ЦПУ на машину.
2 GB RAM на ядро (ЦПУ).
100 GB scratch на машину.
2730 SI2000 на ядро.
Всего: 240 ЦПУ; ~650 kSI2k.
Счетная ферма - расширение(март 2008)
20 машин: Xeon 5345, 16GB RAM, x86_64.
2 x ЦПУ по 4 ядра = 8 ЦПУ на машину =
160 ЦПУ.
2 GB RAM на ядро.
200 GB scratch на машину.
2700 SI2000 на ядро = 432 kSI2k.
Всего: 400 ЦПУ; > 1000kSI2k.
Дисковые ресурсы
Общий (физический) объем: > 120TB.
Аппаратный RAID5 (3ware/AMCC).
Программный RAID1 (AFS и т.п.).
Direct Attached SATA (счетные,
интерактивные машины и т.п.).
Доступный объем: 1.3TB - AFS; 82TB -
dCache.
Остальные ресурсы
4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon.
Серверы AFS и NFS.
Серверы dCache.
Серверы общего назначения.
Серверы WLCG сайта (грид).
Остальные ресурсы (продолжение)
Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo.
Всего серверов 64.
Архитектура и ЦПУ: uname -ip
подробнее – cat /proc/cpuinfo.
Объем RAM: free
Программное обеспечение
Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программ. Система пакетной обработки (batch): Torque + Maui.
Программное обеспечение (продолжение)
Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца 2008. Предполагается полный переход на 64-х битную архитектуру.
Программное обеспечение Средства разработки ПО
Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.
Программное обеспечение Средства разработки ПО (продолжение)
CERNlib 2006, архитектура x86_64 (gcc4).
ROOT 5.14.00e, архитектура x86_64.
OpenMPI 1.2.5, архитектура x86_64
(компиляторы Intel).
JINRlib (g77, gfortran и ifort).
Программное обеспечение Средства разработки ПО (продолжение)
Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc-2.3.4.so; file /lib/libc-2.3.4.so).
Perl, Python, Tcl, Tk (только x86_64).
Средства разработки для графических
оболочек: xorg; kde; gnome.
Программное обеспечение Средства поддержки - графика
Рекомендуется использовать kde.
Графические оболочки: xorg; kde;
gnone.
Терминал: xterm; konsole.
WWW/FTP: firefox; konqueror; gftp.
Редакторы: gvim; emacs; nedit.
Mail: kmail; thunderbird.
Программное обеспечение Средства поддержки – графика (прод)
Документы: ooffice; acroread; ggv; kpdf; kghostview.
Калькулятор: qalc; kcalc.
Разработка: kdevelop; bluefish (www) .
Текст: Tex/LaTex.
Изображения: gimp; xfig; kuickshow.
Программное обеспечение Средства поддержки - текст
Рекомендуется использовать putty (ssh) для входа из Windows.
WWW/FTP: links; lynx; wget; lftp; pftp.
Редакторы: vim; pico.
Mail: alpine (pine); mutt.
Структурная схема ЦИВКПотоки данных и задач
Организация работы пользователей
Подробное описание – на сайте: http://lit.jinr.ru. Интерактивная работа: lxpub01 -:- lxpub04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен.
Организация работы пользователей (продолжение)
Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel).
Приоритеты и порядок запуска –
планировщик Maui (“умный” алгоритм).
Желательно указывать для batch:
время CPU; RAM; размер scratch.
Как правило: одна задача – 1 CPU.
Организация работы пользователей (продолжение)
Максимальное количество задач пользователя = 170.
Максимальные параметры задач:
CPU=400 часов;RAM=2GB;scratch=25GB.
Параллельные задачи – особый случай.
Примеры задач для batch - на сайте LIT:
http://lit.jinr.ru
Регистрация и ресурсы пользователей
Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch: cd $TMPDIR
Структурная схема ЦИВКПотоки данных и задач
WLCG грид в ЦИВК
ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG2: счетные машины и дисковые массивы в dCache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG2. Работают 9 Виртуальных Организаций - VO.
WLCG грид в ЦИВКпользователям грид
Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы.
WLCG грид в ЦИВКиспользование
WLCG работает c ПО промежуточного уровня gLite, версия 3.1. Запуск и проверка заданий: . /opt/ui/etc/profile.d/grid-env.sh (только на lxpub01/02) voms-proxy-init -voms dteam glite-wms-job-submit -a -o t1 t1.jdl glite-wms-job-status -i t1 glite-wms-job-output -i t1
Заключение
Материалы с дополнениниями и примерами будут опубликованы на http://lit.jinr.ru “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20-ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК.