Департамент инфраструктурных решений

1www.it.ru

Научно-практическая конференция «Информационная система инновационного вуза» 30 мая 2008 г.

Опыт создания суперкомпьютераУфимского государственного технического университета

Павел Синицын, менеджер по продажам отдела продаж бизнес-серверов

Опыт создания суперкомпьютера Уфимского государственного технического университета

2www.it.ru

Этапы создания суперкомпьютера

• Формализация требований (ТЗ)• Проектирование подсистем• Закупка оборудования• Монтаж систем• Пусконаладочные работы• Тестирование суперкомпьютера

Важно: исполнителей может быть много, но у проекта должен быть ОДИН куратор

Опыт создания суперкомпьютера Уфимского государственного технического университета

3www.it.ru

Проектирование подсистем- проектирование вычислительной системы

Опыт создания суперкомпьютера Уфимского государственного технического университета

4www.it.ru

Проектирование подсистем- проектирование системы охлаждения

Опыт создания суперкомпьютера Уфимского государственного технического университета

5www.it.ru

Проектирование подсистем- проектирование системы энергоснабжения

Опыт создания суперкомпьютера Уфимского государственного технического университета

6www.it.ru

Проектирование подсистем- планирование размещения оборудования и

кабельных трасс

Опыт создания суперкомпьютера Уфимского государственного технического университета

7www.it.ru

… и вот … результаты проектирования

Опыт создания суперкомпьютера Уфимского государственного технического университета

8www.it.ru

… и вот … результаты проектирования

Опыт создания суперкомпьютера Уфимского государственного технического университета

9www.it.ru

Технические характеристики суперкомпьютера УГАТУЧисло вычислительных узлов / процессоров / вычислительных ядер

266 / 532 / 2128

Конструктив узла блейд-сервер IBM типа HS21XM

Количество монтажных шкафов вычислительного кластера

6

Тип процессора четырехъядерные процессоры Intel Xeon 5345 2,33 ГГц

Пиковая производительность 20 ТфлопсПроизводительность на тесте Linpack 15,45 Тфлопс Тип системной сети InfiniBand 4х SDRСкорость передачи сообщений между узлами до 10 Гбит/секТип управляющей (вспомогательной) сети Gigabit EthernetТип сервисной сети Gigabit EthernetОперативная память 2,16 ТбайтДисковая память вычислительных узлов 19,5 ТбайтДисковая память системы управления 7,2 ТбайтТип системы хранения данных IBM DS3400, дублированнаяПлощадь помещения, где установлен СК 53 м2

Минимальная необходимая площадь 38,4 м2 (при высоте потолка 3 м)

Потребляемая мощность вычислительного кластера 85 кВтПотребляемая мощность установки в целом 130 кВтВес вычислительного кластера 5,4 тонн

Характеристики суперкомпьютера

Опыт создания суперкомпьютера Уфимского государственного технического университета

10www.it.ru

Характеристики суперкомпьютера(продолжение)

Система бесперебойного электропитания:

Тип оn-lineИсполнение модульноеКоличество монтажных шкафов 4Максимальная мощность 160 (120+40) кВтРезервирование 3+1, «горячая замена»

компонентовВес системы 2,45 тоннКлиматическая система:

Тип модульная, замкнутого типа, на основе воздушно-водяного теплообменника

Холодопроизводительность 110 кВтРезервирование 1+1Теплоноситель Водный раствор

этиленгликоляКоличество холодильных машин 2Вес системы 3,6 тонн

Опыт создания суперкомпьютера Уфимского государственного технического университета

11www.it.ru

Уникальность настоящего проекта1. Кластер построен на оборудовании IBM и Cisco

(первая поставка «тяжелого» IB-оборудования в Россию.

2. Реализация в системной сети кластера технологии «неблокируемого» IB.

3. Системный софт: сертифицированный RHEL v.4, параллельная файловая система, планировщик/сборщик, компиляторы – коммерческие продукты.

4. Использование модульной климатической установки замкнутого типа Rittal RiMatrix5.

5. Единая система управления климатической установкой и системой гарантированного электропитания.

Опыт создания суперкомпьютера Уфимского государственного технического университета

12www.it.ru

Контактные лица вендоров• От IBM:

ИП – Свидрицкий Андрей ASvidritsky@ru.ibm.com Системный консультант – Горбас Сергей sgorbas

@ru.ibm.com• От Cisco:

Консультант – Абрамян Артур aabramya@cisco.com

• От Rittal: ИП – Башкиров Владимир v.bashkirov@rittal.ru

• От Intel: Консультант – Соркин Александр

alexander.m.sorkin@intel.com

Опыт создания суперкомпьютера Уфимского государственного технического университета

13www.it.ru

Команда АйТи

• Сотрудники уфимского офиса во главе с директором Бакиевым О.

• Сотрудники ДИР

Опыт создания суперкомпьютера Уфимского государственного технического университета

14www.it.ru

Практика расчета производительности кластера• Единая методика расчета, результаты которой приводятся на TOP500

(WorldWide) и TOP50 (Россия) – TOP500-Tool-v3.6-1 автор: Jay Urbanski urbanski@us.ibm.com

• TOP500 Estimator Tool• Customer Name УГАТУ• Cluster Name IBM System Cluster 1350• Country Russia

Main Blades• # of Nodes 266• # of CPU cores/Node 8• GHz Rating 2,33• RAM / CPU Core (GB) 1• CPU Type Clovertown• Interconnect Infiniband 4x• Performance GFLOPS• Rpeak 19 833,0• (Peak performance)• Estimated Rmax 14 577• (Actual performance)• Efficiency 73,50%• (Percentage of peak)

Опыт создания суперкомпьютера Уфимского государственного технического университета

15www.it.ru

Практика расчета производительности кластера Часть 2

Комментарий:Последний TOP500 (ноябрь 2007):кластер УГАТУ занял 181 место (Rpeak =19,858 Tflops, Rmax=9,287 Tflops), если бы были готовы результаты тестирования по методикам Linpack Benchmark (завершено 24 января 2008 г. Rmax=15,454 Tflops), то в TOP500 заняли бы 76 место.

Опыт создания суперкомпьютера Уфимского государственного технического университета

16www.it.ru

Опыт создания суперкомпьютера

Уфимского государственного

технического университета

117218Москва, ул. Кржижановского, 29, корп. 2, (а/я 116)Тел.: +7 (495) 974-79-79 ● 974-79-80 ● 127-90-10 ● 127-90-12Факс: +7 (495) 974-79-90 ● 129-12-75

Синицын ПавелМенеджер по продажам отдела продаж бизнес-серверовE-mail: @it.ru

www.it.ru