Upload
ontico
View
84
Download
4
Embed Size (px)
Citation preview
Cистемы с непосредственным жидкостным охлаждением
Василий КирсановТК «Связь»
Версия 4
Непосредственный контакт
Отход от стереотипов
Аппетиты растут…
Intel® Xeon® E5-2600 v4 до 18 ядер3D рендеринг
Кому нужно столько мощщи ?
Моделирование процессов
Волшебный мир кино
Стандартные размеры 600х1200
Инженерный комплекс
Смена парадигмы
Оборудование погружается в специальную стойку-ванну с диэлектрической (непроводящей) жидкостью.
модифицировать серверное оборудование
Ванна с хладагентом
ИТ-стойка +200-400кг
Как устроено ?
Принципиальная схема (2 контура)
Хладагент циркулирует по системе и отбирает выделяемое ИТ-оборудованием тепло
43°С (а не 20-25)
(от -50 до +50 °С)
радиатор + венилятор
Куда девать тепло ? Freecooling – наше всё.
vs
для отведения одинакового кол-ва тепла потребуется разное кол-во времени и энергии
Стакан жидкости vs Кубометр воздуха
Рояль в кустах
1985
Cray-2
№1 до 1990
3M Novec™ vs Полимер
Двойняшки ≠ Близнецы
Свойство ВеществоНазвание Воздух ОХЛ-14 Novec™ Novec™
Молекулярная формула - - C6F12O C7F14O
Тип Газ (N, O) Смесь полимеров Фторкетон Фторкетон
Температура кипения, °С −195,8 / −182,98 > 130 49 74
Температура замерзания, °С −214 / −218,79 < −70 < -100 < -100
Температура вспышки в открытом тигле , °С нет 160-180 нет нет
Температура самовоспламенения пара нет > 300°С нет нет
Теплопроводность, Вт/м*К 0,023 0,11-0,13 0,059 ~ 0,06
Удельная теплоемкость, Дж/кг*К 1000 1500-1700 1103 1130
Плотность, кг/м3 1,2 850-950 1600 1670
Физические характеристики хладагента
Такие похожие и такие разные
- Не работает оптика и атмосферные HDD- Нет отраслевого стандарта- Не подходит для Collocation
3M Novec™ Полимер - быстрое испарение
• чистое оборудование• герметичные стойки• надо доливать • выше теплоотдача
- содержит фтористые соединения- дорогой
- малоиспаряемый- оставляет плёнку на оборудовании- нетоксичный- высокая текучесть (капиллярный эффект)- может вступать в реакцию…- недорогой
Что можно охлаждать ?
CPU
GPU
ASIC
HDD Helium
SSD
MB
RAM
PSU
UPS
Сколько тепла можно отвести от стойки ?Воздух Жидкость
25 кВт50 кВт
> 100 кВт
5-7 кВт – обычный кондиционер
9-12 кВт – хол./гор. коридор
~ 20 кВт – рядные кондиционерыС каждой итерацией растёт сложность системы и бюджет на инфраструктуру
> 50 кВт
обычная стойка600х1200
нестандартный размер
vs
Мораль:Сравнить надо комплексно: «железо» + всё окружение
Хотим серверное помещение с нуля. Какие затраты ?
+ купить/построить/перестроить помещение+ подготовка помещения:
• фальшпол, • гидроизоляция, • пожаротушение (трубопроводы, газовая система)• система охлаждения / подготовки воздуха• холодный и горячий коридор• воздуховоды, система дымоудаления
+ само серверное оборудование
+СЖО + серверы
+ порошковое пожаротушение
Не нужно специальное помещение
Экономика на пальцах. CAPEX
Авантюра. Да. Но технология позволяет…
А что ? Деревянный же ЦОД есть…
Передвижной вычислительный комплекс
Экономим электричество. OPEX
– 10-20%
– 90-95%
почти не требует обслуживания
Что дальше ?Ведутся работы по созданиюСХД большого объёма (от 1 Пб).
снизить себестоимость. увеличить плотность размещения до 8 CPU / Unit
Более надёжная работа серверов
- Увеличение срока службы оборудования (нет коррозии)
- Отсутствие пыли• нет статического электричества, исключена вероятность пробоя, • не ухудшается отведение тепла
- Из-за отказа от вентиляторов отсутствует риск их поломки (и перегрева)
- Постоянная циркуляция хладагента препятствует возникновению локальных точек перегрева
- Снижение внутренних вибраций и, как следствие, ошибок чтения/записи жестких дисков
4 CPU x86 / 1U
Высокая производительность
- высокая плотность размещения (до 80 ЦПУ/стойку)- постоянный Turbo Boost- гетерогенные системы из CPU + GPU
Если мало места…
+ отсутствие шума
При дефиците электричества
Гиперконвергентные системы
Работа в экстремальных условиях
корпус системы действует как клетка Фарадея (если корпус металлический, а не пластиковый/стеклянный)
Защита от сглаза снятия на расстоянии
Почему все не кинулись «топить» железо ? (если всё так прекрасно)
неосведомлённость страхистереотипы
Объективные причины
нет больших тепловыделений не загружена существующая инфраструктура (на воздухе)
Мочить или не мочить ?
c 2012
В Мире уже используют
Изучают и присматриваются
Allied Control
и многие другие…
Смелые заказчики
Вопросы ?
Благодарю за внимание !