Инфраструктура хранения для KADME Whereoil

Инфраструктура хранения для универсальной платформы KADME WhereOil

Всеволод Шабад, «СетьПроект»

Ключевые функции KADME Whereoil

Функции работы с данными •загрузка •(до)атрибутирование •хранение •поиск •выдача

Режимы работы •ручной •автоматический

Хранение •локально •распределённо

2

Комплекс универсальных требований

Функциональность

Производительность

Надёжность

Масштабируемость

Безопасность

Экономичность

3

Особенности требований KADME

Огромные объемы данных

Территориальная распределённость

Множество смежных систем •в том числе, очень странных и древних

4

KADME: функциональные требования

Хранение: •баз данных •файлов

Доступ: •блочный •файловый (CIFS) •файловый (NFS)

Авторизация доступа: •Active Directory •LDAP

Целостное резервное копирование •мгновенные снимки, группы консистентности

5

KADME: требования производительности

Быстрый произвольный доступ •БД, мелкие файлы

Быстрый последовательный доступ •крупные файлы (сейсмика) •баз данных •файлов

Снимки без потерь производительности

Конкретные цифры зависят от конкретного заказчика!

6

KADME: требования надёжности

Устойчивость к отказам «железа»

Устойчивость к отказам ЦОДа в целом

Устойчивость к отказам носителей информации

Устойчивость к ошибкам персонала

Допустимые потери данных и допустимые простои сервиса зависят от конкретного заказчика!

7

KADME: требования масштабируемости

Готовность к росту: •объемов данных •размеров отдельных файлов •количества файлов •количества сайтов •скоростей работы •количества смежных систем •количества пользователей

Нелинейный рост стоимости и сложности по мере роста требований!

8

KADME: требования безопасности

Возможность разграничения доступа •authentication •authorization •accounting

Возможность криптозащиты данных

Возможность криптозащиты каналов связи

У разных заказчиков и в разных странах и требования разные!

9

KADME: требования экономичности

Низкая стоимость создания системы

Низкая стоимость расширения системы

Низкая стоимость хранения данных

10

Возможности СХД NetApp FAS

Функциональность: •унифицированный доступ

•SAN FC, iSCSI --- СУБД •NAS (NFS 4.1, SMB 3.0) --- файлы

•авторизация доступа: •Active Directory •LDAP •Kerberos

•целостное резервное копирование •мгновенные снимки

•без потери производительности •целостные на уровне приложений (SQL,

Oracle, Exchange, …) •группы консистентности (через NetApp ZAPI)

11

Возможности СХД NetApp FAS

Производительность: •быстрый произвольный доступ

•оптимизация записи (WAFL, RAID-DP)

•оптимизация чтения (FlashCache)

•быстрый последовательный доступ

•снимки без потерь производительности

12

Возможности СХД NetApp FAS

Надёжность: •дублированы все компоненты •кластеризация (до 24 контроллеров) •репликация SnapMirror (sync, async, semi-sync) •RAID-DP (допустимы двойные отказы дисков) •disk scrubbing •NFS 4.1, SMB 3.0 (NAS), ALUA (FC) •развитые средства резервного копирования

•SnapMirror (снимки) •SnapVault (+хранилище снимков) •SnapProtect (+ленты, + агенты для

приложений)

IDC --- надёжность 99,999%

13

Возможности СХД NetApp FAS

Расширяемость: •2200→3200→6200,

общая ОС, общие полки •до 24 узлов

в кластере •до 1440 дисков на

пару контроллеров •до 15 тыс. дисков

на кластер •ёмкость до 69 ПБ

на кластер •файлы размером

до 20 ПБ

14

0

200000

400000

600000

800000

1000000

1200000

1400000

1600000

4 8 12 16 20 24

NFS IOPS

Возможности СХД NetApp FAS

Безопасность: •возможности разграничения доступа

•authentication •Active Directory, LDAP, Kerberos

•authorization •accounting

•делегирование администрирования (MultiStore) •криптозащита данных на дисках •криптозащита каналов связи (SSH, SSL) •«песочница» (FlexClone)

15

Возможности СХД NetApp FAS

Экономичность: •RAID-DP (надёжность RAID-6,

производительность RAID-10) •дедупликация •компрессия •мгновенные снимки

16

Преимущества перед EMC Isilon

Эффективность хранения: •RAID-DP, компрессия, дедупликация

Производительность NFS IOPS (максимальные конфигурации):

•1’112’705 (EMC Isilon) •1’512’784 (NetApp FAS) +36%

Масштабируемость и экономичность •см. следующий слайд

Полноценная поддержка клиентов MS Windows •в т. ч. Active Directory и SMB 3.0

Непрерывность работы во всех ситуациях

17

Масштабируемость и экономичность

250 000

NFS IOPS

500 000

NFS IOPS

1 000 000

NFS IOPS

дисков ТБ дисков ТБ дисков ТБ

NetApp

FAS

288 48 576 96 1152 192

EMC

Isilon

672 172.3 1344 344.5 3360 864

18

Из http://www.spec.org/sfs2008/results/sfs2008nfs.html

Что лучше — лента или диск?

Надёжность хранения

Стоимость носителя

Возможность дедупликации и компрессии

Количество и размер объектов восстановления

Скорость чтения и записи (max/min)

Риск потери и компрометации носителя

Наличие каналов связи между площадками

Нагрузка на перекрытия

19

Вместе мы — сила!

20

21

Действуем?

http://www.netproject.ru