Upload
netproject
View
417
Download
13
Embed Size (px)
DESCRIPTION
Описание подходов "СетьПроекта" к построению инфраструктуры архива геолого-геофизических данных на платформе KADME Whereoil
Citation preview
Инфраструктура хранения для универсальной платформы KADME WhereOil
Всеволод Шабад, «СетьПроект»
Ключевые функции KADME Whereoil
Функции работы с данными •загрузка •(до)атрибутирование •хранение •поиск •выдача
Режимы работы •ручной •автоматический
Хранение •локально •распределённо
2
Комплекс универсальных требований
Функциональность
Производительность
Надёжность
Масштабируемость
Безопасность
Экономичность
3
Особенности требований KADME
Огромные объемы данных
Территориальная распределённость
Множество смежных систем •в том числе, очень странных и древних
4
KADME: функциональные требования
Хранение: •баз данных •файлов
Доступ: •блочный •файловый (CIFS) •файловый (NFS)
Авторизация доступа: •Active Directory •LDAP
Целостное резервное копирование •мгновенные снимки, группы консистентности
5
KADME: требования производительности
Быстрый произвольный доступ •БД, мелкие файлы
Быстрый последовательный доступ •крупные файлы (сейсмика) •баз данных •файлов
Снимки без потерь производительности
Конкретные цифры зависят от конкретного заказчика!
6
KADME: требования надёжности
Устойчивость к отказам «железа»
Устойчивость к отказам ЦОДа в целом
Устойчивость к отказам носителей информации
Устойчивость к ошибкам персонала
Допустимые потери данных и допустимые простои сервиса зависят от конкретного заказчика!
7
KADME: требования масштабируемости
Готовность к росту: •объемов данных •размеров отдельных файлов •количества файлов •количества сайтов •скоростей работы •количества смежных систем •количества пользователей
Нелинейный рост стоимости и сложности по мере роста требований!
8
KADME: требования безопасности
Возможность разграничения доступа •authentication •authorization •accounting
Возможность криптозащиты данных
Возможность криптозащиты каналов связи
У разных заказчиков и в разных странах и требования разные!
9
KADME: требования экономичности
Низкая стоимость создания системы
Низкая стоимость расширения системы
Низкая стоимость хранения данных
10
Возможности СХД NetApp FAS
Функциональность: •унифицированный доступ
•SAN FC, iSCSI --- СУБД •NAS (NFS 4.1, SMB 3.0) --- файлы
•авторизация доступа: •Active Directory •LDAP •Kerberos
•целостное резервное копирование •мгновенные снимки
•без потери производительности •целостные на уровне приложений (SQL,
Oracle, Exchange, …) •группы консистентности (через NetApp ZAPI)
11
Возможности СХД NetApp FAS
Производительность: •быстрый произвольный доступ
•оптимизация записи (WAFL, RAID-DP)
•оптимизация чтения (FlashCache)
•быстрый последовательный доступ
•снимки без потерь производительности
12
Возможности СХД NetApp FAS
Надёжность: •дублированы все компоненты •кластеризация (до 24 контроллеров) •репликация SnapMirror (sync, async, semi-sync) •RAID-DP (допустимы двойные отказы дисков) •disk scrubbing •NFS 4.1, SMB 3.0 (NAS), ALUA (FC) •развитые средства резервного копирования
•SnapMirror (снимки) •SnapVault (+хранилище снимков) •SnapProtect (+ленты, + агенты для
приложений)
IDC --- надёжность 99,999%
13
Возможности СХД NetApp FAS
Расширяемость: •2200→3200→6200,
общая ОС, общие полки •до 24 узлов
в кластере •до 1440 дисков на
пару контроллеров •до 15 тыс. дисков
на кластер •ёмкость до 69 ПБ
на кластер •файлы размером
до 20 ПБ
14
0
200000
400000
600000
800000
1000000
1200000
1400000
1600000
4 8 12 16 20 24
NFS IOPS
Возможности СХД NetApp FAS
Безопасность: •возможности разграничения доступа
•authentication •Active Directory, LDAP, Kerberos
•authorization •accounting
•делегирование администрирования (MultiStore) •криптозащита данных на дисках •криптозащита каналов связи (SSH, SSL) •«песочница» (FlexClone)
15
Возможности СХД NetApp FAS
Экономичность: •RAID-DP (надёжность RAID-6,
производительность RAID-10) •дедупликация •компрессия •мгновенные снимки
16
Преимущества перед EMC Isilon
Эффективность хранения: •RAID-DP, компрессия, дедупликация
Производительность NFS IOPS (максимальные конфигурации):
•1’112’705 (EMC Isilon) •1’512’784 (NetApp FAS) +36%
Масштабируемость и экономичность •см. следующий слайд
Полноценная поддержка клиентов MS Windows •в т. ч. Active Directory и SMB 3.0
Непрерывность работы во всех ситуациях
17
Масштабируемость и экономичность
250 000
NFS IOPS
500 000
NFS IOPS
1 000 000
NFS IOPS
дисков ТБ дисков ТБ дисков ТБ
NetApp
FAS
288 48 576 96 1152 192
EMC
Isilon
672 172.3 1344 344.5 3360 864
18
Из http://www.spec.org/sfs2008/results/sfs2008nfs.html
Что лучше — лента или диск?
Надёжность хранения
Стоимость носителя
Возможность дедупликации и компрессии
Количество и размер объектов восстановления
Скорость чтения и записи (max/min)
Риск потери и компрометации носителя
Наличие каналов связи между площадками
Нагрузка на перекрытия
19
Вместе мы — сила!
20
21
Действуем?
http://www.netproject.ru