Data as a service base

Data as a ServiceВиртуализация данных подымает эффективность ИТ на новый

уровень

Три конкурирующие потребности в индустрии хранения данных

безопасность

производительность цена

Что требуется?

быстрее дешевлепроизводительность цена

защита данныхбезопасность

В чем проблема?Проблема в том, что мы не можем реализовать все три потребности одновременно в одной точке.

Все грани треугольника имеют разно векторный характер.


защита данныхбезопасность

В чем проблема?Проблема в том, что мы не можем реализовать все три потребности одновременно в одной точке.

Все грани треугольника имеют разно векторный характер.


защита данных

$/Гб$/IOPS Гб/см3


Что на уровне носителей между скоростью и дешевизной?



Гб/см3$/Гб$/IOPS Flash HDD Tapes


Что на уровне носителей между скоростью и дешевизной?Если используются такие технологии, как Компрессия и/или Дедупликация, мы теряем скорость




Compression, Deduplication


Что на уровне носителей между безопасностью и производительностью?Репликация данных требует больше места на носителях и больше времени




Replication



Что на уровне носителей между безопасностью и производительностью?Защита данных также требует больше места на носителях и больше времени на ее организацию и проведение.




Replication

• Reliability• Availability• DR• Manageability• Security



Уровень систем хранения данных




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



Уровень подключения к данным




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Уровень протоколов передачи данных




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Сложная система хранения данных




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Такая масса разнообразных технологий и комплексных решений необходима для того, чтобы управлять данными во всем спектре потребностей.

В чем состоит вызов управления данными в СХД-контейнерах?




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Когда мы копируем данные из одного СХД-контейнера в другой (SAN to Flash, например) мы получаем разные данные, которые дальше живут разной жизнью. Постоянно приходится разбираться в том какие данные и где, именно те, которые нужны.

Какие варианты решения предлагались?




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFsStorage Virtualization

Storage Virtualization – фактически создание большего СХД-контейнера из меньших (больший SAN из меньшего, например EMC VPLEX).





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI



NAS on NAS





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI



NAS on NAS

Object on Object





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI



NAS on NAS

Object on Object

НО ПРОБЛЕМА ОСТАЕТСЯ НЕ РЕШЕННОЙ

Три основы решения




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


mds

od

1. Необходимо отделить мета-данные (информация о данных) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


1. Необходимо отделить мета-данные (информация о данных) ) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).

2. Создать инструменты для маршрутизации. Поднять уровень маршрутизации с уровня СХД-контейнера на виртуальный уровень Data Hypervisor (DH). Цель – обратиться к мета-сервису, определить где данные находятся и далее направить данные в точку конечного назначения. DH является NFS клиентом.

od

pNFS

mds

DH





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


1. Необходимо отделить мета-данные (информация о данных) ) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).

2. Создать инструменты для маршрутизации. Поднять уровень маршрутизации с уровня СХД-контейнера на виртуальный уровень Data Hypervisor (DH). Цель – обратиться к мета-сервису, определить где данные находятся и далее направить данные в точку конечного назначения. DH является NFS клиентом.

3. Поднять на виртуальный уровень перемещение данных.

od

pNFS

mds

Независимость от СХД-контейнера




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Вынесение на уровень виртуализации задач идентификации данных, их маршрутизации и перемещения позволяет снять эти задачи с СХД-контейнера и избавиться от тех зависимостей, которые он диктовал при реализации потребностей.

pNFS

mds





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Вынесение на уровень виртуализации задач идентификации данных, их маршрутизации и перемещения позволяет снять эти задачи с СХД-контейнера и избавиться от тех зависимостей, которые он диктовал при реализации потребностей. При этом технология является независимой от любых технологий и протоколов СХД.

pNFS

mds





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Фундаментально, расположив сервисы идентификации, маршрутизации и перемещения в одной виртуальной среде, система способна обеспечить все три потребности в одной точке.

pNFS

mds





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Мы получаем возможность предоставлять:File on FileFile on BlockFile on ObjectFile on Direct AttachedПокрывая таким образом все технологии СХДКроме этого:Block on FileObjectТо есть DH является универсальным программным маршрутизатором.

pNFS

mds





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Таким образом даже такая информация, как уровень доступа способна предоставляться на уровне, как файлов так и объектов, и блоков.

pNFS

mds

Как приложения работают с виртуальными данными?




Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

DH получает запрос от приложения, опрашивает мета-сервис и предоставляет или не предоставляет доступ приложению к конкретным данным. В зависимости от прав доступа у запрашивающего и прав доступа описанных в мета-данных.

pNFS

mds





Replication


SAN

NAS

Scale-out stora

ge

Object Storage

Cloud

Flash applianc

es

Server-side flash



WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI


od

Точно также, на основе мета-данных, полученных от MDS, DH блокирует или не блокирует одновременный доступ к данным другим пользователям.

pNFS

mds

Как приложения работают с виртуальными данными?Виртуальный гейтвей (vgw) является частью виртуальной системы управления данными и отвечает за соответствие данных и метаданных на виртуальном уровне. Используя способность pNFS параллельно производить операции чтения и записи vgw обеспечивает распространение всех атрибутов данных переданных из приложения в MDS и параллельное распространение их на указанные копии виртуальных данных (virtual snap shorts (vss)). Таким образом предоставляется возможность создавать неограниченное количество виртуальных данных, делегировать их, обновлять и восстанавливать, сохраняя зафиксированные на определенный момент права доступа и др. информацию о данных.

MDS

od

DH

vss

pNFS

vss

vss

vgw


MDS

od

DH

vss

pNFS

vss

vss

vgwИмея первичные данные и различные мета-данные для различных виртуальных данных источником для которых послужили первичные данные, виртуальная система обеспечивает наиболее выгодные условия по: 1. Утилизации инфраструктуры данных.2. Управляемости.3. Производительности.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB

LOB сегмент (chunks – блоки БД)

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB

Архитектура LOB (Basicfiles) основана на адресации блоков БД в LOB локаторе. Локатор имеет в своей структуре INODE – структура с информацией о блоках БД LOB. Занимает от 16 до 64 байт. 16 байт для пустого локатора + по 4 байта на каждый блок БД. Может включать до 12 блоков БД, если больше – создается LOB индекс.

Из-за ограничений структуры локатора измененные блоки БД сохраняются лишь некоторое время, а затем удаляются. Локатор работает с актуальными блоками.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB Securefiles

Архитектура LOB (Securefiles) призвана пробить барьер производительности работы с нериляционными БД. Увеличены сектора локатора и оптимизирована его работа с LOB-сегментами.

Используется, как инфраструктура хранения файловой системы в базе данных (DBFS). Используется NFS.

При всей оптимизации структуры локатора, измененные блоки БД сохраняются лишь на некоторое время, а затем удаляются.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура DxFS

a b c d e f g h i блоки файловой системы гораздо меньше блоков БД

B-tree индекс

Метаданные, как составляющая системы управления FS.(ассоциация логических блоков с физическим расположением)

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура DxFS

a b c d e f g h i блоки файловой системы гораздо меньше блоков БД

Метаданные, как составляющая системы управления FS.(ассоциация логических блоков с физическим расположением)

root-индекс

tt – время состояния FS B-tree индекс

log-индекс

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. «Изменения» в DxFS

a b c d e f g h i

tt


a b c d e f g h i

tt

Delphix не переписывает блоки


a b c d e f g h i

tt

Delphix не переписывает блокиDelphix создает новые блоки

b' c'


a b c d e f g h i

tt

Delphix не переписывает блокиDelphix создает новые блокиИ модифицирует индекс

b' c'

t1


a b c d e f g h i

tt

Таким образом фиксируется состояние FS на любую точку во времени, начиная с tt

b' c'

t1


a d e f g h i

Таким состояние FS стало на момент t1

b' c'

t1


a b c d e f g h i

tt

Таким состояние FS было на момент tt


a b c d e f g h i

tt

Delphix позволяет выбирать любое состояние FS на любой момент времени.


a b c d e f g h i

tt

Delphix позволяет выбирать любое состояние FS на любой момент времени.

a d e f g h i

b' c'

t1


a b c d e f g h i

tt

Более того, Delphix точно знает какие блоки можно освободить, если вы в них больше не нуждаетесь.

a b с d e f g h i

b' c'

t1


a d e f g h i

Более того, Delphix точно знает какие блоки можно освободить, если вы в них больше не нуждаетесь.

b' c'

t1

Как это работает? Корпоративная платформа управления данными Delphix. Взаимодействие со средой Oracle• В начале производится полный RMAN Backup• Затем Delphix получает данные из инкрементальных резервных

копий Delphix обрабатывает их для эффективного приведения к собственной FS и системе

управления данными• Для VDB можно выбрать любую следующую точку во времени

• Delphix с помощью собственного набора инструментов (Toolkit) конфигурирует сервер баз данных целевой среды и воспроизводит на нем соответствующий экземпляр БД

• Сами данные остаются на сервере Delphix

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Традиционный BackupLevel 0 Redo

В начале мы создаем первичную резервную копию блоков БД (Level 0) и копию тех изменений, которые произошли в базе пока мы копировали ее – Redo Log.


RedoData На следующий день мы копируем измененные блоки БД (Level 1) и изменения, которые произошли в базе пока мы их копировали - Redo.

Level 1

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Традиционный Backup Level 0 Redo

RedoDataLevel 1

Level 1Data Redo

На следующий день мы опять копируем измененные блоки БД (Level 1) и Redo.


RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data

И на следующий день мы опять копируем измененные блоки БД (Level 1) и Redo.


RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data

Для того, чтобы восстановить базу данных состоянием на «синий» день, нам необходимо скопировать Level 0 и накатить на него Level 1 сначала «зеленого», а затем «синего» дня и применить Redo «синего» дня.


RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data



RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data



RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data



RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Data


Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix BackupLevel 0 Redo


RedoDataLevel 1

Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.


RedoData

Data Redo

Level 1

Level 1Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.


RedoData

Data Redo

Level 1

Level 1

RedoLevel 1

Data

Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup

Delphix не изменяет блоки, он добавляет новые блоки и изменяет индекс. Таким образом мы имеем всегда актуальную Level 0 резервную копию. Но мы и не теряем исходную копию, т.к. у нас есть исходный индекс.


исходный индекс


измененный индекс






Для того чтобы создать необходимую нам VDB нам достаточно выбрать индекс


Для того чтобы создать необходимую нам VDB нам достаточно выбрать индекс

Redo Redo RedoRedo

Delphix предоставляет блоки актуального Level 0 c учетом соответствующего RedoПредоставление VBD фиксируется некоторым количеством новых блоков FS и созданием нового root-индекса. Таким образом каждая новая VDB является автономной и все изменения, которые в ней происходят, не влияют на другие VDB.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история измененийLevel 0

Redo

Delphix для каждой новой VDB фактически предоставляет новый Leve 0 backup, который создается в момент ее создания.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история измененийLevel 0

Redo

Delphix для каждой новой VDB фактически предоставляет новый Leve 0 backup, который создается в момент ее создания.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история изменений

Level 0 для новой VDB

Что мы получаем?• Одинаковые данные в различных средах (Dev, Test, …)

• DxFS компрессия в 3х раза и больше

• Быстрое и простое создание новых экземпляров VDB

• Каждая версия VDB может существовать абсолютно самостоятельно.

Data & Analytics

Data as a service base