Data as a service base

Data as a ServiceВиртуализация данных подымает эффективность ИТ на новый

уровень

Три конкурирующие потребности в индустрии хранения данных

безопасность

производительность цена

Что требуется?

быстрее дешевлепроизводительность цена

защита данныхбезопасность

В чем проблема?Проблема в том, что мы не можем реализовать все три потребности одновременно в одной точке.

Все грани треугольника имеют разно векторный характер.

защита данныхбезопасность

В чем проблема?Проблема в том, что мы не можем реализовать все три потребности одновременно в одной точке.

Все грани треугольника имеют разно векторный характер.

защита данных

$/Гб$/IOPS Гб/см3

Что на уровне носителей между скоростью и дешевизной?

Гб/см3$/Гб$/IOPS Flash HDD Tapes

Что на уровне носителей между скоростью и дешевизной?Если используются такие технологии, как Компрессия и/или Дедупликация, мы теряем скорость

Compression, Deduplication

Что на уровне носителей между безопасностью и производительностью?Репликация данных требует больше места на носителях и больше времени

Replication

Что на уровне носителей между безопасностью и производительностью?Защита данных также требует больше места на носителях и больше времени на ее организацию и проведение.

Replication

• Reliability• Availability• DR• Manageability• Security

Уровень систем хранения данных

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

Уровень подключения к данным

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Уровень протоколов передачи данных

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Сложная система хранения данных

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Такая масса разнообразных технологий и комплексных решений необходима для того, чтобы управлять данными во всем спектре потребностей.

В чем состоит вызов управления данными в СХД-контейнерах?

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFs

Когда мы копируем данные из одного СХД-контейнера в другой (SAN to Flash, например) мы получаем разные данные, которые дальше живут разной жизнью. Постоянно приходится разбираться в том какие данные и где, именно те, которые нужны.

Какие варианты решения предлагались?

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

VMeVFsStorage Virtualization

Storage Virtualization – фактически создание большего СХД-контейнера из меньших (больший SAN из меньшего, например EMC VPLEX).

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

NAS on NAS

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

NAS on NAS

Object on Object

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

NAS on NAS

Object on Object

НО ПРОБЛЕМА ОСТАЕТСЯ НЕ РЕШЕННОЙ

Три основы решения

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

1. Необходимо отделить мета-данные (информация о данных) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

1. Необходимо отделить мета-данные (информация о данных) ) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).

2. Создать инструменты для маршрутизации. Поднять уровень маршрутизации с уровня СХД-контейнера на виртуальный уровень Data Hypervisor (DH). Цель – обратиться к мета-сервису, определить где данные находятся и далее направить данные в точку конечного назначения. DH является NFS клиентом.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

1. Необходимо отделить мета-данные (информация о данных) ) от объектов данных и создать в виртуальной среде сервис мета-данных (MDS).

2. Создать инструменты для маршрутизации. Поднять уровень маршрутизации с уровня СХД-контейнера на виртуальный уровень Data Hypervisor (DH). Цель – обратиться к мета-сервису, определить где данные находятся и далее направить данные в точку конечного назначения. DH является NFS клиентом.

3. Поднять на виртуальный уровень перемещение данных.

Независимость от СХД-контейнера

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Вынесение на уровень виртуализации задач идентификации данных, их маршрутизации и перемещения позволяет снять эти задачи с СХД-контейнера и избавиться от тех зависимостей, которые он диктовал при реализации потребностей.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Вынесение на уровень виртуализации задач идентификации данных, их маршрутизации и перемещения позволяет снять эти задачи с СХД-контейнера и избавиться от тех зависимостей, которые он диктовал при реализации потребностей. При этом технология является независимой от любых технологий и протоколов СХД.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Фундаментально, расположив сервисы идентификации, маршрутизации и перемещения в одной виртуальной среде, система способна обеспечить все три потребности в одной точке.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Мы получаем возможность предоставлять:File on FileFile on BlockFile on ObjectFile on Direct AttachedПокрывая таким образом все технологии СХДКроме этого:Block on FileObjectТо есть DH является универсальным программным маршрутизатором.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Таким образом даже такая информация, как уровень доступа способна предоставляться на уровне, как файлов так и объектов, и блоков.

Как приложения работают с виртуальными данными?

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

DH получает запрос от приложения, опрашивает мета-сервис и предоставляет или не предоставляет доступ приложению к конкретным данным. В зависимости от прав доступа у запрашивающего и прав доступа описанных в мета-данных.

Replication

Scale-out stora

Object Storage

Flash applianc

Server-side flash

WANLANSANSATASAS

PCIeMemory

Object S3/Swift

NFS SMB

SCSIiSCSIfSCSI

Точно также, на основе мета-данных, полученных от MDS, DH блокирует или не блокирует одновременный доступ к данным другим пользователям.

Как приложения работают с виртуальными данными?Виртуальный гейтвей (vgw) является частью виртуальной системы управления данными и отвечает за соответствие данных и метаданных на виртуальном уровне. Используя способность pNFS параллельно производить операции чтения и записи vgw обеспечивает распространение всех атрибутов данных переданных из приложения в MDS и параллельное распространение их на указанные копии виртуальных данных (virtual snap shorts (vss)). Таким образом предоставляется возможность создавать неограниченное количество виртуальных данных, делегировать их, обновлять и восстанавливать, сохраняя зафиксированные на определенный момент права доступа и др. информацию о данных.

vgwИмея первичные данные и различные мета-данные для различных виртуальных данных источником для которых послужили первичные данные, виртуальная система обеспечивает наиболее выгодные условия по: 1. Утилизации инфраструктуры данных.2. Управляемости.3. Производительности.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB

LOB сегмент (chunks – блоки БД)

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB

Архитектура LOB (Basicfiles) основана на адресации блоков БД в LOB локаторе. Локатор имеет в своей структуре INODE – структура с информацией о блоках БД LOB. Занимает от 16 до 64 байт. 16 байт для пустого локатора + по 4 байта на каждый блок БД. Может включать до 12 блоков БД, если больше – создается LOB индекс.

Из-за ограничений структуры локатора измененные блоки БД сохраняются лишь некоторое время, а затем удаляются. Локатор работает с актуальными блоками.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура LOB Securefiles

Архитектура LOB (Securefiles) призвана пробить барьер производительности работы с нериляционными БД. Увеличены сектора локатора и оптимизирована его работа с LOB-сегментами.

Используется, как инфраструктура хранения файловой системы в базе данных (DBFS). Используется NFS.

При всей оптимизации структуры локатора, измененные блоки БД сохраняются лишь на некоторое время, а затем удаляются.

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура DxFS

a b c d e f g h i блоки файловой системы гораздо меньше блоков БД

B-tree индекс

Метаданные, как составляющая системы управления FS.(ассоциация логических блоков с физическим расположением)

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. Архитектура DxFS

a b c d e f g h i блоки файловой системы гораздо меньше блоков БД

Метаданные, как составляющая системы управления FS.(ассоциация логических блоков с физическим расположением)

root-индекс

tt – время состояния FS B-tree индекс

log-индекс

Как это работает? Корпоративная платформа управления данными Delphix vs LOB. «Изменения» в DxFS

a b c d e f g h i

Delphix не переписывает блоки

a b c d e f g h i

Delphix не переписывает блокиDelphix создает новые блоки

a b c d e f g h i

Delphix не переписывает блокиDelphix создает новые блокиИ модифицирует индекс

a b c d e f g h i

Таким образом фиксируется состояние FS на любую точку во времени, начиная с tt

a d e f g h i

Таким состояние FS стало на момент t1

a b c d e f g h i

Таким состояние FS было на момент tt

a b c d e f g h i

Delphix позволяет выбирать любое состояние FS на любой момент времени.

a b c d e f g h i

Delphix позволяет выбирать любое состояние FS на любой момент времени.

a d e f g h i

a b c d e f g h i

Более того, Delphix точно знает какие блоки можно освободить, если вы в них больше не нуждаетесь.

a b с d e f g h i

a d e f g h i

Более того, Delphix точно знает какие блоки можно освободить, если вы в них больше не нуждаетесь.

Как это работает? Корпоративная платформа управления данными Delphix. Взаимодействие со средой Oracle• В начале производится полный RMAN Backup• Затем Delphix получает данные из инкрементальных резервных

копий Delphix обрабатывает их для эффективного приведения к собственной FS и системе

управления данными• Для VDB можно выбрать любую следующую точку во времени

• Delphix с помощью собственного набора инструментов (Toolkit) конфигурирует сервер баз данных целевой среды и воспроизводит на нем соответствующий экземпляр БД

• Сами данные остаются на сервере Delphix

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Традиционный BackupLevel 0 Redo

В начале мы создаем первичную резервную копию блоков БД (Level 0) и копию тех изменений, которые произошли в базе пока мы копировали ее – Redo Log.

RedoData На следующий день мы копируем измененные блоки БД (Level 1) и изменения, которые произошли в базе пока мы их копировали - Redo.

Level 1

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Традиционный Backup Level 0 Redo

RedoDataLevel 1

Level 1Data Redo

На следующий день мы опять копируем измененные блоки БД (Level 1) и Redo.

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

И на следующий день мы опять копируем измененные блоки БД (Level 1) и Redo.

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Для того, чтобы восстановить базу данных состоянием на «синий» день, нам необходимо скопировать Level 0 и накатить на него Level 1 сначала «зеленого», а затем «синего» дня и применить Redo «синего» дня.

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

RedoDataLevel 1

Level 1Data Redo

RedoLevel 1

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix BackupLevel 0 Redo

RedoDataLevel 1

Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.

RedoData

Data Redo

Level 1

Level 1Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.

RedoData

Data Redo

Level 1

RedoLevel 1

Delphix моментально размещает Level 1 backup на Level 0 и применяет Redo.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup

Delphix не изменяет блоки, он добавляет новые блоки и изменяет индекс. Таким образом мы имеем всегда актуальную Level 0 резервную копию. Но мы и не теряем исходную копию, т.к. у нас есть исходный индекс.

исходный индекс

измененный индекс

Для того чтобы создать необходимую нам VDB нам достаточно выбрать индекс

Redo Redo RedoRedo

Delphix предоставляет блоки актуального Level 0 c учетом соответствующего RedoПредоставление VBD фиксируется некоторым количеством новых блоков FS и созданием нового root-индекса. Таким образом каждая новая VDB является автономной и все изменения, которые в ней происходят, не влияют на другие VDB.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история измененийLevel 0

Delphix для каждой новой VDB фактически предоставляет новый Leve 0 backup, который создается в момент ее создания.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история измененийLevel 0

Delphix для каждой новой VDB фактически предоставляет новый Leve 0 backup, который создается в момент ее создания.

Как это работает? Корпоративная платформа управления данными Delphix vs Traditional Backup. Delphix Backup история изменений

Level 0 для новой VDB

Что мы получаем?• Одинаковые данные в различных средах (Dev, Test, …)

• DxFS компрессия в 3х раза и больше

• Быстрое и простое создание новых экземпляров VDB

• Каждая версия VDB может существовать абсолютно самостоятельно.

Data as a service base

Data & Analytics

INITIAL DATA BASE

Data Base Alumni

Data Base Siswa

Data base programming

Power Base Brochure - Haworthmedia.haworth.com/asset/77559/Power_Base_Brochure.pdf · Power Base Voice & Data solutions include zone box housings and service outlets compatible with

Logical data base design for relational data base systems

Data Base project

Location Base Service

Tutorial Data Base

PROGETTAZIONE DATA BASE

DATA BASE MANAGEMENT SYSTEM (DBMS-IO) DATA BASE

Data Base Jamu

Presentasi Data Base

ECLS-K BASE YEAR PUBLIC-USE DATA FILES AND …ECLS-K BASE YEAR PUBLIC-USE DATA FILES AND ELECTRONIC CODEBOOK Prepared by: Westat Rockville, Maryland Educational Testing Service Princeton,

학술 Data Base

WHY DATA BASE AS A SERVICE WILL BE A BREAKAWAY …...SOCIÉTÉ GÉNÉRALE . 10/10/2014 2 Christian Bilien Global Head of the Data Base teams Investment Banking, Private Banking and

Data Base Attack

Student Data Base (SDB) and Admissions Data Base (ADB)

Service Bus Data Base

Data Base Muliadi