Автономнаябазаданныхи Oracle 19c: революцияи эволюцияв ...scienceadvantage.net/.../2020/02/Oracle-Database-19c-Version-2-.pdf · 12.2 18c 20c

Автономная база данных и Oracle 19c: революция и эволюция в системахуправления даннымиАнтон СемчишенСтарший технический консультант

Oracle EMEA EECIS2019

Copyright © 2016 Oracle and/or its affiliates. All rights reserved.

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

2

Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |

Программа:

Oracle - Public 3

Эволюция: Oracle Database: от 12с к 19с

Что нового в новых версиях?

СУБД: On-prem, Cloud, Hybrid?

Революция: Автономная база данных

1

2

3

4


Database Release and Support Timelines

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

2021

2022

2023

2024

2025

2026

2027

EXTENDED

EXTENDED*

12.2

18c

20c

11.2 EXTENDED

EXTENDED12.1

12.2.0.1

Oracle 19OrOracle 1919c

Paid Extended SupportPremier Waived Extended Support Fee

4

*Oracle Database 19c is the long term support release.Always check MOS Note 742060.1 for the latest schedule.

Oracle - Public 4


Oracle Database 12c Release 2

5

Новое

MultitenantКонсолидация и управление

И многое другое в разделах Performance, Availability, Security, Analytics, AppDev

ShardingДля распределенных web приложений

Database In-MemoryПроизводительность аналитических запросов

Oracle - Public


Oracle Sharding – Новый подход к архитектуре

Oracle Sharding

…

Единая логическая БД

Единая физическая БД

N физических БД

Oracle RAC

…

Oracle - Public 6


Column

Format

Memory

Row

Format

Memory

AnalyticsOLTPSales Sales

Oracle In-Memory: Оба формата данных в памяти СУБД

И строчный и колоночный формат хранения в памяти для одних и тех же данных/таблиц

Данные одновременно активны и транзакционно согласованы

В 100 раз быстрее аналитика & отчетность: поколоночный формат

В 2 раза быстрее OLTP: строчный формат


Требуются память, процессы и файлы базы данных Системные Ресурсы

Oracle Multitenant: Новая архитектура СУБД


Системные Ресурсы

Oracle Multitenant: Новая архитектура СУБДПамять и процессы нужны только для контейнера


Производительность

• In-Memory Column Store

• Engineered Systems

10

12.1 12.2, 18c, 19c

• 12.2• In Memory JSON Queries• In Memory Active Standby

• 18c• Memory Optimized Row Store

• 19c• Fast ingest support for IoT type workloads• Quarantine for SQL Statements• Improvements for count distinct and group

by queries


• Automatic Indexing базируется на лучших практиках SQL тюнинга

• Алгоритм находит индексы кандидаты и валидирует их перед имплементацией

• Полностью автоматический процесс

• Работа алгоритма прозрачна для пользователя:

– Все активности автотюнинга можно видеть в репортах

11

Автоматическое индексирование

MONITOR

ONLINEVALIDATION

CAPTURE

IDENTIFY

VERIFY

DECIDE


Высокая доступность (HA)

12

12.1 12.2, 18c, 19c

• 12.2• Sharding• Autonomous Health Framework

• 18c• Sharded RAC

• 19c• Data Guard DML Redirect• Sharding now supports multiple PDB

shards in a CDB• Application Continuity

• Оптимизированны все ключевые технологии высокой доступности:

• Real Application Clusters, Active Data Guard, Recovery Appliance

• Oracle GoldenGate для гетерогенной репликации


Active Data Guard : DML Redirection

• Когда резервная площадка - Read Mostly

13

PRIMARY ACTIVE STANDBY

DML1

2 DML перенаправляется на PRIMARY

3 DML применяется на PRIMARY

4 Изменения реплицируются на STANDBY

5 Данные видимыклиенту


Хранилище данных (DWH) и большие данные

• The most advanced analytics engine available today

• Partitioning, Compression, SQL, Analytical Views, Analytical SQL, Data Mining

• Easily analyze data held in Hadoop with Big Data SQL

• Big Data Appliance

14

12.1 12.2, 18c, 19c

• 12.2• Big Data SQL• Partitioned External Tables• Analytical Views

• 18c• In-Memory for external tables• Automatic propagation of nologged data to

standby• 19c

• Partitioned Hybrid Tables• Real Time Stats

Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 15

Oracle Hybrid Table (Гибридные таблицы)

Q4_2018Q3_2018Q2_2018Q1_2018Q4_2017Q3_2017Q2_2017Q1_2017Q4_2016

ORDERS

OBJECT STORAGE

TABLE PARTITIONED BY QUARTER

SQL HOT DATACOLD DATA

UPDATES

Oracle - Public


Машинное обучение: Advanced Analytics in 18c

• Алгоритмы машинного обучения доступны с 9i Release 2 (2002)

• Новое в 18с– Random Forests for Classification

– Neural Networks for both classification and regression

– Explicit Semantic Analysis ML algorithm extended to support classification

– Time Series via Exponential Smoothing

– CUR decomposition-based algorithm for attribute and row importance

• Новая возможность экспорта ML моделей для C и Java приложений


Multitenant

• Container managed database virtualization

• Manage Many as one

• Patching, Backup, Security, Online Cloning, Online Relocation

• Software as Service

• Shared metadata, Data location transparency

17

12.112.2, 18c, 19c

• 12.2• Online cloning & relocation

• Incremental refresh of test/dev master

• Application containers

• 18c• Transportable backups

• Snapshot carousel

• Refreshable PDB switchover

• 19c• RAT and ADDM at PDB level


Refreshable PDB

• PDB Refresh

–Инкрементальное обновление клона последними данными

CRM

Dev / Test

Pricing Retail

Production

CRM

Snap Clone

Snap Clone

CRM Dev1 CRM Dev2

Developers

TIME

Changes made to database

Master Dev/Test version no longer in sync

Only changes copied and applied

18


Security

• Security In-Depth

• Access Controls, Encryption, Redaction, Masking, Auditing, SQL Firewalls

• Key Vault

• Audit Vault Database Firewall

• Security Assessment Tool

19

12.1

Active Directory

• 12.2 • Online encryption

• 18c• Integration with Active Directory

• Password-less schema creation

• 19c• Schema-only Oracle accounts

• Database Vault Operations Control

12.2, 18c, 19c


Online Tablespace Encryption

20

• Возможность in-database прозрачного шифрования для существующих таблиц в режиме онлайн – без прекращения доступа к данным

SALESTABLESPACE

HCMTABLESPACE

HCMTABLESPACE

DF11233U*1$5Ha1qui%H1HSKQ112A14FASqw34£$1DF@£!1ahHH!DA45S& DD1

Acme 10 1/2/16Acme 3 1/3/16Acme 5 1/5/16Acme 12 1/7/16Acme 4 1/8/16Acme 2 1/9/16


Все новые опции от 11.2 до 19с

• Database feature app– Поиск и сравнение новых возможностей и опций

– https://apex.oracle.com/database-features/

21


Oracle Database Cloud Service – Редакции и опции

EE Extreme PerformanceEE High PerformanceEnterprise Edition

Adds… Adds… Adds…

Multitenant

Partitioning

AdvancedCompression

Label Security, Database Vault

RACRAC One Node

In Memory

Active Data Guard

• Стандартные возможности SE2

• Лимит <16 OCPUs

• Transparent Data Encryption

Standard Edition 2

• Стандартные возможности EE

Real Application Testing

OLAP, Analytics, Spatial and Graph

Тоже самое ПО в Облаке Oracle, как и в вашем ЦОД!

Management Packs

Advanced Security

22Oracle - Public


Резервное копирование в Oracle Cloud• Сценарий

– Размер базы< 2TB*

– Сервер базы данных подключен к интернету (напрямую или через прокси)

– Требования к хранению: 6 месяцев - 5 лет

– Время восстановления : от часов до дней

– Риск потери данных: с момента последнего копирования

• Решение– Прямое копирование базы и логов Oracle Cloud через

публичную сеть

– Еженедельно полный + инкрементальный ежедневно

– RMAN encryption включен по умолчанию

23

OracleDatabase Backup Cloud

Service

RMAN

SSL

Локальныебазы данных

*Рекомендуемый объем с учетом пропускных способностей общих сетей. Может быть увеличен при использовании Oracle Fast Connect

Oracle Database


С использованием Oracle Data Guard (Active Data Guard)

Аварийное восстановление в Oracle Cloud

• Продуктив: On-premises

• Резерв: Oracle Cloud DBaaS

• Репликация Data Guard

• Резервная копия используется

• Для восстановления

• Для отчетов (w/Active Data Guard)

• Переключение на резервный сайт

• Доступность при плановых и неплановых отключениях

• Защита всего стэка, включая приложения (Web and Mid-tier)

• Web and Mid-tier синхронизируется , используя RSYNC, базы при помощи Dataguard

Изолированное окружение для разработки и тестирования

Клиенты

Data Guard

Резервные копии баз данных вOracle CloudЛокальный ЦОД

Приложения Базы данных

Database CloudService

Как это работает

Oracle Database


ORACLEAUTONOMOUS

DATABASE

Oracle - Public


Проблема: обслуживание или инновации?

26

85% of инцидентов

безопасности происходят уже после выхода

соответствующих патчей- DB Maestro

Безопасность

85%

91% ИТ систем испытывают внеплановые

простои- Healthcare IT News

Надежность

91%

72% ИТ бюджетов идут на поддержание существующей

инфраструктуры против новых проектов

-ComputerWorld

Обслуживание

72%

https://www3.dbmaestro.com/blog/5-ways-to-prevent-database-downtime

https://www.healthitoutcomes.com/doc/beware-the-high-cost-of-data-center-outages-0001

http://www.computerworld.com/article/2486278/it-management/how-to-balance-maintenance-and-it-innovation.html


Автоматизация и оптимизация ПО СУБДПуть к автономной базе данных

• Automatic Query Rewrite• Automatic Undo Management

• Automatic Health Framework • Automatic Diagnostic Framework• Automatic Refresh of Clones

• Automatic SQL Tuning • Automatic Workload Capture/Replay• Automatic SQL Plan Management• Automatic Capture of SQL Monitor• Automatic Data Optimization

• Automatic Memory Management • Automatic Segment Space Mgmt• Automatic Statistics Gathering• Automatic Storage Management• Automatic Workload Repository• Automatic Diagnostic Monitor

• Automatic Columnar Flash• Automatic IM population• Automatic Application

Continuity

9i10g

11g

12c

18c

Oracle - Public 27


Автоматизация и оптимизация инфраструктуры СУБДПуть к автономной базе данных

• Smart Scan• Infiniband Scale-Out

• Database Aware Flash Cache• Storage Indexes• Hybrid Columnar Data

• IO Priorities• Data Mining Offload• Offload Decryption

• Direct-to-wire Protocol• JSON and XML offload• Instant failure detection

• Network Resource Mgmt• Prioritized File Recovery

• In-Memory Columnar in Flash• Smart Fusion Block Transfer

• Exadata Cloud Service

2008

2018

Oracle - Public 28


Автономная БД это…• Autonomous Database Attributes

29

Self-Driving

Автоматизация инфраструктуры, управления, мониторинга и тюнинга

Self-Securing

Защита от внешних и внутренних атак

Self-Repairing

Защита непрерывности доступа к данным

Сохранение часов Защита от ошибок Без участия человека

Oracle - Public


Автономная БД: ингредиенты

Автоматическое управление и контроль на

базе AI/ML

Полностью автоматическая инфраструктура

Полностью автоматическая

СУБД

ORACLE AUTONOMOUS

DATABASE

Первая в мире автономная база данных: Загрузи данные – делай запросы!

ORACLE CLOUD

Oracle - Public


Autonomous Transaction Processing (ATP)

31

Автономная база данных – оптимизированна под задачу

AutonomousData Warehouse (ADW)

ORACLEAUTONOMOUS

DATABASE

Oracle - Public


Autonomous Transaction Processing

Autonomous Data Warehouse

Row Format

Optimizes Response Time

Creates Indexes

Columnar Format

Optimizes Complex SQL

Creates Data Summaries

Plan Stability and Run Away Query Prevention

Автономная база данных – оптимизированна под задачу

Oracle - Public


Это дорого или нет?

Oracle - Public 33


ATP автоматическое построение индексов для Netsuite

• Ran a complex Netsuite workload, and compared ATP to existing expert tuning

• 17,542 SQL statements, 1,852 tables, 8,151 indexes - years of tuning to create these indexes

– Before running on ATP, all indexes and statistics were dropped

34

ATP достигает аналогичной производительности, как при экспертном тюнинге

Но ATP остается производительной при изменении нагрузки

ElapsedTime(sec)

Expert Autonomous

11551172

IndexesUsed

Expert

Autonomous

1733

4663


Столото

35


Экосистема DWH

Oracle - Public 36

Источник

Аналитическиесистемы

Загрузка / ETL ВизуализацияADW

Совместимость и сертификация: https://cloud.oracle.com/en_US/datawarehouse/tools

SAP BOMS Power BIIBM CognosQlick SenceSAS AccessTableuMicroStrategy

ORACLE:OACDVOBIEE

ORACLE:ODIGGDIPC

InformaticaPowerCenterIBM Data StageData VirtualityTalend

или или

https://cloud.oracle.com/en_US/datawarehouse/tools

Copyright © 2018, Oracle and/or its affiliates. All rights reserved. |

Переход на Autonomous Database со своими лицензиями Standard Edition

• Соответствие метрик on-premises -> Autonomous Database

– 1 socket лицензия соответствует 4 OCPUs

– 10 NUP соответствует 1 OCPU

– Соответствует правилу 8потоков=4ядра=1сокет

• BYOL требования

– Ничего кроме лицензий Standard Edition, Standard Edition One, Standard Edition 2

• Никаких доп требований: только лицензия на технической поддержке

• Ограничения– Не более 8 OCPUs на один инстанс Autonomous Data Warehouse или Autonomous Transaction

Processing

37Oracle - Public


Autonomous database: совместимость

38

https://docs.oracle.com/en/cloud/paas/autonomous-data-warehouse-cloud/user/experienced-database-users.html

https://docs.oracle.com/en/cloud/paas/atp-cloud/atpug/experienced-database-users.html

ADW ATP

https://docs.oracle.com/en/cloud/paas/autonomous-data-warehouse-cloud/user/experienced-database-users.html

https://docs.oracle.com/en/cloud/paas/atp-cloud/atpug/experienced-database-users.html

Documents

Автономнаябазаданныхи Oracle 19c: революцияи эволюцияв ...scienceadvantage.net/.../2020/02/Oracle-Database-19c-Version-2-.pdf · 12.2 18c 20c