Oracle Database 12c e Big Data Analytics

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Oracle DayInovações em Banco de Dados e Big Data Analytics

Daniela PetruzalekSales ConsultantIndirect SalesJaneiro 2016


Safe Harbor StatementThe following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.


Pilares Tecnológicos

Big Data

Database as a Service

Cloud


Prioridades Tecnológicas para 2016


NIST – Definição de Cloud Computing

• Cloud computing é um modelo que permite o acesso de rede ubiquo, conveniente e sob-demanda a um pool de recursos computacionais configuráveis (ex.: redes, servidores, storage, aplicações e serviços) que podem ser rapidamente provisionados e liberados com mínimo esforço de gerenciamento ou interação de um fornecedor de serviços. Este modelo de nuvem é composto por cinco características essenciais, três modelos de serviço, e quatro modelos de distribuição.

Fonte: NIST Definition of Cloud Computing - September 2011

3 Modelos de Serviço• SaaS• PaaS• IaaS

4 Modelos de Distribuição• Nuvem Privada• Nuvem Comunitária• Nuvem Pública• Nuvem Híbrida

5 Características Essenciais• On-demand self-service• Amplo acesso a rede• Pool de recursos• Rápida Elasticidade• Medição de serviço



Oracle Database – Inovação ContínuaPreservando o investimento dos clientes

Stored ProceduresPartitioning

Parallel QueryUnstructured Data

Resource ManagementReal Application Clusters

Data GuardXML

Big Data SQLMultitenantIn-Memory

JSON

Big Data & CloudInternetClient-Server


Estratégia Oracle Platform-as-a-ServicePortabilidade completa em núvem híbrida

Mesma arquiteturaMesmo software

Mesmas habilidadesOn Premises Oracle Cloud

Enterprise Manager gerencia tanto On Premises como Cloud








O Caminho para o Database as a Service

Silos

Complexo

Padronizado

Simples

Consolidado

Eficiente

Cloud

Ágil


Dens

idad

e de

Con

solid

ação

Consolidação de Banco de Dados na CloudMétodo Tradicional

Compartilha Servidores Compartilha Servidores e SO Compartilha Servidores, SO e banco de dados

Máquinas Virtuais Bancos Dedicados Consolidação de Schema


Security & Compliance

Big Data & Data Warehousing

Consolidation


Application Development

High Availability

In-Memory

Performance & Scalability

Data Optimization


Oracle MultitenantAlta densidade de consolidação, transparente para aplicações existentes

Compartilha Servidores Compartilha Servidores e SO Compartilha Servidores, SO e banco de dados

Máquinas Virtuais Bancos Dedicados Pluggable Database

Dens

idad

e de

Con

solid

ação


AP OE GL

Nova Arquitetura MultitenantMemória e processos ao nível de container

Recursos do Sistema

GL OE AP


GL OE AP

Arquitetura Oracle DatabaseUso mais eficiente de recursos do sistema

Recursos do Sistema


PDBs vs Instâncias Separadas

• OLTP benchmark– 3GB de memória vs.

20GB de memória utilizada para 50 databases

– Número de PDBs: 250 enquanto o máximo de instâncias separadas foi 50

Alta Eficiência: 6x Menos recursos de HW, 5x mais escalável


Quantificando os Benefícios do Multitenant


Heat Map

Smart Compression

Automated Tiering

In Database Archiving

Network Compression

Automatic Data OptimizationOtimizar dados de storage baseado na utilização


Automatic Data OptimizationSimplificando o ciclo de vida dos dados

Um “mapa de calor” (heat map) em memória rastreando acesso de segmentos e blocosDados são periodicamente escritos para o discoInformação é acessível por views ou stored procedures

É possível anexar políticas a tabelas para compactar ou “tierizar” dados baseados no acessoTabelas ou Partições podem ser movidos entre níveis de compressão enquanto os dados são acessados


Automatic Data OptimizationCompressão de dados ao longo do ciclo de vida

Partitioned By Time

Least Active Data Most Active Data

No CompressionAdvanced RowCompression

Hybrid Columnar Query

Compression

Hybrid Columnar Archive

Compression

3XCompression

OLTP

10XCompression

Reporting

15XCompression

Compliance


Automatic Data OptimizationPolíticas de compressão e tierização

Partitioned By Time

Oldest Data Most Recent Data

Comprime partição com compressão de linha (Adv. Compression) se não foram modificadas em 30 dias

Comprime partição com HCC se não foi modificada em 180 dias


Automatic Data OptimizationO mapa de calor registra a atividade dos segmentos e blocos

Partitioned By Time



Automatic Data OptimizationPolíticas são automaticamente aplicadas nas tabelas

Partitioned By Time




Partitioned By TimeOldest Data Most Recent Data





Automatic Data OptimizationReduz uso de storage, lê dados compactados mais rapidamente



Automatic Data OptimizationAutomaticamente “tieriza” dados para reduzir custos de storage

Partitioned By TimeOldest Data

Most Recent Data

Tier 1 Storage

Tier 2 Storage

Se o tablespace está quase cheio, compacta a partição mais antiga com archive e move para storage mais barata


Acelerar OLTPReal Time Analytics Sem mudanças na aplicação

Explorar HW de última geração

CPU

Oracle Database In-Memory

100x 2x


Até então precisávamos escolher um formato e assumir as consequências

Banco de Dados Linear vs. Colunar

Linha

Transações são mais rápidas– Exemplo: Insert ou select em uma tabela– Rápido processamento de poucas linhas, muitas colunas

Coluna

Analytics são mais rápidas– Exemplo: Relatório no total de vendas por região– Rápido processamento de poucas colunas, muitas linhas

SALES

SALES


In-Memory Option: Na memória

Oracle Database 12c:Formato Dual In-Memory• Ambos os formatos para a mesma tabela• Simultaneamente ativos e

transacionalmente consistentes• Analytics & relatórios usam o novo

formato colunar• OLTP usa o formato tradicional (linha)

Memory Memory

SALES SALESRow

FormatColumnFormat


In-Memory Option: No disco

Oracle Database 12c:Formato Único no Disco• O In-Memory não altera o formato dos

dados no disco• Portanto todas as tecnologias

consagradas do Oracle funcionam transparentemente

• Não há necessidade de reorganização de dados ou migração

RAC

ASM

RMAN


Lentificação no OLTP devido a Índices Analiticos

Taxa de inserts diminui a medida que aumenta o

número de índices

# of Fully Cached Indexes (Disk Indexes are much slower)

38

Row

s Ins

erte

d pe

r sec

ond


Oracle In-Memory: Simples para Implementar

1. Configura Área de Memóriainmemory_size = XXX GB

2. Configura tabelas ou partições para serem in memoryalter table | partition … inmemory;

3. Remove índices analíticos para acelerar OLTP


Oracle Database In-Memory Customer ExperienceSchneider Electric

2B 300K 30K0

20

40

60

80

100

Analytics Query Results

Row Format Column Format

Seconds

• Analytic 7-128x mais rápido• OLTP 5-9x mais rápido• 76% de economia de storage


Oracle In-Memory Não Requer Mudanças na Aplicação

Completo - Sem restrições no SQLFácil Implementação - Sem migração de dadosCompatível - Todas as aplicações rodam sem mudançasMultitenant - Oracle In-Memory compatível com Cloud

Todos os benefícios do In-Memory sem mudanças nas aplicações


Pilares Tecnológicos


Cloud Big Data


O que é Big Data?

Big data é um termo “exotérico” para descrever um volume expressivo de dados tanto estruturados como não estruturados que é tão grande que é difícil de processar utilizando técnicas convencionais de banco de dados e data warehouse.

Definição simples: um volume de dados grande o suficiente para não comportar em uma única máquina


Mais Variedade de Dados—Melhores Modelos Preditivos• Aumentar o número de

fontes de dados relevantes pode melhorar muito a precisão do modelo

“Chute”

100%

0% Population Size

Resp

onde

rs

Modelo com 20 variáveis



Modelo com “Big Data” e centenas ou milhares de variáveis:• Demografia• Compras POS• Textos e comentários• Geoposicionamento• Histórico de longo prazo e

recente• Navegação web• Sensores• etc.

100%


Caso de Uso: Ecommerce

• Visão 360 graus do cliente – preferências sociais, dados de cartão de crédito, padrão de compras, dados geográficos, informação familiar;

• Rastrear buscas online, filtrar condições, que páginas visitam, onde gastam mais tempo, quanto tempo ficam, quando saem.

• Identificar produtos relacionados e mostrar recomendações ou ofertas de desconto/promoções


Dados, dados em todo lugar

Requisitos desejáveis para plataforma de análise de dados:

• Ser extremamente poderosa e manipular grandes volumes de dados

• Ser fácil de aprender• Ser altamente automatizada

O crescimento dos dados é exponencialmentemaior que o crescimento da sua respectiva análise

http://www.delphianalytics.net/more-data-than-analysts-the-real-big-data-problem/ http://uk.emc.com/collateral/analyst-reports/ar-the-economist-data-data-everywhere.pdf



Data Warehouses

BusinessAnalytics

Cenário Corporativo de Big Data Analytics

TransactionalApplications

OperationalReporting

Social Media

Internet of Things73°

Big Data Platform


O Desafio da Análise dos DadosSilos separados com interfaces de acesso aos dados separadas


O que os clientes querem: Oracle Big Data SQLAcesso SQL completo a todos os dados da companhia

O Poder do Oracle SQL - Variedade de tipos de dados

Structured dataNumeric, string, date, …

Unstructured dataLOBs, Text, XML, JSON, Spatial, Graph, Multimedia

- Funções AnalíticasRanking, Windowing, LAG/LEAD, Aggregate, Pattern Matching, Cross Tabs, Statistical, Linear Regression, Correlations, Hypothesis Testing, Distribution Fitting, …


O que dá ao Exadata extrema performance?

Oracle Database 12c

SQL

Offload Query toExadata Storage Servers

Small data subsetquickly returned

Hadoop


Arquitetura Oracle Big Data SQL

Oracle Database 12c

Offload Query toExadata Storage Servers

Small data subsetquickly returned

Hadoop & NoSQL

Offload Query toData Nodes

SQL

data subset

SQL


Análise Preditiva & Data Mining

• Direcionar a oferta certa ao cliente certo• Como o cliente provavelmente responderá a oferta?• Achar as oportunidades de crescimento mais rentáveis• Prevenir a perda de clientes• Maximizar o impacto de negócios “cross”• Segurança e detecção de atividades suspeitas• Análise de sentimentos em conversas de clientes• Entender influenciadores em redes sociais

Casos de Uso Típicos


Automaticamente analisar grandes volumes de dados para criar modelos que encontrem padrões ocultos, descobram novos “insights” e façam predições

•Identificar o fator mais importante (Attribute Importance)

•Prever o comportamento do consumidor(Classification)

•Prever ou estimar um valor (Regression)

•Encontrar perfil de pessoas ou itens (Decision Trees)

•Segmentar a população (Clustering)

•Encontrar fraudes ou eventos “raros” (Anomaly Detection)

•Achar itens complementares em “cestas” (Associations)

O que é Análise Preditiva & Data Mining?

A1 A2 A3 A4 A5 A6 A7


Entendendo o Oracle’s Advanced AnalyticsSQL Tradicional

– Consultas “manuais”– Requer domínio do negócio– Quaisquer regras precisam ser

definidas e gerenciadas

Consultas SQL– SELECT– DISTINCT– AGGREGATE– WHERE– AND OR– GROUP BY– ORDER BY– RANK

Oracle Advanced Analytics - SQL & – Descoberta automática de conhecimento,

construção e implementação de modelos– Domínio do negócio para montar o conjunto

certo de dados para analizar/minerar

“Verbos” do SQL Analítico– PREDICT– DETECT– CLUSTER– CLASSIFY– REGRESS– PROFILE– IDENTIFY FACTORS– ASSOCIATE

+


Oracle Advanced Analytics

• Consulta pontual de um registro usando SQL analítico. (ex.: callcenter)Mais detalhes

Dear Customer,These Offers are just for you for your Loyalty…

Call CenterGet Advice

Web Mobile

Branch Office

Social Media

Email

R

Select prediction_probability(CLAS_DT_1_2, 'Yes' USING 7800 as bank_funds, 125 as checking_amount, 20 as

credit_balance, 55 as age, 'Married' as marital_status,250 as MONEY_MONTLY_OVERDRAWN, 1 as house_ownership)

from dual;

Likelihood to respond:

http://images.google.com/imgres?imgurl=http://standupforamerica.files.wordpress.com/2009/03/citi-bank-front.jpg&imgrefurl=http://standupforamerica.wordpress.com/2009/03/20/industrial-economy-vs-knowledge-economy/&usg=__XTfoCBNtwxDW0eDsj-t03hChc3A=&h=259&w=400&sz=20&hl=en&start=11&sig2=8NbA2Xn9vkALqx4cpX2gMw&um=1&tbnid=j3hZj4kVmFXGtM:&tbnh=80&tbnw=124&prev=/images?q=citi&hl=en&rls=com.microsoft:*:IE-SearchBox&rlz=1I7SUNA_en&sa=N&um=1&ei=jn9YS5DzD6jutAP60cHFBw









http://search.oraclecorp.com/search/search
















Prevendo ComportamentosIdentificar “Comportamento Provável” e seus Perfis

Considera: • Demografia• Compras passadas• Compras recentes• Comentários & tweets de clientesDados não

estruturados

Dados transacionais do POS

Gera scripts para implementação

Modelo preditivo

SQL Joins e outras transformações SQL – todo o potencial do SQL


Projetado para Cloud e Big Data

Big Data


Cloud



Technology

Oracle Database 12c e Big Data Analytics