39
Servicios Gestión de grandes volúmenes de información Gerber Bautista 2015 1

Gestión de grandes volúmenes de información

Embed Size (px)

Citation preview

Page 1: Gestión de grandes volúmenes de información

Servicios

Gestión de grandes volúmenes de información

Gerber Bautista

2015

1

Page 2: Gestión de grandes volúmenes de información

Servicios Sistemas de información

OLTP, DWH, OLAP

2

2010 - 3Tb

2012 - 10Tb

2014 - 17Tb

2015 38Tb (97Tb)

Page 3: Gestión de grandes volúmenes de información

Servicios Importancia de la información

Crecimiento acelerado de bases de datos por la necesidad de mayor información

3

BI

DWH

Sistemas OLTP

Marketing and Comunication

Pricing

Contabilidad y finanzas

Usuarios finales

Crecimiento acelerado

0

2

4

6

8

10

12

14

16

18

2009 2010 2011 2012 2013 2014

Tamaño

$$

Page 4: Gestión de grandes volúmenes de información

Servicios

4

SLA, Controles y Auditoría

100% de operatividad del negocio

Investigación /Producción

Marketing

Finanzas

IT

Core

Staff

Page 5: Gestión de grandes volúmenes de información

Servicios Evolución

Oracle Bd

ASM/ Rman/

Oracle Data Guard

Paralelismo

Oracle RAC

Engineered Systems

Implementar más y mejores tecnologías para suplir las necesidades del negocio.

5

Page 6: Gestión de grandes volúmenes de información

Servicios Consumo infraestructura APP vrs DB

Más espacio, más procesador y más recurso humano

6

25%

75%

% De uso APP Vrs DB

App

DB

Page 7: Gestión de grandes volúmenes de información

Servicios

Oracle Systems Strategy

Page 8: Gestión de grandes volúmenes de información

Servicios Hardware and software

8

Page 9: Gestión de grandes volúmenes de información

Servicios

Page 10: Gestión de grandes volúmenes de información

Servicios Database Magic Quadrant - Gartner

Magic Quadrant for Data Warehouse Database Management Systems

10

52%

21%

18%

5% 4%

Market Share

Oracle DB2 Sqlserver Sybase Teradata

Page 11: Gestión de grandes volúmenes de información

Servicios TPC Result - HW

Análisis de benchmark obtenidos en pruebas de stress

11

Page 12: Gestión de grandes volúmenes de información

Servicios

Engineered Together

Tested Together Certified Together

Deployed Together

Upgraded Together

Managed Together

Supported Together

Page 13: Gestión de grandes volúmenes de información

Servicios

The Unique Oracle Advantage

• Hardware and Software Engineered to Work Together

Hardware and Software Engineered to Work Together

Page 14: Gestión de grandes volúmenes de información

Servicios Engineered Systems & Appliances

14

Page 15: Gestión de grandes volúmenes de información

Servicios

Oracle Exadata

15

Page 16: Gestión de grandes volúmenes de información

Servicios Oracle Exadata X5-2 Hw/Sw Overview

Hw/Sw

16

Page 17: Gestión de grandes volúmenes de información

Servicios Hardware upgrade

Single Server Quarter Rack

X4 X5 X4 X5

Database Servers

# Servers 2 2

Processors (Intel) 24 cores 36 cores (+50%) 48 cores 72 cores (+50%)

RAM (included) 256 GB 256 GB 512 GB 512 GB

RAM (expansion

capacity)

512 GB 768 GB (+50%) 1024 GB 1536 GB (+50%)

Storage Servers

# Servers 3 3

Processors (Intel) 12 cores 16 cores (+33%) 36 cores 48 cores (+33%)

Exadata Smart

Flash Cache (raw)

3.2 TB 6.4 TB (+100%) 9.6 TB 19.2 TB (+100%)

Disc Storage (raw) 48 TB 48 TB 144 TB 144 TB

Disc data capacity

(mirrored)

63 TB 63 TB

17

Page 18: Gestión de grandes volúmenes de información

Servicios Scalable from Eighth-Rack to Multi-Rack

18

Page 19: Gestión de grandes volúmenes de información

Servicios Example Workload Optimized Exadata Conf

19

Page 20: Gestión de grandes volúmenes de información

Servicios IO Exadata Vrs. Otras marcas

Hardware Max IOPS Latencia Max Mbps Propiedades

EMC – VNX 38,551 1 671 Tiering

Violin 73,089 0 1,386 SSD

Dell Compelent 181,655 0 1,231 Tiering

Hitachi 143,304 1 2,927 Tiering

Exadata 7,000 0 4.5 Gbps Flash – Offload -

Infiniband

DBMS_CALIBRATE_IO

20

Page 21: Gestión de grandes volúmenes de información

Servicios

21

Page 22: Gestión de grandes volúmenes de información

Servicios Exadata Vrs Generic Hardware

Hardware y Software

22

Page 23: Gestión de grandes volúmenes de información

Servicios Exadata Innovations

23

Page 24: Gestión de grandes volúmenes de información

Servicios

Exadata en Guatemala

25

Implementación

Page 25: Gestión de grandes volúmenes de información

Servicios Oracle Exadata Vrs …

26

vrs

Page 26: Gestión de grandes volúmenes de información

Servicios POC

• Enmascarado de datos de 1.6 Tb.

– 3.5 Meses de proceso

– Bugs de Database Masking

– 36 Horas de empacado de data a enviar.

• 4.5 Días de prueba de concepto remota.

• Triplicado de data.

27

Page 27: Gestión de grandes volúmenes de información

Servicios Resultados en pruebas

Empresa en Guatemala

28

Hasta 6 Tb de info

Page 28: Gestión de grandes volúmenes de información

Servicios

Toma de decisión

29

Cumplimiento de tiempos requeridos

Precio

Curva de aprendizaje

Soporte

Page 29: Gestión de grandes volúmenes de información

Servicios Instalación

• Completar Requisitos

– Anclaje

– Requisitos de red

– Requisitos eléctricos

– Requisitos de software

• 4 Días de instalación de HW

• 2.5 Días de instalación de SW

• Resolver inconvenientes de requisitos.

30

Page 30: Gestión de grandes volúmenes de información

Servicios Resultados actualmente

Tiempo en minutos

31

IBM Power

7 Exadata %

1 Pro1 324 45 86.5

2 Pro2 4800 300 93.75

Page 31: Gestión de grandes volúmenes de información

Servicios

Tips y Técnicas para una mejor experiencia

A base de…

32

Page 32: Gestión de grandes volúmenes de información

Servicios Es oracle

• Memory:

– Uso de HP

– Parámetros de Cache

• Space:

– Compresión de datos

– Compresión de backups

• SO Kernel:

– Máximo de memoria por usuario

– Máximo de procesos por usuario

– Máximo de tamaño de archivo

• SO Network:

– Tamaño de paquetes

– MTU

11.2.0.3 - 12.1.0.2

33

Page 33: Gestión de grandes volúmenes de información

Servicios Write Back Cache

• 10x 7x mejora en escrituras.

34

Page 34: Gestión de grandes volúmenes de información

Servicios cell_flash_cache

ALTER TABLE customers STORAGE

(CELL_FLASH_CACHE KEEP)

35

• Dimensiones

• 20x

Page 35: Gestión de grandes volúmenes de información

Servicios Compress for query high

• Merge erroneo (Bug 11.2.0.3.9) ora-600.

• Inserts lentos si no son direct load.

• Fragmentación de tablespaces.

Cuidado al comprimir información transaccional

36

Page 36: Gestión de grandes volúmenes de información

Servicios Create table vrs. Insert as select

• Escribir directo al destino sin usar temporal.

• 8 mins. a 10 segundos

Direct path read vrs. Direct path write

37

Create table /*APPEND PARRALEL(4)*/ as

Select /*PARALLEL(4) from x;

Divide y vencerás:

CREATE GLOBAL TEMPORARY TABLE x1

( id NUMBER, description VARCHAR2(20) )

ON COMMIT DELETE ROWS;

Insert /*append*/ into x1 as select ….. Query complejo sin order by y group by …;

Insert into /*APPEND PARALLEL(4)*/ xfinal as select /*PARALLEL(4) sum(x), avg(y), xxx

Group by xxx;

Page 37: Gestión de grandes volúmenes de información

Servicios Flash cache y temporary tablespace

• Crear celldisks de flash.

• Crear flashdisk dejando un 25% libre.

• Crear un diskgroup con redundancia del 25% libre de los griddisks de

flash.

• Colocar el temporal en diskgroup de flash disk.

Diskgroup de flashdisk para temporal

38

28x más rápido en pruebas

Page 38: Gestión de grandes volúmenes de información

Servicios Las estadisticas son sumamente importantes

• Job automático de estadísticas:

– Establecer periodo correcto de calculo.

• Estadísticas incrementales (Cuidado bastante disfuncional en bases de

datos masivas)

– Crecimiento exponencial de sysaux.

– Estadísticas globales invalidas.

• Lock de estadísticas de data histórica.

• Copia de estadísticas de particiones con tamaño similar.

Cell smart cache vrs cell single block read

39

Page 39: Gestión de grandes volúmenes de información

Servicios

40

Gerber Bautista