Oracle Business Intelligence Forum

Novinky Oracle pre oblasť dátových skladov

Gabriela HečkováTechnology Sales Consultant

Oracle Database Machine

“Every query was faster on Exadata compared to our current systems. The smallest performance improvement was 10x and

the biggest one was an incredible 72x.”

Simeon Dimitrov, Enterprise Resources Manager

“Call Data Record queries that used to run for over 30 minutesnow complete in under 1 minute. That's extreme performance.”

Grant Salmon, CEO, LGR Telecommunications

“A query that used to take 24 hours now runs in less than 30 minutes. The Oracle Database Machine beats competing solutions on bandwidth, load rate, disk capacity, and transparency.”

Christian Maar, CIO

DWH zákazníci Database Machine V1

Sun Oracle Database Machine

Grid Exadata Storageservrov

• 21 GB/s priepustnosť diskov

• 50 GB/s priepustnosť flash

• 1 milión I/O operácií za sekundu

Grid databázových serverov• Lineárne škálovateľný výkon

• Odolný voči zlyhaniu

• Postavený na komoditnýchserveroch

InfiniBand sieť• 880 Gb/s agregovaná

priepustnosť

Sun Exadata Storage Server Hardware

• Stavebný prvok Exadata Storage Gridu– 1.5 GB/s pri čítaní z diskov– 75.000 IOPS z Flash cache

• Sun Fire™ X4275 Server– 2 Quad-Core Intel® Xeon® E5540– 24GB RAM– Dual-port 4X QDR (40Gb/s) InfiniBand karta– 12 x 600 GB SAS alebo 2TB SATA diskov– 4 x 96 GB Sun Flash PCIe Cards (384 GB) – Disk Controller s 512MB zálohovanou cache

• Software– Oracle Enterprise Linux– Exadata storage server software

• Single Point of Support from Oracle

Hardware by

Software by

Výkon Exadata Storage Serverov

Quarter Rack Half Rack Full Rack

Počet diskov 36 84 168

Raw Disk Data Bandwidth1,3

SAS 4.5 GB/s 10.5 GB/s 21 GB/s

SATA 2.5 GB/s 6 GB/s 12 GB/s

Raw Flash Data Bandwidth1,3 11 GB/s 25 GB/s 50 GB/s

Disk IOPS2,3SAS 10,800 25,000 50,000

SATA 4,300 10,000 20,000

Flash IOPS2,3 225,000 500,000 1,000,000

Rýchlosť nahrávania dát3 1 TB/hr 2.5 TB/hr 5 TB/hr

1 – maximálna dosahovaná dátová priepustnosť pri čítaní z diskov, nezohľadňuje kompresiu

2 – IOPs – merané pre IO požiadavky veľkosti 8KB

3 - skutočný výkon sa môže podľa aplikácie líšiť

Exadata konfigurácia

• Každá Exadata bunka je samostatný server, ktorý obsahuje disky pre uloženie dát a zbieha Exadata Storage Server Software

• Oracle databázy sú nasadené naprieč viacero Exadata buniek• Oracle Database vylepšená na spoluprácu s Exadata Storage Server• Neexistuje limit na počet jednotiek zapojených do gridu

Exadata Cell

InfiniBand Switch/Network

Single-InstanceDatabase

RAC Database

Exadata Cell Exadata Cell

Vlastnosti Exadata softvéru

• Exadata Smart Scans– Niekoľkonásobne redukuje objem údajov posielaných databázovým serverom

• Exadata Storage indexy– Eliminuje nepotrebné diskové I/O

• Hybrid Columnar Compression (HCC)– Niekoľkonásobne zvyšuje efektívnu diskovú kapacitu a dátovú priepustnosť

• Exadata Smart Flash Cache– Rádovo zvyšuje IOPS

– Znásobuje dátovú priepustnosť pre transakčné aplikácie

• I/O Resource Manager – Kontrola prideľovania I/O zdrojov

• Inter-leaved Grid Disks– Umožňuje uložiť často dopytované dáta na rýchlejšie oblasti diskov

Exadata Smart Scan

• Exadata má implementované scanovanie pre zníženie objemu dát zasielaných DB serveru

– Filtrovanie riadkov na základe “where” klauzuly

– Filtrovanie stĺpcov

– Filtrovanie prepojených tabuliek (join)

– Scanovanie kryptovaných dát

– Data Mining model scoring

• 10-násobná redukcia prenosu dát

• Transparentné pre aplikácie

– Aj v prípade výpadku Exadata bunky alebo disku počas dotazu

– Vrátené dáta sú konzistentné

11.2

11.2

Tradičný Scan Proces

• Príklad Smart Scanu:

– Telco chce identifikovaťzákazníkov, ktorí minú viac ako $200 na jeden hovor

– Táto informácia zaberá2MB v 1 terabyte tabuľke

• V prípade tradičného úložiskadatabázová inteligencia spočíva na DB serveroch

• Veľké percento dát zaslané z úložiska je vyradené DB serverom

• Vyradené dáta spotrebovávajúzdroje a ovplyvňujú výkon ostatných výkonov

��

Vykonanie I/O:1 TB dát zaslaných

do pamäte DB serveru

��

DB server redukuje 1TB dát na 1000 mien zákazníkov, ktoré sú

zaslané klientovi

��

Vrátené riadky

��

SELECT

customer_name

FROM calls

WHERE amount >

200;

��

IdentifikovanieSúborov a Table

Extents

��

Zadanie I/Ooperácie na čítanie

blokov

Exadata Smart Scan Processing

• Len relevantné stĺpce

– customer_name

z požadovaných riadkov

– kde amount>200

Sú vrátené na server

• Požadovaný výkon na vyhodnotenie predikátu je presunutý na Exadatu

• Presun sprocesovania scanu z DB servera uvoľnuje CPU a eliminuje presun nepotrebných dát

��

2MB dát vrátenéna server

��

Vrátené riadky

��

Vygenerovaný Smart Scan a

zaslaný do Exadata bunky

��

Smart Scan identifikuje

požadované riadkya stĺpce terabyte

tabuľke

��

Skonsolidovanie výsledku zo všetkých

buniek

��

SELECT

customer_name

FROM calls

WHERE amount >

200;

50X

Exadata Hybrid Columnar Compression

• Dáta sú zotriedené podľa stĺpcov a potom sú uložené

• Query Mode pre DWH– Optimalilzovaný pre rýchlosť– Typický 10-násobný pomer

kompresie, 10x rýchlejšie I/O– Proporčné zlepšenie scanu

• Archival Mode pre nie často dotazované dáta

– Optimalizované pre redukciu miesta– Typický 15-násobný pomer

kompresie– V istých prípadoch až 50-násobný

pomer kompresie

11.2

Exadata Hybrid Columnar Compression

• Tabuľky sú zoskupené do množín z niekoľko tisíc riadkov, ktoré sa nazývajú Compression Units (CUs)

• Vnútri Compression Unit sú dáta organizovanépodľa stĺpca a potom skomprimované

• Užitočné pre dáta uložené prostredníctvom Bulkloadu a potom dotazované– Nízky výskyt update-ov

Reduces

Table Size

4x to 40x

4x to 50x Reduction

Compression Unit

Co

lum

n 1

Co

lum

n 2

Co

lum

n 3

Exadata Smart Flash Cache

• Transparentná cache pre Hot Data na 4 Flash Cards/ Exadata

• Flash Cards založené na PCI Express pre vyššiu priepustnosť a IOPs a obídenieobmedzení disk controllera

• Smart Caching

– Vylepšený LRU algoritmus

– Rozlišuje, kedy vynechať cache-ovanie, aby sa zabránilo „zamoreniu“ cache

11.2

4 x 96 GB Flash Cards

Benefits Multiply

1 TBwith compression

10 TB of user dataRequires 10 TB of IO

100 GBwith partition pruning

20 GB with Storage Indexes

5 GB with Smart Scans

SubsecondOn Database

Machine

Data is 10x Smaller, Scans are 2000x faster

Sun Oracle Database Machine- Architektúra budúcnosti

• Najlepšia pre dátové sklady• 10x efektívnejšie využitie kapacity• Dátovo náročné spracovanie už na storage zariadení

• Najlepšia pre OLTP• Umožňuje prideľovať výkon podľa potreby každej

aplikácií• Smart flash cache poskytuje 1 milión IO za sekundu• Bezpečná, odolná voči výpadkom

• Ideálna pre konsolidáciu databáz• Schopná bežať a škálovať zmiešanú záťaž• Úplná kontrola zdrojov v multi-database, multi-

application, multi-user prostrediach (dodržanie SLA)

Výhody použitia Database Machine

• Nižšie riziko

– Overená konfigurácia celého SW/HW prostredia

– Jediný kontankt na podporu celého prostredia: Oracle

• Nižšie náklady

– Najlepší pomer cena/výkon

– Ideálna pre konsolidáciu databáz

• Vyššia hodnota

– Neobmedzená škálovateľnosť

– Zabudovaná vysoká dostupnosť

Golden Gate

Oracle GoldenGate poskytuje zber, premiestnenie, transformáciu a dodávku dát v heterogénnom prostredí v reálnom ččččase

Kľľľľúččččové vlastnosti:

Nízky dopad, oneskorenie do 1 sekundy

Otvorená, modulárna architektúra, podporuje heterogénne zdroje aj ciele

Podporuje transakčnú integritu, rýchla obnova po zlyhaní

Čo je Oracle GoldenGate?

Výkon

Flexibilné, rozšíriteľľľľné

Spoľľľľahlivé

Ako funguje Oracle GoldenGate

LAN/WANInternet

Capture

Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).

ZdrojOracle & Non-Oracle

Database

CieľOracle & Non-Oracle

Database


LAN/WANInternet

CaptureTrail


Database


Database


. Trail: usporiadanie dát pre prenos.


LAN/WANInternet

CaptureTrail

Pump

Pump: distribúcia dát pre prenos na rôzne ciele


Database


Database



LAN/WANInternet

TCP/IP

CaptureTrail

PumpTrail

Route: dáta sú kompresované a zakryptované pre prenos do cieľa


Database


Database





LAN/WANInternet

TCP/IP

CaptureTrail

Pump DeliveryTrail



Database


Database





Delivery: aplikuje dáta s udržaním transakčnej integrity + transformácie podľa potreby

LAN/WANInternet

TCP/IP

Obojsmerný prenos

CaptureTrail

Pump DeliveryTrail


Delivery: aplikuje dáta s udržaním transakčnej integrity + transformácie podľa potreby


Database


Database



Trail: usporiadanie dát pre prenos.


Rôzne konfigurácie Oracle GoldenGate

JednosmernáOdbremenenie/

presmerovanie dotazov

Oboj-smernáLive Standby alebo

Active-Active pre HA

Peer-to-PeerVyrovnanie záťaže,

Multi-Master

Broadcast Distribúcia dát

Integrácia/KonsolidáciaDátové sklady

Radenie za sebouData Marty

Real-Time: Operatívne BI v akcii

– Detekcia podvodu

– Strata zákazníkov

– On-line optimalizácia predaja

– Optimalizácia ponuky pre zákazníka

– Zlepšenie dodávateľských vzťahov

27Source: Intelligence Solutions Inc. Webinar: Operational BI Its Everywhere.

Oracle GoldenGate pre Operatívny reportingPresun reportingu na DB s nižšími nákladmi

• Oneskorenie do 1 sekundy

• Bez degradácie výkonu na zdrojovej DB

• Konzistentné dáta pre ččččítanie s referenččččnou integritou

• Obnova po zlyhaní prostredníctvom Trail súborov

Oracle GoldenGate Solutions pre Oracle Database

• Nulové prestoje pri upgrade-och, migráciách a údržbe

– Migrácie z non-Oracle databáz na Oracle 11gR2

– Upgrade Oracle Databázy 8i, 9i, 10g to 11gR2

– Upgrade/migrácia OS databázového servera

– Výkony pri údržbe DB

– Upgrade aplikácií (Siebel CRM)

• Odľahčenie systému – Presmerovanie dotazov z historických systémov na Oracle DB

• Nepretržitá dostupnosť s využitím active-active databázy

• Synchronizácia dát v distribuovaných systémoch

Education

Oracle Business Intelligence Forum