Upload
andrey-akulov
View
172
Download
2
Embed Size (px)
Citation preview
Обзор интегрированных систем Oracle
Андрей Пивоваров
Руководитель группы перспективных технологий
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Мнения аналитиков
3
В соответствии с опросом Forrester, 88% предприятий уже используют или планируют
использовать конвергентные инфраструктуры
Конвергентные системы будут доминировать следующие 10 лет
К 2015 году 1/3 всех серверов будет продаваться в составе конвергентных решений
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Семейство Oracle Engineered Systems
• Exadata
• Exalogic
• SPARC SuperCluster
• Exalytics
• Database Appliance
• BIG DATA Appliance
• Virtual Compute Appliance
• Zero Data Loss Recovery Appliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
ExadataDatabase Machine
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Что такое Oracle Exadata?
• Машина для СУБД Oracle
– OLTP
– Хранилищ данных
– Смешанных нагрузок
– Консолидации приложений на базе Oracle Database
• Построено на основе:
– Oracle Database
• Все приложения, работающие c Oracle Database, могут работать на Exadata
– Oracle Hardware
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exadata на аппаратном уровне
• Быстрая дисковая подсистема
• Использование 40Gb/s Infiniband
• Использование FLASH карт (до 44 TB)
• Много RAM (до 12TB на X4-8)
• Много процессорных ядер (до 168+240)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exadata Database Machine HardwareX4-8 Full X4-2 Full X4-2 Half X4-2 Quarter X4-2 Eighth
Database Servers 2 8 4 2 2
Database Grid Cores 240 192 96 48 24
Database Grid Memory (GB) 4096 (max 12288) 2048 (max 4096) 1024 (max 2048) 512 (max 1024) 512 (max 1024)
InfiniBand switches 2 2 2 2 2
Ethernet switch 1 1 1 1 1
Exadata Storage Servers 14 14 7 3 3
Storage Grid CPU Cores 168 168 84 36 18
Raw Flash Capacity 44.8 TB 44.8 TB 22.4 TB 9.6 TB 4.8 TB
Raw Storage CapacityHigh Perf 200 TB 200 TB 100 TB 43.2 TB 21.6 TB
High Cap 672 TB 672 TB 336 TB 144 TB 72 TB
Usable mirrored capacityHigh Perf 90 TB 90 TB 45 TB 19 TB 9 TB
High Cap 300 TB 300 TB 150 TB 63 TB 30 TB
Usable Triple mirrored capacityHigh Perf 60 TB 60 TB 30 TB 13 TB 6.3 TB
High Cap 200 TB 200 TB 100 TB 43 TB 21.5 TB
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exadata CellExadata Cell
Архитектура Exadata
•Каждая ячейка Exadata – самостоятельный сервер с
установленными дисками и ПО Exadata
•Данные «размазаны» между многими ячейками Exadata
•Нет ограничения на количество ячеек в системе
•Ячейки выполняют множество операций, которые в
традиционной архитектуре делает Oracle
•Ячейки работают в режиме MPP
InfiniBand Switch/Network
Single Instance RAC
Exadata Cell
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Ячейки Exadata (Exadata Cells)
• Каждая ячейка – самостоятельный сервер с 12 дисками и Exadata Software
• В отличие об обычного сервера хранения, ячейка умеет самостоятельно отрабатывать многие операции, традиционно обрабатываемые на сервере БД
– После выполнения многих операций на ячейках, объем данных, возвращаемых серверу составляет доли процентов от исходного объема.
• Ячейки не связаны между собой непосредственно, что позволяет распараллеливать запросы без накладных расходов
• Ячейки позволяют разгружать серверы БД для других операций
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Пример запроса на Exadata
Select sum (sales) where Date=‘1.12.2014’
Оптимизатор выбирает партиции и индексы
• Извлекаются данные за 1 декабря
• 10 TB сканируется• Только 1 GB
возвращается на сервер
Каков был
объем
продаж
вчера?
Oracle DB Grid
Exadata
Storage
Grid
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Инновации в Exadata
• Интеллектуальная СХД– Smart Scan
– InfiniBand
+ ++
• Hybrid Columnar Compression
– 10-кратное сжатие для хранилищ
– 15-кратное сжатие для архивного
хранения
• Интеллектуальный PCI Flash Cache
– Ускоряет произвольный I/O до 30 раз
– Время сканирования уменьшается в
3 раза
сжатые
primary DB
standbytest
devbackup
несжатые
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Частый вопрос: почему нельзя собрать Exadata самим?
• Можно собрать похожий аппаратный комплекс на железе Oracle или других вендоров, но:
–Exadata Software, в отличие от большинства ПО Oracle, не поставляется отдельно от Exadata
–Exadata Software отвечает за большую часть преимуществ Exadata:
• Smart Scans
• Hybrid Columnar Compression
• Storage Indexes
• Работа с FLASH картами
• И т.д.
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Масштабируемость
HalfFull
Multi-Rack
EighthQuarter
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Заказчики Exadata в России и мире
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Преимущества Engineered Systems
• Hardware и Software проектируются, тестируются,отлаживаются совместно
• Можно добиться высочайшей производительности, если знаешь какое ПО будет работать на каком железе
• Не для всех очевидно: Заказчик экономит на железе, так как то же HW работает более эффективно
• Меньше вероятность «сюрпризов» от несовместимости компонентов. Проще поддержка
• Заказчики экономят время на том, что не подгоняют компоненты систем друг к другу
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Database Appliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Вр
ем
я
За
тра
ты
Собственная сборка
Экономия
ODA: Простая установка, управление и сопровождение
Экспертиза по
установке
Экспертиза по
оптимизации
Администрирование
сети
Администрирование
СХД
Системное
администрированиеOracle Appliance
Manager
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Database Appliance X4-2
•2 сервера, каждый содержит:
24 CPU cores (2x12)
256 GB memory
600 GB mirrored boot disks
Redundant 10GbE interconnect
External 10GBase-T networking and optional 10GbE SFP+
•Дисковая полка – 20 дисков
800 GB SSD
18 TB HDD
• Можно докупить еще одну полку
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Вариант 1: Собственная сборка
Year 2 Year 3
Вариант 2: Oracle Database Appliance
Year 1 Year 2 Year 3Year 1
Нужно лицензировать сразу 48 ядер Докупка лицензий по мере роста
Лицензирование Capacity On Demand
8 Cores
16 Cores
48 Cores
24 Cores
40 Cores
32 Cores
ИЛИ
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Использование виртуальных машин на ODA
• Частичное лицензирование ядер, использующихся виртуальной машиной
• Возможна установка серверов приложений или другого ПО
• Позволяет создать полное решение «в коробке»
Node 1
Database Domain
Application Domain
Application Domain
Application Domain
Database Domain
Application Domain
Application Domain
Application Domain
Node 2
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Отличия ODA и Exadata
• И ODA и Exadata – оптимизированные программно-аппаратные комплексы
• ODA не содержит Exadata Software, а значит нет поддержки:
– SmartScans
– Hybrid Columnar Compression
– Storage Indexes
• ODA – оптимизированное решение для «обычной» Oracle DB с упором на простоту использования
• На ODA можно запускать виртуальные машины с серверами приложений.
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exalogic
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Что такое Exalogic?
• Высочайшая производительность для:
– Oracle Fusion Middleware
– Приложений Oracle (OEBS, Utilites, Siebel и т.д. )
– Виртуальных машин
• Архитектура Intel
• Exalogic может утилизировать весь потенциал Exadata
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Аппаратная часть Oracle ExalogicВычислительные модули, I/O, Сеть и Хранение
• Хранилище образов ОС
• Кластеризованно для HA
• 80 TB SAS disk
• 4 TB read cache
• 290 GB write cache
Встроенное хранилищеВстроенное хранилище
• 40 Gb/sec links
• 10 Gigabit Ethernet
• 1 Gigabit подключение к сети ЦОДа
InfiniBand I/O Фабрика и 10GbE/GbEInfiniBand I/O Фабрика и 10GbE/GbE
• 30 x86 вычислительных узла
• до 720 ядер Xeon
• до 15.3 TB DRAM
• до 24 ТB на SSD
Вычислительные модулиВычислительные модули
С полным
резервированием
Флэш
Ускоритель
Сбалансированы для
производительности
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
“Главный рубильник”: ExalogicOptimizationsEnabled
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
SuperCluster
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Концептуальный взгляд на SuperCluster
Exadata SPARC SuperCluster Exalogic
Exadata Storage
Database Servers
ZFS NAS Storage
Application Servers
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle SuperCluster T5-8
• 2 x SPARC T5-8 (256 core, 4TB memory)
– Каждый T5-8 содержит:
• 8 x SPARC T5 processors, 128 cores
• 2 TB memory
• 8 x InfiniBand HCAs (dual port)
• 8 x 10GbE NICs (dual port)
• 8 x 900GB SAS disks
• Optional Fiber channel cards
• 1-8 Domains
Full Rack
� СХД
– 8 Exadata Storage
Servers (288TB HC or
57.6TB HP)
– ZFS Storage Appliance
(60TB disk and 4 x 73GB
Logzillas)
� Сеть
– 3 x InfiniBand 36 port
switches
– GbE Management switch
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle M6-32 SuperCluster
� Самая быстрая машина для баз
данных
� Огромная память для
колоночного хранения
� 3 терабайта сеть
� Интегрированные ячейки Exadata
� InfiniBand
� Самая быстрая машина для баз
данных
� Огромная память для
колоночного хранения
� 3 терабайта сеть
� Интегрированные ячейки Exadata
� InfiniBand
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
SuperClusterSuperCluster T5-8 SuperCluster M6-32
Half Rack Full Rack Minimum Maximum
Процессоры 8 16 16 32
Память 2TB 4TB 8 TB 32 TB
Exadata Storage Servers 4 8 9
Oracle SuperCluster
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Сходства и различия между Exadata и SuperCluster• И Exadata и SC – оптимизированные программно-аппаратные
комплексы
• И Exadata и SC содержат ячейки с Exadata Software, а значит доступны:
– SmartScans
– Hybrid Columnar Compression
– Storage Indexes
• Exadata построена на X86, SC – на Sparc.
• SC позволяет запускать не только Oracle Database, но и приложения
• SC содержит дополнительно встроенный ZFS для размещения любых данных, в Exadata этого нет.
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exalytics
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Exalytics
Возможности
� Аналитика в памяти: структурированные и
неструктурированные данные
� Интеграция с Exadata
� Ускорение отчетов
� Ускорение задач планирования
� Поддержка большого количества пользователей
� Использование in-Memory технологий:
� Oracle TimesTen или
� Oracle Database +InMemory Option
T5-8
4 TB DRAM,
3.2TB Flash, 128 cores
Planning, ERP, CRM, Profitability, Vertical-specific
80+ Pre-packaged
In-memory Analytic Applications
BI Foundation Suite
Exalytics In-Memory Software
Endeca TimesTen Essbase
Unstructured ROLAP MOLAP
I n - M e m o r y A n a l y t i c E n g i n e s
X4-4
2 TB DRAM,
2.4TB Flash, 60 cores
Large Memory Hardware
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle ExalyticsДва варианта
2 TB DRAM
Exalytics X4-4Exalytics X4-4
60 Intel Cores
2.4 TB Flash Storage
7.2 TB Hard Disk Drive
4 TB DRAM
Exalytics T5-8Exalytics T5-8
128 SPARC T5 Processor Cores
3.2 TB Flash Storage
7.2 TB Hard Disk Drive
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Virtual ComputeAppliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Инфраструктура для быстрого развертывания виртуальных машин
• Создание VM вручную с ISO образов или из шаблонов Oracle VM
• Простой пример: Oracle Linux или Solaris VM [~1 минуты]
• Сложный пример: Oracle RAC 16 узлами [~45 минут]
DB
WebLogic
Server
Deployment Policies
Configuration Metadata
SOA_PROD_1
Oracle VM Assembly
Production Environment: SOA_PROD_1
VM
VM
VM
VM
VM
VM
Server
Pool 1
Deployed:
Production Environment SOA_PROD_1
OVCA
РазвернутьУправляющие узлы
Загрузить
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Virtual Compute Appliance X3-2
Fabric Interconnect
Fabric Interconnect
Compute
Nodes
Compute Nodes
Mgmt Nodes
Management Storage
InfiniBand expansion
InfiniBand expansion
Ethernet switch
Oracle Sun X3-2 Servers
• 2 to 25 nodes
• CPU: Up to 400 cores / 800 threads aggregate
• Memory: Up to 6.4TB aggregate
• Only 3 cables per server, fully redundant
• Oracle Sun X3-2 Servers
• Oracle Sun X3-2 Servers
Oracle Sun ZFS Storage Appliance 7320
• Redundant controllers, RAID storage
• Oracle Fabric Interconnect F1-15
• Oracle Fabric Interconnect F1-15
• Oracle Switch ES1-24• Oracle Sun Data Center InfiniBand Switch 36
• Oracle Sun Data Center InfiniBand Switch 36
Ne
two
rkin
gM
an
ag
em
en
t
Four 4x10GbE
40
Gb
/s Se
rve
r-to-S
erv
er
Network
Storage
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Virtual Compute Appliance X3-2
Server Virtualization
and
Guest OSes
Server Virtualization
Oracle VM Server Virtualization
•All major x86 operating systems
•Oracle Linux
•Oracle Solaris
•Microsoft Windows
Oracle Virtual Compute Appliance controller
• Oracle VM Manager
• Oracle SDN Networking
Automation & Management• Oracle Fabric Manager
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Использование с существующими СХДNFS или iSCSI
Oracle Virtual Compute Appliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Zero Data Loss Recovery Appliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Zero Data Loss Recovery Appliance
� Передача логов в реальном
времени: нет потери данных
� Быстрое восстановление на
любую точку времени
� Передача только дельт:
минимизация сетевой нагрузки
� Опционально использование
ленты
� Бэкапирование тысяч баз
одновременно
� Передача логов в реальном
времени: нет потери данных
� Быстрое восстановление на
любую точку времени
� Передача только дельт:
минимизация сетевой нагрузки
� Опционально использование
ленты
� Бэкапирование тысяч баз
одновременно Тысячи
баз даннных
Проверенные и
сжатые дельты
Database Backup Logging
Recovery Appliance
Передача логов
и дельт
Архив на ленту
(опционально)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
BIG DATAAppliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Что такое Hadoop?
• Apache Hadoop - распределенная вычислительная архитектура:
– Open source (проект Apache Software Foundation)
– Включает в себя распределенную файловую систему HDFS
– Может обрабатывать данные в массивно-параллельном режиме (MapReduce)
– Спроектирован для работы на очень больших кластерах (сотни и даже тысячи узлов) на дешевом «железе»
– Автоматически обрабатывает отказ узлов и перераспределение данных
– Существует большое количество инструментов, построенных над Hadoop
– Быстро развивается
– Важно! Не является СУБД
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
• Кластер из 18 узлов
– 64 GB RAM на узле = 1152 GB RAM
– 16 ядер Intel на узле = 288 ядер
– 48 TB дисков на узел = 864 TB
• 40 Gb p/sec InfiniBand
• 10 Gb p/sec Ethernet
• Может продаваться в конфигурации 1/3 и 2/3 стойки
Oracle Big Data Appliance
Машина для Hadoop и NoSQL DB
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
• Oracle Linux
• Java Hotspot VM
• Cloudera Hadoop Distribution
Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop, Administration Tools
• R Distribution
• Oracle NoSQL Database
• Oracle Big Data Connectors:
– Oracle R Connector for Hadoop
– Oracle SQL to HDFS Connector
– Oracle Data Integrator Application Adapter for Hadoop
– Oracle Loader for Hadoop
– Oracle XQuery for Hadoop
Oracle Big Data Appliance Software
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Разные подходы – разные преимущества
0
1
2
3
4
5Мощь инструментов
Встроенный функционал
ACID транизакции
Безопасность
Разнообразие форматов данных
Разреженные данные
Простота ETL
Стоимость хранения
Простота загрузки
Взаимодействие с другими системами
Hadoop
RDBMS
• У Hadoop свои плюсы
• У СУБД свои
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Management SystemS
OU
RC
ES
РЕЗЕРВУАР ДАННЫХ ХРАНИЛИЩЕ ДАННЫХ
Oracle Database
Oracle IndustryModels
Oracle Advanced Analytics
Oracle Spatial & Graph
Big Data Appliance
Apache Flume
OracleGoldenGate
Oracle Event Processing
Cloudera Hadoop
Oracle Big Data SQL
Oracle NoSQL
Oracle R Advanced Analytics for Hadoop
Oracle R Distribution
Oracle Database
In-Memory, Multi-tenant
Oracle Industry Models
Oracle Advanced Analytics
Oracle Spatial & Graph
Exadata
OracleGoldenGate
Oracle EventProcessing
Oracle DataIntegrator
Oracle Big DataConnectors
Oracle DataIntegrator
БИЗНЕС АНАЛИТИКА
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Семейство Oracle Engineered Systems
• Exadata
• Exalogic
• SPARC SuperCluster
• Exalytics
• Database Appliance
• BIG DATA Appliance
• Virtual Compute Appliance
• Zero Data Loss Recovery Appliance
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 50
Есть вопросы?
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 51