View
303
Download
9
Embed Size (px)
Citation preview
Greenplum: история одной миграции
Егор Осипов Эксперт направления «Хранилища данных, аналитика и BigData»
Москва, 24.03.2015
2
О BIGDATA
3
• Стоимость • Масштабируемость • Скорость
КЛЮЧЕВЫЕ ПРЕИМУЩЕСТВА
4
• Весь ETL написан на SQL и PL/SQL
• 10-ки тысяч строк кода • >10 ТБ данных • Разработка велась почти
10 лет
О ПРОЕКТЕ
Oracle → Greenplum
5
Уменьшение времени расчета ХД
Увеличение производительности отчетности
Аудит ХД и оптимизация процесса его наполнения
ЗАДАЧИ ПРОЕКТА
6
ВХОД В ПРОЕКТ
8
КОНТРОЛЬ СУБПОДРЯДЧИКОВ
9
БЫСТРОЕ ОБУЧЕНИЕ СПЕЦИАЛИСТОВ
10
ТЕХНИЧЕСКИЕ ВОПРОСЫ
11
• Нестабильная работа - падение запросов и сегментов • Out of memory • Unexpected Internal error
• Проблемы с обновлением прошивки • Смерть серверов
КЛЮЧЕВЫЕ ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ
12
• Перенос данных из Oracle в Greenplum • Работа с иерархиями • Миграция циклов • Совместимость с Oracle: функции, синтаксис
• Пакет совместимости • Least, greatest • Keep dense_rank
• Обращение к таблицам в функциях • Коррелированные подзапросы
АРХИТЕКТУРНЫЕ ЗАДАЧИ
15
ПОДЫТОЖИМ
16
17
СПАСИБО ЗА ВНИМАНИЕ!
Егор Осипов Эксперт департамента информационных технологий КРОК
111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274, +7 495 974 2277 (факс)
[email protected] www.croc.ru