Itransition - Talend Master Data Management - Управление клиентскими данными

Talend Data Quality. Управление клиентскими данными.

Talend Data QualityПлатформа управления клиентскими данными


Содержание

• О компаниях Talend и Itransition

• Области применения платформы решений Talend

• Варианты использования платформы Talend Data Quality


О компании Itransition

• 10 лет на рынке ИТ

• В штате компании более 600специалистов

• №1 по темпам роста в 2009 г. в России

• Престижные премии в сфере бизнеса и ИТ

• Сервисный партнер SAP

• Сертифицированный партнер Microsoft

• Партнер Rackspace, Broad Vision,NorthGate Arinso, Talend


MDM экспертиза

• Разработка обучающих тренингов для SAP AG “Acceptance Testing SAP MDM 5.5 SP03‐04”

• Централизованное ведение данных о сотрудниках KBC (Финансово‐страховая группа, Германия)

• Централизованное ведение НСИ Deutsche Bank (Германия).

• Централизованное ведение основных данных (ОЗМ, Поставщики, Клиенты, НСИ) Сургутнефтегаз.


О компании

• 5 лет на мировом рынке ИТ

• Показатели востребованостипродуктов:

– 10 миллионов загрузок за все время существования

– 450 000 пользователей

– 1 500 заказчиков

– 100 новых заказчиков в месяц

– 1 загрузка Talend Open Studio в минуту


Области применения решений Talend

Качество данных

Профилирование и очистка данных

Аналитика (ETL) Функциональная интеграция

Оперативный обмен данными между информационными системами.

Извлечение, преобразование и загрузка данных для систем, обеспечивающих принятие решений

Интеграция данных

Управление справочными данными

MDM


Talend Data Quality

• Варианты использования:– Управление справочной информацией

– Операционное использование

– Аналитическое использование


Управление справочнойинформацией

КОНСОЛИДАЦИЯ

ПОИСК ДУБЛИКАТОВ

СЛИЯНИЕ

ОБНОВЛЕНИЕ CDI

MDM‐CDI ХРАНИЛИЩЕ

ВЫБОРКА ОБНОВЛЕНИЙ

ДАННЫЕ

ЗАГРУЗКА ОБНОВЛЕНИЙ

Информационная система № 1

ВЫБОРКА ОБНОВЛЕНИЙ ДАННЫЕ




ПОЛЬЗОВАТЕЛЬ


Решаемые задачи

• Создание модели данных

• Организация доступа к модели данных пользователям

• Создание механизмов интеграции данных

• Создание механизмов контроля качества данных


Схема развертывания

TALENDMDM STUDIO

Data StewardshipConsole

Talend Web UI

Talend MDM Server

Модель и данные Метаданных проекта

Talend Administration Center

Activity Monitoring Console Admin Metadata

Administration& Monitoring

TIS Studio

Execution Server

Execution Server


Создание моделей данных

• Инструмент: Talend MDM Studio

• Возможности:– Проектирование модели данных

– Управление представлением данных

– Формирование правил контроля качества хранимых данных

– Организация доступа к данным


Модель данных

АДРЕС

ИНДЕНТИФИКАЦИОН‐НЫЙ ДОКУМЕНТ

ТЕЛЕФОННЫЙНОМЕР

ФИЗИЧЕСКИЙ АДРЕСЮРИДИЧЕСКИЙ АДРЕС

АДРЕС ДОСТАВКИ

МОБИЛЬНЫЙ ТЕЛЕФОНРАБОЧИЙ ТЕЛЕФОН

ФАКС

ПАСПОРТПРАВА

Библиотекатипов


Контейнер данных INSURANCE

Модель данных INSURANCE

Правила проверки данных

Типы данных

Безопасность

Логическая структура описывающая модель основных данных

Физическая область хранения данных


Контейнеры данных

Контейнер данных “Производство”


Правила проверки данных

Типы данных

Безопасность

Логическая структура описывающая модель основных данных

Физическая область хранения данных

Контейнер данных “Торговля”


Управление сущностями

СУЩНОСТЬ

КЛИЕНТ

АТРИБУТ

НОМЕР ПАСПОРТА

АННОТАЦИЯ

Повторное использование (Типизация)

Типизация

Возможности

Управление отображениемУправление доступСвязывание сущностейПроверка вводимых данных

Простые типы

Сложные типы

АННОТАЦИЯ


Аннотации, управление отображением

Дата рождения* 1977 – 01 – 09

Управление форматомизображения

9 Января 1977 г.

Место рождения:

Пол: Муж. Жен.

Управление описаниемполя

Дата рождения клиентафизического лица

Управление названиемполя

Дата рождения

Управление сообщениямиоб ошибкахОбязательное поле


Аннотации, управление отображением

Birthday* 1977 – 01 – 09

Управление форматомизображения

9 Jan 1977 г.

Место рождения:

Пол: Муж. Жен.

Управление описаниемполя

Client birthday

Управление названиемполя

Birthday

Управление сообщениямиоб ошибкахMandatory field


Аннотации, связывание сущностей

Телефон

ИДЕНТИФИКАТОР 10

ТЕЛЕФОННЫЙ КОД СТРАНЫ 7

ТЕЛЕФОНННЫЙ КОД ГОРОДА 495

ТЕЛЕФОННЫЙ НОМЕР 758‐13‐12

ТИП ТЕЛЕФОННОГО НОМЕРА МОБИЛЬНЫЙ

АТРИБУТЫ ЗНАЧЕНИЯАТРИБУТЫЗНАЧЕНИЯ

ТЕЛЕФОННЫЙНОМЕР

10 +

Отображаемое значение

7 – 495 – 758 – 13 – 12

Клиент


Аннотации, управление доступом

Имя

Отчество

Фамилия

Пол


Паспорт

Телефон

Адрес

Номер

Дата

Продукт

Сумма

ОБЛАСТЬИЗМЕНЕНИЯ

КЛИЕНТ ДОГОВОР КАНАЛ ПРОДАЖ

ОБЛАСТЬ ВИДИМОСТИ

Тип

Менеджер


Аннотации, контроль ввода

Клиент

…

Паспорт серия: 112342

Адрес: Москва, ул. Ленина, 12

Паспорт номер: 123456

E‐mail: [email protected]

…

Проверка соответствиятребованиям форматасерии паспорта

Проверка соответствиятребованиям форматаномера паспорта

Проверка наличиязаполненных данных

Проверка правильности заполнения E‐mail


Управление ролями


РОЛЬ 1

РОЛЬ 2

РОЛЬ …

Сущности

Представления

Действия

АтрибутыКлиенты

Ограниченный набор клиентов


Базовые роли


Разработка механизмов интеграций данных

Разработка механизмов контроля качества данных

Разработка модели данных

Работа с основными данными используя API

Работа с данными через портал

Просмотр данных через портал

АДМИНИСТРАТОР

ВНЕШНИЕ СИСТЕМЫ

ПОЛЬЗОВАТЕЛЬ ПОРТАЛАЛ

ИЦЕН

ЗИРУ

ЕМАЯ ДЕЯ

ТЕЛЬН

ОСТ

Ь


Демонстрация

• Возможности Talend MDM Studio по работе с моделями данных:– Сущности

– Атрибуты

– Аннотации

– Роли


Организация доступа к данными

• Инструмент: Talend Web UI (портал)

• Возможности:

– Создание, редактирование, удаление клиентских данных

– Работа с иерархиями записей о клиентах

– Управление пользователями


Ограничение набора

доступных записей

Представления

Сегмент

ОСАГО

ДМС

КАСКО

ОСАГО

Ф.И.О.

Иванов И.И.

Петров П.П.

Сидоров И.И.

Смирнов С.С.

Контактное лицо

Сидоров С.С.

Смирнов И.И.

Петров П.П.

Иванов И.И.

+7 916 4008031

Телефон

+7 916 8004031

+7 916 3104080

+7 916 8104031

Атрибуты, входящие в результаты поиска

Атрибуты,входящие в условия поиска


Иерархии, группировки

Физические лица

ОСАГО

Иванов Иван Иванович

Сидоров Сергей Сергеевич

Ф.И.О. Сегмент

Иванов ИванИванович

Петров Петр Петрович

Смирнов Иван Иванович

Сидоров Сергей Сергеевич

ОСАГО

ДМС

КАСКО

ОСАГО

ДМС


КАСКО

Смирнов Иван Иванович


Иерархии, взаимосвязи

Физические лица

Иванов И.И.


Иванов И.И.

Петров П.П.



Иванов И.И.


Ф.И.О. Контактное лицо

Иванов И.И.

Петров П.П.

Сидоров И.И.

Смирнов С.С.



Петров П.П.

Иванов И.И.


Петров П.П.


Управление пользователями

Администраторы


Идентификатор

Имя

Фамилия

E‐mail

СтатусПользователи

портала

Дополнительнонастраиваемые

роли

Внешниесистемы

ИЛИ



• Демонстрация Talend MDM Studio:– Работа с представлениями

• Демонстрация портала по работе с клиентскими данными Web UI:– Просмотр данных

– Иерархии

– Пользователи





СЛИЯНИЕ




ДАННЫЕ









Создание механизмов интеграции данных

• Инструмент: Talend MDM Studio

• Возможности:– Разработка механизмов выборки данных из операционных систем

– Разработка механизмов трансформации данных

– Разработка механизмов загрузки данных в MDM‐CDI хранилище


Механизмы интеграции и контроля качества

Работа Talend

Компонент

Компонент

Работа

Компонент Joblet

Вход

Вход

Выход


Компоненты

Компоненты

Более чем 450 доступных компонентов

60% разработаны сообществом пользователей Talend

Доступны в бесплатной версии

Проверены и поддерживаются Talend


Принцип организации обмена данными

Имя

Фамилия

Отчество


Пол

Адрес

Паспорт

ФИО


Адрес

Паспорт

Модель хранения данных в операционных системах

Имя

Отчество

Фамилия


Пол

Паспорт

Адрес

Транспортная модельКод Имени

Код Отчества

Код Фамилии


Серия Паспорта

Номер Паспорта

Код Адреса

Модель хранения в CDI‐хранилище

Справочникимен

Справочник отчеств

Справочник фамилий

Справочник адресов


Выборка данных из источников

ТАБЛИЦА ИЗМЕНЕНИЙ

Изменение 1


…

…


…

Транспортнаямодель

Информационнаясистема

Клиенты

Издатель

CDC

Издательи подписчик

CDI

Захватизменений

ОтправкаИзменений

(Push)

Триггеры

Чтение изменений

(Push)

Подписчик

Change Data Capturing (CDC)


Компонентt Map

Преобразование моделей

ФИО

ПОЛ

ДАТА РОЖДЕНИЯ


Мужской

01.01.1980

ИМЯ

ОТЧЕСТВО

ФАМИЛИЯ

Петр

Петрович

ПОЛ

ДАТА РОЖДЕНИЯ 01.01.1980

Петров

М

Дата рождения после 1970г.

ФИО

ДАТА РОЖДЕНИЯ

ПОЛ

Разделение поля

Транспортная модельМодель хранения в

информационной системе

Преобразование формата

Отклоненные данные

(Дата рождения до 1970 г.)

Фильтрация данных


Преобразование моделей

ИМЯ

ФАМИЛИЯ

ОТЧЕСТВО

КОД

ИМЯ

1

Петр

КОД

ОТЧЕСТВО

4

Петрович

КОД

ФАМИЛИЯ

6

Петров

КОД Имени

КОД Фамилии

КОД Отчества

Петр

Петров

Петрович

1

4

6

ИМЯ

ОТЧЕСТВО

ФАМИЛИЯПЕР

ЕСЕЧ

ЕНИЕ ДАННЫХ

Записине

обнаруженныев справочниках

Компонентt Map

Транспортная модель Модель хранения в CDI‐хранилище

Справочники CDI


Работа с данными в MDM

Запись данных в MDM

Чтение данных из MDM

Удаление данных из MDM

Поиск данных в MDM

Получение измененных данных в MDM

Портал (TalendWeb UI)

КОННЕКТОРЫ

СЕРВИСНЫЙ УРОВЕНЬ

ХРАНИЛИЩЕ Всего 8 компонентов


Информационная система 1

“Родословная” данных

ИДЕНТИФИКАТОР

10

ИМЯ ОТЧЕСТВО ФАМИЛИЯ

Иван Иванович Иванов


100

ФИО

Иванов Иван Иванович

CDI Хранилище

Информационная система 2


200

ИМЯ ОТЧЕСТВО ФАМИЛИЯ

Иван Иванович Иванов

Идентификатор CDI

Идентификатор UCI

Идентификатор UC2

10

100

200

Перекодировочнаятаблица



Имя

Фамилия

Отчество


Пол

Адрес

Паспорт

ФИО


Адрес

Паспорт


Имя

Отчество

Фамилия


Пол

Паспорт

Адрес

Транспортная модельКод Имени






Код Адреса








• Демонстрация интеграционных работ:– Выборка изменений (СDС)

– Преобразование данных в транспортный формат

– Работа с CDI‐хранилищем



Имя

Фамилия

Отчество


Пол

Адрес

Паспорт

ФИО


Адрес

Паспорт


Имя

Отчество

Фамилия


Пол

Паспорт

Адрес

Транспортная модель

Код Имени






Код Адреса







Триггер 1Триггер 2Триггер 3Триггер 4Триггер 5

Выборка данных из MDM

Работа Talend

Модельданных

Изменение данных

ХРАНИЛИЩЕ

TalendWeb UI

Триггеры

МЕНЕДЖЕР СОБЫТИЙ СЕРВИСНЫЙ УРОВЕНЬ

Процесс

Шаг 1Шаг 2Шаг 3

Интеграция

Контроль качества

Оповещение

Workflow

Измененные данные в транспортном

формате

Имя

Отчество

Фамилия


Пол

Паспорт

Адрес

MDM‐ID

DB‐ID



• Демонстрация активной модели данных– Активная модель данных (триггеры в MDM)

– Варианты использования триггеров.





СЛИЯНИЕ




ДАННЫЕ









Контроль качества данных

Имя

Отчество

Фамилия


Пол

Паспорт


Проверка полноты и корректности данных

Проверка наличия дубликатов

Если необходимо подключить Data Stewards

Код Имени






Код Адреса






1

2

3

Справочники


Проверка корректности данных

Имя

Отчество

Фамилия

Адрес


Код Имени



Код Адреса

Модель храненияв CDI

КомпонентtRecordMatcher

КомпонентtRecordMatcher

Нормативно‐справочная информация

ИменаКодИмя

ОтчестваКодОтчество

ФамилииКодФамилия

АдресаКодАдрес

Масква = Москва


Алгоритм поиска дубликатов

Идентифицирующие атрибуты

Код имени

Код отчества

Фамилия

Паспорт

Методсравнения

Точно

Точно

Ливенштейн

Ливенштейн

Весовой коэффициент

10

10

15

20


10

12

Петров

1234 56789 10

CDI хранилище

10

12

Питров

1234 56789 10

Дистанция

1

1

0,89

1

∑N

1 ( Дистанция х Весовой коэффициент )

∑11Весовой коэффициент

=

Компонент tRecordМatcher

Результатсравнения

10*1+10*1+0,89*15+20*1

10+10+15+20= 0,97

=

=

=

=

Нижний порог 0,75

Верхний порог 0,950,97

Дубликат

НовыйРЕЗУЛЬТАТ

<>

Дубликат


Процесс надзора за данными

Работа Talend

Работа Talend

Data Steward

ОБНАРУЖЕНИЕ НЕКАЧЕСТВЕННЫХ

ДАННЫХ

СОЗДАНИЕ ЗАДАЧИ В DSC

НАЗНАЧЕНИЕ ЗАДАЧИ В DSC

НА ИСПОЛНИТЕЛЯ

ВЫПОЛНЕНИЕ ЗАДАЧИ

Консоль надзора за данными (DSC)

ОТПРАВКА ДАННЫХ В СИСТЕМУ

ПОЛУЧАТЕЛЬ


Консоль надзора за данными

ЗАДАЧА

Приоритет

(Star)Статус

НоваяРешенияЗаблокированная

ИсполнительДействия выполненные над задачами:• Поиск• Разделение

Категория (Tags)

ДубликатПолнота

etc


Принцип работы консоли

Атрибуты

Имя

Отчество

Фамилия

Паспорт

Операционная система 1

Иван

Ивнович

Ивoнов

1234 567891

CDIхранилище Результат

Иван

Иванович

Иванов

1234 567891

Иван

Иванович

Иванов

1234 567891

Исходные данные Решение принятоеData Steward



• Демонстрация работ выполняющих проверку качества данных

• Демонстрация консоли надзора за данными (DSC)





СЛИЯНИЕ




ДАННЫЕ










• Демонстрация сквозного примера:– Создание данных в операционных системах.

– Проверка качества данных

– Добавление или редактирование данных в CDI‐хранилище

– Использование консоли надзора за данными

– Сообщение операционным системам глобального идентификатора


Операционное использование

Информационная система

Потребитель/Поставщик

Отправка клиентских данных

Серв

исы раб

оты с кли

ентски

ми

данн

ыми

Получение клиентских данных

Работа Talend Системы работы с основными данными

Проверка качества данных

Выполнение процесса надзора

за данными

Загрузка данных в хранилище

Чтение данных из хранилища

Веб‐портал(Talend Web UI)

Консоль надзора за данными

(DSC)


Организация сервисного слоя

TalendAdministrator

TalendMDM Studio

Веб‐Сервис 1



Администратор

Разработчик

Репозитарий работ SOA Manager


Управление версиями

Версия [HEAD]


Элементы Меню

Роли

Триггеры

Данные

Данные и метаданные принадлежат версии [HEAD]

Головная версия метаданных и данных

Версия [Финансы 1.0.]

Модель данных [HEAD]

Элементы Меню [HEAD]

Роли [HEAD]

Триггеры [Финансы 1.0.]

Данные [HEAD]

Все кроме Триггеров используется из версии [HEAD]

Версия для работы отдельной группы пользователей


Управление версиями

Продукты

Пластиковые карты


Каталог продуктов

Каталог версий

Каталог продуктов 1.0.

…

Каталог продуктов N.N.

Каталог версий

Пластиковые карты 1.0.

…

Пластиковые карты N.N.

Репозиторий версий метаданных и

данныхСохранение

версии

Восстановлениеверсии


Требования к оборудованию

TALENDMDM STUDIO

Talend MDM Server

База клиентских данных

Метаданные проектов (SVN)

Talend Administration Center (TAC)

Activity Monitoring Console(журнал выполнения работ)

Метаданные (TAC)

TIS Studio

Сервер работ

Сервер работ

RAM: 4 GBHDD: 100 GB





RAM: > 4 GBHDD: 100 GB

RAM: >4 GBHDD: 100 GB

RAM: 4 GBHDD: 10 GB


Варианты поддержки решения

Доступ к сертифицированной версии

Автоматическое обновление

Доступ к системе отслеживания ошибок

Поддержка на форуме

Гарантированное время ответа

Гарантированное время диагностики

Неограниченное количество обращений по проблемам

Web поддержка

Email поддержка

Поддержка по телефону

24‐часовая поддержка

GoldSupport

SilverSupport

PlatinumSupport


Ценообразование

Решение: Talend MDM Enterprise Edition

Уровень поддержки: Gold

• Администратор – 15 000 EUR/год

• Внешняя система – 5 000 EUR/год

• Пользователь портала – 1000 EUR/год

• Пользователь портала (только чтение) – 0 EUR/год


Заказчики TalendФинансы и страхование

Услуги

Производство и торговля

Государственный сектор и образование


За кадром!

• Разработка и управление процессами изменения клиентских данных (workflow)

• Синхронизация данных между несколькими хранилищами клиентских данных

• Профилирование данных

• Профилирование исполнения работ


Спасибо за внимание!

• Максим ОСТАРХОВ

Директор по развитию бизнеса в СНГ

Тел.: +7 495 641 0206Моб.: + 7 915 400 8031E‐mail: [email protected]

Web: www.itransition.com

Documents

Itransition - Talend Master Data Management - Управление клиентскими данными