Itransition - Talend Master Data Management - Управление клиентскими...

Talend Data Quality. Управление клиентскими данными.

Talend Data QualityПлатформа управления клиентскими данными

Содержание

• О компаниях Talend и Itransition

• Области применения платформы решений Talend

• Варианты использования платформы Talend Data Quality

О компании Itransition

• 10 лет на рынке ИТ

• В штате компании более 600специалистов

• №1 по темпам роста в 2009 г. в России

• Престижные премии в сфере бизнеса и ИТ

• Сервисный партнер SAP

• Сертифицированный партнер Microsoft

• Партнер Rackspace, Broad Vision,NorthGate Arinso, Talend

MDM экспертиза

• Разработка обучающих тренингов для SAP AG “Acceptance Testing SAP MDM 5.5 SP03‐04”

• Централизованное ведение данных о сотрудниках KBC (Финансово‐страховая группа, Германия)

• Централизованное ведение НСИ Deutsche Bank (Германия).

• Централизованное ведение основных данных (ОЗМ, Поставщики, Клиенты, НСИ) Сургутнефтегаз.

О компании

• 5 лет на мировом рынке ИТ

• Показатели востребованостипродуктов:

– 10 миллионов загрузок за все время существования

– 450 000 пользователей

– 1 500 заказчиков

– 100 новых заказчиков в месяц

– 1 загрузка Talend Open Studio в минуту

Области применения решений Talend

Качество данных

Профилирование и очистка данных

Аналитика (ETL) Функциональная интеграция

Оперативный обмен данными между информационными системами.

Извлечение, преобразование и загрузка данных для систем, обеспечивающих принятие решений

Интеграция данных

Управление справочными данными

Talend Data Quality

• Варианты использования:– Управление справочной информацией

– Операционное использование

– Аналитическое использование

Управление справочнойинформацией

КОНСОЛИДАЦИЯ

ПОИСК ДУБЛИКАТОВ

СЛИЯНИЕ

ОБНОВЛЕНИЕ CDI

MDM‐CDI ХРАНИЛИЩЕ

ВЫБОРКА ОБНОВЛЕНИЙ

ДАННЫЕ

ЗАГРУЗКА ОБНОВЛЕНИЙ

Информационная система № 1

ВЫБОРКА ОБНОВЛЕНИЙ ДАННЫЕ

ПОЛЬЗОВАТЕЛЬ

Решаемые задачи

• Создание модели данных

• Организация доступа к модели данных пользователям

• Создание механизмов интеграции данных

• Создание механизмов контроля качества данных

Схема развертывания

TALENDMDM STUDIO

Data StewardshipConsole

Talend Web UI

Talend MDM Server

Модель и данные Метаданных проекта

Talend Administration Center

Activity Monitoring Console Admin Metadata

Administration& Monitoring

TIS Studio

Execution Server

Создание моделей данных

• Инструмент: Talend MDM Studio

• Возможности:– Проектирование модели данных

– Управление представлением данных

– Формирование правил контроля качества хранимых данных

– Организация доступа к данным

Модель данных

АДРЕС

ИНДЕНТИФИКАЦИОН‐НЫЙ ДОКУМЕНТ

ТЕЛЕФОННЫЙНОМЕР

ФИЗИЧЕСКИЙ АДРЕСЮРИДИЧЕСКИЙ АДРЕС

АДРЕС ДОСТАВКИ

МОБИЛЬНЫЙ ТЕЛЕФОНРАБОЧИЙ ТЕЛЕФОН

ФАКС

ПАСПОРТПРАВА

Библиотекатипов

Контейнер данных INSURANCE

Модель данных INSURANCE

Правила проверки данных

Типы данных

Безопасность

Логическая структура описывающая модель основных данных

Физическая область хранения данных

Контейнеры данных

Контейнер данных “Производство”

Правила проверки данных

Типы данных

Безопасность

Логическая структура описывающая модель основных данных

Физическая область хранения данных

Контейнер данных “Торговля”

Управление сущностями

СУЩНОСТЬ

КЛИЕНТ

АТРИБУТ

НОМЕР ПАСПОРТА

АННОТАЦИЯ

Повторное использование (Типизация)

Типизация

Возможности

Управление отображениемУправление доступСвязывание сущностейПроверка вводимых данных

Простые типы

Сложные типы

АННОТАЦИЯ

Аннотации, управление отображением

Дата рождения* 1977 – 01 – 09

Управление форматомизображения

9 Января 1977 г.

Место рождения:

Пол: Муж. Жен.

Управление описаниемполя

Дата рождения клиентафизического лица

Управление названиемполя

Дата рождения

Управление сообщениямиоб ошибкахОбязательное поле

Аннотации, управление отображением

Birthday* 1977 – 01 – 09

Управление форматомизображения

9 Jan 1977 г.

Место рождения:

Пол: Муж. Жен.

Управление описаниемполя

Client birthday

Управление названиемполя

Birthday

Управление сообщениямиоб ошибкахMandatory field

Аннотации, связывание сущностей

Телефон

ИДЕНТИФИКАТОР 10

ТЕЛЕФОННЫЙ КОД СТРАНЫ 7

ТЕЛЕФОНННЫЙ КОД ГОРОДА 495

ТЕЛЕФОННЫЙ НОМЕР 758‐13‐12

ТИП ТЕЛЕФОННОГО НОМЕРА МОБИЛЬНЫЙ

АТРИБУТЫ ЗНАЧЕНИЯАТРИБУТЫЗНАЧЕНИЯ

ТЕЛЕФОННЫЙНОМЕР

Отображаемое значение

7 – 495 – 758 – 13 – 12

Клиент

Аннотации, управление доступом

Имя

Отчество

Фамилия

Пол

Паспорт

Телефон

Адрес

Номер

Дата

Продукт

Сумма

ОБЛАСТЬИЗМЕНЕНИЯ

КЛИЕНТ ДОГОВОР КАНАЛ ПРОДАЖ

ОБЛАСТЬ ВИДИМОСТИ

Тип

Менеджер

Аннотации, контроль ввода

Клиент

Паспорт серия: 112342

Адрес: Москва, ул. Ленина, 12

Паспорт номер: 123456

E‐mail: me@me.com

Проверка соответствиятребованиям форматасерии паспорта

Проверка соответствиятребованиям форматаномера паспорта

Проверка наличиязаполненных данных

Проверка правильности заполнения E‐mail

Управление ролями

РОЛЬ 1

РОЛЬ 2

РОЛЬ …

Сущности

Представления

Действия

АтрибутыКлиенты

Ограниченный набор клиентов

Базовые роли

Разработка механизмов интеграций данных

Разработка механизмов контроля качества данных

Разработка модели данных

Работа с основными данными используя API

Работа с данными через портал

Просмотр данных через портал

АДМИНИСТРАТОР

ВНЕШНИЕ СИСТЕМЫ

ПОЛЬЗОВАТЕЛЬ ПОРТАЛАЛ

ИЦЕН

ЗИРУ

ЕМАЯ ДЕЯ

ТЕЛЬН

ОСТ

Демонстрация

• Возможности Talend MDM Studio по работе с моделями данных:– Сущности

– Атрибуты

– Аннотации

– Роли

Организация доступа к данными

• Инструмент: Talend Web UI (портал)

• Возможности:

– Создание, редактирование, удаление клиентских данных

– Работа с иерархиями записей о клиентах

– Управление пользователями

Ограничение набора

доступных записей

Представления

Сегмент

ОСАГО

ДМС

КАСКО

ОСАГО

Ф.И.О.

Иванов И.И.

Петров П.П.

Сидоров И.И.

Смирнов С.С.

Контактное лицо

Сидоров С.С.

Смирнов И.И.

Петров П.П.

Иванов И.И.

+7 916 4008031

Телефон

+7 916 8004031

+7 916 3104080

+7 916 8104031

Атрибуты, входящие в результаты поиска

Атрибуты,входящие в условия поиска

Иерархии, группировки

Физические лица

ОСАГО

Иванов Иван Иванович

Сидоров Сергей Сергеевич

Ф.И.О. Сегмент

Иванов ИванИванович

Петров Петр Петрович

Смирнов Иван Иванович

Сидоров Сергей Сергеевич

ОСАГО

ДМС

КАСКО

ОСАГО

ДМС

КАСКО

Смирнов Иван Иванович

Иерархии, взаимосвязи

Физические лица

Иванов И.И.

Петров П.П.

Иванов И.И.

Ф.И.О. Контактное лицо

Иванов И.И.

Петров П.П.

Сидоров И.И.

Смирнов С.С.

Петров П.П.

Иванов И.И.

Петров П.П.

Управление пользователями

Администраторы

Идентификатор

Имя

Фамилия

E‐mail

СтатусПользователи

портала

Дополнительнонастраиваемые

роли

Внешниесистемы

ИЛИ

• Демонстрация Talend MDM Studio:– Работа с представлениями

• Демонстрация портала по работе с клиентскими данными Web UI:– Просмотр данных

– Иерархии

– Пользователи

СЛИЯНИЕ

ДАННЫЕ

Создание механизмов интеграции данных

• Инструмент: Talend MDM Studio

• Возможности:– Разработка механизмов выборки данных из операционных систем

– Разработка механизмов трансформации данных

– Разработка механизмов загрузки данных в MDM‐CDI хранилище

Механизмы интеграции и контроля качества

Работа Talend

Компонент

Работа

Компонент Joblet

Вход

Выход

Компоненты

Более чем 450 доступных компонентов

60% разработаны сообществом пользователей Talend

Доступны в бесплатной версии

Проверены и поддерживаются Talend

Принцип организации обмена данными

Имя

Фамилия

Отчество

Пол

Адрес

Паспорт

ФИО

Адрес

Паспорт

Модель хранения данных в операционных системах

Имя

Отчество

Фамилия

Пол

Паспорт

Адрес

Транспортная модельКод Имени

Код Отчества

Код Фамилии

Серия Паспорта

Номер Паспорта

Код Адреса

Модель хранения в CDI‐хранилище

Справочникимен

Справочник отчеств

Справочник фамилий

Справочник адресов

Выборка данных из источников

ТАБЛИЦА ИЗМЕНЕНИЙ

Изменение 1

Транспортнаямодель

Информационнаясистема

Клиенты

Издатель

Издательи подписчик

Захватизменений

ОтправкаИзменений

(Push)

Триггеры

Чтение изменений

(Push)

Подписчик

Change Data Capturing (CDC)

Компонентt Map

Преобразование моделей

ФИО

ПОЛ

ДАТА РОЖДЕНИЯ

Мужской

01.01.1980

ИМЯ

ОТЧЕСТВО

ФАМИЛИЯ

Петр

Петрович

ПОЛ

ДАТА РОЖДЕНИЯ 01.01.1980

Петров

Дата рождения после 1970г.

ФИО

ДАТА РОЖДЕНИЯ

ПОЛ

Разделение поля

Транспортная модельМодель хранения в

информационной системе

Преобразование формата

Отклоненные данные

(Дата рождения до 1970 г.)

Фильтрация данных

Преобразование моделей

ИМЯ

ФАМИЛИЯ

ОТЧЕСТВО

КОД

ИМЯ

Петр

КОД

ОТЧЕСТВО

Петрович

КОД

ФАМИЛИЯ

Петров

КОД Имени

КОД Фамилии

КОД Отчества

Петр

Петров

Петрович

ИМЯ

ОТЧЕСТВО

ФАМИЛИЯПЕР

ЕСЕЧ

ЕНИЕ ДАННЫХ

Записине

обнаруженныев справочниках

Компонентt Map

Транспортная модель Модель хранения в CDI‐хранилище

Справочники CDI

Работа с данными в MDM

Запись данных в MDM

Чтение данных из MDM

Удаление данных из MDM

Поиск данных в MDM

Получение измененных данных в MDM

Портал (TalendWeb UI)

КОННЕКТОРЫ

СЕРВИСНЫЙ УРОВЕНЬ

ХРАНИЛИЩЕ Всего 8 компонентов

Информационная система 1

“Родословная” данных

ИДЕНТИФИКАТОР

ИМЯ ОТЧЕСТВО ФАМИЛИЯ

Иван Иванович Иванов

ФИО

Иванов Иван Иванович

CDI Хранилище

Информационная система 2

ИМЯ ОТЧЕСТВО ФАМИЛИЯ

Иван Иванович Иванов

Идентификатор CDI

Идентификатор UCI

Идентификатор UC2

Перекодировочнаятаблица

Имя

Фамилия

Отчество

Пол

Адрес

Паспорт

ФИО

Адрес

Паспорт

Имя

Отчество

Фамилия

Пол

Паспорт

Адрес

Транспортная модельКод Имени

Код Адреса

• Демонстрация интеграционных работ:– Выборка изменений (СDС)

– Преобразование данных в транспортный формат

– Работа с CDI‐хранилищем

Имя

Фамилия

Отчество

Пол

Адрес

Паспорт

ФИО

Адрес

Паспорт

Имя

Отчество

Фамилия

Пол

Паспорт

Адрес

Транспортная модель

Код Имени

Код Адреса

Триггер 1Триггер 2Триггер 3Триггер 4Триггер 5

Выборка данных из MDM

Работа Talend

Модельданных

Изменение данных

ХРАНИЛИЩЕ

TalendWeb UI

Триггеры

МЕНЕДЖЕР СОБЫТИЙ СЕРВИСНЫЙ УРОВЕНЬ

Процесс

Шаг 1Шаг 2Шаг 3

Интеграция

Контроль качества

Оповещение

Workflow

Измененные данные в транспортном

формате

Имя

Отчество

Фамилия

Пол

Паспорт

Адрес

MDM‐ID

DB‐ID

• Демонстрация активной модели данных– Активная модель данных (триггеры в MDM)

– Варианты использования триггеров.

СЛИЯНИЕ

ДАННЫЕ

Контроль качества данных

Имя

Отчество

Фамилия

Пол

Паспорт

Проверка полноты и корректности данных

Проверка наличия дубликатов

Если необходимо подключить Data Stewards

Код Имени

Код Адреса

Справочники

Проверка корректности данных

Имя

Отчество

Фамилия

Адрес

Код Имени

Код Адреса

Модель храненияв CDI

КомпонентtRecordMatcher

Нормативно‐справочная информация

ИменаКодИмя

ОтчестваКодОтчество

ФамилииКодФамилия

АдресаКодАдрес

Масква = Москва

Алгоритм поиска дубликатов

Идентифицирующие атрибуты

Код имени

Код отчества

Фамилия

Паспорт

Методсравнения

Точно

Ливенштейн

Весовой коэффициент

Петров

1234 56789 10

CDI хранилище

Питров

1234 56789 10

Дистанция

1 ( Дистанция х Весовой коэффициент )

∑11Весовой коэффициент

Компонент tRecordМatcher

Результатсравнения

10*1+10*1+0,89*15+20*1

10+10+15+20= 0,97

Нижний порог 0,75

Верхний порог 0,950,97

Дубликат

НовыйРЕЗУЛЬТАТ

Дубликат

Процесс надзора за данными

Работа Talend

Data Steward

ОБНАРУЖЕНИЕ НЕКАЧЕСТВЕННЫХ

ДАННЫХ

СОЗДАНИЕ ЗАДАЧИ В DSC

НАЗНАЧЕНИЕ ЗАДАЧИ В DSC

НА ИСПОЛНИТЕЛЯ

ВЫПОЛНЕНИЕ ЗАДАЧИ

Консоль надзора за данными (DSC)

ОТПРАВКА ДАННЫХ В СИСТЕМУ

ПОЛУЧАТЕЛЬ

Консоль надзора за данными

ЗАДАЧА

Приоритет

(Star)Статус

НоваяРешенияЗаблокированная

ИсполнительДействия выполненные над задачами:• Поиск• Разделение

Категория (Tags)

ДубликатПолнота

Принцип работы консоли

Атрибуты

Имя

Отчество

Фамилия

Паспорт

Операционная система 1

Иван

Ивнович

Ивoнов

1234 567891

CDIхранилище Результат

Иван

Иванович

Иванов

1234 567891

Иван

Иванович

Иванов

1234 567891

Исходные данные Решение принятоеData Steward

• Демонстрация работ выполняющих проверку качества данных

• Демонстрация консоли надзора за данными (DSC)

СЛИЯНИЕ

ДАННЫЕ

• Демонстрация сквозного примера:– Создание данных в операционных системах.

– Проверка качества данных

– Добавление или редактирование данных в CDI‐хранилище

– Использование консоли надзора за данными

– Сообщение операционным системам глобального идентификатора

Операционное использование

Информационная система

Потребитель/Поставщик

Отправка клиентских данных

Серв

исы раб

оты с кли

ентски

данн

ыми

Получение клиентских данных

Работа Talend Системы работы с основными данными

Проверка качества данных

Выполнение процесса надзора

за данными

Загрузка данных в хранилище

Чтение данных из хранилища

Веб‐портал(Talend Web UI)

Консоль надзора за данными

Организация сервисного слоя

TalendAdministrator

TalendMDM Studio

Веб‐Сервис 1

Администратор

Разработчик

Репозитарий работ SOA Manager

Управление версиями

Версия [HEAD]

Элементы Меню

Роли

Триггеры

Данные

Данные и метаданные принадлежат версии [HEAD]

Головная версия метаданных и данных

Версия [Финансы 1.0.]

Модель данных [HEAD]

Элементы Меню [HEAD]

Роли [HEAD]

Триггеры [Финансы 1.0.]

Данные [HEAD]

Все кроме Триггеров используется из версии [HEAD]

Версия для работы отдельной группы пользователей

Управление версиями

Продукты

Пластиковые карты

Каталог продуктов

Каталог версий

Каталог продуктов 1.0.

Каталог продуктов N.N.

Каталог версий

Пластиковые карты 1.0.

Пластиковые карты N.N.

Репозиторий версий метаданных и

данныхСохранение

версии

Восстановлениеверсии

Требования к оборудованию

TALENDMDM STUDIO

Talend MDM Server

База клиентских данных

Метаданные проектов (SVN)

Talend Administration Center (TAC)

Activity Monitoring Console(журнал выполнения работ)

Метаданные (TAC)

TIS Studio

Сервер работ

RAM: 4 GBHDD: 100 GB

RAM: > 4 GBHDD: 100 GB

RAM: >4 GBHDD: 100 GB

RAM: 4 GBHDD: 10 GB

Варианты поддержки решения

Доступ к сертифицированной версии

Автоматическое обновление

Доступ к системе отслеживания ошибок

Поддержка на форуме

Гарантированное время ответа

Гарантированное время диагностики

Неограниченное количество обращений по проблемам

Web поддержка

Email поддержка

Поддержка по телефону

24‐часовая поддержка

GoldSupport

SilverSupport

PlatinumSupport

Ценообразование

Решение: Talend MDM Enterprise Edition

Уровень поддержки: Gold

• Администратор – 15 000 EUR/год

• Внешняя система – 5 000 EUR/год

• Пользователь портала – 1000 EUR/год

• Пользователь портала (только чтение) – 0 EUR/год

Заказчики TalendФинансы и страхование

Услуги

Производство и торговля

Государственный сектор и образование

За кадром!

• Разработка и управление процессами изменения клиентских данных (workflow)

• Синхронизация данных между несколькими хранилищами клиентских данных

• Профилирование данных

• Профилирование исполнения работ

Спасибо за внимание!

• Максим ОСТАРХОВ

Директор по развитию бизнеса в СНГ

Тел.: +7 495 641 0206Моб.: + 7 915 400 8031E‐mail: m.ostarhov@itransition.com

Web: www.itransition.com

Itransition - Talend Master Data Management - Управление клиентскими...

Documents

управление мастер данными

Talend ESB Container - Administration Guidedocs.huihoo.com/talend/5/esb/Talend_ESB_Container_AG_5.2.1_EN.pdf · Talend ESB Container Administration Guide Chapter 1. Introduction Talend

Обмен данными между системами КОМПАС-3D и AutoCAD · Инструкция. Обмен данными между системами КОМПАС3D

Справка Syncteam - Управление данными

Talend ESB Development Guide - Talend Real-Time Open

Itransition for eCommerce

УПРАВЛЕНИЕ ИНЖЕНЕРНЫМИ ДАННЫМИ

Itransition at a glance 2011

Д.Афанасьев_ CleverDATA_Охота за данными

Itransition Mobile Development Department

Города, управляемые данными

BridgeWorX — сервер автоматического обмена данными · рическими данными и серверами тре вог), webсервисами

Управление данными (модели данных)

Talend connect BE Vincent Harcq - Talend ESB - DI

Itransition Channel Partner Program (ICPP)

Itransition About Company

© Talend 20141 Talend Application Integration Presales Presentation

Talend Basics

ВСТРОЕННОЕ УПРАВЛЕНИЕ ДАННЫМИ В SOLID EDGE · данными, и количеством элементов в изделиях. Неэффективное

Itransition - engineering document management