Управление тестовыми средами и деперсонализация данных

© 2011 IBM Corporation

WebSphere

Управление тестовыми средами и деперсонализация данных

IBM InfoSphere Optim Data Privacy

Юрий Кочубеев, IBM SWG [email protected]


Содержание

Почему решение IBM InfoSphere Optim?

Проблема: Недостатки обычных стратегий подготовки тестовых сред

Решение: Эффективный процесс управления тестовыми средами

Создание тестовых данных и маскирование

Функция сравнения для контроля качества и аудита маскирования


Почему решение IBM InfoSphere Optim?

– Лидер рынка согласно отчёту Gartner (76%)

– Более 2,500+ заказчиков в мире

– Решение для больших компаний – гетерогенное, маштабируемое,

гибкое, низкая стоимость обслуживания. Поддержка основных СУБД

(LUW и систем Z)

– Интеграция с другими IBM продуктами: поиск связей данных(InfoSphere

Discovery), archiving, content management, data transformation, data

viewing, database security management, и т.п.


Information Governance

Разработка и Тестирование

Проверка результатов

тестирования

Методики управления данными на протяжении их жизненного цикла

Выявление и определение

Оптимизация, архивирование и доступ

Консолидация выведение неактуальных данных

Определение политик

Доступ к архивным данным

Обеспечение сохранности

неактуальных данных

Создание и обновление

тестовых данных

Разработка структуры

Управление ростом данных

Улучшение производительно

сти

Выведение неактивных данных из опреативной

работы

Классификация и определение

структуры данных

Обнаружение данных


Проблемы возникающие при неправильном подходе к организации тестовых сред

Самодельные «Лоскутные» решения не являются эффективными:

– Длительные циклы разработки

– Необходимо выделение персонала

– Постоянное обслуживание

– Обычно «заточено» под одну конкретную задачу

Невозможно полноценно отслеживать все взаимосвязи в постоянно

изменяющемся продуктивном окружении

Сложно обеспечить подготовку тестовых данных в срок (DBA и разработчики

далеко не всегда имеют одинаковые интересы)

Простое клонирование продуктива приводит созданию огромной

избыточности:

– Существенно повышается требование к подсистеме хранения

– Создание клонов очень длительный процесс

– Каждое создание клона это проявление «Героизма» - трудно тиражируется

Клоны никак не решают проблемы деперсонализации данных

Develop & Test


Решение Optim Test Data Management

Быстрое и качественное внедрение новой функциональности

Простое обновление и управление информацией в тестовых средах

Снижение стоимости хранения и поддержки

Создание ссылочно целостных усеченных копий тестовых баз

Автоматически выявлять ошибки в результатах тестирования

Сократить время итераций тестирования для ускорения выхода на рынок

Требования

Преимущества

Создание тестовых сред ОПТИМАЛЬНОГО размера

Develop & Test


Test Data Management (TDM): Что и Почему?

Что? Почему? TDM подразумевает управление данными

используемыми в тестовых и других не

продуктивных окружениях

Ваша компания сможет внедрять

нововведения/улучшения быстрее, не

сталкиваясь с проблемами качества – позволяет повысить выручку

Выделение специализированных

подмножеств данных, предназначенных

именно для работы тестируемой

функциональности

Ваша компания сможет использовать IT

ресурсы более эффективно – Снижение издержек

Деперсонализация (маскирование) данных

для обеспечения безопасности и

приватности Ваша компания сможет безопасно

внедрять новые версии

информационных систем – Обеспечит хороший имидж компании перед

клиентами

Сравнение тестовых данных “До” и “После”


IBM InfoSphere Optim Solutions Управление жизненым циклом данных в гетерогенной среде СУБД

Создание специализированных

облегченных, тестовых окружений

Замена секретной информации

функционально идентичной и

контекстно зависимой

Простое обновление, возврат в

исходное состояние и управление

тестовыми окружениями

Сравнение наборов данных для

быстрого выявления ошибок в

приложениях

Ускорить сроки выпуска релизов


Обеспечение приватности данных

Организации нуждаются в деперсонализации, маскировке и подмене критических данных

Организации могут обеспечивать КОНТРОЛИРУЕМЫЙ процесс деперсонализации для устранения утечек, и возможности ДОКАЗЫВАТЬ невозможность утечки.

Все этапы деперсонализации сохраняются в системе для анализа того насколько качественно было произведено сокрытие данных, например для прохождения аудита на соответствие стандартам безопасности


InfoSphere Optim Test Data Management Define masking criteria

Маскировать или деперсонализовать критически важные данные, которые

могут быть использованы для удостоверения личности

Гарантировать что маскированные данные связаны с контекстом, и таким

образом не препятствуют процессу тестирования:

• Данные реалистичны, но при этом «Вымышлены»

• Маскированные данные при этом удовлетворяют наложенным

ограничениям (Диапазон, контрольные суммы для банковских счетов)

Обеспечена ссылочная целостность маскированных элементов чтобы не

препятствовать тестированию

АЛЕКСЕЙ ТОЛСОТОЙ КОЗЬМА ПРУТКОВ

Develop & Test


Маскирование с сохранением ссылочной целостности

Cust ID Item # Order Date

27645 80-2382 20 June 2004

27645 86-4538 10 October 2005

Таблица «Клиенты»

Таблица «Заказы»

Cust ID Name Street

08054 Alice Bennett 2 Park Blvd

19101 Carl Davis 258 Main

27645 Elliot Flynn 96 Avenue

Исходные данные

Cust ID Item # Order Date

10002 80-2382 20 June 2004

10002 86-4538 10 October 2005

Cust ID Name Street

10000 Auguste Renoir Mars23

10001 Claude Monet Venus24

10002 Pablo Picasso Saturn25

Деперсонализованные данные

Обеспечена ссылочная целостность

Таблица «Клиенты»

Таблица «Заказы»


Решение: эффективный процесс управления тестовыми данными

1. Extract(создание подмножества)

2. Convert(обезличивание)

3. Compare(сравнение)

4. Insert/Load(создание тестов)

Convert(обезличивание)

5. Edit (качество данных)

6. Extract(создания оригинала)

7. Test(тестирование)

8. Compare(анализ и

подтверждение тестов)


Создание подмножества тестовых данных

Создание подмножества данных с соблюдением ссылочной целостностии

Обезличивание данных для защиты кофиденциальности

Возможность вставки данных в другую базу данных в том числе гетерогенную

Применяется для создания баз данных для тестирования, обучения и аутсорсинга


Создание подмножества тестовых данных

Develop & Test

Методы определения

подмножества

– Ручной выбор строк в

редакторе

– Выборка SQL

– Каждая н-нная строка

– Ограничение по

количеству строк в

таблице

– Лимит по foreign key

– Группировки


Ручной выбор строк в редакторе

Выбор отдельных

строк из стартовой

таблицы

Сохранение списка

строк

Функция JOIN для

просмотра

связанных строк


Загрузка тестовых данных

Модель данных и целевая СУБД могут быть изменены

Определения объектов используются для создания новых таблиц

Файл источник данных остаётся не изменным

Создание тестовых данных можно запускать сразу или отложить


Загрузка данных нативными методами (Load)

Трансформация данных под индивидульный нативный загрузчик СУБД

Генерация соответствующего файла данных для каждой таблицы

Генерация SQL/BAT файла для загрузчика СУБД


Сравнение загрузки(load) данных и вставки(insert)

Загрузка данных осуществляется гараздо быстрее

Ссылочная целостность может ограничивать возможность вставки всех

данных

Загрузчики ограничивают доступ пользователей; Вставка данных оставляет

базу данных доступной

Загрузчик может вставить или заменить существующие данные

Вставка позволяет сделать Update/Insert в одной ступени


Качество данных, редактирование

Просмотр тестовой базы данных на проверку качества данных в

реляционном контексте

Создание условий для тестирования

Инспектирование и корректирование проблемных данных

Единое средство для всех вендоров СУБД


Сравнение

Сравнение ссылочно целостных подмножеств данных в одном окне

Определение разницы между базами данных

Сравнение результатов до и после тестирования приложений в

регрессированном тестировании

Сравнение данных до и после с помощью обезличинного файла для целей

аудита маскирования


Объектная модель сравнения


Маскирование

Защита конфиденциальных данных для систем тестирования, обучения и

разработки

Встроенные контекстные функции маскирования

LUA скрипты для создания собственных функций маскирования (БИК, ИНН)

Запускается как отдельный процесс или как часть

вставки/загрузки(Insert/Load)


Компоненты маскирования


Редактор маскирования

Колоночные функции

Стадия маскирования:

– Отдельно

– Insert/Load

Сравнение результатов

(Аудит маскирования)

Заполнение тестовой

среды


Маскирование с «пропогацией»

Соблюдение ссылочной целосности с пропогацией ключа


Справочные функции

Keyed Lookup

Random Lookup

Hash Lookup

Стандартные справочники

Пользовательские справочники

LOOKUP(STATE,STATE_LOOKUP(CODE,NAME))

RAND_LOOKUP(CUSTOMERS,STATE,500)

HASH_LOOKUP(ADDRESS,DEST=(ADDRESS,CITY)

,OPTIM.US_ADDRESSES(SEQ,SOURCE=(ADDRES

S1,CITY)))


Контекстное маскирование

Социальные карты

Номера банковских карт

Email адреса


Примеры функций


Встроенный язык Optim LUA

Optim LUA позволяет создавать собственные функций маскирования

например для БИК или ИНН

Простой интерфейс с языком С


Пример формата структуры языка Optim LUA


Приемущества Оптим

Извлечение подмножества данных из гетерогенной среды соблюдая

ссылочную целостность

Единый набор объектно направленных интегрированных инструментов для

всех операций Маскирования: Discover, Extract, Edit, Compare, Create,

Refresh

Мощные и полноценные инструменты поиска объектов: App. Repository

Analyzer и InfoSphere Discovery

Маскирование данных в гетерогенной среде с соблюдением ссылочной

целостности

Быстрое обновление тестовых данных по запросу не касаясь боевой базы

Коннекторы приложений: SAP, OEBS, PeopleSoft, JD Edwards, Siebel,

AMDOCS. Нативная поддержка Z.

Software

Управление тестовыми средами и деперсонализация данных