Talksum dec2013 rus_generic

1 Confidential Information of Talksum, Inc.

Talksum Data Stream Router™

Новый подход к работе с большими данными


Для работы с Большими Данными требуются не только новые системы хранения и системы бизнес-аналитики (BI). Необходим современный подход к архитектуре и управлению данными.

• Проблема: Тяжело одновременно справляться с нарастающими объемами данных и реагировать на меняющиеся требования к этим данным.

• Сложность решения: Разнообразные источники генерируют огромные массивы информации; данные быстро устаревают; часто имеет смысл ограничиться сохранением только явных аномалий данных; во многих случаях можно урезать данные без потери информации; доступные решения для Больших Данных требуют специальных технических навыков.

• Стоимость решения: Расходы на обработку данных (персонал, время,инфраструктура) быстро растут, делая традиционные решения обработки данных непозволительно дорогими.

Проблемы работы с большими данными


Новый, современный подход к управлению данными и аналитике с акцентом на скорость, простоту, экономичность

• Скорость: Решение обслуживает текущие и будущие инициативы Big Data в реальном времени, оптимизирует инфраструктуру Больших Данных.

• Простота: Упрощение процесса управления данными. Данные легко отслеживать, анализировать и маршрутизировать в реальном времени, одновременно снижая затраты на сбор данных, ETL и интеграцию.

• Экономичность: Высокоэффективное решение, требующее минимальных ресурсов, а значит иснижающее затраты.

Решение Talksum


Скорость | Простота | Эффективность

Принцип работы Talksum Data Stream Router

Intake • Transform• Filter• Data Reduce• Monitor/Alert• Aggregate• Enrich• Analyze• Route

Store


Обработка данных

Real -TimeOper at ions

Moni t or ing & Al er t s

Dat a Cache

SQL Dat aWar ehouse

Hadoop

Ext er nal St or age

NoSQL

Remot eSi t es

BI Tool s

Anal yt ic Apps

Thir d Par t y API

Device

AWS

Transform

Filter

Aggregate

Count

Reduce

Talksum Data Processor&Router

Syst em Logs

App Dat a

Device St at s

Ot herDat a

Device St at s


Talksum Data Stream Router – Маршрутизатор Данных

Apache Common Logging – FilesSNMP - UDP

Unix Logs – RFC3164 UDP/TCPNetflow – UDP – NG v.5, 8, 9, 10

Patient Records (HL7) XML/ASN.1Transportation (BSM) SAE J2735

I2C, CAN, SNMP, Serial

XML, JSON, File, HTTP REST

Twitter, RSS, CAP (Weather Alerts)

Refined Data Stream

Refined Data Stream

Refined Data Stream

Indexed, Mapped, ReducedOrdered, Sorted Data Streams

Bulk Data Streams(Lightly Ordered

and Filtered)

TalksumData Stream

Router(TDSR)

• Нормализацияданных

• СинтаксическийАнализ

• Фильтры• Метрики и

Счетчики• ETL/PTL

без сохранения• Выходные потоки

асинхронны• Верификация

Протокола

Клиент A:Суммированные данные

Системныелоги

Прикладныеданные

Данныесенсоров и телематики

Данные извнеB2B/M2M

Соцсетии доступные

данные

Клиент B:Агрегированные данные

Клиент C:Динамический Поток

Логиприложений

• SQL Warehouse• Bulk Data Stores• File Storage

• Object Data Stores• Indexed Data Caches• NoSQL Data

Warehouses


Talksum Data Stream Router реализует новый подход к управлению данными и аналитике

1. Транслирует входные данные в реальном времени…

2. …конвертируя в гибко управляемые потоки данных

3. …фильтруя и маршрутизируя по контенту

4. …и по корреляции событий из разных доменов

5. …продолжая пополнять существующие системы хранения и бизнес аналитики.

Talksum Data Stream Router


• Транспортные протоколы (TCP, UDP, PGM)

• Прикладные (Application) протоколы (HTTP, RFC3164, SNMP, ZeroMQ)

• Форматы сериализации (JSON, BSON, ASN.1, Protobuf, MessagePack)

• API Анализатора (Parser API) позволяет легко создавать синтаксические анализаторы для сообщений прикладного уровня

• Расширенные возможности управления – чтобы упростить добавление логики

• Цель – конвертация данных, приходящих в разнообразных форматах, разными способами транспорта, в потоки данных

Вход – Логика транспорта протоколов


• Техники Filter, Pivot, и Мap Reduction применяются «на лету», без промежуточного сохранения

• Фильтрация по значению, контексту, состоянию

• Сложная фильтрация нескольких потоков

• Функции Гистограммы для сжатия и сокращения размеров данных

Фильтрация, Маршрутизация, Агрегация


• “Realtime ETL” для различных потоков данных

• Создание новых сообщений, созданных из свойств существующих сообщений и статического текста

• Создание SQL команд для вывода во внешние реляционные БД

• Генерация «атомных» инкрементных команд MongoDB для простых агрегаций

• Генерация сообщений Redis

Трансформация


• MongoDB

• Redis

• Elasticsearch

• HDFS

• PostgreSQL

• MySQL

• REST API

Выход

• Маршрутизация через параллельные каналы для максимизации пропускной способности

• Создание сообщений из любых доступных атрибутов

• Детальные метрики для каждого маршрута


Вопросы?

Дмитрий Артемьев

[email protected]

+7 985 7746502

mailto:[email protected]

Technology

Talksum dec2013 rus_generic