30
Apama 소개 Technical Architecture

Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama 소개Technical Architecture

Page 2: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

새로운 비즈니스 모델

비즈니스가더 스마트해

지려면?

지금 어떤일이

벌어지고있는가?

새로운 비즈니스 모델은 transactions와 analytics의 실시간 연결을 요구합니다.

Page 3: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

인텔리젼트 액션을 (인텔리젼스 + 자동화된 액션)

빅 데이터에서 (저장 데이터 및 라이브 데이터)

즉각적으로 (비즈니스 스피드/실시간)

어디에서나 (모바일, 웹, POS, 센서, 사물…)

Gather

Store

Pattern

Analyze

Share

Act

Filter

Use

Apama

Apama는 라이브 빅 데이터에 즉각적인 액션을 위한 확장이 가능한 인-메모리플랫폼 입니다.

Page 4: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

CloudHadoop

People &

devices

RDBMS &Data

warehouse

Social & feeds

System alerts andactions

실시간 인텔리전스와 액션의 연계

고객은 상호 연계된 넓은 범위의 채널간에 실시간 인텔리전스와 액션을 원합니다.

Page 5: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Cloud

People &

devices

RDBMS &data

warehouse

Social & feeds

System alerts,

sensors, and

machines

Universal Messaging

Hadoop

Universal

Messaging

Universal Messaging은 어떤 채널에서든 쉽게 스트리밍 데이터나 기타 데이터를받아들이도록 합니다.

Page 6: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

RDBMS

Cloud

People &

devices

RDBMS &data

warehouse

Social & feeds

Big Memory

System alerts,

sensors, and

machines

Hadoop

Universal

Messaging

Big Memory

Big Memory를 통해 모든 데이터가 RAM에 저장되어 초고속 액세스와 분석을가능하게 합니다.

Page 7: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

RDBMS

Cloud

People &

devices

RDBMS &data

warehouse

Social & feeds

System alerts,

sensors, and

machines

Hadoop

Universal

Messaging

Apama

Big Memory

Apama

Apama를 통해 이벤트가 발생하는 시점에 액션을 취할 수 있습니다.

Page 8: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama 비전 : 기업이 “인텔리전트한 운영”을 하도록 합니다.

실시간 데이터의 홍수에서 가치를 즉시 추출합니다.

더 나은고객 경험

적절한타임에 오퍼와

트레이드

사기 방지 및위험 감소

효율성강화

규정준수유지

Big Data in Motion

Operational Intelligence

Business Value

실시간 분석

복잡한 이벤트프로세싱

Apama

비즈니스유저의 참여

적극적인의사결정 및 액션

지속적비즈니스시각화

발생하는 즉시 기회와 문제를 감지

가장 효과적일 때 혹은 최적 비용으로 대응

진행중인 (in-flight) 오퍼레이션의 지속적 최적화

소셜 미디어이벤트

파이낸셜 및트레이딩이벤트

모바일 & 위치기반이벤트

클라우드 및SaaS앱 이벤트

비즈니스프로세스 및

시스템 이벤트

$£€

¥

Page 9: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama : 유니크한 엔진, 툴 및 시각화된 분석이 가능한 완전한 이벤트 프로세싱 플랫폼

통일된

생산성 도구

Correlator:

Apama 런-

타임 엔진

Live 및 Static

데이터

시스템과

통합

실시간 아웃풋스트림을 Apama의실시간 인터랙티브

대시보드 혹은 다양한형태의 외부

시스템으로 전달

데이터 소스, 싱크,

라이브러리와통합

Cache 통합

개발자와 비즈니스애널리스트를 위한풍부하고 직관적인

개발환경

분석, 패턴 및어플리케이션을

코릴레이터에 적용

확장가능한, 하이-퍼포먼스“코릴레이터”

Page 10: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama : 유연하고 다이내믹한 모델

• 코릴레이터는 Apama 어플리케이션의 “컨테이너“ 입니다

• 다른 실행 중인 어플리케이션에 아무런 영향 없이 어플리케이션을 실행 중에 추가하거나 다이내믹하게 제거

• 코릴레이터에 추가된 프로그램은 명확하게(transparently) 구분됩니다:

• 이벤트 패턴

HyperTree, Temporal Sequencer 및 Stream Processor 설정 사용

이벤트 패턴을 계획에 따라 (programmatically) 다이내믹하게 수정

Apama 는 데이터가 아닌 쿼리를 인덱스 함

• 액션 로직

이벤트 패턴이 매칭될 경우 실행

아웃풋 이벤트를 포함하여 어떤 임의의 오퍼레이션도 가능

Receive LoadIndex

Trigger Query Receive QueryIndexIndexIndex versus

Traditional Apama

Page 11: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Hypertree

Temporal

Sequencer

Stream

Processor

Java VM

EPL (Machine Code)

Apama 코릴레이터 : 특허를 기반으로 한 독보적 기술

스탠다드 Java 로어플리케이션

기록

스트리밍 분석을 위한이벤트의 다이내믹

윈도우

EPL어플리케이션은고도로 최적화된머신 코드처럼

실행됨

최대 성능을 위한인-메모리 상태

유지 (Cache도 동일)

Micro-Scheduler가 CPU

코어 사용을극대화

실시간 이벤트의 대수비례축소 매칭 및 부분 평가를통한 효율적인 프로세싱

Boolean, Temporal & Location 로직

연산자

State (In-memory & Cache)

Page 12: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama : 복잡한 이벤트 프로세싱과 스트림 프로세싱 지원

Transaction

Customer

Amount

Location

고객

출금액

ID

>천만원

고객

조치

ID

Close

Transaction Account

사기가능성?

1일

하루에 천만원 이상출금하는 거래가발생하는 경우

이벤트 발생

on Transaction (customer = ID, amount > 1000) followed-by

___Account (customer = ID, Action = ‘Close’) within (1 * DAY)

복잡한 이벤트 프로세싱 – 이벤트 사이의 시간적, 논리적, 공간적 특성 및 관계가새로운 기회 및 위협 등의 비즈니스 패턴을 나타낼 수 있습니다.

Page 13: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Customer ID

Transaction

Apama : 복잡한 이벤트 프로세싱과 스트림 프로세싱 지원

평균 결제금액

해당 고객의 평균 2분단위로 이동하는 모든

결제건을 산출

Average(payment)

2 Minutes

from t in Transaction (customer = ID) within (2 * MINUTE)

__select avg (t.payment)

스트리밍 분석 – 특정 쿼리에 맞춰 시간의 흐름에 따라 이동중인 이벤트를지속적으로 재 산출합니다.

Page 14: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

사기가능성?

평균 결제금액

최근 평균 결제가높은 고객의 대한

사기 가능성

Apama : 복잡한 이벤트 프로세싱과 스트림 프로세싱 지원

다이내믹 스트림 네트워크 – 스트리밍 분석 혹은 복잡한 이벤트 프로세싱 패턴의결과는 또 다른 고도화된 스트리밍 계산 혹은 패턴의 입력으로 사용할 수 있습니다.

Page 15: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama 스트리밍 EPL 사례

spreads := from a in all Price(symbol=“MSFT”) retain 1

from b in all Price(symbol=“PRGS”) retain 1

select a.price-b.price;

from s in spreads

within 60.0

select Out(last(s),mean(s),stddev(s)):o {

if ( o.spread > (o.mean + o.variance *2.0) ) then {

// BUY&SELL

} else if ( o.spread < (o.mean – o.variance *2.0) ) then {

// SELL&BUY

}

}

• 2개 심볼간의 분포(spread) 를 지속적으로 산출• 마지막 60초간의 해당 분포의 이동 평균 산출 및 표준편차• 상위 및 하위 밴드 정의 (mean +/- 2x the Std Deviation)• 스프레드가 3개중 한 개의 밴드에 도달할 경우 액션 시작

< 볼린저 밴드 트레이딩 사례 >

Page 16: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

생산성 도구 : Apama Studio

• Eclipse 기반 개발 환경• 통합 프로젝트 환경• 데모 및 예제• 참고 문서 (도움말)

• Apama EPL을 위한 완전한 개발 환경• Code assist editing

• Source code debugger

• Application profiler

• Java 지원을 위한 통합• Apama Java Monitors

• Java adapters

• 응용프로그램 제작 지원• Backtesting

• Dashboard 생성 및 위자드 제공• Adapter configuration

• Project export

• 명확한 시작, 스톱 및 재시작 버튼이 보이는 심플하고 사용자 중심의 워크벤치

Page 17: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

생산성 도구 : Apama Studio Event Modeler

• EPL 대안 : 응용프로그램 제작을 위한 그래픽 UI

• 간단한 로직 정의를 위한 “메타포와 같은 역할”을 합니다.

• 간단한 응용프로그램 로직 플로우를 정의하기 위한 규칙이 “states” 에 집약됩니다.

• 스마트 블록 및 기능이 역량을 확장하고 외부 시스템과 통합되며, 대형 라이브러리를 포함합니다.

• 이동평균 & 통계

• 트레이딩 오더 관리,

오더 장부 및 마켓 데이터

• 데이터베이스 통합

• 스트링 조작 (String manipulation)

Page 18: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

생산성 도구 : Apama Studio Dashboard

Canvas

Palette

Properties

• 강력하며, 사용이 간단하고, drag & drop UI 를 활용하여 실시간 UI를만듭니다.

• 광범위한 범위의 시각화 요소

• 트렌드 차트, 테이블, 바 차트, 다이얼, 스케일, …

• 광범위한 범위의 인터랙티브 UI 요소

• 버튼, 슬라이더, 텍스트 필드, 키보드, …

Page 19: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama 연결성 (Connectivity)

Remote

Client API (Java,

C, C++, .NET)

Adapter Run-time

(IAF)

Data Bases

(ODBC, JDBC)JMS . . .

In process

EPL Plug-in API

(C/C++/Java)

IAF In process

Adapter APIs (Java,

C, C++)

Pre-Built adapters

Persistent

Store

Replay

Log

System

Log

Command line tools

(watch, inspect, …)

Remote

Management API

(HTTP, Java, C, C++,

.NET)

Page 20: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Apama Dashboards

Application Server

Dashboard Servers

ServletWebstart/Applet

Browser/Ajax

Client

OR

OR

• Apama Correlator 상에서 실행중인 어플리케이션과 상호작용하고 모니터 할 수 있는 쉽게 구현 가능한 UI

• 양식, 테이블, 차트, 다이얼, 측정계, …

• Thick client, webstart, applet, 및 thin client를 포함하는 멀티플 디플로이먼트 옵션 제공

• 스케일과 보안을 위한 멀티-티어 아키텍처를 제공• 대시보드 서버가 사용자와 코릴레이터 사이에 존재

Page 21: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

컨텍스트를 인지하는 고객 경험 관리

Call Records

Program Triggers

Profiles

적절한 오퍼를 적절한 시간에 마케팅하여 1200만 유로(약 165억원) 수익 증가 및 10배의 오퍼 활용 증가 경험

200개 비즈니스 영역이 실시간확인됨 (예> 점심 시간에

A쇼핑몰에 고객이 있을 경우,제휴된 식당 쿠폰 정보)

고객이 사전동의 했을 경우, 고객에게 실시간 오퍼를

푸시할 수 있음

본 프로젝트로TURKCELL은 2012년

Gartner CRM Excellence

Award 수상

2400만 사용자의프로파일을 매일 분석

초당 40,000 건의이벤트가 스트리밍

모바일 디바이스로알림 발송

실시간대시보드

캠페인 효과 시각화;

신규 캠페인이 24시간이내 디플로이 가능

* 터키 1위 통신사 (2012년 Q3 기준 52.4% 점유율, 위키피디아)

Page 22: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Customer location

Program triggers

Customer profiles

관심사가 매칭되는 고객이 매장 오퍼범위 안에서 이동할 경우 고객 감지 고객이 사전동의 했을 경우,

고객에게 실시간 오퍼를 푸시

Credit card activity

캠페인 효과 시각화; 신규 캠페인이24시간 이내 디플로이 가능

컨텍스트를 인지하는 고객 경험 관리

“Personal Concierge”: 적절한 오퍼를 적절한 시점에 제안

* The Development Bank of Singapore Ltd. (싱가포르 산업은행, 싱가포르 정부가 설립한 산업은행)

Page 23: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

PoS transactions

ATM transactions

Customer profiles

일반적이지 않거나 불가능한 ATM 혹은 PoS 거래의 발생을 감지 DBS 사기 대응팀에 알림

발생 가능한 사기건을 시각화 및분석하여 경고. 카드 정지, 고객 컨택,

경찰 신고.

ATM 사기 감지

본 프로젝트로 DBS 는2013년 Security and

Risk 어워드 최고상 수상

사기를 즉시 감지하고 방지

* The Development Bank of Singapore Ltd. (싱가포르 산업은행, 싱가포르 정부가 설립한 산업은행)

Page 24: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Customer location

Program triggers

Customer profiles

고객이 매장의 오퍼에 맞는구매를 할 경우, 과거 구매기록에

기반하여 신규 오퍼를 발송고객이 사전동의 했을 경우,

고객에게 실시간 오퍼를 푸시

Teller activity

캠페인 효과시각화;

컨텍스트를 인지하는 고객 경험 관리

또 다른 “Personal Concierge”: 적절한 오퍼를 적절한 시점에 제안

* Coupons.com 1998년 설립된 미국의 소셜커머스 업체

Page 25: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

복잡한 사기 방지

ATM Card Transactions

Online Transactions

Other Channels

2개의 서로 다른 국가에서60분 미만 간격으로 카드가

사용될 경우 감지

사기 대응팀이조사를 할 수 있도록

Alert 발송

사기 케이스의우선순위 지정 및

리뷰

신용카드 거래 보호

* Skandinaviska Enskilda Banken (스웨덴 은행)

Page 26: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

물류배송

Ship Movements (Sat)

Ship reporting

Port Messages

선박이 특정 지역을 지나는 것을 감지, 적절성 결정 적절한 프로세스 시작

파일럿 프로젝트:

바다 위의 선실시간 및 과거/풍부한선박의 정보

공간에 기반한 AIS가 많은 수의 선박움직임을 발생

선박이 특정 라인을 넘을 경우 감지 및 의미 부여

* 네델란드의 해양 관제 및 운항정보 기업

Page 27: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

네덜란드 철도: 버추얼 트레인

객차에 타고 내리는 승객의 움직임을감지하여 승객 수 측정

잔여 좌석 수를 계산 및 컬러 코드부여

파일럿 프로젝트: iNStap

실시간 및 과거/풍부한열차의 정보

현재 열차의 상황에 대해 실제 상태에 가장완전하고 가까운 시각을 제공

Passenger count

Train location

Train details

객차 당 현재(실제) 탑승객 수를 사용자에게 다른 방식으로 알려줌* 네델란드의 철도회사

Page 28: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

예상보다 프로세스 스텝이오래 걸릴 경우 감지

지속적인모니터링을 통한

KPI 책정

Santander는 이 시스템을 BAM (Business Activity Monitoring)이라부름

Santander: 리테일 프로세스 모니터링

Onboarding

processes

Customer reference

data

신용카드개설 시간을35% 감소함

주택융자, 신용카드, 대출 등 은행 관리업무를 지속적으로시각적으로 제공 스페인, 영국, 독일의 400 이상 사용자에 제공

* 스페인 은행

Page 29: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Schwering and Hasse

수집된 머신 데이터가 전송되고 추가적인데이터가 ERP에서 선별됨

이동 평균에 기반하여 지정한기준치를 넘을 경우 감지. 대시보드 및

ERP에 Alert 발송

매일 약 14만 km의 코일 와이어의안정적이고 지속적이며 높은 생산퀄리티가 보장되어야 함

* 독일의 산업용 전기모터와 변압기 생산 회사

생산 라인의 특정 값이 기준치를 넘을 경우 Alert 발송

Page 30: Apama 소개 - SoftwareAGsoftwareag.biworks.co.kr/wp-content/uploads/2014/08/Apama Overview_Ver0.3_KR.pdfCloud Hadoop People & devices RDBMS & Data warehouse Social & feeds System

Thank you