목차 How to Prevent Cyber attacks

What makes “Big” data ?

“What makes most big data big is repeated observations over time” (ACM)

“Big” data vs “Normal” data

Big Data isn’t any different to normal data, But It combines unstructured & multi-structured data

Unstructured data is not organized or easily interpreted by traditional methods. Usually text heavy.

Multi-structured data is a variety of data formats and types and can be derived from interactions between people and machine.

Infrastructure *Big data

Analytics *Intelligence

Application 어떤 목적으로 어떤 영역에?

어떻게 Processing할 것인가?

어떻게 Construct할 것인가?

Sales, Marketing, CRM, HR, 광고, 보안, Finance, 교육 …

Search, NPL, AI, Social Analytics, Visualization, Data Science, Analytics platform, …

Hadoop, Spark, NoSQL, NewSQL, Graph DB, Management, Storage, ….

Concerns about Big data

Big Data Infrastructure

=

Still Plenty of Innovation

Big Data Analytics

=

Now with AI

Big Data Applications

=

A Real Acceleration

Big data technology is in deployment phase ( But, still hard work )

Logs Events Alerts

Configuration

information

System

audit trails

External

threat feeds

Network flows

and anomalies

Identity

context

Malware

information

Full packet and

DNS captures

E-mail and

social activity Business

process data

전통적 보안 운영과 기술

Big Data Analytics

Facing the challenges of cyber security, IBM

Big Data in cyber security

Security 에서 모든 Data는 연관성이 있습니다. = Big Data

Security context

Attack example(1/2)

Attack example(2/2)

Analytics example

Needs of big data tech. in security

대응

프로세스

분석

운영

로그수집

1세대 – ESM 수집로그단일분석

2세대 –SIEM 이기종 상관분석

3세대 – Platform 다양한기술/프로그램

이슈사항

Time

보안 솔루션

소규모 Data

단일 장비

단시간

Workflow

IT기기 - 정형

Big Data

복합 장비

장시간

비정형 – Big Data

NMS

NMS 탐지 정책

자동 탐지

자동 대응

BPM

I-DB Deep

Learning

운영 정책 생성/ 변경/삭제 관리

자동 격리

자동 치료

Rule DB

Vul Scan

1 1세대 ESM

• Data 처리 성능 이슈

• 연동 Device 한계

• 상관분석 처리 부족

• 프로세스 미반영

2 2세대 SIEM

• Rule 관리 어려움

• 자산기반 상관분석 부족

• 프로세스 변경 한계

• 공격 판정 시 리소스 과다

• 솔루션 운영 기능 부족

• 대응 관점 기능 제외

영역

확장

Managed Security Tools

Opera

tion - N

MS

Know

ledge

Inte

gra

tion

KNOWLEDGE Response ANALYTICS SIEM

Automation Intelligence

Big Data Engine – Scale Out

Detection Scenario Rule

Threat Intelligence

Normalization

MSS Process - BPM

Prevention

Report

MSS Know-How

Asset/Vul Info

Complex Event Process

Machine Learning

Workflow

Ticketing

Incident Management

Big Data based Managed Security

1)Flume: 원본 Data 수집 Agent 2) Kafka: 분산 메시지 Queue 3) Spark 실시간분산처리엔진 4) Drools: Complex Event Processing 엔진(Rule엔진)

5) Hadoop File System: Hadoop 분산파일시스템 6)MapR-DB: Hbase 기반 NoSQL DB 7) Elasticsearch: 검색 엔진

Event

Collector1)

원본 Event Queue2)

실시간 분석3)

1st 1)정규화 2) BlackIP/URL

저장 Queue

2nd (정규화된 로그 저장)

Snmptrap Syslog

대상장비 Data 수집/분석

실시간 분석 2nd

(실시간 탐지)

CEP 분석4) (복합 분석/탐지)

DBMS (탐지결과 저장)

분산파일 저장 시스템5)

(보고서 /로그저장)

Data 저장

분산 검색7)

(단기 로그 저장 및 검색)

실시간 처리

3nd

- 저장

Data View

Dashboard

통합관제화면

Rule 엔진

질의

질의

질의

탐지 결과 저장

정규화 로그 저장

FW

IDS

WAF

DDoS

APT

Nagios

(장애 탐지)

Security Infrastructure ( Big Data)

탐지규칙 ( Detecting Rule ) - hreshold/Condition/Vul.

연관규칙(Correlating Rule) - Scenario, Compound rule

Threat Information DB

정규화 규칙 (Normalizing rule)

유해 정보(Malicious IP) - Black IP/URL - C2 IP/URL 수집

가용성 모니터링

취약점 스캔

정규화

1차 탐지 ( IP/URL)

2차 탐지 ( Rules )

3차 탐지 ( Advanced Rules )

수집, 분석 및 탐지

In-Depth 분석 지원

자동 Ticket 및 경고

인시던트 관리

Report

보안관제 흐름

Knowledge Base

2

3

4

Conditional Detect Rules

Threshold Detect Rule

Scenario Detect Rule

Integrated Detect Rule

자동 Ticket 생성

경보/경고 Mail/SMS

Events

on-the-fly Analysis

Complex Correlation

복합 분석/탐지 Threat Intl. 취약점 연계

Reputation

Geologic info.

Historic Info.

Asset Info.

Vulnerability

Big Data Engine

실시간 분석, 탐지 Engine

RBL, C2 detect

공격자 자동 차단

Incident 대응 프로세스

시스템 운영

5

1

Security Analytics (detect)

로그전송 1 2

3

4 5

Detection

공격자동탐지

Identification

공격자정보식별

Alert

침해위협자동발송

Deny

방화벽자동차단

Warning

조치 메일 자동발송

Risk Check

Rule Gen

Rule Executor

Firewall

Mail

Mail SMS

SMS

이벤트 감시

공격 IP 차단 설정

고객 침해위협 보고서 발송

대응 종료

공격탐지

경고메일 발송

Rule Engine Incident Case

Response Automation

Security Application ( Response )

보안운영/관리

Baseline 관리

Comm. 관리

보안자산 관리

서비스 수준관리

조직 관리

운영 관리

보안관리 엔진/ 보안 KB 서비스

취약점 관리

정책관리

Threat Intelligence

모니터링 가용성 관리

통합 위협 탐지

Reports

Deployment

SLA

이벤트 관리

Built-in 보안운영 절차

Managed Security ( Scope )

보안관제 업무프로세스

현황파악/ 정책 셋업

보안솔루션 운영

탐지/분석 대응 보고/개선

• Real-Time Big Data 기반 보안관제 Platform

• 보안 관제 표준 Business Process Management 적용

• 다년간 축적된 보안 관제 Knowledge 시스템 반영

• 업무 Automation & Orchestration 적용을 통한 업무 효율화

초당 10만 EPS 이상 지원

Real-Time Big Data 엔진

- Apache Spark

CEP 기반 Rule 엔진

- Drools Rule 엔진

검증된 MapR 사용

관제 표준 프로세스 적용

- 통합 탐지 프로세스

- 장애 대응 프로세스

- 정책 변경 프로세스

BPMN 2.0 적용

- 국제 표준 규격

공격 탐지 Rule

- Alarm/상관 탐지

CERT-DB

- Black IP/C2 서버/악성 URL

보안 솔루션 운영

- 정책 변경/장애 대응

통합 공격 탐지

- 자동화 된 공격 탐지 정책

공격 차단

- 방화벽 자동 차단 엔진

보고 자동화

- 침해위협/경고메일/월간

보고