THE THINGS AROUND BIG DATA

THE THINGS AROUND BIG DATA - CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA

남궁현 nghyun@chungbuk.ac.kr

nghyun@snu.ac.kr

Involved Projects

독립형 컴포넌트 기반 서비스 지향형 페타급 컴퓨팅 플랫폼 기술 개발

빅데이터 활용을 위한 지식자산 구축 및 실시간 Linked Data 응용 기술개발

ExoBrain 컨소시엄 과제

Big Data

Buzz Word…?

What the Hell is BIG DATA?

3Vs

Open Data

Linked Data Government Data

Hadoop

And….

Cloud Computing

Echo-System

NOSQL

Definition?

Example

Ex.1 - Daum

대규모 Log분석

16시간 1.5시간

Content Logs 단위뉴스별 실시간 분석

실시간 콘텐츠 피드백

Ex.2 - LinkedIn

Simple Graph Analyze

16TB Scalable Cluster

기존 시스템에서 처리가 힘든 크기의 데이터

Scalable Computing 환경

Too Large Size Data

6,000,000,000 Files with 60TB Physical Size

Of One Month

Machine??

Storage space??

Processing time ??

Scalable Computing Environment

Cloud Computing

MapReduce

NOSQL DB

Cloud?

Cloud Computing

Job

Result

Cloud Computing

Easy Scalability

…

Network-wired Hadoop Cluster

MapReduce Framework(e.g. Hadoop)

NoSQL(e.g. MongoDB, Cassandra)

… …

MongoDB Cluster

Hadoop Cluster

Storing Processing

Storing and Processing Cluster on Cloud Computing

MongoDB Cluster

Key:@id+time Value: twitt message

Store

Query Access

…

@id+time

Twits on MongoDB Cluster

MapReduce Cluster Map Reduce

@id

@id

#tag

#tag

#tag

#tag

#tag

Input Output

Application /Analyze

Big Data Handling

MapReduce

NOSQL DB

국내에선..?

Recent Big Data Research in Korea

Social Data

Governmental Data Linked Data

Social Big Data Analyze

Social Big Data Analyze

Governmental Data

공유자원포탈(http://data.go.kr) by 인터넷 정보화 진흥원

서울 열린 데이터 광장(http://data.seoul.go.kr) by 서울시 정정보화 사업단

Governmental Data

Linked Data by Tim Berners Lee

Social Data

Governmental Data Linked Data

Big Data Research = Find Forgotten Data

Data high- dimensional features Hash Code Decoding

제 경우는요..

빅데이터 활용을 위한 지식자산 구축 및 실시간 Linked Data 응용 기술 개발

(2012 ~ 2015, 3Years, 8,000 per Year)

주관기관, 데이터확보, Enrichment

데이터 변환/Sync

데이터/플랫폼 제공

RDF데이터 처리

사용자 응용서비스

VS

Web of Data

Data, API

XML, OpenAPI RDF, Linked Data

공공DB 공공DB

공공DB

RDF

TextData

공공DB 공공DB

schema

공공데이터 플랫폼 LOD Publish 개발자지원

데이터/인프라 제공

분할 인덱스 LOD

검색/접근/API

Linked Data기반 응용서비스

공공데이터 플랫폼

자체서비스데이터

LOD 데이터

IBM Watson ExoBrainProject

Graph Data Storage

Knowledge = Large Size Graph Data

Real-time Graph Data Processing

감사합니다 nghyun@gmail.com @chungbuk.ac.kr