© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
저성장 시대, 데이터 경제만이 살길 이다! Data Scientist : ㈜엔코아 데이터 서비스 센터장 김옥기
Data Mining Consulting, Data Driven Strategy Consulting [email protected]
아는 것과 그것을 행동하는 것은 다르다
생각하는 하는 백성이야 산다. - 함 석헌
© 2015 EN-CORE. All rights reserved.
1. 저성장 시대, Silo 효과
2. 데이터 경제와 데이터 통합
3. 한국 빅데이터의 과제
저성장시대, 데이터 경제
데이터 과학의 역할
통합
분석
시스템
정책
공공
은행
제조
인터넷
데이터 사이언티스트
물류 유통
운수 보험 증권
에너지
기타
보건 의료
출판 영상 정보 임업 국방 부동산 건설 교육
어업
농업 행정
플랫폼
빅데이터 플랫폼
Operational System
Operational System
Machine Data
Web Data
Audio/Video Data
External Data
Operational Systems(Structured data)
Documents & Text
Hadoop Cluster
Virtual Sandboxes
Data Warehouse
Streaming/ CEP Engine
Free-
Standing Sandbox
Extract, Transform, Load (batch, near real-time, or real-
time)
Dept Data Mart
BI Server
Casual User
Power User
In-memory BI Sandbox
Analytic platform or
Non-relational
database
Ad hoc query
비즈니스 분석가 영역
데이터 과학자 영역
Top down Architecture
Bottom-up Architecture
DBA 데이터 모델러 데이터 아키텍트
데이터 엔지니어 빅데이터 엔지니어 데이터 애널리스트
© 2015 EN-CORE. All rights reserved.
마케팅 순환 사이클
마케팅 사이클을 보면 한국이 미국보다 최소 10~20년 정도 뒤 늦게 진행되고 있는데 한국은 판매 시대 마지막 단계를 지나면서 저가 가격경쟁이 시작되었고 동시에 홍보 시대의 정점을 지나면서 광고 및 판촉에 대한 부담감으로 순 이익률은 지속적으로 감소하게 된다.
1950 법률
1960 건설
1970 1980 금융 경영
1990 전자
2000 디자인
2010 정보, IT
2020
Eff
ecti
ven
ess
대량 생산 품질, 다양성 판매, 가격 홍보, 마케팅 소셜, 디지털
비즈니스 패러다임의 발전
© 2015 EN-CORE. All rights reserved.
한국시장
미국시장
40년 주기
마케팅 순환 사이클
한국은 가격시대를 지나면서 매출은 늘어도 순 수익이 지속적으로 감소하는 포화시장에 진입하게 되었고 이를 극복하기 위해
지속적으로 고객의 소비성향을 분석하고 사업별 수익에 민감한 운영 체제의 구축 필수 데이터 과학의 중요성
“전략 KPI from 매출 to 수익“ 각 사업별 수익에 민감한 운영 체제 구축 데이터 과학 필요
도입기 성장기 성숙기 쇠퇴기
1960~1970 년대 1980~2000 년대 2000 년대 이후
혁신
대량 생산
품질
디자인
가격 소비 성향
한국시장
미국시장
포화시장
순이익
매출
단계별 업종 생애 주기(미국 보다 15~20)
© 2015 EN-CORE. All rights reserved.
현업의 문화, 정보,데이터, 조직의 사일로 존재
문화, 정보, 조직,프로세스 개선으로 Silo 문제 해결
마케팅 생산 재정,회계 고객관리 상품개발
기업의 Silo effect
© 2015 EN-CORE. All rights reserved.
마케팅 순환 사이클
1단계 2단계 3단계 4단계 5단계
비전 (Vision)
없음 생산 성과 비전 시도 각 영역별 채널의 효율성 전사 내부 통합 연결된 가치 부여 및 인식
전략 (Stragegy)
없음 고립적 프로젝트, 아래로부터시도
좀더 협력적 생각, 여전히 사일로 존재
전사적 통합 CRM 프로그램
서로의 이익을 위해 협력하는 가치 인식
고객 경험 (Customer
Experience) 개념 없음 개념 없음
이해하는 사일로 수준에서 집중
각 영역별 연결된 비즈니스로 이해하고 집중
좀더 넖은 영역 이해, 협력
협력 (Collaboratio
n)
내부 영역별로 집중, 사일로(Silo)구조
초기 편협적고객 위주, 사일로적
문화나 동기의 변화, 여전히 사일로적
고객 중심, 분야별, 영역별, 재구조 조정
고객 중심성 공유, 목표 연합적 협력
프로세스 (Process)
내부 영역별로 집중, 사일로적
초기 자동화시기, 사일로적
사일로 수준에서 비용과 가치의 최적화
전사 수준에서 비용과 가치의 최적화
초기부터 끝까지 실제적 최적화 프로세스
정보 공유 (Information)
기본적 정보의 산재 팀 기준, 산재, 최소의 인사이트
사일로 수준 정보 공유, 인사이트 발전 과정
전사 관여 정보 공유 및 인사이트
기업을 넘어선 인사이트와 정보 공유
기술 (Technology)
몹시 산재되고 미미한 기술 산재 존재, 한정된 역할과 집중
사일로 내에서 높은 수준의 역할
전사 통합 수준의 높은 수준의 역할
기업을 넘어선 높은 수준의 역할
집중 영역 (Metrics)
적은 내부적 집중 영역 산재되고 한정된 집중 영역, 운영 내부적 집중
사일로 내에서 효율적, 고객 집중 부족
전사적 고객 집중/ 균형 있는 구조
목표 공유, 균형 있는 구조, 잘 연결, 정리된
한국
미국
기업 내 데이터 활용 프레임 워크와 발전 단계
미국 2000년
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
기업 전사 정보 시스템
CRM
BI
PLM
SCM
ERP
Product
Vendor Customer
운영계(기간계) + 정보계(분석계) = 전사 정보 시스템
빅데이터 :정보계 , 분석계
© 2015 EN-CORE. All rights reserved.
내부+외부데이터 =빅데이터
ERP을 중심으로 데이터의 통합
© 2015 EN-CORE. All rights reserved.
빅데이터 활용의 대부분의 문제 -> 통합과 가공의 문제
DATA Value
1. 데이터 통합, 관계, 원인 또는 분산 등의 복잡성 2. 빅데이터 기술 수행하기 위한 전문가의 부족 3. 활용 과정의 고비용 4. 빅데이터 기술의 디자인(기획)과 적용을 위한 긴 시간 5. 분석 전문가의 부족 6. 방대한 데이터에서 활용 가능한 데이터의 선택 7. 낮은 데이터 품질 8. 기존의 분석 시스템과의 통합의 어려움 9. 충분하지 않은 컴퓨팅 자원(분석처리)
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
전사 정보관리, 통합, 가공 시스템
Data Quality
Data Integration MDM ESB BPM
© 2015 EN-CORE. All rights reserved.
품질 가공 거버넌스
EAI 프로세스
메타데이터, 튜닝: 시스템 운영 및 구축
© 2015 EN-CORE. All rights reserved.
데이터 통합의 역사
BI 1.0
BI 2.0
BI 3.0
Data Integration Technology Curve
2세대
3세대
차세대
1세대
ETL & Relational Manual Discovery “A” to “B” Pipe
ETL with GUI Wire Diagrams Relational Manual Discovery Simple Connectors “A” to“B” Pipe(s) MDM Hub
1985 2000 2010 2012-2013
Persistent Metadata Server -Hub & Spoke
Data Virtualization
Automated Discovery
Automated Operations
Relational, Object, XML, NoSQL
No Programming
Cloud & On-premise
“NGEN” Platform Enterprise View of Data Integration
Networked Topology
ETL & Data Virtualization
State & Lineage
Compliance
Data Quality
Data Governance
Roll-back
Roll-forward
Virtual MDM™
No programming
Cloud & On-Premise
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
한국의 IT 서비스 의 역사
Value
생산성 향상
경쟁력 향상
Process 중심의 접근 Analytics 중심의 접근
2005 ~ 2011
2012 ~
한국은 지난 20년간 차세대 시스템 재구축 위주로 진행되어 상당한 기반이 구축된 상태임 이제 본격적인 분석위주의 시스템 구축 예상
CRM 통합 및 활용 Bigdata 통합 및 활용
• RDBMS, GUI, ISP • ERP, MES, CIM, MIS • OA/FA/OIS
• IT Convergence • Business Intelligence • Big Data • Appliance • RTE(Real Time
Enterprise) • Mobile & Social • IoT
Function
생존의 수단
기본업무 지원
• EDW, Data Mining • CRM, MDM, KMS, ITA/EA • e-Business • Standardization,
Governance
• SOA, EAI, EII, … • SCM,BPM, BAM, PLM • Grid, Cloud Computing • IT Compliance • ESM
관리효율 향상 프로세스 확장/연계 고도의 의사결정 지원
1990 ~ 2000
2000 ~ 2005
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
데이터 연결
데이터 통합
시스템 통합
통합의 복잡성
© 2015 EN-CORE. All rights reserved.
데이터 통합 예시들
Website Data Integration Fulfillment Center
UPS, USPS, Fed ex etc.
Zoho CRM, Sales force etc.
Quick books, Fresh books
Custom Data
Integration
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
한국 CRM 현황 예시 -> 통합 전사 CRM 필요
CRM System
© 2015 EN-CORE. All rights reserved.
© 2015 EN-CORE. All rights reserved.
CRM의 발전: 소셜 CRM
2008년 Social CRM
Online Customer Communities
Social Networks
Traditional CRM
Social CRM
© 2015 EN-CORE. All rights reserved.
데이터 분석과 통합 시장
2014년 기준, 데이터 통합 시장 7.5% 성장. 분석 시장 30% 성장.
출처 : 가트너
$2.5B
$2.2B
$2.0B Getting More value From their data
Optimization Shift to agile Big Data
대 기업 중소 Business Analytics $
20B
drivers
▲10.8%
▲9.6%
▲7.5%
Data integration
© 2015 EN-CORE. All rights reserved.
데이터 경제 생태계-개인 데이터 + 사물 데이터
마케팅
미디어
정부
변호사
개인 검찰
수송,택배
내부회사
은행
개인
DATA COLLECTORS
DATA BROKERS (Service Platform Area)
DATA USERS
정보브로커
웹검색
미디어 자료집
협력사
리스트 브로커
카달로그 협력
의료 분석회사
신용정보
광고, 분석회사
인터넷
정부 미디어
소매,유통 금융,보험
제조 농업
통신,모바일
© 2015 EN-CORE. All rights reserved.
데이터 경제 생태계
Data Bureau (1969,Acxiom) vs. Credit Bureau(1989,FICO)
데이터 거래자
수집가
소비자
post information Publicity online
데이터 브로커
shop online
온라인 스토어
Register on websites
웹사이트
Shop at stores
스토어
fill our warranty cards
기업
buy houses
정부, 지자체
공공, 금융, 통신, 제조, 물류, 유통, 서비스, 마케팅 등 고객 군
© 2015 EN-CORE. All rights reserved.
오프라인 투 온라인(Onboarding, Omnichannel)
오프라인 고객 세분화
온라인 고객 매칭 작업-> 타켓-> 캠페인(추천)
오프라인, 온 라인 스토어 구매, 전환
오프라인 투 온라인
외부 가공 데이터 추가,업데이트 수요 생성
최근 고객 구매 추세는 온, 오프라인 캠페인 → 온라인 검색, 비교 → 오프라인 스토어 확인 → 제품 구매, 전환
• 잡지
• 신문
• TV 등 • 검색 엔진
• 종합 쇼핑몰
• 리뷰 검색 등
• 구매(Purchase)
• 전환(Conversion)
오프라인
미디어 소비
온라인 검색
오프라인 스토어
© 2015 EN-CORE. All rights reserved.
공공의 오픈 데이터는 데이터경제의 초석!!!
’13년 16.1%에서 ‘16년 60%로 조기 개방
*공공데이터전략위원회 의결(‘13.12)
14년 시행 계획 기본 계획
80%
70%
60%
50%
40%
30%
20%
10%
0
57.7%
63.7%
70.4%
36.3%
47.7%
60%
© 2015 EN-CORE. All rights reserved.
한국의 데이터 생태계를 위한 전략
정부는 데이터 생산자이고 소비자이지 가공자는 아니다
전자
통신
제조
미디어
불법, 부정
서비스
유통
마케팅
금융 인문
에너지
의료
보안
표준 통합
가공 통합
© 2015 EN-CORE. All rights reserved.
성공적 데이터 활용의 전제적 이슈들
© 2015 EN-CORE. All rights reserved.
1. 유용한 비 민감 개인정보 활용을 위한 개인정보 법 정비에 대한 공감
(민감 VS. 비 민감, 불법 VS 합법이슈로)
2. 값비싼 장비 및 도구 위주의 시스템 구축 예산에 대한 효율과 효과성 고민
3. 데이터 활용의 프로세스와 데이터 전문가의 참여 및 용역 비중 높임
4. 데이터 전문가(시스템 개발자, 데이터 분석가, 시스템 엔지니어)의
노력과 기술에 대한 적절한 보상(프로젝트결과에 대한 품질 보장의 전제 조건)