Embed Size (px)
Citation preview
0
빅데이터: 기술 그 이상의 의미 – 경영의 시각을 중심으로
채 승 병 수석연구원 / 이학박사
삼성경제연구소 산업전략1실
복잡계센터 / Analytics Team
한국SW아키텍트인증자협의회 1회 정기세미나 – 발표 요약자료
1
양해의 말씀
본 자료는 인쇄물 형태 배포가 곤란한 내용,
흥미 유발을 위해 사전 공개가 곤란한 내용 등이 제외된
사전 배포용 발표 요약 자료입니다.
본 강연은 이 자료와는 약간 다르게 진행될 수 있으니
청중 여러분의 너그러운 양해 바랍니다.
— 채승병 ([email protected]) 拜上
2
빅데이터에 쏠리고 있는 세계적인 관심
해외는 물론 국내에서도 작년부터 빅데이터에 대한 언급이 부쩍 증가
우리는 자원이 없는 나라로 과학기술 분야에서
앞서야 하고 이것이 생존전략 중 하나……
‘빅데이터’라는 화두를 던져줬는데 이를 실천하는
것이 필요하고 이에 대한 구체적인 연구를 앞으로
해나가자. 그래야 다른 나라에 앞설 수 있다.
We also want to challenge industry, research
universities, and nonprofits to join with the
administration to make the most of the
opportunities created by BIG DATA……
We need what the president calls an
‘all hands on deck’ effort. – Tom Kalil (OSTP)
3
식자들 입에 오르내리는 빅데이터
최근의 빅데이터에 대한 관심은 가히 ‘열풍’(또는 狂風?)이라 할 정도
신문을 들춰보면 하루가 멀다 하고 빅데이터 관련 뉴스, 칼럼이 지면을 장식
정부, 기업, 학계 모두에서 빅데이터에 대한 관심이 크게 고조
“2012년은 ‘빅데이터 시대의 元年’”
4
빅데이터 부상의 의미에 대한 공감이 우선
왜, 하필 지금,
빅데이터가 뜨고 있는가?
그 속에서 놓쳐서 안 되는
전략적 지향점은 무엇인가?
5
오랜만에 분출되는 동력, 어떻게 이용해야 하는가?
유행의 쳇바퀴는
어디로 향하는가?
6
일반적으로 보는 빅데이터는 ‘빙산의 일각’
빅데이터 현황의 종합적 판단은 다층적 수준의 트렌드 이해를 전제
BIG DATA (언제든 녹아 없어지고 변모할 수 있는 수준)
기술 트렌드
산업 트렌드
경제/사회 트렌드
인간/경제사회 시스템 이해의 New Revolution
7
빅데이터의 원론적 이야기
빅데이터는 ‘대용량’ 데이터가 아니라 다차원적으로 ‘엄청난’ 데이터
‘BIG’은 오해하기 쉬운 표현: 크기(volume)가 큰 것만을 이야기하는 게 아니라
관리-분석의 종합적인 어려움, 복잡성(complexity)을 표현하는 말
Gartner가 내세우는 3V = Volume + Variety + Velocity 차원에서
빅데이터의 특징을 정의하는 것이 일반적인 추세
8
빅데이터는 광범위한 전후방 영역을 포괄
관련 인력, 기술 등까지 포괄하는 넓은 의미로도 통용
“빅데이터란 기존의 방식으로는 관리와 분석이
매우 어려운 데이터 집합, 그리고 이를 관리•분석하기 위해
필요한 인력과 조직, 관련 기술까지 포괄하는 용어”
Definition (Broad sense):
UPSTREAM 데이터 수집, 저장, 관리
DOWNSTREAM 데이터 가공, 분석, 활용
9
빅데이터는 기술 발전의 필연적 귀결
‘빅데이터’로 뭉뚱그려 보이는 현상은 수많은 기술진보가 집약된 결과
① 데이터 저장매체의 발달과 저장비용의 극적인 하락
② 통신기술의 발달로 인한 연결의 기하급수적인 증가
③ 데이터의 분산 관리 및 처리·분석 기술이 일취월장
HDD 가격의 하락 (1980~2010)
점점 수많은 지능형 컴퓨터에 둘러싸이는 인간
데이터 증가를 뛰어넘는
검색·분석 기법의 발전
10
빅데이터의 직접적인 기반은 구글이 마련
전 세계의 데이터를 모으려는 구글의 노력이 빅데이터의 신세기 창조
되도록 저렴한 비용으로 거대 시스템을
만들기 위해 값싼 부품으로 만든 소규모
노드 서버들을 대량으로 병렬 연결하는
기술을 치열하게 개발
11
구글의 뿌린 씨앗을 받아 쟁쟁한 IT 기업들이 발전
구글의 기술 아이디어를 이용해 아마존, 야후 등이 기술 발전에 공헌
구글의 기술 아이디어가 공개된 이후
오픈소스 진영에서 이를 이용해
Hadoop 등 관리 소프트웨어를 개발:
야후는 가장 중요했던 후원자
아마존은 자사 온라인쇼핑 시스템을
발전시키며 축적시킨 노하우를 결합시켜
Amazon Web Service로 급부상
12
금맥에 도달하는데 필요한 기술적 장벽이 사라지는 중
복잡함을 감내할만한 달콤함이 기다리고 있다는 공감대가 확산
데이터의 3V는 커지지만 이를 처리하는 기술이 급격히 발전하면서
오히려 과거에는 상상하기 어려웠던 새로운 가능성이 열리는 상황
“데이터를 얻는 능력, 데이터를 이해하는 능력,
처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력,
전달하는 능력이야말로 앞으로 엄청나게 중요한 능력이 될 것이다”
13
하지만 이것만으로는 불충분
빅데이터를 활용할 수밖에 없는
선택압이 점증하는 상황
14
기업이 빅데이터에 관심을 가질 수밖에 없는 이유
험악해진 경쟁환경에서 경쟁사를 뛰어넘는 고객 만족이 지상과제
소비자의 영향력 강화
스마트 환경
정보비대칭 완화
점증하는 차별화 요구
체감하는 제공 가치
공급자의 경쟁 격화
글로벌경제 불안 지속
규제/진입장벽 완화 지속
거시환경
소셜파워
녹녹하지 않는 거시환경 속에서 경쟁은 전방위로 치열해지고 있으며,
스마트 환경이 확대되어 영향력이 강해진 고객을 만족시키기는 더욱 곤란
⇨ 만성적인 超경쟁 국면은 대다수 기업의 숙명
⇨ 한 차원 더 높은 서비스로 새로운 고객 가치를 창출하는 것이 중요:
궁극의 맥락-상황인식 서비스에 대한 열망 강화
15
이중적인 기대와 요구
멘토의 역할,
경청의 자세와
‘힐링’을 바라면서
동시에 기대를 뛰어넘는
‘그 이상’을 원하는 모습
만족스러우면 ‘공감’,
시덥잖으면 ‘불통’
16
숨겨진 고객의 맥락을 찾아내라!
A lot of times,
people don't know
what they want
until you show it to them.
기업은 고객이 원하는 바를 찾아 보여줘야 한다
어떻게? 위대한 통찰력으로? No. 축적된 데이터로.
17
사람들은 이제 숱한 흔적을 뿌리고 다닌다
Digital
Footprint
18
빅데이터의 의미
고객의 발자취를 쫓고
앞서 제안해야 하는 게 기업의 숙명이라면,
빅데이터는 핵심적인 자산이자 사냥개
19
왜 빅데이터 부상을 왜 두려워하는가
하드웨어와 소프트웨어의 가치는 점점 박해지고 빅데이터가 부상할 전망
PC 시대에는 하드웨어의 강자가 지배적 가치 향유
스마트폰 시대에는 소프트웨어의 강자가 지배적 가치 향유…… 그 다음에는??
? “(빅)데이터는 소프트웨어 인프라가 대부분 오픈소스화 또는
범용품화되는 시스템에서 유일한 (가치의) 원천요소이다.”
20
‘Open’을 내세워 경쟁사를 무력화시키는 페이스북
선의 속에 감춰진 숨은 칼날, FREEmium 전략의 현장
페이스북은 Open Compute Project를 통해 방대한 자사 데이터센터에 사용되는
서버의 자세한 설계 사양과 관리 기술을 공개
과연 페이스북이 표방하는 대로 친환경 기술 확산과 개방형 혁신을 도모하기 위한
진정한 ‘선의의 발로’일까?
No! 이것은 전통적인 가치의 원천을 말려버리려는 초토화 작전
페이스북의 가치는 하드웨어나 단순 소프트웨어에 있지 않기 때문
21
빅데이터 선도기업의 장벽에 대한 대응이 필요
데이터를 향한 집착이 빅데이터로 영글어가면서 배타적 장벽을 구축
광범위한 개방·공유의 가치는 지속적으로 천명하겠지만
빅데이터와 관련된 부분에서만큼은 ‘사다리 걷어차기’에 나설 전망
애플은 현재의 최대 고객이자 최고 경쟁자,
구글은 현재의 최대 우군이지만…… 미래는??
22
한국의 숙원, 부품-소재 사업은 왜 어려운가
부품-소재 등은 전형적으로 ‘축적’의 경쟁력이 지배하는 영역
다년간의 시행착오를 통해 축적한 데이터는
모방과 복제가 불가능하기 때문
23
디지털 시대는 빅데이터가 부품-소재가 된다
방관하다가는 막대한 ‘對日 역조’가 재현될 우려
낮은 수익성과 치열한 경쟁에 고전하며
미국 빅데이터 기업의 부품-소재를 구입해
써야만 하는 미래는 결코 낯설지 않음
24
변화를 읽고 발상을 전환해야 할 때
VAR value-at-risk
= Volatility + Abundance + Rare
① 변동성(및 불규칙성)을 줄여주고,
② 넘쳐나고 쓸모 없던 것은 사용하게 해주고,
③ 부족하고 없어지는 것은 적게 쓰고 대체할 수 있게 해주자
BIG DATA는 이러한 시대적 과제에 부응하고
신사업을 창출하는데 핵심적인 재료이자 대상임을 각인
25
Occupy BIG DATA!
빅데이터의 교두보 마련을 위한 글로벌 기업의 각축전은 “현재 진행형”
지금 당장 빅데이터 활용 능력 육성을 시작하지 않으면 超경쟁 시대의
생존을 장담할 수 없다는 절박한 인식이 보편화
26
IBM의 트라우마와 극복 방향
2012년 새로운 CEO에 오른 지니 로메티
IBM의 길, 전임 팔미사노를 계승하는 일관된 노선
‘하드웨어에서 소프트웨어 서비스로’
PC 변혁기에 한 번 좌절한 쓰라린 기억
27
IBM 새 CEO의 미래 읽기
로메티는 취임 후 첫 60일간 100여 고객사 CEO를 만나고……
“One of the most profound things
they talk about is
data will separate
the winners and losers in every single industry.”
IT와 별 관계 없던 곳까지 극적으로 넓어지는 고객의 지평
28
빅데이터의 활용 영역은 급속도로 확장
신속한 문제 발견과 대응, 비용절감은 공공-민간을 가리지 않는 현안
대다수의 공공기관과 민간기업은 이미 일정 수준의 빅데이터를 확보
빅데이터의 효용을 맛보고 이를 단계적으로 향상시키는
교훈을 얻은 주자들이 하나 둘씩 출현
- 미국 기업의 경우 이미 1/3 이상의 기업이 10TB 이상의 분석용 데이터를 보유
쌓아만 두고 적절히 처리하지 못했던 많은 데이터에
빅데이터 기술을 적용하여 새로운 현안 해결의 실마리를 모색하는 중
BIG DATA
정형 데이터 비정형 데이터
BIG DATA TECH • 하둡 등 병렬처리 기법
• 기계학습 등 인공지능 기법
• 인메모리 처리 기술
• 데이터 분석 전용기
• ……
생산성과 효율성 제고
문제의 신속 발견, 해결
의사결정 능력의 향상
29
데이터 활용에 있어 공공-민간의 필요가 수렴
데이터 활용의 진화 방향은 공공와 민간이 대동소이
기존 행정 프로세스의 전산화
막대한 데이터가 생성, 보관(야적)
데이터는 일정 기간 보관 이후 폐기
수집된 데이터의 재활용 정책개발
정책부서간 데이터 공유-활용 활성화
데이터의 체계적 누적, 빅데이터화
생산성 향상 발견에 의한 문제해결
의사결정 능력 향상 신사업 창출의
데이터 활용 혁신 트랙
30
경제/사회의 변화도 빅데이터를 요구
사회 곳곳에서 변화의 욕구가 분출되고 있으나 기대 충족은 난망
사회복지 전달체계, 육아 지원체계, 청년구직 중계체계 등
기존 인프라 위에서 시급히 효율화되어야 할 과제들이 산적
빅데이터의 활용 없이는 궁극적으로 해결되기 어려운 문제
31
빅데이터의 궁극적 의의
협애한 기술적 이슈에 매몰되어 바라볼 경우
‘빅데이터’의 한계와 부정적 측면에 쉽게 실망할 위험 농후
‘빅데이터’는 지식사회와 산업을 관통하는 거대 트렌드의 단면
그러나 놓쳐서는 안될 트렌드:
1. 산업 경쟁력의 무게중심 이동 현상
2. 인간의 이해를 목표로 한 새로운 이종 산업 및 학문간 융합
과학혁명을 태동시키고
물질문명을 견인한 원동력
천문학에서 시작한
과학적 데이터에 대한 열정
축적-분석-규칙화-응용의 선순환
32
빅데이터의 궁극적 의의
빅데이터는 인간 세계를 과학적으로 이해하고
(그로 인해 차별화된 가치를 창출하고)자 하는 노력의 산물
인류의 관심은 인간과 사회의 과학적인 이해로 방향 전환 중
새로운 지식혁명을 태동시키고
윤택한 문명을 견인하기 위해서는 빅데이터에 대한 열정 필요
BIG DATA = New Telescope / Observatory
거대한 망원경이 있어야 우주의 심연을 볼 수 있듯
빅데이터가 있어야 우리 사회와 시장의 심연 관통 가능
33
한국 빅데이터 관련 ‘불편한 진실’
데이터 생산과 소비는 세계 으뜸이나 생산적 활용 수준은 미약
빅데이터 수집 기업이라면 경탄해 마지 않을 한국의 데이터 생산-소비의 현장
폭증하는 데이터 사용 속에 각인되는 한국인의 생활 모습
그러나 그로 인한 과실은 전혀 다른 이들이 가져갈 수도
있는 것이 ‘불편한 진실’
그러나 이를 제대로 활용하는 토종 기업은? 불과 10개 업체 미만으로 추산
LTE 가입자 증가추세 1인당 월간 모바일 트래픽
34
한국 기업 현장의 문제점
데이터 축적 업무 활용 관련 기술 성숙 ……의 선순환 구조 단절
관계자 인터뷰를 통해 정리해본 한국 기업 현장의 총체적인 난맥
빅데이터는 어느 날 반짝 생겨난 유행이 아님!
선도 기업들의 집요하고 철저한 데이터 활용 시도가 반복
관련 역량이 축적되어 나타난 결과
35
한국 현장의 문제점
(빅)데이터 활용 필요성에 대해 피상적으로 인지해 본질과는 크게 이격
⇨ 한국 토양에서 빅데이터는 ‘미국제 신상’ 유행으로 그칠 비관론도 엄존
빅데이터가 수집되고 있지 않은 경영 현장
문제점
역량 축적으로 이어지지 않는 소모적인 데이터 활용 행태
빅데이터 관리·분석에 필요한 지식기반 취약
• 수집·축적할 가치 있는 데이터를 방치 또는 폐기
• 데이터가 있어도 전사 차원의 체계적인 관리와 공유가 이뤄지지 못해 빅데이터로 만들지 못함
현장의 실태
• 데이터는 의사결정 합리화의 장식품으로 오용
• 데이터에 근거한 사후 회고와 반성, 교훈 도출의 과정을 대부분 간과
• 한국의 빅데이터 전문 인력은 100명 남짓
• 한국의 단절된 현장 업무 환경과 학제간 장벽은 데이터과학 육성에 치명적인 한계
36
또 하나의 양극화?
SMALL 기업이 BIG 데이터를 다룰 수 있는가?
빅데이터 또한 웬만한 기업이 노려볼 수 없는 영역,
양극화를 심화시키는 영역으로 보는 오해와 비관론
37
한국의 “더욱 큰” 문제점
빅데이터 활용이 심화될수록 필연적으로 법률적 이슈가 대두
BIG Data = Big Brother? 빅데이터 시대에는 Privacy의 범위를 두고
더욱 치열한 사회적/법률적 논쟁이 대두될 전망
38
문화적 관념의 차이
빅데이터 활용이 심화될수록 필연적으로 법률적 이슈가 대두
미국의 관점 vs. 유럽의 관점
문화권 별로 프라이버시에 대한 관념이 다르다:
계급사회의 압제를 겪지 않은 미국은
표현의 자유와 재산권 보호를 더욱 중시
유럽, 그리고 비슷한 경험을 지닌 많은 나라는
프라이버시를 개인의 존엄으로 간주하고
보호해야 할 매우 높은 수준의 가치로 인식
39
적절한 ‘중도’를 찾을 수 있는가?
프라이버시에 대한 상반된 인식 때문에 규제에 대한 접근도 상이
Bottom-Up(미국) vs. Top-Down(유럽)
미국은 프라이버시 보호를 각 부문별로 나누어서
하위법령에서 규제 기술 발전으로 적용 범위가
계속 변화하며 규제망이 허술
유럽은 “The right to be forgotten”의 제도화를
추진할 정도로 포괄적인 규제 도입을 검토
비현실적 규제로 인해 관련 산업 발전 저해 우려
한국은 이에 대한 적정선의 사회적 합의가 가능??
40
그러나 조금씩 보이는 긍정적인 징후
한국 사회의 역동성에 힘입어 선순환 구조의 시동 가능성도 가시화
“(빅)데이터를 ‘전략적 자산’으로 인지하기 시작했다”
노력 여하에 따라
취약한 소프트웨어 산업,
이공계 인력 활용 부진,
창조형 ICT 신성장동력 확보
등의 다양한 현안에 대한
의외의 해결책으로 기능 가능
41
한국의 현실적인 전망
본격적인 빅데이터 사업은
2013년 상반기(10社/50%) 또는
2013년 하반기(4社/20%) 정도부터
시작될 것이라는 예상이 지배적
* 디지털타임즈 설문조사 결과
WHY?
정부의 빅데이터 육성 정책이 올 하반기 및
내년 상반기부터 본격 가동
and
기업의 주요 의사결정권자를 설득할 만한
파일럿 과제 수행과 성과 확인이
향후 1년간 물밑에서 활발히 전개될 전망
42
중장기 관찰 포인트
주요 기업은 총론적 성격 파악 완료,
발 빠른 기업은 파일럿 프로젝트 단계별 착수
빅데이터 지향 인프라 정비에 대한 의사결정 본격화
시범 성공 사례에 대한 1차 평가
전사적 기능별 빅데이터 역량 도입 관련 의사결정 시작
정부의 빅데이터 육성 정책 본격화
빅데이터, Go or Stop? [민간]
ICT 업계 새로운 돌파구(Post-Smartphone)와의 조화
공공 현안에 대한 기여 성과/전망 평가
Slope of Enlightenment 여부 가늠
2012
2013
2015~6
2016~7
2018
43
빅데이터 진흥의 과제
복잡한 빅데이터
문제의 조정 역할
대비 필요
국가 수준이 아닌 기업 수준에서도 지속적으로 관심을 가져야 할 문제
계속해서 불거질
‘빅브라더’ 의혹
선제 대응 필요
인프라 도입 이후
벌어질 데이터 및
인력 수급난 대비
44
마지막으로……
빅데이터를 통해 현안을 해결하는 창조적 대한민국을 꿈꾸며,
감사합니다
