MindsLab seminar(20140527) 02_빅이슈 해결을 위한 빅데이터 사용

빅데이터로 풀어보는 Real-time Market Sensing

빅데이터로 풀어보는

리얼타임 마켓센싱

2014.05.27

www.mindsinsight.co.kr

빅이슈 해결을 위한

소셜빅데이터 사용

마인즈랩 데이터사이언스팀


We resolve the Big Issues



“문제가 터지기 전에 알고싶다”

“생존이 걸려 있는 최신 트렌드에서

뒤쳐지지 않고 싶다”

“우리와 경쟁사의 제품/ 서비스, 마케팅의 성공/ 실패의 원인은

무엇일까?”

“우리의 시장전략, 상품개발, 마케팅, 고객서비스 방향은

무엇인가?”

“정책에 대한 여론의 변화를

알고 싶다” “소비패턴의 변화, 라이프스타일의 변화를

추적하고 싶다”


소셜빅데이터로 마케팅 이슈를 해결했다는데

뭘 어떻게 했다는 거지?


빅데이터로 풀어보는 Real-time Market Sensing Business Questions



화장품 시장에서

선점되지 않은 시장은

어디이며

우리는 어떻게

이를 공략할 수 있는가?

동종 업계에서 경쟁자는

누구인가?

가격 측면에서

경쟁자들의 가격 정책은

어떻게 이루어지고 있나?

빈 시장을 공략하기 위한

우리의 준비사항은

무엇인가?

시장 선점을 위한

자원 투자를

어떻게 하여야 하는가?

시장선점 에 대한

의사결정은 무엇인가?

투자할 것인가?

브랜드 이미지, 로열티 관점

에서 경쟁사들의 포지션은

어디에

위치하고 있는가?

가격, 브랜드 이미지, 로열

티 관점에서 경쟁사들과 우

리를 분석할 경우 빈 시장

이 확인되는가?

소셜데이터 분석 영역

브랜드 이미지,

로열티 관점에서

경쟁사들의 포지션은

어디에 위치하고 있는가?

가격, 브랜드 이미지,

로열티 관점에서

경쟁사들과 우리를

분석할 경우

빈 시장이 확인되는가?

분석 Needs 충촉을 위한 스토리를 프로세스화


로열티

연관어 '효과적', '혁신적' 이라는 단어가 차지하는 연관어 비중

연관어 '고가', '프리미엄‘이 차지하는 비중에서 연관어 '저렴', '저렴이‘ 가 차지하는 연관어

비중 차감. 양일수록 고가의 이미지, 음일수록 저가의 이미지

브랜드명을 검색했을 때, 연관어 '발암물질‘이 차지하는 비중

연관어 '크림', '스킨', '로션', '에센스', '수분크림', '아이크림' 이상 6단어가 차지하는

비중에서 '립스틱', '파운데이션', '파우더', '아이라이너', '마스카라', '틴트' 이상 6단어가

차지하는 비중 차감. 양일수록 기초 화장품의 이미지, 음일수록 메이크업의 이미지

가정

브랜드명 검색시 연관 검색어 순서대로 가중치 부여

브랜드 이미지 효과성

가격 이미지

신뢰성

제품 특성

브랜드 이미지, 로열티 관점에서 경쟁사들의 포지션은 어디에 위치하고 있는가?

가격, 브랜드 이미지, 로열티 관점에서 경쟁사들과 우리를 분석할 경우 빈 시장이 확인되는가?

분석 View와 키워드 도출


그렇다면 마인즈인사이트 라는 툴은

어떤 기능을 가지고 있는

tool 인가요?


MINDS INSIGHT Functions


빅데이터로 풀어보는 Real-time Market Sensing MINDs Insight Engine 특장점 O

utp

uts

Text Cleaning/Filtering (문서 정제/필터링)

Part of Speech Tagging (품사 꼬리표 붙이기)

Tokenization (형태소 분석)

Sentence/Phrase Identification (문장/구 식별)

Attribute Extraction/ Assignment (속성 추출/할당)

Word Stemming (단어 분리)

Stop Word Removal (불용어 제거)

Partial Parsing/Chunking (구문 분석)

Word/Phrase Frequency (단어/구 빈도)

Named Entity Recognition (개체명 인식)

Document Classification/ Clustering (문서 분류 및 클러스터링)

Text Summarization (문서 요약)

Event Analysis (이벤트 분석)

Statistical Analysis (통계 분석)

Risk Detection (리스트 탐지)

Word/Phrase Linkage (단어/구 연관성)

Sentiment Analysis (감성 분석)

Analy

sis

Dom

ain

Phase

s

Natural Language Processing (자연어 처리)

Text Mining (텍스트 마이닝)

Text Pre-processing (문서 전처리)

Feature Generation /Selection (속성 생성 및 선택)

Mining and Analysis (정보 추출 및 분석)

기계 분석을 위한 문서 정제, 분리 및 분류 과정

주어, 목적어, 시제, 장소 식별 및 구조화

문서와 출처 간의 분석을 통한 데이터 체계화 및 패턴 발견

※ 범례 : 세부 기술 한국어 달성 수준

: 상용화 영역 : 달성 영역 : 특화 영역

빅데이터로 풀어보는 Real-time Market Sensing MINDs Insight Engine 특장점

Industry Insights

산업별로 삼일PwC의 비즈니스 Know-How를 반영하여 다양한 View의 분석정보 제공

Detailed Sentiment Analysis

하이브리드(기계학습+규칙) 기반의 감성 분석 제공

- 10가지 긍정 감성(감동, 좋아함, 기쁨, …) 인식

- 10가지 부정 감성(실망, 슬픔, 싫어함, …) 인식

Document Summarization

대상 문서 집합에서 의미 있는 중요 키워드 추출을 통한 정보 요약

빈도/매체 신뢰도/어휘 위치/미디어 전파 방향성/신규성 등 고려

Issue Analysis

대상 문서에 대한 군집화(clustering) 분석 및 군집 주제 레이블링

문서 내부 키워드의 유사성(similarity/ distance) 을 통해 유사 특성 문서 그룹화

Event Analysis

제품/브랜드/정책/인물 등의 개체명에 대한 주요 이벤트 자동 탐지

- 제품 출시, 주요 행사, 기업 변화, 법적 조치 등

30여 종류 인식

Risk Analysis

문장 내의 주요한 개체 사이의 관계 인식을 통해 개체에 대한 위험 탐지

- 7개 도메인(공공, 기업, 인물, 질병 등), 60여

종류(부정여론, 위법행위, 소송, 조사, 법정판결 등)

Hybrid Analysis

대용량 학습데이터 기반의 기계학습 (Machine Learning)을 통한 분석

알려지지 않은 키워드/상황에 대해서 최적화된 분석 결과 도출 및 전처리/후처리를 통한 오류 보정

Statistical & Rule Based Analysis

형태소 분석, 품사 태깅, 이슈 분석, 이벤트 분석 등에 다양한 통계모델 및 규칙 기반의 분석 적용

Technical Support

ETRI와 협력을 통한 주기적 분석 엔진 업데이트 제공

언어지식 구축 전문가를 통한 상시 업데이트 제공

빅데이터로 풀어보는 Real-time Market Sensing MINDS INSIGHT 주요 기능


MY BIZ.

키워드분석

트위터/블로그/뉴스별 해당 원문 보기 pop-up

채널별 분류 분석

일자 지정 분석

회원 가입시 셋팅된 분석용 핵심 키워드(유료회원 10개 기본 Keyword set) 선택적 분류 분석 정보 제공

해당 분석 정보 엑셀 다운로드 제공

빈도/중요도 분류 분석 제

공

MINDS INSIGHT 주요 기능


MY BIZ.

감성분석



해당 분석 정보 엑셀 다운로드 제공

선택적 키워드별 감성 속성 분석과 긍부정 빈도/추이

분석

감성 분석 원문 보기

키워드별 세부 감성 분석 pop-up

해당 키워드(제품/브랜드) 속성별 감성 원인 분류 분석


MY BIZ.

이벤트

이벤트별 분류 선

택

키워드별 선택적 월별/일별 이벤트 분

석

채널별 분류 분석 보기 채널별 원문 보기 pop-up

일별 이벤트


MY BIZ.

연관어 분석



중요도순과 최신순으로 연관 분석 분류

15개 세부 분류 카테고리 선별 연관어 분석 제공

연관어 개수 지정 (1-depth 최대 50개)

연관도 순위별 분류 (시계 방향)

연관 빈도 분석 3-depth 세부 분석

재클릭시 1차 연관어 복귀

핵심 키워드 선별 분석

MINDS INSIGHT 주요 기능


MY BIZ.

영향력자

회원 가입시 셋팅된 분석용 핵심 키워드(유료회원 10개 기본) 선택적 분류 순위별 진성 영향력자 분석 정보 제공


영향력자 원문 pop-up

트위터 순위, 팔로워 수, 전체 트윗 수 정보 제공


MY BIZ.

리스크 탐지

이슈별 채널별 여론 원문 pop-up

일자 지정 분석 실시간 리스크 탐지 핵심 키워드 연관 중요도/일자/미디어채널별 분류 분석

시간대별/일별 분류

채널별 연관 원문 빈도 및 누적 수치 분석

리스크 탐지 시 Minds Insight App으로 실시간 alert 전송 제공 및 웹/앱 통한 실시간 확인 및 즉각적 대응 위한 활용


LET’S TAKE A QUICK LOOK HOW MINDS ARE MINED


더 페이스샵의 ‘착한 씨앗 캠페인’ 브랜드 캠페인인 ‘착한 씨앗 캠페인’의 취지에 맞게 출시된 착한 씨앗 시리즈의 ‘피지 잡는 수분크림’과 ‘망고씨드 하트볼륨 버터’, 일명 조명광CC로 불린 ‘아우라CC크림’이다. 이어 더페이스샵의 ‘망고씨드 하트볼륨 버터’는 최근 발탁한 모델 수지의 이름을 따 ‘수지버터’로 인기를 얻은 제품이다. 수지가 하트볼륨 버터 CF에서 직접 노래를 불러 유투브에 올라간 CF 영상의 조회수가 34만건 이상을 기록하는 등 화제가 되기도 했다.

미샤의 슬로건 ‘국내 화장품 브랜드숍 1위 브랜드’

스킨79, 연말맞이 최대 70% 할인 스킨79 홍보마케팅팀 이그린 팀장은 “1년 동안 스킨79를 사랑해 주신 많은 소비자들을 위해 브랜드 데이를 준비했다”라고 했다.

에뛰드하우스, 스위트 파티 전 품목 20~30% 세일 실시 2월 신제품 메이크업 컬렉션 ‘스윗 레시피’라인을 알뜰하게 구매할 수 있는 절호의 찬스다. 앙증맞은 패키지, 달콤한 향, 생생한 컬러, 부드러운 발림성이 특징인 메이크업 컬렉션으로 샤이니와 f(x)의 설리, 크리스탈이 등장한 광고로 더욱 주목을 받고 있다.

'천상의 섬' 제주 품은 이니스프리 승승장구

특히 후발주자인 이니스프리는 제주도 친환경 이미지를 적극적으로 활용해 자연주의 브랜드

자리를 놓고 더페이스샵과 경쟁 중 감귤·녹차·유채 등 청정원료 마케팅 주효 지난해 화장품시장

판매부진 속 64% 늘어

JYJ, 토니모리 전속계약…광고촬영 현장공개 “글로벌한 이미지 어필할 것” 그룹 JYJ가 코스메틱 브랜드 토니모리의 얼굴로 활동, 글로벌 활동에 박차를 가한다. JYJ는 최근 토니모리와 모델계약을 체결했다. 일본을 제외한 토니모리의 아시아 전 지역 모델로서 다양한 활동에 나설 예정이다.

브랜드숍 화장품 시장


스킨79,

연말맞이 최대 70% 할인 스킨79 홍보마케팅팀 이그린 팀장은 “1년 동안

스킨79를 사랑해 주신 많은 소비자들을 위해

브랜드 데이를 준비했다”라고 했다.

스킨79


당최,

우리의 프로모션은

효과가 있는걸까?

브랜드 이미지에

도움이 되는걸까?

이거 계속 해야하나?

스킨79 PR 매니저

브랜드가 진행하는

이벤트에 따라

브랜드 이미지/ 감성이

어떻게 변화할까?


다양한 브랜드가 진행한/하는

프로모션/ 이벤트를 확인하고,

실시간으로 이에 대한 감성을 분석하여

광고하기 적절한 이미지와

시기를 파악할 수 있다.





브랜드 별 특정 기간 내 감성 빈도 추출

해당 사례는 2012년 8월 ~ 2013년 7월 동안 데이터를 추출한 것이다.

데이터 소스는 트위터/ 블로그/ 뉴스 3가지 채널이며, 채널 합산한 데이터를 기반하여 분석하였다.

분석을 진행하고자 하는 이벤트/ 프로모션 기간 전/후 감성 빈도를 도출하는데 중점을 두었다.

수집된 Data의 분석이 용이하도록 엑셀을 활용하여 가공

View 별 데이터를 한 눈에 보기 위하여 표 형식을 선택 후 X축에는 기간 (월 단위/ 일 단위 등)을,

Y축에는 각 키워드의 긍정/ 부정 별 기간 내 빈도를 기입해보자.

기간 (단위: 월) 2012년 8월 2012년 9월 2012년 10월 2012년 11월 2012년 12월 2013년 1월 2013년 2월

브랜드

스킨79 POS xx xx xx xx xx xx xx

NEG xx xx xx xx xx xx xx

더페이스샵 POS xx xx xx xx xx xx xx


스킨푸드 POS xx xx xx xx xx xx xx


에뛰드 POS xx xx xx xx xx xx xx


미샤 POS xx xx xx xx xx xx xx


X축

Y축

* POS: 긍정

NEG: 부정

분석의 편의성을 위하여 데이터 가공

차트화를 위해 X축과 Y축, 그리고 각 차트에서 표현하고자 하는 Object를 결정하였다.

X축: 기간 (일/월 단위)

Y축: 키워드 별 긍정/ 부정

Object: 브랜드

기간 (일/월 단위)

키워드 별 긍정/ 부정

분석의 편의성을 위하여 데이터 가공

데이터의 패턴을 한 눈에 보기 위하여 ‘차트’의 타입을 선택한다. (아래 기준 참고)

꺽은선 그래프

데이터 추이를 보기 원하는 경우

파이/ 도넛 그래프

데이터의 비중을 보기 원하는 경우

누적 막대 그래프

브랜드 별 연관어의 비중을

보기 원하는 경우

가공된 데이터를 한 눈에 파악하기 위한 차트화 및 비주얼화

감성 빈도의 변화를 이벤트 진행 전과 후에 비교하는 것이므로

기간 별로 긍/부정 비중을 나타낼 수 있는 도넛 차트를 선택하였다.

데이터의 성격 및 표현 목적에 맞게 차트 유형 변경이 가능하다.

‘스킨 79’의 이벤트 진행 전과 후의 감성 분석

질문) 브랜드가 진행하는 이벤트에 따라 브랜드 이미지/ 감성이 어떻게 변화할까?

MINDs Insight) ‘스킨 79’라는 브랜드에서 진행하는 이벤트/ 프로모션을

해당 기간 전 후로 긍/부정 감정 빈도 변화를 분석하였더니, 이벤트/

프로모션 기간 전보다 그 후에 긍정 빈도가 약 1800건이 증가했다.

프로모션/ 이벤트가 미치는 영향을 구체적으로 알기 위해서는 동일 기간

내 프로모션/ 이벤트 명의 연관어 분석 등이 필요하다.

NOTE 1) 특정 이벤트 기간 동안 해당 브랜드의 언급량 중 긍/부정 비중의 변화 분석

NOTE 2) 마케팅 캠페인의 영향력이 이벤트 시작 전 또는 종료 후에도 나타나는 경향이 있으므로

이벤트 기간을 설정 시 고려

NOTE 3) 1년 (1208~1307) 데이터로 검증

광고 이미지&타이밍

2012년 11월 2012년 12월

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

2012년 11월 ~ 2013년 4월 (프로모션 바로 직전으로부터 6개월)

2012년 11월 ~ 2013년 10월 (프로모션 바로 직전으로부터 9개월)

브랜드 세부 제품군 이미지를 보면,

연말 70% 할인 행사 전후 3개월 (11월: 행사에 대한 공지) 동안 스킨79의 ‘기초화장품’에 대한 언급이

1만8천건 이상 검색되었고 (2012년 11월~2013년 1월, 트위터), 이는 타 브랜드 대비 크게 높은 수준으로 나타남.

이후 3개월 후에는 비슷하게 유지되며 경쟁사들의 검색이 더 많아짐.

이후 6개월 후에는 경쟁사의 검색 빈도가 더 높아짐.

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

남자

2012년 11월 ~ 2013년 1월 (프로모션 전후 3개월)

디펜스 라인은 모이스처라이징의 제품군으로

자리매김한듯함

오리엔탈 라인은 고가로 인해 이벤트 제품과 구매가 많이

이루어진것으로 추정 - 매니큐어와 립스틱

남성 라인인 부스터의 반응이 이벤트 기간동안 좋았음.

남성들이 그루밍에 관심이 많아지지만 여전히 편하게 쓰고싶어하는,

많은 고민을 해결해 줄 수 있는 제품으로 개발 가능 잠재력

‘연말 70%할인’은 트위터상에서 ‘기초화장품’에 대한

언급을 많이 이끌어내, 해당 기간 경쟁사 대비 가장 많이

언급됨


DATA DATA

DATA

DATA

DATA

DATA

DATA

Big Data Decision Science 소셜 네트워크상의 방대하고 다양한 데이터를 수집해 분석하여 패턴을 제공하여, 매일 비즈니스 환경에서 마주하는 이슈를 해결하는데 도움, 영감을 준다.

PwC의 Issue based Problem Solving Technique과

ETRI 엔진의 Machine Learning, Natural Language Processing,

Text Mining 기법의 결합을 통해 도출한

Market Intelligence를 통한

social wisdom

데이터 제공

비즈니스 환경에서 매일 마주하는

다양한 이슈를 통해 문제를 해결해가는

소셜 빅데이터 스토리텔링


BIG DATA

Social Trend Analysis

소셜 트렌드 분석

Business Analytics 비즈니스 애널리틱스

Business Intelligence 비즈니스 인텔리전스

데이터 원천이 SNS와 같은 외부에 있으며,

사회 현상을 해석하여 이슈를 해결하는 분석 영역

데이터 원천이 기업 내부에 있으며, 경영진의 직관 정보 및 실무진 상세 정보를 제공하는 영역

데이터 원천이 기업 내부에 있으며,

알고리즘에 의한 이슈 해결을 지향하는 분석 영역

빅데이터를 통한 3가지 분석 타입


매번 이렇게

일일이 분석을 해야 하니?

Market Intelligence

많은 주제에 대해서 대량의 키워드

분석을 하고 싶으면?

개별 이슈가 아닌 업종 전체의 패턴과 흐름을 보고 싶으면?

빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing

Copyright © 2014 Minds Lab. All rights reserved

Real-time Market Sensing

463-100, 12F, U-Space 1-B, 660, Daewangpangyo-ro, Bundang-gu, Seongnam-si, Gyeonggi-do, Korea T.031-625-4340 F.031-625-4119 | www.mindslab.co.kr www.mindsinsight.co.kr

No part of this publication may be circulated, quoted, or reproduced for distribution outside the client organization without prior written approval.

Technology

MindsLab seminar(20140527) 02_빅이슈 해결을 위한 빅데이터 사용