巨量資訊技術之創新應用

中華電信公司 林榮賜

2014.11

大 綱

Big Data發展趨勢

Big Data應用: 以電信業為例

中華電信Big Data技術應用

結語

-2-

前言：改變未來的趨動力

IDC (2012)： 3rd Platform Gartner (2012)：Nexus of Forces

-3-

Big Data接受度 (Is Big Data Hype or Substance ?)

企業Big Data接受度國外大於國內

Gartner調查：企業2年內投資Big Data比率，58% (2012) -> 64% (2013)

iThome調查：國內企業採用Big Data意願，14.8%(2013) -> 26.3% (2014)

-4-

iThome

企業對Big Data投資的意願

-5- Source：Gartner (September 2013)

已投資

已投資+1~2年內投資

已投資+1~2年內投資

Cinematch 75% 的用戶接受 影片推薦

Smart Steps • 人潮分析 • 展店選址 • 智慧城市

媒體/通訊

醫療健康

運輸

• 媒體研究 • 精準行銷 • 線上行為

分析

經由Smartphone收集分析個人健康和生活行為資訊，提供醫病雙方疾病風險監測服務

• Traffic Index • Real-Time traffic

企業內資料仍是主要的Big Data來源

-6- Source：Gartner (September 2013)

關注焦點：Data Science

-7-

Analytics

Modeling

(分析建模)

Business

Analysis

(業務分析)

Data

Management

(資料管理)

認識資料

• 資料彙整

• 結構化、內容(非結

構壞)、混和型

• 資料品質管理

分析工具

• 統計分析

• Data mining

• 解釋資料

對齊業務

• 目標

• 策略

• 營運計畫

大 綱

Big Data發展趨勢

Big Data應用: 以電信業為例

中華電信Big Data技術應用

結語

-8-

客戶屬性

價值屬性

行為屬性

社交屬性

通路偏好

商品偏好

品牌偏好

內容偏好

使用經驗

風險因子

Big Data 整合分析

Big Data對電信業的意義

-9-

用戶、業務、終端、內容、位置、流量

外部： 營運模式

創新(SaaS/PaaS/IaaS)

新型態業務營收 (資訊型服務營收)

內部： 增裕既有

業務營收 (精準行銷)

提升營運效能

降低成本 (精準建設)

挖掘管道中巨量數據，創造價值

電信業Big Data應用方向

-10-

網路最佳化 鞏固客戶 營運管理 業務創新

說明

分析網路容量、效能與使用率等資料以進行網路最佳化之規劃

分析客戶使用情形以規劃並推動： • 行銷/促銷方案 • 交叉/向上銷售 • 客戶流失與挽回 • 客戶關懷活動

分析營運資訊以提升與改善： • 營運系統效能 • 營運作業流程

運用分析資料提供業務創新： • 精準行銷 • 媒體研究 • 匿名化分析資料銷

售

資料來源

• 網路設計與建置資料 ( 固 網 與 行 動 網路)

• IP流量明細資料 • 影像流量明細資料

• CDR、IPDR • 訂單與帳務資料 • 客服紀錄 • 社群活動資料 • 網路瀏覽資料

• 資訊應用系統產出之營運作業與系統使用紀錄

• 資訊設備與網路使用紀錄

• 行動位置相關資料 • 網路使用明細資料 • 社群活動資料 • 人口統計資料

應用範例

• 影像品質分析 • 網路訊務與效能分

析 • 網路詐欺行為管理

• 客戶維持方案 • 行銷/促銷方案 • 客戶流失預測 • 營收確保 • 詐欺行為辨識

• 系統服務品質確保 • 內容服務供裝 • 政策與法規遵循

銷售匿名化客群分析資訊，提供： • 運動展覽活動規劃 • 大賣場展售點選擇 • 廣告看板投放

Source：Gartner (November 2013)

電信業Big Data商用服務產品範例

-11-

服務* 應用服務領域

透過結合地理位置資訊推出精準營銷觀點服務(Precision Market Insights )

• 媒體研究(廣告媒體產業) • 精準行銷(零售業) • 線上行為分析(廣告媒體產業) • 客戶足跡分析(零售、快消品業)

透過地理位置資訊推出人潮分析服務、社群影響力分析、客戶分析

• 精準行銷(零售) • 安全交易與保險精算運用(金融) • 客戶足跡分析(零售、快消品業)

開發的巨量資料的應用服務，內容包含行動廣告、公共運用、B2B研究分析

• 媒體研究(廣告媒體產業) • 客戶足跡分析(零售、快消品業) • 線上行為分析(廣告媒體產業)

推出分析服務平台用於分析顧客洞查(Customer Insight)資訊

• 線上行為分析(廣告媒體產業) • 客戶足跡分析(零售、快消品業)

SmartSteps是地理位置資訊為基礎提供群眾行為分析資訊

• 客戶足跡分析(零售、快消品業) • 運輸路線規劃服務(公共行政) • 媒體研究(廣告媒體產業)

Verizon

Spark New Zealand

TELUS

Wi2

Telefonica

*服務可能僅在規劃階段或產品開發早期階段 *場地管理產業因產業劃分規則不一，亦可屬於零售業或是媒體業

Source：Accenture

Telefónica：Dynamic Insights

2012年10月9日成立Dynamic Insights大數據業務部門，20121214 發表「Smart Steps」（人潮趨勢分析）

uses anonymised and aggregated mobile network data

“Smart Steps” for Retailers

Decide on store location (展店選址)

Understanding store performance vs footfall (客戶足跡分析)

Plan local marketing campaigns and track their impact (精準行銷)

Optimise resource planning – staffing/open hours

隱私保護

ANONYMISATION (匿名化)

AGGREGATION (匯總式資訊)

EXTRAPOLATION (由樣本資訊外推)

-12-

Example question of a maker：

How does the footfall in our area change

throughout the day?

Verizon：Precision Marketing Insights

-13-

2012年10月成立

資料來自Verizon Wireless 94m+ 行動客戶

服務與目標客群：

戶外廣告評估 (媒體業者)

展演場館來客分析 (展場經營者)

零售賣場來客分析 (賣場經營者)

行動精準行銷服務 (數位廣告商)

資料庫行銷 (直效行銷商)

2015年5月聯合

BlueKai (資料管理)、Brightroll (影像廣告

台)、TURN (廣告技術)

推出 「PrecisionID」行動廣告目標客戶篩選

行動裝置+健康照護

-14-

經由Smartphone收集使用者的位置、生理與心理資訊

隱私保護： • Opt in • 匿名/去識別化

提醒醫生與病人注意，採取行動

運用Big Data分析，比對找出發病的徵狀

大 綱

Big Data發展趨勢

Big Data應用: 以電信業為例

中華電信Big Data技術應用

結語

-15-

中華電信Big Data技術應用

資訊系統 客戶分析

ICT與IOT 網路品質

巨量資料

分析平台

-16-

客戶價值分析

業務流失預防分析

目標潛客分析篩選

(網路訊務品質分析)

(障礙告警與關聯分析)

(用戶終端品質分析)

資安防護管理

資訊系統使用分析

智慧影像檢索監控

(ITS智慧運輸應用)

ICT專案

Big Data應用─客戶與網路分析

-17-

新客戶尋找

流失傾向分析應用

影片 推薦

交叉分析

應用

分析

巨量資料

估計分析 分類分析 Text mining

分群分析

關聯規則

資料儲存與處理

Hadoop (MapReduce & HDFS)

NoSQL DB

ETL & Data Intergration

Workflow & Scheduler

System Tool

企客產業鏈商機分析

光纖及WiFi精準

建設

Data Warehouse

ODS

Data Mart Hive

SNA

時間序列

…. 客戶升級

時序關聯

精準行銷 精準建設 網路品質提升

巨量資料儲存及處理平台

智慧型採礦平台

通路展店分析

網路品質分析

資料收集(油田) 巨量資料儲存彙整

分析呈現平台

資料分析

挖掘(煉油)資訊

資訊轉化為

內、外部服務

客戶

資料

帳務

資料

通信

紀錄

網路

設備

客戶

申訴

財務

會計

人力

資源

系統

日誌

網路

品質

偵測

網頁

瀏覽

空間

區位

社群

活動

Sensor

Logs

Storm

Big Data應用─資訊系統使用分析 對外：了解外部客戶使用產品各階段特性，幫助行銷，提升滿意度

對內：了解內部使用者使用資訊系統經驗與感受，進行系統與流程之優化改善

步驟：先導關鍵資訊系統->建立End-to-End流程分析->擴大推動

-18-

Big Data應用─資安防護管理(1/4)

偵測APT的挑戰

-19-

發現遭受APT 攻擊者，平均約 346 天

受害電腦內找不到惡意程式

關注二個問題： 能縮短APT攻擊的潛伏期嗎？ 能找到更多沒有惡意程式但被APT的主機嗎？

資料來源http://www.trend.com.tw/apt/whitepaper/Trend_Micro_APT_Whitepaper_2013.pdf

APT (Advanced Persistent Threat)為組織型駭客發起的

針對性持續攻擊

Big Data應用─資安防護管理(2/4)

從APT的足跡下手

-20- CHT Eyequila專注於APT攻擊的控制及擴散行為偵測

巨量日誌的挑戰： • 怎麼收集及收容？ • 怎麼搜尋？ • 分析什麼？怎麼分析？ • 如何呈現？

Big Data應用─資安防護管理(3/4)

-21-

Master

L4 switch

Firewall/Proxy/DNS

…

Slave 1

Slave 2

Slave 3

Slave N

Log flow

CHT Eyequila

使用者

Log sensor 加密與壓縮

• 設計Log sensor，單台EPS可達80,000

• CHT Eyequila 設計可快速擴展 (Scale out)的架構，增加主機，整個保存的空間會跟著變大

頻寬使用控制

Control flow

Big Data應用─資安防護管理(4/4)

-22-

創新性 –結合資安與巨量資料分析技術的創新

快速回溯偵測 • 當發生國內外重大資安事件時，可在一分鐘內快速確認半年內

是否有相似的攻擊行為

回饋與調適 • 學習長時間日誌資料，自動推薦關聯規則水位，無需專家介入 • 提供使用者回饋經驗與偵測結果，更智慧地適應運作環境

偵測及警覺隱匿攻擊行為 • 找出發掘緩慢、持續且隱密的控制活動 • 找出攻擊擴散的活動 • 交叉分析，降低不必要的誤報

基礎分析元件

Big Data應用─雲端影像檢索(1/2)

-23-

大量路口監控 影像資料

大量路口監控 影像資料

人工比對

2000多輛車

Big Data應用─雲端影像檢索(2/2)

-24-

查緝辦案 警察局

可疑車輛 即時

軌跡

車牌

檢索

行為

分析

可疑

告警

Big Data進行曲

-25-

資料像油源，需要不同探勘採集與加工技術產出原料

資料擷取 資料處理 資料分析 商業加值

油源探勘 原油採集 煉油 製造加工

IT + Domain =Big Data Analytics

資訊掌握能力 匯集各類資料並依據類型選擇擷取

如:Facebook、電信業者…

巨量與IT整合能力建構處理巨量資料的工具並與現有IT架構整合

如:IBM、Oracle…

專業知識的整合 建構分析工具，整合專業知識分析

如:零售業、銀行…

利用結果之商業加值 應用分析結果協助商業決策與加值(包括流程改善與產品設計)

如:應用服務商、 App開發商…

來源：工研院IEK 2013 Open Data引爆創新服務商機.pdf

CHT巨量資料平台解決方案

CHT Big Data Solutions

-26-

虛擬主機

VM VM VM VM VM VM …

實體主機

運算與儲存層 (資料倉儲+Hadoop)

資料管理層

資訊分析層 工具與軟體

元件與程式庫

工具與軟體

元件與程式庫

巨量資料管理解決方案

巨量資料運算解決方案

巨量資料分析 解決方案

基於開源碼技術，發展巨量資料分析、管理及運算解決方案，提升資料分析價值動能，作為本公司資料價值挖掘和價值資訊服務提供的解決方案，進而包裝為綜合型專標案輔助工具

CHT Big Data 資料分析 Solutions

-27-

特色 ■開發多維度報表分析服務，解決傳統OLAP處理大量資料或超大維度的問題

並提供純粹網頁式服務，無須專屬程式

CHT Big Data 資料管理 Solutions

-28-

特色 透過簡單介面可直接在雲端快速完成巨量資料載入、彙整處理

支援多種程式語言：Java, Shell Script, SQL, Windows Batch file 等語言

提供巨量資料傳檔、格式轉換、儲存、匯出、定期排程管控

CHT Big Data 資料運算 Solutions

-29-

平台核心

平台 管理 系統

單一入口

巨量平台維運管理

平台服務使用者

應用系統

部署安裝 多租戶授權 服務管理

日誌稽核 高可用性 事件告警

IaaS

特色 迅速上線：智慧佈署精靈簡化

繁瑣的安裝程序，一次搞定數百台軟體安裝與組態設定

單一入口：直覺式的操作介面，集中管理異質叢集主機、服務與應用程式

多人共用：整合加密性認證授權，滿足多租戶資源共享與帳戶資料安全

即時監控：叢集多面向集中監控，完整記錄平台各層次活動日誌，掌握關鍵效能指標

健康診斷：主動式平台狀態偵測，即時監控各項健康指標，主動發出異常告警

多元套件：開放式架構，可堆疊資料倉儲與商業智慧工具並擴充分析元件

彈性組合：依專案應用需求隨需組裝軟體套件，提供在地化可調適的解決方案

CHT Big Data HiCloud Solutions

-30-

• 設定簡單

• 部署容易(10分鐘

內完成)

Hadoop as a

Service on Cloud

• 快速重複安裝 • 有效回收資源，使用

度高

• 增減節點方便容易

• 彈性調整資源

• Multi-tenancy 叢

集間互不影響

Fast

Flexibility Easy

將本公司內部應用精鍊過的巨量資料技術，包裝為公雲服務，結合雲儲存S3 ，運算使用Big Data虛擬平台，資料長期儲存於S3。103年2月上線Hadoop hicloud Machine Image(HMI)服務，103/9再上線即時運算服務

大 綱

Big Data發展趨勢

Big Data應用: 以電信業為例

中華電信Big Data技術應用

結語

-31-

結語

-32-

巨量資料5大觀念，挖出潛在新商機 資料數量要夠大、夠多，量比質更重要

找出「相關性」，而非因果關係

地理位置、情緒貼文、社群圖譜、看似無用的散漫紀錄，都是有用的

只要有巨量資料思惟，小公司也能靠創新的點子致勝

要小心資料獨裁，不要被巨量資料掌控

駕馭資料，發揮創意，做對關鍵決策，達成智能管理

雲端運算平台組

大資料運算平台組

雲算圖平台組

出處:《大數據》牛津大學教授 麥爾荀伯格