35
What Is the next Big Data? Etu 負責人 蔣居裕 Dec. 20, 2012

Keynote: What Is the next Big Data?

Embed Size (px)

DESCRIPTION

在接連勇奪三個產品創新獎項之後,亞洲 Big Data 解決方案領導品牌 Etu 今天舉辦「Etu Solution Day 2012」,與合作夥伴聯手展出了一系列以其核心產品 Etu Appliance 發展出來的 Big Data End-to End 解決方案,並在會中提出 2013 年台灣 Big Data 市場的趨勢預測。Etu 認為,隨著不同行業的 Big Data 首批應用一一成形落地,企業擁抱 Big Data 的力道將在新的一年有明顯加重的趨勢。 首屆的「Etu Solution Day」特別針對電子商務、零售、電信、金融、高科技製造、政府及交通運輸行業,一次匯集具有 Hadoop 經驗的 Big Data 應用軟體開發商,以及可接取 Hadoop 平台的工具廠商,與焦點行業來賓分享經驗成果。Etu 在會中發表對 2013 年台灣 Big Data 市場的五大前瞻性預測,包括:一、本地不同行業的 Big Data 應用案例將一一浮現;二、”Medium” Data 出現在更多企業 Big Data 應用場景;三、Hadoop 相關專業教育訓練課程漸熱;四、從 Quantified Self、Enterprise Data、Open Data、到 Internet-scale Data,資料分析蔚為顯學; 五、Open Data 方興未艾,各級政府、不同部門的開放策略與腳步不一,來自民間的挑戰也不斷。

Citation preview

Page 1: Keynote: What Is the next Big Data?

What Is the next Big Data?

Etu 負責人 蔣居裕

Dec. 20, 2012

Page 2: Keynote: What Is the next Big Data?

2

蔣居裕 (Fred Chiang)

• Etu 負責人

• Hadoop Big Data 傳教士

• Big Data Taiwan 社群發起人

• 《 Fred 豢養的雲中象》—

台灣唯一專寫 Big Data 的非純技術部落格

自我介紹

Page 3: Keynote: What Is the next Big Data?

3

• 2012 台灣 Big Data 市場發展檢視

• 2013 台灣 Big Data 市場趨勢預測

• Etu Solution Day 2012 活動預覽

• Etu 2013 發展方向

大綱

Page 4: Keynote: What Is the next Big Data?

4

2012 台灣 Big Data 市場發展檢視

Page 5: Keynote: What Is the next Big Data?

5

2012 台灣 Big Data 元年 五大趨勢預測實現強度

Page 6: Keynote: What Is the next Big Data?

6

2013 台灣 Big Data 市場趨勢預測

Page 7: Keynote: What Is the next Big Data?

7

1. 本地不同行業的 Big Data 應用案例,將一一浮現

數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是

領航的焦點領域。

2013 台灣 Big Data 市場趨勢預測

Page 8: Keynote: What Is the next Big Data?

8

2. “Medium” Data 出現在更多企業 Big Data 應用場景

”Big” 的迷思,用 3V 模型來明辨。

2013 台灣 Big Data 市場趨勢預測

Page 9: Keynote: What Is the next Big Data?

9

Big Data 要處理的三個面向:3V

Volume 資料量

Velocity 處理時效

Variety 資料格式

1.

2.

3.

Page 10: Keynote: What Is the next Big Data?

10

3. Hadoop 相關專業教育訓練課程漸熱

讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。

2013 台灣 Big Data 市場趨勢預測

Page 11: Keynote: What Is the next Big Data?

11

高階查詢語言 (SQL-like)

機器學習

資料採擷 分散式儲存 HDFS

平行運算框架 MapReduce

分散式資料庫 (NoSQL)

數據序列化

資料獲取與監控

數據倉儲

資料流程

ZooKeeper

動物園管理員

hiho Sqoop Flume Scribe

oozie Cascading Hue Solr

從一隻大象到一個動物園,生氣盎然

但架構與管理難度頗高

Page 12: Keynote: What Is the next Big Data?

12

4. 從 Quantified Self、Open Data、Enterprise Data、

到 Internet-scale Data,資料分析蔚為顯學

個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。

2013 台灣 Big Data 市場趨勢預測

Page 13: Keynote: What Is the next Big Data?

13

洞察自己

RescueTime

Page 14: Keynote: What Is the next Big Data?

14

5. Open Data 方興未艾,各級政府、不同部門的開放策略

與腳步不一,來自民間的挑戰也不斷

隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門

將面臨資料開放政策與作法上的挑戰。

2013 台灣 Big Data 市場趨勢預測

Page 15: Keynote: What Is the next Big Data?

15

Etu Solution Day 2012

Page 16: Keynote: What Is the next Big Data?

16

Etu Solution Day 2012

Page 17: Keynote: What Is the next Big Data?

17

Etu Solution Day 2012

1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender

焦點行業:電子商務、零售業

2. 高科技產業資料分析解決方案

焦點行業:高科技製造業

3. Etu DW Offload 解放資料倉儲的運算效能

焦點行業:電信、金融

4. Trinity BDM 橋接傳統與未來

焦點行業:電信、金融、製造

5. Big Data 視覺化分析解決方案

焦點行業:整體行業

6. Mobile LPR - Big Data 影像資料的車牌分析應用

焦點行業:政府、交通運輸

Demos Booth

Page 18: Keynote: What Is the next Big Data?

18

Etu 2013 發展方向

Page 19: Keynote: What Is the next Big Data?

Etu 2013 主力:一平台 + 一方案

19

Page 20: Keynote: What Is the next Big Data?

20

Etu 2013 關鍵字

• 整合

• 一橫多縱

• 夥伴價值

Page 21: Keynote: What Is the next Big Data?

聲音檔案 影片檔案 圖形檔案

文件檔案 文字資料 XML檔案

Web Logs 點擊事件

社交網路 關聯圖譜

新聞 Feeds

感應器 嵌入設備

RFID Tags

地理資訊 GPS 點位

事件 其他

Big Data 精煉處理場

New SQL

NoSQL SQL

New SQL

MPP EDW

商業智慧 與

線上分析

Web, Mobile, CRM, ERP, SCM, …

Dashboard, Report, Visualization, …

商務交易 與

行為互動

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

傳統 ETL

預處理

回饋/歷史資料

回饋/歷史資料

多結構資料 儲存/彙整/轉換/運算

多結構整合:從 Hadoop Big Data 到 Total Data

OLTP

OLAP

Page 22: Keynote: What Is the next Big Data?

聲音檔案 影片檔案 圖形檔案

文件檔案 文字資料 XML檔案

Web Logs 點擊事件

社交網路 關聯圖譜

新聞 Feeds

感應器 嵌入設備

RFID Tags

地理資訊 GPS 點位

事件 其他

Big Data 精煉處理場

New SQL

NoSQL SQL

New SQL

MPP EDW

商業智慧 與

線上分析

Web, Mobile, CRM, ERP, SCM, …

Dashboard, Report, Visualization, …

商務交易 與

行為互動

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

傳統 ETL

預處理

回饋/歷史資料

回饋/歷史資料

多結構資料 儲存/彙整/轉換/運算

多結構整合:從 Hadoop Big Data 到 Total Data

OLTP

OLAP

Page 23: Keynote: What Is the next Big Data?

23

Hot Data 線上結構化資料

Warm Data 線上半/非結構化資料

Cold Data 離線資料

Hadoop-based Online Query / Analytics

Backup/Archive with SAN, NAS, Cloud Storage, or Tape

SQL-based OLTP / OLAP

RDB DW DW

DW

DW DW MPP

DB

HDFS

Map Reduce

HDFS

Map Reduce

HDFS

Map Reduce

HBase Hive Pig

三種溫度資料的整合 Hot / Warm / Cold Data

Page 24: Keynote: What Is the next Big Data?

24

Hot Data 線上結構化資料

Warm Data 線上半/非結構化資料

Cold Data 離線資料

Hadoop-based Online Query / Analytics

Backup/Archive with SAN, NAS, Cloud Storage, or Tape

SQL-based OLTP / OLAP

RDB DW DW

DW

DW DW MPP

DB

HDFS

Map Reduce

HDFS

Map Reduce

HDFS

Map Reduce

HBase Hive Pig

三種溫度資料的整合 Hot / Warm / Cold Data

Page 25: Keynote: What Is the next Big Data?

電信營運

Etu Offering 發展:一橫多縱

Etu Appliance

電子商務

Etu Recommender 精準推薦解決方案

行動商務 廣告投放

製造/金融

Work with ISV Partners

25

Page 26: Keynote: What Is the next Big Data?

• Scalability - 公有雲等級的運算架構

• Reliability - 電信等級的系統品質

• Performance - 企業等級的創新績效

Etu Appliance

1 U 節點可處理 4 ~ 40 TB

Hadoop Big Data 運算平台首選

不可能更容易

26

Page 27: Keynote: What Is the next Big Data?

Etu Appliance 於 10 月初獲得

27

Page 28: Keynote: What Is the next Big Data?

Etu Appliance 於 10 月底又獲得

系統、應用、工具軟體類

28

Page 29: Keynote: What Is the next Big Data?

Etu Appliance 於 12 月初又獲得

平台組

29

Page 30: Keynote: What Is the next Big Data?

一客.一市場

Etu Recommender 精準推薦解決方案

30

Page 31: Keynote: What Is the next Big Data?

建構 Etu Ecosystem

ISV for Hadoop-based Application Development

SI/VAR for Hadoop-based Solution Integration

Reseller for Etu Appliance

Partner Enablement: Solution. Skill.Support

31

Page 32: Keynote: What Is the next Big Data?

建構 Etu Ecosystem

Partner Enablement: Solution. Skill.Support

32

Page 33: Keynote: What Is the next Big Data?

台灣唯一的 Big Data 認證課程 Etu Big Data Hands-on Training Level 1

手作初級體驗課程

Etu Big Data Hands-on Training Level 2 手作進階 - 企業應用實作課程

FB 粉絲頁:http://www.facebook.com/etusolution

33

Page 34: Keynote: What Is the next Big Data?

34

1. 2013 延續 Big Data 元年的發展,市場持續向上,

為往後的大爆發做準備。

2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的

價值與精彩。

3. Etu 與夥伴攜手,為企業 Big Data 而服務。

如果您只記得 3 件事

Page 35: Keynote: What Is the next Big Data?

Merry X’mas

闔家平安.收穫滿滿

35