25
Copyright 2016 CREATIONLINE, INC. All Rights Reserved Bluemix と Apache Spark とととと IoT ととととととととと 2016.6.30 クククククククククク ( ク ) クク 6/30 IBM Cloud Community ククク クククク

Bluemixとapache sparkでできる io tデータの収集と分析

Embed Size (px)

Citation preview

Page 1: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Bluemixと Apache SparkでできるIoTデータの収集と分析

2016.6.30クリエーションライン (株 ) 木内

6/30 IBM Cloud Community 勉強会講演資料

Page 2: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

自己紹介 木内 満歳(きうち みつとし)

クリエーションライン株式会社 シニアコンサルタント

Slideshare: http://www.slideshare.net/mkiuchi4

各種寄稿a. gihyo.jp: “ Mesosphere DCOSでつくるクラウドアプリケーション”

b. 日経クラウドファースト 2016年 6 “月 Azure IoT Suiteの評価”

c. Codezine: “ Bluemix Apache Spark機械学習をクラウドで手軽に体験! の で異常なセ

ンサーデータを洗い出す”

専門分野: Apache Mesos, Apache Spark, 分散コンピューティング , クラウドコンピューティング , NoSQL DB, グラフ DB

O’reilley Certified Developer on Apache Spark

Docker Certified Technical Trainer2 2

Page 3: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ 3

クリエーションライン株式会社 2006年 1月設立

Page 4: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

主な取扱い製品

4 4

IaaS基盤

構成管理・ DevOpsMSP

PaaS・データ分析基盤

Page 5: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

IBM Bluemix

5

Page 6: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

BARTBay Area Rapid Transit, CaliforniaOperation Monitoring, 15 days to install 6

Page 7: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Le Tour de FranceRealtime Monitoring, Winner Prediction

7

Page 8: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Poseidon Project, IBM ResearchWater Preservation, IoT

8

Page 9: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

BluemixInternet of Things

9

Page 10: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Internet of Things

10

Page 11: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

“データフロー・オーケストレーション (ツール )”

11

Page 12: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

{“name”:

“kiuchi”,

“company”:

“creationline”

}

{“name”: “y

arai”,

“company”:

“creationline”

}

12

Page 13: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

{ “MyID”: “1234567890987654321”, “time”: “2016/4/16 12:34:56 +0900”, “data” : [ “temp”: “26” ]}

“JSON ”データ ( JSONドキュメント)

13

Page 14: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

{“name”:

“kiuchi”,

“company”:

“creationline”

}

{“name”: “y

arai”,

“company”:

“creationline”

}

“(ドキュメント型 )NoSQL ”データベース

14

Page 15: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

IoT Sensorエミュレータ (ブラウザで動作 )

https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/

15

Page 16: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Internet of Things

16

Page 17: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Internet of Things

MQTT

センサーがMQTTに対応していない場合

フィールドゲートウェイ(Local -> MQTT)

バス接続 (GPIOなど )

17

Page 18: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

● 統計解析

● 機械学習

●ストリームデータ処理

● SQL

18

Page 19: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

BluemixInternet of Things

https://console.ng.bluemix.net/もしくは

http://www.bluemix.net 19

Page 20: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

デモの構成

MQ

TT

x8 sensors

20

Page 21: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Apache Sparkにおけるプラグインのしくみ

SparkSQL

HiveQL互換

JDBC/ODBC互換

Parquet

JSON

CSV

Hive DB

RDB

プラグイン MongoDBなど

21

Page 22: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Spark Packages

http://spark-packages.org/ 22

Page 23: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Sparkにおける Cloudant

add-onパッケージとして提供されているhttps://github.com/cloudant-labs/spark-cloudant

23

Page 24: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

まとめ

• Bluemixを使うことで簡便にセンサーデータの蓄積、分析を行うことができます

• センサーがなくてもエミュレータで手軽に練習することができます

24

Page 25: Bluemixとapache sparkでできる io tデータの収集と分析

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ