21
Azure Data Lakeの はまりどころ 2016/04/16 Global Azure Boot Camp 大田 一希

20160416 Azure Data Lakeのはまりどころ

  • Upload
    -

  • View
    2.241

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 20160416 Azure Data Lakeのはまりどころ

Azure Data Lakeのはまりどころ

2016/04/16

Global Azure Boot Camp

大田 一希

Page 2: 20160416 Azure Data Lakeのはまりどころ

自己紹介

• 名前:大田 一希(かずき)

• Twitter:@okazuki

• 犬派猫派:犬派

• 肩書?:Microsoft MVP for Windows Development

• Blog:かずきのBlog@hatenahttp://blog.okazuki.jp

• OSS:ReactivePropertyhttps://github.com/runceel/ReactiveProperty

Page 3: 20160416 Azure Data Lakeのはまりどころ

お約束事項

• 記載の内容は個人の見解であり、所属する企業を代表するものではありません。

Page 4: 20160416 Azure Data Lakeのはまりどころ

Data Lake Store

• Azureのなんでも入るデータストア

• エクスプローラライクな構造でデータを持てる

• 画像もテキストもバイナリもなんでも入る

• 素敵!魔法の入れ物!

Page 5: 20160416 Azure Data Lakeのはまりどころ

Data Lake Analytics

• Data Lake Storeに対してU-SQLというSQLとC#が混ざったような言語で分析ができる

• 大量ファイルを一括で処理できる

• ビックデータ分析に向いてそう

• 素敵!こんなの待ってた!

Page 6: 20160416 Azure Data Lakeのはまりどころ

じゃぁ使ってみようか

Page 7: 20160416 Azure Data Lakeのはまりどころ

case1

• ちょっとCSV置いてU-SQLで分析してみようかな

Page 8: 20160416 Azure Data Lakeのはまりどころ

case1

('ω'乂)<ダメー

Page 9: 20160416 Azure Data Lakeのはまりどころ

case1

• ヘッダー付きCSVはU-SQLで読み込めない…

• 最近Stream AnalyticsからData Lake Storeへ出力可能になったがヘッダーつきCSVを出力してくれるという…

Page 10: 20160416 Azure Data Lakeのはまりどころ

case2

• SHIFT_JIS見れるじゃん?分析してみようか。

Page 11: 20160416 Azure Data Lakeのはまりどころ

case2

('ω'乂)<ダメー

Page 12: 20160416 Azure Data Lakeのはまりどころ

case2

• SHIFT_JISはU-SQLで読み込めない…

• UTF-8にしましょう

Page 13: 20160416 Azure Data Lakeのはまりどころ

case3

• 気を取り直してビックデータ分析だ!ちょっと列数の多いデータを読み込もう。

Page 14: 20160416 Azure Data Lakeのはまりどころ

case2

('ω';)<…

Page 15: 20160416 Azure Data Lakeのはまりどころ

case3

• 列の数だけEXTRACT句で列挙しないといけない…(300列あるとそれだけで300行)• @src = EXTRACT

column1 string,column2 string,…column299 string,column300 stringFROM “hoge/fuga/piyo.csv”USING Extractors.Csv();

Page 16: 20160416 Azure Data Lakeのはまりどころ

つらい

Page 17: 20160416 Azure Data Lakeのはまりどころ

case4

• UTF-8だし手頃な大きさのCSVだしU-SQL書くぞ!

Page 18: 20160416 Azure Data Lakeのはまりどころ

case4

('ω'乂)<ダメー

Page 19: 20160416 Azure Data Lakeのはまりどころ

case4

• パスに日本語名があるとU-SQLでエラーになる

Page 20: 20160416 Azure Data Lakeのはまりどころ

まとめ

Page 21: 20160416 Azure Data Lakeのはまりどころ

まとめ

• 色々とはまりどころのある奴ですが、はまると出来る子です※ただし1クエリに数分かかる

• 上手に使って幸せなData Lakeライフを!