30
DWHは怖くない! Redshiftを開発DBとしてカジュアルに 利用する話。 in JAWS-UG Tokyo @iktakahiro 2013-10-03 1

DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Embed Size (px)

DESCRIPTION

2013年10月03日に開催されたJAWS-UG Tokyoにてトークした内容です。 DWHというと

Citation preview

Page 1: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

DWHは怖くない!Redshiftを開発DBとしてカジュアルに

利用する話。in

JAWS-UG Tokyo

@iktakahiro2013-10-03

1

Page 2: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

株式会社ALBERT

•2005年07月設立•分析力をコアとする マーケティングソリューションカンパニー

2

Page 3: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

自己紹介

•池内 孝啓 / Takahiro Ikeuchi•システム開発部 部長•好きなAWS : ElastiCache Redis•@iktakahiro

3

Page 4: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

AWS x プライベートDMP

Redshiftログデータマスタデータ

マルチチャネル展開

S3

Glacier

Web / メールDM / DSP

BI

効果測定データ

4

Page 5: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Redshift Compression Encodings(圧縮アルゴリズム)についてもっと調べてみた

http://www.slideshare.net/iktakahiro/redshift-compression-encodings

Data Management Platform構築における Redshift徹底活用

http://www.slideshare.net/iktakahiro/tokyo-webmining-datamanagementplatformredshift20130921

5

詳しくは...

Page 6: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Redshift Encodingsの検証...No 元データ SORTKEY ENCODING指定 COPY時 圧縮 ブロック数 ENCODING結果

1 ソート無し F 指定しない T 104 Text255

2 ソート無し F 指定しない F 182 RAW

3 ソート無し T Run-length -- 92 Run-length

4 ソート無し F Run-length -- 182 Run-length

5 ソート無し T 指定しない T 112 Text255

6 ソート済み F 指定しない T 84 Run-length

7 ソート済み F 指定しない F 182 RAW

8 ソート済み T Run-length -- 92 Run-length

9 ソート済み F Text255 -- 104 Text255

Page 7: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

最近のRedshiftトピックと言えば、、、

7

AmazonRedshift

Page 8: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Agenda

•Redshift と開発環境 - 基本編 - GUIツール編

8

Page 9: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Redshiftと開発環境基本編

9

Page 10: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

•お高いんでしょう?=> 24時間稼働させて $30 + α

•難しいんでしょう?=> AWSの土地勘とSQL経験があれば 大丈夫。PostgreSQLだとなお可

10

Page 11: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

•開発オフィスのIPからグローバル接続できるように設定

•CREATE DB, CREATE USERで開発者用のアカウントを発行

11

普通のDB開発と同じ!

Page 12: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Redshiftと開発環境GUI編

12

Page 13: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

•PostgreSQLにつながるツールなら大体OK

•ターミナルからpsqlコマンドで接続してもいいけど

•GUIツールが欲しいときもありますねー

13

Page 14: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

SQL Work Bench

•試してないので割愛•技評さんのRedshift記事で使われている 第3回 Amazon Redshiftを動かしてみよう http://gihyo.jp/dev/serial/01/redshift/0003

14

Page 15: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

PostgreSQL Studio

•Java Webアプリとして実行•最近出たっぽい(さっき知りました) PostgreSQL Studio http://www.postgresqlstudio.org

•GUIが結構いい感じ風

15

Page 16: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

16

Page 17: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

17

Page 18: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

PostgreSQL Studio

•つながらなかった... orz (まだ10分くらいしか触ってないけど

•PostgreSQL9.2~ と書いてある..

18

Page 19: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat

•オススメ。ただし有償•MacだとAppStoreで探すと色々でてくる•ローカライズ版と本家とで色々違うので注意

19

Page 20: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat App Store

20

Page 21: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat ローカライズ版・Win

21

Page 22: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat ローカライズ版・Win

22

http://www.navicat.jp/postgresql/index.html より

Page 23: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat 本家・Mac

23

Page 24: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

Navicat 本家・Mac

24

Page 25: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

IntelliJ Database Tool

25

• IntelliJ IDEAの標準ツール• IDEに統合されているメリットはある•コード補完もOK

Page 26: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

IntelliJ Database Tool

26

Page 27: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

IntelliJ Database Tool

27

Page 28: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

まとめ

28

Page 29: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

• RDBのつもりで気軽に使う• GUIツールも色々あるので好みに合うものを選ぼう

• Redshift特有のテーブル設計もデータの出し入れは簡単に出来るので失敗したとしても重く受け止めない

29

カジュアルに開発!

Page 30: DWHは怖くない!Redshiftを開発DBとしてカジュアルに利用する話

ご清聴ありがとうございました

30