Embed Size (px)
Citation preview
最新!2015年 クラウドAI プラットフォーム比較AzureML & AmazonML
GMOインターネット 次世代システム研究室野田純一
1
2
研究の目的
•自前で機械学習基盤を用意しなくても、機械学習での解析ができるクラウドAIサービスが２０１５年にAmazon、Microsoftから相次いでリリースされた。
!
•それぞれのクラウドAIサービスを使って実際の機械学習の解析を行うことで、機能比較調査を行い今後のクラウドAIのトレンドを掴みたい。
アジェンダ
1.クラウドAI概要 2. Azure Machine Learningについて 3. Amazon Machine Learningについて 4. Azure ML Project Oxfordについて 5. まとめ
3
1.クラウドAI概要
4
1.クラウドAI概要
機械学習の演算処理をクラウドに任せることができる。 クライアントはデータを送り処理結果を受け取るだけ。
機械学習のために大規模インフラを用意することが不要になる。
5
1.クラウドAI概要
6
1.クラウドAI概要
クラウドAI自体にWEBデプロイ機能（REST APIサーバー化） もあるが料金は比較的高額なので、料金を考慮し場合によっては自社サーバのデータベースにクラウドAIの結果を格納し、
REST APIを自前で作るほうがよい。
クラウドAIのWEBデプロイ機能について
https://azure.microsoft.com/ja-jp/pricing/details/machine-learning/ https://aws.amazon.com/jp/machine-learning/pricing/
7
1.クラウドAI概要 クラウドAI 一覧
サービス名 サービス開始時期 概要
AzureML 2015年2月データ分析だけでなく画像、音声認識も追加
AmazonML 2015年4月Amazonの既存サービス
との連携可能
Google Prediction API 2010年Google Cloud Platform
との連携が可能
IBM Bluemix Watson 2014年6月Watsonの一般開発者向けのバージョン、日本語向け
の対応はこれから
8
2. Azure Machine Learning
9
2. AzureMLマイクロソフトのクラウドAI Azure Machine Learning StudioというGUI操作で 機械学習を使った解析ができるのが特徴。
https://studio.azureml.net/10
2. AzureML料金について
FREE STANDARDAuthentication Microsoft account Azure subscription
Max Number of Modules per Experiment 100 Unlimited
Max Experiment Duration 1 hour NoneMax Storage Space 10 GB Unlimited - BYO
Execution / Performance Single node Multiple nodesStaging Web API Yes (Throttled performance) Yes (Selectable performance)
Production Web API No YesSLA No Yes
Free版、Standard版(有料)があるが、 試すにはFree版で十分、機能制限はほぼない。
https://azure.microsoft.com/en-us/pricing/details/machine-learning/
11
2. AzureML例1: 回帰分析 為替レートを元にした日経平均株価予想
https://www.youtube.com/watch?v=c1NLhIzAgp8
2002年から2015年9月16日までの日経平均株価と為替レートの２軸グラフ
12
2. AzureML
今回は米ドル/円為替レートが予めわかってる状態で、日経平均株価が不明なシチュエーションがあったと想定して
米ドル/円為替レートを元に日経平均株価を予想するデータ分析をAzure Machine Learningでやってみます。
!
回帰分析は、過去データを使用するため過去の日経平均株価と為替の情報をまずML Studioにアップロード
する必要があります。
13
2. AzureML
使用する過去データ(2012/1/12 - 2015/9/16)のCSVの形式日付 USD 日経平均
2012/1/12 76.92 8385.59
2012/1/13 96.81 8500.02
2012/1/16 76.84 8378.36
未来予測したい対象の日付のデータファイル(CSV)
日付 USD 日経平均
2015/9/17 120.539 0
2015/9/18 120.539 0
14
2. AzureML
ML Studio にファイルをアップロード
15
2. AzureML
16
2. AzureML
17
2. AzureML予測結果
今回は為替ドルも予測して記入しているデータのため実際の値より 500円～600円高い数値になってしまった。精度を高めるには為替以外の
要因も考慮し、数値列をCSVに増やしていく必要がある。
18
2. AzureML作成したモデルの精度を確認する方法
19
2. AzureML機械学習モデルが予測した過去の値と実際の値の乖離を確認
20
2. AzureML例2: 回帰分析 2015年度の千代田区の犯罪発生件数を未来予測する
平成 年度 犯罪発生件数 総人口 人口増加数17 2005 5442 42968 129218 2006 5246 43933 96519 2007 5068 43933 102120 2008 4475 45461 50721 2009 4277 46060 59922 2010 4156 47138 107823 2011 3813 47887 74924 2012 3612 48538 65125 2013 3735 52284 374626 2014 3593 54160 1876
http://www.city.chiyoda.lg.jp/koho/kuse/toke/kisotoke/h27-shiryo.html
21
2. AzureML犯罪発生件数と人口増加推移の関係
青軸が犯罪発生件数 緑軸が人口増加推移数
22
2. AzureMLグラフからから読み取れるのは !
• 犯罪発生件数は人口の数とは関係なく年々下がっている • 犯罪発生件数は年々さがっているものの、その数は人口増加推移に左右されている
• 人口増加が多い年は犯罪発生件数は下がり幅が弱くなり、むしろ去年より大きくなったりしている
!
千代田区の人口増加推移と犯罪発生件数に関連性があると分かったところでAzureMLの回帰分析で未来予測をしてみます
23
2. AzureMLBlank Experimentを選択
24
2. AzureML
[Saved Datasets]->[My Datasets]->過去履歴のCSVをキャンバスに配置 [Data Transformation]->[Manipulation]->[Project Column]を配置
25
2. AzureML
[Project Column]のLaunch column selectorを押して CSVヘッダカラムから解析に使用するカラムを選択
26
2. AzureML過去データを使って作成したモデルの精度を確認
27
2. AzureML誤差がほぼ100以下
28
2. AzureML比較グラフもほぼ垂直に
29
2. AzureML実際に未来予測を行う
実際に未来予測として２０１５年度の犯罪発生件数を予測します。千代田区のHPに平成２７年-2015年の人口増加データはすでにあるため犯罪発生件数は予測可能になります。
chiyodaku_future_crime_rate.csv平成 年度 犯罪発生件数 総人口 人口増加数27 2015 0 56873 2713
30
2. AzureML
Train Model と chiyodaku_future_crime_rate.csvを接続
31
2. AzureML
RUNボタンをクリックし、 緑のチェックがついたらScore Model を右クリックし
[Scored Dataset]->[Visualize]を選択
2015年度の千代田区の犯罪発生件数は3672人と予測されました。
32
2. AzureML平成 年度 犯罪発生件数 総人口 人口増加数17 2005 5442 42968 129218 2006 5246 43933 96519 2007 5068 43933 102120 2008 4475 45461 50721 2009 4277 46060 59922 2010 4156 47138 107823 2011 3813 47887 74924 2012 3612 48538 65125 2013 3735 52284 374626 2014 3593 54160 187627 2015 3672 56873 2713
33
2. AzureML
今年度は人口増加が去年より多いので犯罪発生件数も少し多そうです。 納得の結果が解析できました。
34
2. AzureML
DEMO例2: 回帰分析 人口増加率から今年度の犯罪率を予想
https://www.youtube.com/watch?v=-7YTTOlbS8I
35
2. AzureMLAzureMLを触ってみた感想
• データさえあればすぐに機械学習解析がブラウザでできるのが画期的。
!
• 操作はGUIで直感的だが、それでもエキスパートに講習を受けないと自由自在にモジュールを組み合わせるのは難しい。 !
• ML Studioでエラーが出るとログは閲覧できるがプログラムのエクセプションそのものでユーザーに解るようになっていない不親切な設計。
!
!
! 36
3. Amazon Machine Learning
37
3. AmazonMLAmazonのクラウドAI S3 RDS Redshift といった既存のAmazonプラットフォームから解析データを取り込めるのが特徴。
https://aws.amazon.com/jp/machine-learning/
38
3. AmazonML
39
3. AmazonML
40
3. AmazonML
41
AzureMLと比較するため、千代田区の犯罪件数の予測を AmazonMLの回帰分析で行います。
3. AmazonML
42
データソースにS3かRedshiftを選択
3. AmazonML
43
カラムの型を選択
3. AmazonML
44
予測対象のカラムを選択(今回は犯罪件数)
3. AmazonML
45
モデルが作成され解析手法に「回帰分析」が自動的に選ばれる
3. AmazonML
46
モデルを作成したら、「batch prediction」で予測を行う
平成 年度 犯罪発生件数 総人口 人口増加数27 2015 0 56873 2713
3. AmazonML
47
処理結果を配置するS3パスを指定
3. AmazonML
48
S3にデータが格納される
[usr1111]$ aws s3 ls testnoda/batch-prediction/result/ 2015-09-28 15:49:53 71 bp-W4x5H2hiRRG-chiyodaku_furure_crime_rate.csv.gz
[usr1111]$ cat bp-BpVBzaTmWka-chiyodaku_furure_crime_rate_z.csv trueLabel,score 0,2.952443E3
3. AmazonMLAmazon MLまとめ2
• 解析手法(二項分類、多項分類、回帰分析)がファイル(CSVなど)のデータによって自動選定される。
!
• AmazonMLの特徴=メリットが既存のAWSとの連携という点 ということは、逆にいうとAWSに熟知していないエンジニアやデータ解析者はまず、AWSのお作法を覚える必要があり、本来
のデータ解析の時間をそれに費やされることになる。 !
解析アイディアをすぐ試せないのは致命的。
49
3. AmazonML
50
4. Project Oxford
51
4. Project Oxford
52
AzureML AmazonML
予測分析 あり あり
音声画像認識 Project Oxford なし
4. Project Oxford
Microsoft Azure OxfordとはAzure MLの 画像音声認識APIサービス
https://dev.projectoxford.ai/
53
4. Project Oxford
54
4. Project Oxford
機能名 概要 用途
Face API 顔写真から年齢と性別を判定 写真を比較し同一人物かを判定
監視カメラ、防犯、 店内の顧客解析
Speech API 音声のテキスト化、テキストの音声化
コールセンター ロボット
デジタイルサイネージ
Computer Vision API
画像のサムネイル、文字の読み取りなど。顔判定もあり。
ニュースキュレーションサイトの画像サムネイル
LUIS テキスト分析 ソーシャルメディア分析
55
4. Project Oxford各種APIにデモサイトが用意されている
56
4. Project Oxford
ポイント• REST APIでの呼び出し • 教師データを自前で用意するのではなくマイクロソフトが持っている判定アルゴリズムを使う。（年齢性別判定が誤っていても修正はできない）
• 画像解析に関してはマイクロソフトが力を入れているアダルト判定、児童ポルノ判定、犯罪対策系の分野が強い。
• 日本語対応はまちまち。 • 二次元のアニメ画像などには勿論対応していない。 • 顔判定は強いが逆に風景や食べ物などそれ以外は弱い。
57
4. Project OxfordOCRの機能、日本語も可能
58
4. Project Oxford
Computer Vision API以後はComputer Vision APIに絞って利用例を説明します
59
4. Project Oxford
人間 VS AI を比較実験してみます。 次の画像に写っている女性の人数と年齢をできる
だけ正確に数えてください。 (2秒）
60
4. Project Oxford
61
4. Project Oxford
Project Oxfordを使えば精度は多少粗いが 1秒で画像に写った全ての
人物の年齢と性別の判定が行える。 残りの1秒で画像に情報を書き込み。
62
4. Project Oxford
63
4. Project Oxford
• 精度は完璧ではなく、７～８割の精度になります。 • たまに男性と女性を間違えたり、年齢が２０歳以上ずれたり・・・。 • 粗い画像だったり、カメラのズーム機能でとった写真（荒くなる）などでは特に年齢性別が狂います。
• なので精度としてはPOSレジの精度と同レベル。
• POSレジでは性別を間違える事は通常ないはずだが、年齢の刻み幅がそこまで細かくはないので、精度としてはProjectOxfordと同レベルでしょう。
64
4. Project Oxford
65
4. Project Oxford
66
Computer Vision API の 性別年齢判定の活用事例として 秋葉原歩行者天国の性別と年齢の分布を調査しました
4. Project Oxford
調査対象日: シルバーウィーク 日曜日 9/20 調査対象:無作為選択 122人
男性数 75
女性数 47
男性平均年齢 33
女性平均年齢 24
全体平均年齢 30
67
4. Project Oxford
68
精度は荒いものの、納得のいく結果に
4. Project Oxford
http://imgur.tokyo/a/
デモサイト：Computer Vision APIを呼び出し画像に 年齢性別を書き込む
69
4. Project OxfordProject Oxfordまとめ
• 今まで人の手を介していた街頭の年齢調査の仕事やコンビニのPOSレジの年齢ボタン押下の手間を無くす素晴らしい利用方法があります。 !
• 画像認識システムや機械学習サーバーを構築せずとも一個人が年齢性別識別機能を使ってデータ調査ができるようになった点が画期的です。
!
70
5.まとめ
71
5. まとめAzureML vs AmazonML
AzureML AmazonML機械学習手法選択 マニュアル 自動
機械学習手法の種類 豊富 少ない
画像解析 あり なし
音声解析 あり なし
データ解析環境 ブラウザ ブラウザ
解析環境形式 GUI (ML Studio) 簡易ウィザード
WEBデプロイ機能 あり あり
解析元データ 格納場所
ブラウザアップロード HDInsight
SQL Data Warehouse
S3 RDS
Redshift
72
5. まとめ機械学習手法の比較
AzureML AmazonML
回帰分析 あり あり
二項分類 あり あり
多項分類 あり あり
クラスタリング あり なし
リコメンド あり なし(※)
※Amazonの見解では「既存のアルゴリズムでリコメンドも可能」
73
5. まとめ料金比較表
単位 AzureML AmazonML
ML使用基本料金 月額 ￥1,018 なし
バッチ予測 時間 ￥102 0.42USD
予測件数 なし 0.10 USD/1,000件
リアルタイム予測
時間 ￥204 なし
予測件数 ¥51/1000 0.1USD/1000
データサイズ なし0.001USD/
モデルデータ10MBごと
74
5. まとめ
75
AzureML AmazonML
メリット • 機能が豊富で操作も直感的 • AWSサービスとの連携
デメリット• AWSに比べてAzureユーザーが少ない
• 選択できる機械学習手法が少ない • データに日付型がない • 処理結果が何故かIEEE形式 • S3を経由しないと何もできない
5. まとめ クラウドAI 所感
• クラウドAIを利用すれば、解析アイディアがすぐに試せるのは革新的。
• 解析対象のデータとアイディアがあればインフラもプログラムも不要。
• 最低限の機械学習の知識は必要だがブラウザ操作で誰でも未来予測ができるのは世界が変わるきっかけになりうる。
!• 全データサイエンティスト時代に。 !
76
5. まとめ 参考文献クラウドではじめる機械学習 Azure MLでらくらく体験 AzureML解説本の決定版、AzureMLそのものよりも機械学習アルゴリズムの説明が豊富。
日経コンピュータ 2015年8月20日号発売当時の最新のクラウドAI事情をまとめてる良本。クラウドAIを使う会社、自社で機械学習を作る会社、専門の会社と提携する会社など今後AIと向きあう３つの選択肢についても紹介。
77
ご静聴ありがとうございました
78
