クラウドとオンプレミスを活用した月間500億件を処理する
広告配信システムの裏側とは?
~ BI-Direct Access for AWS 事例 ~
ソネット・メディア・ネットワークス株式会社
安田 崇浩
March 14, 2014
ビットアイル
ハイブリッドクラウド利用事例紹介セミナー
自己紹介氏名: 安田 崇浩所属: ソネット・メディア・ネットワークス株式会社2008年くらいから AWS を仕事で活用2010年くらいから インターネット広告システムを開発
広告配信システム規模1ヶ月の処理量: 500億 http request/月1ヶ月のUU数: 1億UU1ヶ月のログ量(圧縮): 10TBデータベースのユーザー数: 4億
Agenda最近のリアルタイムなインターネット広告クラウドとオンプレミスサーバーの比較BI-Direct Access for AWS の活用方法
最近のインターネット広告で
起きていること
リアルタイムビッディング
Real Time Bidding
RTB
インターネット広告の
おおざっぱな進化
広告主の欲求
広告効果の最大化
ウェブサイトの欲求
広告枠の売上の最大化
インターネット広告 1
インターネット広告 2
インターネット広告 3
インターネット広告 4
インターネット広告 5
インターネット広告 6
広告主様々なウェブサイトに広告を配信可能にウェブサイトに訪れた特定の人に配信したい!
ウェブサイト様々な広告主の広告を表示可能にどの広告を表示すれば、一番収益が上がるのか?
広告主らでオークション
リアルタイムビッディング
リアルタイムビッディング (RTB)
1 ページビューごとに複数の広告主(広告会社) で そのウェブサイトの広告枠の表示権をオークションオークション開始から入札まで 0.1 秒最高入札額の広告が配信
RTB 1
RTB 2
RTB 3
RTB 4
RTB 5
PV から広告表示まで 0.1 秒
RTB によって
広告主ウェブサイトに訪れた特定の人に配信したい!→ 特定の人にのみ入札→ 広告効果につながる
ウェブサイトどの広告を表示すれば、一番収益が上がるのか?→ 最高入札した広告を配信→ 広告枠の収益増加
RTB の市場規模
www.seedplanning.co.jp/press/2012/2012091801.html
US のインターネット広告会社
www.lumapartners.com/lumascapes/display-ad-tech-lumascape/
日本のインターネット広告会社
www.slideshare.net/HiroshiKondo/chaosmap-2013
日本のインターネット広告会社
www.slideshare.net/HiroshiKondo/chaosmap-2013
DSPプラットフォーム『Logicad』は、大規模な配信ログ、オーディエンスデータを高速かつ安定的に処理することが可能なシステムインフラを備え、独自のアルゴリズムを用い、RTBにも対応した自社開発の広告配信最適化プラットフォームです。http://logicad.com
RTBによる広告配信システム
クラウドとオンプレミスサーバー
RTB 取引の流れ
RTB 広告配信システム構成
クラウド とオンプレミスサーバーを併用
サーバー性能進化とクラウドの価格
2006年8月 Amazon EC2 サービス開始Announcing Amazon Elastic Compute Cloud (Amazon EC2) -beta
2006年からのサーバーの値段CPU, Memory, HDD
ムーアの法則
集積回路上のトランジスタ数は「18か月(=1.5年)ごとに倍になる」2年後には2.52倍、5年後には10.08倍
http://ja.wikipedia.org/wiki/ムーアの法則
CPU の トランジスタ数
http://preshing.com/20120208/a-look-back-at-single-threaded-cpu-performance/
CPU のトランジスタ数http://en.wikipedia.org/wiki/Transistor_count
2006 Core 2 Duo Conroe 291,000,000 1
2007 Core 2 Duo Wolfdale 411,000,000 1.42008 Core i7 (Quad) 731,000,000 2.5
2010 8-Core Xeon Nehalem-EX 2,300,000,000 7.9
2011 10-Core Xeon Westmere-EX 2,600,000,000 8.9
2014 15-Core Xeon Ivy Bridge-EX 4,310,000,000 10.4
5年で9倍に増加同じ処理性能であれば、価格は 1/9
メモリの価格http://www.jcmit.com/memoryprice.htm
2006 2x 1GB DIMM DDR-500 229.81 114.90 1
2007 1GB DIMM DDR-400 78.99 78.99 0.687
2008 2x 2GB DIMM DDR2-800 94.99 23.75 0.2072009 2x 2GB DIMM DDR2-800 39.99 10.00 0.087
2010 2x 2GB DIMM DDR2-800 41.99 10.50 0.091
2011 2x 2GB DIMM DDR3-1333 40.98 10.25 0.089
2012 2x 4GB DIMM DDR3-1600 39.99 5.00 0.044
2013 2x 4GB DIMM DDR3-1600 34.99 4.37 0.033
6年でGB単価は 1/20
HDDの価格http://www.jcmit.com/diskprice.htm
2006 250GB 7,200rpm,16MB 80.97 324 1
2007 320GB 7,200rpm,8MB 69.99 280 0.864
2008 500GB 7,200rpm,8MB 99.99 200 0.617
2009 750GB 7,200rpm,16MB 69.99 93 0.288
2010 1.5TB 5,900rpm,32MB 109.99 73 0.2262011 2TB 5,900rpm,32MB 79.99 40 0.123
2012 2TB 5,900rpm,64MB 157.27 79 0.243
2013 2TB 7,200rpm,64MB 109.00 55 0.170
7年でTB単価は 1/5
クラウドの価格
Amazon EC2 m1.small の価格
2006-08 0.1 1
2009-10 0.09 0.92010-01 0.085 0.85
2012-03 0.08 0.8
2012-11 0.06 0.6
6年で単価は 2/3
Amazon S3 の価格
2006-03 0.15 1
2010-11 0.14 0.9332012-02 0.125 0.833
2012-11 0.095 0.633
2014-01 0.085 0.567
8年で単価は 1/2
2006年との比較
CPU 0.112 2011
Memory 0.004 2012
HDD 0.170 2014EC2 0.600 2012
S3 0.567 2012
CPU,Memory,HDD のコストダウンに比べると、クラウドのコストダウンペースは遅い
1 秒間 4 万件の処理を考える
処理時間: 4 ミリ秒/件1 CPU Core あたり: 250 件/秒必要な CPU 数: 40,000 件 / 250 件 = 160 Core1 サーバーの CPU 数 : 16 Core必要なサーバー数: 160 Core / 16 = 10 server50% の余剰 : 10 server / 50% = 20 Server
16 core サーバーが 20台必要
クラウドで構築
EC2 Instance Type: c3.8xlargeCPU: 16 coreRAM: 60.5 GBDISK: 320 GB x 2 SSDOnDemand COST: $3.064/hour, 22万円/月Reserverd COST: 11万円/月 (3年間予約)
20台で 220-440万円/月
オンプレミスで構築
CPU: Xeon E5-2670(8core) x 2 socketRAM: 16GBDISK: 300GB x 2 SASServer Cost: 120万円, 2万円/月(減価償却5年)DC Cost: 3万円/月/1UCost: 5万円/月
20台で 100万円/月
ここまでの まとめCPU, Memory, HDD は現在もムーアの法則に従って高集積化、低コスト化クラウドは、それに比べると低コスト化の速度が遅いハイパフォーマンスサーバーになると、価格差が大きいオンプレミスが有利に
クラウド の使いどころ
リードタイムが短いオンプレミスサーバー
見積・購入・セットアップ: 1ヶ月クラウド
サーバー起動まで: 数分
スケールアップ・スケールアウトインスタンスタイプの変更により容易に CPU, Memory, HDD を性能・容量向上同種のサーバーをすぐに増やせる
処理量に応じた構築シナリオ開発環境・テスト環境はクラウドで構築初期リリース環境はクラウドで構築処理量に応じてスケールアップ・スケールアウト台数規模・高スペックに到達したらオンプレミスを検討
可用性 High Availability
DatabaseMulti-AZ RDS
Load BalancerElastic Load Balancer
Static HTTP ServerS3, CloudFront
DNSRoute 53
可用性 High Availability
クラスタなど冗長構成は運用コスト:高障害はまれに発生。年に数回まれな障害時の Fail Over に失敗する不安:高あまり運用したくない運用コストを考慮するとクラウドのサービスはリーズナブル
RDS による Active-Standby 構成
毎時0分に同時起動しRDS上でLock取得Lock 取得した Batch がデータを処理
Queue による Active-Active 構成
オンプレミス と クラウドのハイブリッド構成
RTB 広告配信システム構成
クラウド とオンプレミスサーバーを併用
システム概要
サーバー数: 100台以上クラウドとオンプレミスの "いいとこどり"
クラウドとオンプレミスを繋ぐサービス
株式会社ビットアイルBI-Direct Access for AWS
http://www.bit-isle.jp/service/datacenter/network_bida.html
BI-Direct Access for AWS の利点Latency
EC2 <- Internet -> Server RTT 15msEC2 <- Direct Connect -> Server RTT 4ms4x
CostInternet Out from AWS $0.201/GB | 1TB 約2万円Direct Connect Out $0.045/GB | 1TB 約4500円1/4
BI-Direct Access for AWS の利点Security
インターネットを介さないVPN接続時の暗号化不要。オーバーヘッドなし
Easyオンプレミスサーバーとクラウドサーバーが同じネットワークオンプレミスサーバーとクラウドサービスを組み合わせた柔軟な構成
利用例: RDS
オンプレミスサーバーからクラウドのデータベースサービスへ接続HA な MySQL が利用可能
利用例: S3
オンプレミスサーバーからクラウドのストレージサービスへ接続AWS側に HTTP Proxy が必要ログの保存など
利用例: DWH, Hadoop
S3 に保存されているデータをオンプレミスの DWH やHadoop へインポート
Agenda最近のリアルタイムなインターネット広告クラウドとオンプレミスサーバーの比較BI-Direct Access for AWS の活用方法