クラウドとオンプレミスを活用した月間500億件を処理する

広告配信システムの裏側とは？

～ BI-Direct Access for AWS 事例 ～

ソネット・メディア・ネットワークス株式会社

安田　崇浩

March 14, 2014

ビットアイル

ハイブリッドクラウド利用事例紹介セミナー

自己紹介氏名: 安田 崇浩所属: ソネット・メディア・ネットワークス株式会社2008年くらいから AWS を仕事で活用2010年くらいから インターネット広告システムを開発

広告配信システム規模1ヶ月の処理量: 500億 http request/月1ヶ月のUU数: 1億UU1ヶ月のログ量(圧縮): 10TBデータベースのユーザー数: 4億

Agenda最近のリアルタイムなインターネット広告クラウドとオンプレミスサーバーの比較BI-Direct Access for AWS の活用方法

最近のインターネット広告で

起きていること

リアルタイムビッディング

Real Time Bidding

RTB

インターネット広告の

おおざっぱな進化

広告主の欲求

広告効果の最大化

ウェブサイトの欲求

広告枠の売上の最大化

インターネット広告 1

インターネット広告 2

インターネット広告 3

インターネット広告 4

インターネット広告 5

インターネット広告 6

広告主様々なウェブサイトに広告を配信可能にウェブサイトに訪れた特定の人に配信したい！

ウェブサイト様々な広告主の広告を表示可能にどの広告を表示すれば、一番収益が上がるのか？

広告主らでオークション

リアルタイムビッディング

リアルタイムビッディング (RTB)

1 ページビューごとに複数の広告主(広告会社) で そのウェブサイトの広告枠の表示権をオークションオークション開始から入札まで 0.1 秒最高入札額の広告が配信

RTB 1

RTB 2

RTB 3

RTB 4

RTB 5

PV から広告表示まで 0.1 秒

RTB によって

広告主ウェブサイトに訪れた特定の人に配信したい！→ 特定の人にのみ入札→ 広告効果につながる

ウェブサイトどの広告を表示すれば、一番収益が上がるのか？→ 最高入札した広告を配信→ 広告枠の収益増加

RTB の市場規模

www.seedplanning.co.jp/press/2012/2012091801.html

US のインターネット広告会社

www.lumapartners.com/lumascapes/display-ad-tech-lumascape/

日本のインターネット広告会社

www.slideshare.net/HiroshiKondo/chaosmap-2013

日本のインターネット広告会社

www.slideshare.net/HiroshiKondo/chaosmap-2013

DSPプラットフォーム『Logicad』は、大規模な配信ログ、オーディエンスデータを高速かつ安定的に処理することが可能なシステムインフラを備え、独自のアルゴリズムを用い、RTBにも対応した自社開発の広告配信最適化プラットフォームです。http://logicad.com

RTBによる広告配信システム

クラウドとオンプレミスサーバー

RTB 取引の流れ

RTB 広告配信システム構成

クラウド とオンプレミスサーバーを併用

サーバー性能進化とクラウドの価格

2006年8月 Amazon EC2 サービス開始Announcing Amazon Elastic Compute Cloud (Amazon EC2) -beta

2006年からのサーバーの値段CPU, Memory, HDD

ムーアの法則

集積回路上のトランジスタ数は「18か月（=1.5年）ごとに倍になる」2年後には2.52倍、5年後には10.08倍

http://ja.wikipedia.org/wiki/ムーアの法則

CPU の トランジスタ数

http://preshing.com/20120208/a-look-back-at-single-threaded-cpu-performance/

CPU のトランジスタ数http://en.wikipedia.org/wiki/Transistor_count

2006 Core 2 Duo Conroe 291,000,000 1

2007 Core 2 Duo Wolfdale 411,000,000 1.42008 Core i7 (Quad) 731,000,000 2.5

2010 8-Core Xeon Nehalem-EX 2,300,000,000 7.9

2011 10-Core Xeon Westmere-EX 2,600,000,000 8.9

2014 15-Core Xeon Ivy Bridge-EX 4,310,000,000 10.4

5年で9倍に増加同じ処理性能であれば、価格は 1/9

メモリの価格

http://www.jcmit.com/mem2013.htm

メモリの価格http://www.jcmit.com/memoryprice.htm

2006 2x 1GB DIMM DDR-500 229.81 114.90 1

2007 1GB DIMM DDR-400 78.99 78.99 0.687

2008 2x 2GB DIMM DDR2-800 94.99 23.75 0.2072009 2x 2GB DIMM DDR2-800 39.99 10.00 0.087

2010 2x 2GB DIMM DDR2-800 41.99 10.50 0.091

2011 2x 2GB DIMM DDR3-1333 40.98 10.25 0.089

2012 2x 4GB DIMM DDR3-1600 39.99 5.00 0.044

2013 2x 4GB DIMM DDR3-1600 34.99 4.37 0.033

6年でGB単価は 1/20

HDDの価格

http://www.jcmit.com/disk2013.htm

HDDの価格http://www.jcmit.com/diskprice.htm

2006 250GB 7,200rpm,16MB 80.97 324 1

2007 320GB 7,200rpm,8MB 69.99 280 0.864

2008 500GB 7,200rpm,8MB 99.99 200 0.617

2009 750GB 7,200rpm,16MB 69.99 93 0.288

2010 1.5TB 5,900rpm,32MB 109.99 73 0.2262011 2TB 5,900rpm,32MB 79.99 40 0.123

2012 2TB 5,900rpm,64MB 157.27 79 0.243

2013 2TB 7,200rpm,64MB 109.00 55 0.170

7年でTB単価は 1/5

クラウドの価格

Amazon EC2 m1.small の価格

2006-08 0.1 1

2009-10 0.09 0.92010-01 0.085 0.85

2012-03 0.08 0.8

2012-11 0.06 0.6

6年で単価は 2/3

Amazon S3 の価格

2006-03 0.15 1

2010-11 0.14 0.9332012-02 0.125 0.833

2012-11 0.095 0.633

2014-01 0.085 0.567

8年で単価は 1/2

2006年との比較

CPU 0.112 2011

Memory 0.004 2012

HDD 0.170 2014EC2 0.600 2012

S3 0.567 2012

CPU,Memory,HDD のコストダウンに比べると、クラウドのコストダウンペースは遅い

1 秒間 4 万件の処理を考える

処理時間: 4 ミリ秒/件1 CPU Core あたり: 250 件/秒必要な CPU 数: 40,000 件 / 250 件 = 160 Core1 サーバーの CPU 数 : 16 Core必要なサーバー数: 160 Core / 16 = 10 server50% の余剰 : 10 server / 50% = 20 Server

16 core サーバーが 20台必要

クラウドで構築

EC2 Instance Type: c3.8xlargeCPU: 16 coreRAM: 60.5 GBDISK: 320 GB x 2 SSDOnDemand COST: $3.064/hour, 22万円/月Reserverd COST: 11万円/月 (3年間予約)

20台で 220-440万円/月

オンプレミスで構築

CPU: Xeon E5-2670(8core) x 2 socketRAM: 16GBDISK: 300GB x 2 SASServer Cost: 120万円, 2万円/月(減価償却5年)DC Cost: 3万円/月/1UCost: 5万円/月

20台で 100万円/月

ここまでの まとめCPU, Memory, HDD は現在もムーアの法則に従って高集積化、低コスト化クラウドは、それに比べると低コスト化の速度が遅いハイパフォーマンスサーバーになると、価格差が大きいオンプレミスが有利に

クラウド の使いどころ

リードタイムが短いオンプレミスサーバー

見積・購入・セットアップ: 1ヶ月クラウド

サーバー起動まで: 数分

スケールアップ・スケールアウトインスタンスタイプの変更により容易に CPU, Memory, HDD を性能・容量向上同種のサーバーをすぐに増やせる

処理量に応じた構築シナリオ開発環境・テスト環境はクラウドで構築初期リリース環境はクラウドで構築処理量に応じてスケールアップ・スケールアウト台数規模・高スペックに到達したらオンプレミスを検討

可用性 High Availability

DatabaseMulti-AZ RDS

Load BalancerElastic Load Balancer

Static HTTP ServerS3, CloudFront

DNSRoute 53

可用性 High Availability

クラスタなど冗長構成は運用コスト:高障害はまれに発生。年に数回まれな障害時の Fail Over に失敗する不安:高あまり運用したくない運用コストを考慮するとクラウドのサービスはリーズナブル

RDS による Active-Standby 構成

毎時0分に同時起動しRDS上でLock取得Lock 取得した Batch がデータを処理

Queue による Active-Active 構成

オンプレミス と クラウドのハイブリッド構成

RTB 広告配信システム構成

クラウド とオンプレミスサーバーを併用

システム概要

サーバー数: 100台以上クラウドとオンプレミスの "いいとこどり"

クラウドとオンプレミスを繋ぐサービス

株式会社ビットアイルBI-Direct Access for AWS

http://www.bit-isle.jp/service/datacenter/network_bida.html

BI-Direct Access for AWS の利点Latency

EC2 <- Internet -> Server RTT 15msEC2 <- Direct Connect -> Server RTT 4ms4x

CostInternet Out from AWS $0.201/GB | 1TB 約2万円Direct Connect Out $0.045/GB | 1TB 約4500円1/4

BI-Direct Access for AWS の利点Security

インターネットを介さないVPN接続時の暗号化不要。オーバーヘッドなし

Easyオンプレミスサーバーとクラウドサーバーが同じネットワークオンプレミスサーバーとクラウドサービスを組み合わせた柔軟な構成

利用例: RDS

オンプレミスサーバーからクラウドのデータベースサービスへ接続HA な MySQL が利用可能

利用例: S3

オンプレミスサーバーからクラウドのストレージサービスへ接続AWS側に HTTP Proxy が必要ログの保存など

利用例: DWH, Hadoop

S3 に保存されているデータをオンプレミスの DWH やHadoop へインポート

Agenda最近のリアルタイムなインターネット広告クラウドとオンプレミスサーバーの比較BI-Direct Access for AWS の活用方法

ありがとうございました

www.logicad.com