本日のアジェンダ

Web広告のビッグデータを支える インフラとデータ分析システム開発事例

2016/02/25

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

本日のアジェンダ

誰？

自己紹介

* 清水 伸泰 * 株式会社インタースペース * 客先常駐SierとしてC／C++／Javaで開発５年 某百貨店に転職、システム運用と外注管理３年 * Web業界に憧れてインタースペースへ 開発の全行程ができることに没頭して７年 * 現在は、広告プラットフォーム上に乗る 新プロダクトの開発PMをしています。

本日のアジェンダ

一体何の会社？

1. INTERSPACEのご紹介

会社名 株式会社インタースペース（Interspace.,Co.Ltd.）

本社所在地 東京都新宿区西新宿2-4-1 新宿ＮＳビル8階

代表者 代表取締役社長 河端 伸一郎

設立 1999（平成11）年11月8日

従業員数 325名（単体）359名（連結） ※2015年9月末現在

事業内容 ・インターネット広告事業 ・メディア事業

上場市場 東京証券取引所 マザーズ市場 証券コード2122

1. INTERSPACEのご紹介

アクセストレード 広告主数 ：約6,000件 メディア数：約370,000件 月間広告ｲﾝﾌﾟﾚｯｼｮﾝ数：約50億 月間広告クリック数 ：約3500万

メイン事業（アクセストレード）

マーチャント（広告主）様やパートナー（メディア）様が 作業を行う管理画面、また社内向け運用ツールへの新機能の追加や付随する新サービスの開発・改修を行っています。

1. INTERSPACEのご紹介

WEBサービス i・リワード

ACCSESSTRADE Ad network

SFA

iSEO

メイン事業となるアフィリエイトサービスの他、各種 メディア向けサービスの開発・改修を行っています。

and more..

本日のアジェンダ

■今日のお題

レガシーシステムからの脱却

上からの圧力、下からのボトムアップ

本日のアジェンダ

■疑問

どうしたら脱却できるか

本日のアジェンダ

■解決案

他社の事例を参考にする

本日のアジェンダ

事例を参考に、手を付けられる ところから始めていく

例えば、 ネットマーケティング様 フル・クラウド化

例えば、 ファンコミュニケーションズ様 ハイブリッド・クラウド

本日のアジェンダ

事例を参考に、手を付けられる ところから始めていく

本日のアジェンダ

例えば、 インタースペース 未経験の技術や開発手法を 取り入れる

事例を参考に、手を付けられる ところから始めていく

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

Affiliateの仕組み

Affiliateの仕組み

About 5 billion

lines / month

ログの例

各種サービスのアクセスログ 広告配信ログ インプレッション クリック

コンバージョンログ その他計測ログ など

ログ管理の背景と課題

•外部環境の変化

（様々なデバイスやサービスの登場）

•アクセストレードで日々発生する膨大なログデータを一元管理したい

•様々な種類のデータを様々な角度から分析したい

• ログを集めてくるのが大変 （様々な箇所に散らばるログ， 転送におけるネットワーク負荷など）

• ログの保存はどうするか

• 集計クエリに時間がかかる

RDB

SCP

Batch

Server

Server

SCP

時間がかかる

ログ管理の背景と課題

ログの集計単位の例

• 時間別

日／時間／分

• デバイス別

PC／フィーチャーフォン／SP／タブレット

• キャリア別

• UA別

• キャンペーン／広告別

• カテゴリー別

• 経路別

• 任意のセグメント

様々な種類のデータを 様々な角度から見たい

が、データ量も増大し， 従来の方法では時間／負荷など の面から見直しが必要

Hadoopの導入

Our System Summary

AppServer AppServer

Fluentd

Web + Application Servers

Fluentd

Fluentd Aggregators

Hadoop

Hadoop Cluster（CDH）

NameNode HA JobTracker HA Hive, Impala, Sqoop

Hue

Databases

Oracle or MySQL

Our own applications

with WebHDFS with Sqoop

RDBMS RDBMS

BI

AppServer

Tools

Batch

Cassandra

Redis

RDBMS

MQ

活用例１

ラストクリックスコア

アトリビューションスコア

Sample

N1

N2

N3

N4

N9 N8

N7

N6

N5 CV2

CV1

•アトリビューション分析

コンバージョンパス、ノード評価など

•任意のセグメントによる集計

複数条件を組み合わせてセグメント作成

活用例２

カテゴリーA XX インプレッション

XX クリック

XX コンバージョン

condition: 1 condition: 2 condition: 3 condition: 4

Segment: 1

AND OR AND

Sample

活用例３

•サービスにおける各種KPIの集計／可視化

•アドホックな集計

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

開発事例

開発内容

広告関連データをセグメント化するためのマスタ登録機能、データを集計するレポート表示機能等を持った管理画面を開発する

AppServer AppServer

Fluentd

Our System Summary

Web + Application Servers

Fluentd

Fluentd Aggregators

Hadoop

Hadoop Cluster（CDH）

NameNode HA JobTracker HA Hive, Impala, Sqoop

Hue

Databases

Oracle or MySQL

Our own applications

with WebHDFS with Sqoop

RDBMS RDBMS

BI

AppServer

Tools

Batch

Cassandra

Redis

RDBMS

MQ

開発事例

開発体制

人員：3名

期間：約3カ月

規模：約30画面

言語：Scala/Play

開発事例

なぜScala&Playを選んだのか

開発事例

• 構築がかんたん(内蔵webサーバ、インメモリDB利用可)

• シンプルで軽量(リソース消費が最小限)

• Scalaのwebフレームワークとしては一番メジャー

• 現行システムで使用しているJava以外にも、Scalaという技術的資産を残したかった

開発事例

やってみて浮かび上がる問題点

開発事例

• Scala関数型プログラミングに難航

• Playの効果的な使い方がわからない

（どういう構築＆開発方法がマッチベターなのか）

ScalaとPlayへの挑戦は初の試みだった為、いくつか問題点が浮かび上がる

開発事例

解決策を模索

開発事例

どういう構築＆開発方法がベターなのか？

• とにかく公式ドキュメントを読み込む

→まずはドキュメントが推奨している手法をベースにする

• 勉強会やセミナーに参加

→他社事例を参考にし、別のアプローチがないか検討

開発事例

さらなる解決策を模索

開発事例

Scalaに精通したエンジニアにリモートで

参画して頂き、ソースレビューやQ&Aなど

技術支援を頂きながら開発＆構築を行った

→独学でやることも大事だが、やはり有識者は必要

特にライブラリ周りなどの助言は非常に助かった

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

開発チーム体制

プロジェクトによっては、グループをまたいでメンバーを構成し、開発チームを立ち上げます。

システム企画開発部

PCシステム開発グループ

モバイルシステム開発グループ

システムラボラトリー

システムインフラ

アクセストレードに関わるサービスやその他新規サービスの開発・運用を行います。

ストアフロントアフィリエイトやSDKなどモバイル向けサービスの開発・運用を行います。

新技術やミドルウェアの研究・開発・導入検討などの技術調査を行います。

データマイニング

プロダクトマネジメント

BPM

広告アクセスに関わるログデータの収集・分析を行い、統計調査を行います。

広告技術に関わる新規プロダクトの開発・管理やビジネスサポートを行います。

社内業務の自動化や運用の負荷軽減を目的にサービスの改善を行います。

サービスに関わるインフラの構築・運用管理を行います。

本日のアジェンダ

1. インタースペースのご紹介

2. ビッグデータ(広告配信ログ)の管理

3. ビッグデータ集計システム開発事例

4. 開発チーム体制

5. 今後のサービス展開イメージ

今後のサービス展開イメージ

今後はさらにプラットフォームを展開し、市場をリードしていくサービス開発に取り組みます。

管理 画面

SFA Web

Service iReward

Ad Network

SEO

AccessTrade Ad Platform

管理 画面

SFA Web

Service iReward

Ad Network

SEO

AccessTrade Ad Platform Other Platform

(WIP)

Service (WIP)

Service (WIP)

and more...

AccessTrade広告プラットフォームを基盤とした様々な新サービスの開発に取り組み、広告事業をサポートしています。

本日のアジェンダ

つまり、

本日のアジェンダ

人が足りない

人材急募

WANTED！

エンジニア絶賛募集中です！

【開発環境（一部）】 Java(Struts/Spring/Seasar2） Scala(Playframework) Perl/PHP/Objective-C Stash(Gitベース)

【コラボレーションツール】 Confluence/JIRA

何となく雰囲気が伝わるかもしれない記事

おまけ（研修制度とか）

・トーマツイノベーションに加入 ビジネススキルUP講座を無料受講 ・マナビトオンラインに加入 デジタルマーケティング講座を オンラインで無料受講 ・社内図書館制度 月2冊本の購入リクエストを受付 ・社外セミナー、カンファレンスへの参加推奨 業務時間中でもカンファレンスの参加が可能（上長の許可必須） ・社内勉強会の随時開催（LT大会、夜活勉強会等）

今後も社員のアイディアを参考に色々と行っていきます

おまけ（福利厚生とか）

・社内無料マッサージサービス「成田庵」 月2回、業務中に受けられるマッサージ。 社員にも大好評です。 ・社員表彰制度 ・部活支援制度 ・社員交流イベント

だから釣れて助けてくれ！

福利厚生

ご清聴ありがとうございました！