マルチビッグデータの活用を支える DWHの作り方

マルチビッグデータの活用を支えるDWHの作り方

ヤフー株式会社データプラットフォーム本部

櫻井史彦

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.

自己紹介

データプラットフォーム本部DWHチーム櫻井史彦（さくらいふみひこ）

2008年にヤフーに入社 8年目DWHの構築とデータ整備を担当

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 1

アジェンダ


1. Yahoo! JAPANのビッグデータ

2. データプラットフォームの全体像

3. DWHの将来像

4. 最後に

2

アジェンダ




3. DWHの将来像

4. 最後に

3

ヤフーのビッグデータ？


5http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/

0

50

100

150

200

250

300

350

400

bilion U.S. dollars

15th Largest Internet Company in market capas of May 2015

6

Extensive Reach to a Wide Range of Users

80 %

80% of all Japanese Internet users use Yahoo! JAPAN

Nielsen NetView June 2015 : Data by Brands. Access from home and work using PCs (excl. internet applications)

強力なサービス

Media

US

Search Video Answer Mail

JP

US

JP

Membership C2C Payment C2C EC B2C EC Local

Search Knowledge searchNews

YAHUOKU!Premium Wallet Loco

Mail

膨大なデータボリューム


68 Billion PV

PC + Tablet

33.6B PV

Smart Device

34.5B PV

ヤフーは多数のビッグデータを抱えたマルチビッグデータカンパニー




3. DWHの将来像

4. 最後に

アジェンダ


全体像


NoSQLObject

StorageDWH

Hadoop

RDB

全体像


NoSQLObject

StorageDWH

Hadoop

RDB

6000 node

150 PB

800DBs

300,000Query/day

1500nodes

2000nodes

Phase1 2002-2008

Phase2 2009-2015

Phase3 2016-

主要サービスのデータを格納限られた利用者のみで使用

より多くの種類かつ大量なデータを格納多くの利用者に開放

Teradata以外のデータソースも統合する“logical DWH”構想

ヤフーのDWH

Teradata 5255Teradata 5255+5350

Teradata 5500Teradata 5500+5600Teradata 6690

Teradata 6690 & 2800Unified Data Architecture




3. DWHの将来像

4. 最後に

アジェンダ


SQLだけでなく様々な分析クエリーを実行したい

構造化、非構造化データをつなげて分析したい

複数データソースにまたがって分析したい

全部、一箇所で…。

利用者のニーズ


Logic

al D

WH

Teradata

構造化、非構造化データをつなげて分析できる

様々な分析クエリを実行で

きる

複数データソースにまたがって分析できる

Teradata

現在 1年後

今後のDWH


Logic

al D

WH

Teradata

QueryGrid, PrestoInformatica

HadoopRDB

NoSQLS3 Storage

Presto

Teradata

現在 1年後

具体的なコンポーネント


Logical DWH

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.18

Data Sources RDB RDB

Informatica

Exadata Hadoop

Hadoop RDB

QueryGridTDCH

Teradata RDBNoSQL

Low concurrency, large volumebatch queries

High concurrency, small volumeinteractive queries and small batches

Presto

S3-compatible Storage

Logical DWH

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.19


Informatica

Exadata Hadoop

Hadoop RDB

QueryGridTDCH

Teradata RDBNoSQL



Presto


Prestoへの期待


Prestoとは

Facebook発のOSSプロジェクト

メモリベースの高速なクエリーエンジン

様々なデータソースにつながる技術

Teradata, Hive, MySQL, Cassandra, S3, etc.

※Teradata社も開発に積極参加Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 21

RDB NoSQL Hadoop DWHPresto

従来のクエリーのエントリーポイント


RDB NoSQL Hadoop DWHPresto

新しいクエリーのエントリーポイント


QueryGridとPrestoの関係

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 24Copyright (C) 2016 Teradata Japan, Ltd. All Rights Reserved.

どんな用途が考えられるか？


CustomerAttributes

Shopping Membership

Cassandra

ExecutiveDashboard

PersonalizationAnalysisReportsTargeting list

BrowsingWeb/click

Settlement

Teradata

・・・

Presto

Use Case – deliver personalization data

INSERT tableB@CassandraSELECT user_id FROM tableAWHERE segment_code = 1;


S3-compatible Storage Teradata

Service B

Service A

small data

small data

Presto

REST

REST

SELECT

SELECT

INSERT

INSERT

Use Case – small batches from storage

INSERT tableASELECT * FROM filename@S3storageWHERE log_date = date - 1;


Yahoo!スケールでの課題


課題


TBクラスのデータJOINを可能にする

push-down機能の強化

メモリーに乗り切らないデータの処理改善

ワークロード管理

重たいクエリーも、軽いクエリーもバランスよく

複数データソースに対して統一的なアクセスなど、

次世代データ分析基盤に必要な機能の共同開発

テラデータの最新技術とヤフーが持つ多様なユース

ケース及びビッグデータを用いた先行的な共同検証

UDA Product Advisory Councilに加盟。ビッグ

データ関連の課題を討議しフィードバック

Teradata Labsと協力




3. DWHの将来像

4. 最後に

アジェンダ



Informatica

Exadata Hadoop

Hadoop RDB

QueryGridTDCH

Teradata RDBNoSQL



Presto


DWHの将来像

32

求む DWHエンジニア!!!


大規模DWHの構築。膨大なデータ量＆クエリ数と

格闘して経験値UP！

新しいコンセプトのDWHを作り上げるチャンス

経験できること

http://hr.yahoo.co.jp/job-info/career/0157/


ヤフープラットフォーム開発エンジニア検索

http://hr.yahoo.co.jp/job-info/career/0157/


Technology

マルチビッグデータの活用を支える DWHの作り方