Embed Size (px)
Citation preview
博士学生が語る、4K/8K/VR配信基盤の最先端とコンテンツ配信の未来
2017/08/27 July Tech Festa 2017 1
電気通信大学大学院情報システム学研究科
情報ネットワークシステム学専攻
博士後期課程3年 中島拓真
自己紹介
中島拓真（なかじまたくま）Twitter: penguin2716
コンテンツ配信の効率化について研究している電通大の博士課程学生
産学官連携研究員としてTIS株式会社との共同研究を実施分散配置されたキャッシュサーバの効率利用によるインターネット通信データ量の削減
2017/08/27 July Tech Festa 2017 2
私が取り組んでいること
AkamaiやAmazonの下に、ISPが管理する階層CDNを作りたい
2017/08/27 July Tech Festa 2017 3
Tier1 ISP(e.g. NTT, AT&T, AOL)
Tier2 ISP(e.g. OCN)
Tier3 ISP
Tier3 ISP
Tier2 ISP(e.g. KDDI)
Tier3 ISP
Tier3 ISP
Tier2 ISP(e.g. IIJ)
Tier3 ISP
Tier3 ISP
既存CDN
CDNエッジの帯域不足でダウンロード速度が低下→ユーザ満足度が低下し，サービス利用の中止につながる
コンテンツ事業者のコスト負担も増大
CDNサービス利用量が爆発的に増加しボトルネックに
Tier1 CDN
Tier2 CDN
Tier3 CDN
Tier3 CDN
Tier2 CDN
Tier3 CDN
Tier3 CDN
Tier2 CDN
Tier3 CDN
Tier3 CDN
既存CDN
近くのCDNエッジからダウンロードして高速DL→大容量コンテンツが利用可能になり、ユーザ満足度が向上
コンテンツ事業者のコスト負担が軽減
CDNサービス利用量が劇的に減少しボトルネック解消
目次
はじめに
通信量増大の仕組み
通信量削減のための関連研究の紹介
共同研究で生まれた次世代CDN技術アクセス傾向の変化に追従するハイブリッドキャッシュ制御
色タグ情報に基づく軽量分散協調キャッシュ制御
まとめ
2017/08/27 July Tech Festa 2017 4
YouTube、見てますか？
2017/08/27 July Tech Festa 2017 5
Netflix、Hulu、見てますか？
2017/08/27 July Tech Festa 2017 6
インターネット通信の8割は動画
通信量は5年で3倍に、1年あたり24%増大
2017/08/27 July Tech Festa 2017 7
[出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/vni-hyperconnectivity-wp.html. [Accessed: 25-Jun-2017].
5年で約3倍
約8割が動画
コンテンツは大容量化する
2021年には51%のテレビが4K画質に対応
2017/08/27 July Tech Festa 2017 8
[出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/vni-hyperconnectivity-wp.html. [Accessed: 25-Jun-2017].
本当に、コンテンツは大容量化するの？もう十分じゃない？
2017/08/27 July Tech Festa 2017 9
そう考えたあなたは10年前も同じことを考えていたはずです。
2017/08/27 July Tech Festa 2017 10
コンテンツの大容量化
データサイズが大きくなる
データ軸が増える
2017/08/27 July Tech Festa 2017 11
8K
4K
Full HDSD
動画
時間
コンテンツの大容量化
データサイズが大きくなる
データ軸が増える
2017/08/27 July Tech Festa 2017 12
横
縦
画像
縦、横、高さ、時間
VR
さらに…手触り、弾力、香り、…
これからの大容量コンテンツ
人間の五感を刺激するリアルなユーザ体験
ネットワークを介してユーザ体験を共有
2017/08/27 July Tech Festa 2017 13
大容量コンテンツで快適なユーザ体験
2017/08/27 July Tech Festa 2017 14
大容量コンテンツで快適なユーザ体験
2017/08/27 July Tech Festa 2017 15
まだー遅い
重い
混雑
早く！
重い
止まった高い
もっと安く
重い
遅い
大容量コンテンツで快適なユーザ体験
2017/08/27 July Tech Festa 2017 16
まだー遅い
重い
混雑
早く！
重い
止まった高い
もっと安く
重い
遅い
ネットワークエンジニア
こうならないために今考えなければいけないこと
2017/08/27 July Tech Festa 2017 17
まずは相手を知るところから
2017/08/27 July Tech Festa 2017 18
通信量増大の原因
異なる視聴者が同じ動画を視聴する際に同じ動画が何度も転送される
動画配信サーバ
視聴者
同じ動画がネットワークを何度も通過
=通信量増大の原因
視聴者
インターネット
2017/08/27 July Tech Festa 2017 19
キャッシュサーバで通信量削減
経路中のサーバで動画をコピーして保存2回目以降のリクエストにはコピーした動画を再利用
動画配信サーバ
視聴者
視聴者
キャッシュサーバ
途中のサーバで動画のコピーを保存して次のアクセスで再利用
ネットワークを通過する通信量を削減 キャッシュサーバから
動画を取得
インターネット
2017/08/27 July Tech Festa 2017 20
CDN事業者
コンテンツ配信の階層ネットワーク
コンテンツ配信サーバを最上位とした階層構造
下層で通信を完結させて通信量を削減したい
広域コンテンツ配信ネットワーク (CDN)
通信事業者B通信事業者A
動画配信サーバ
通信事業者のネットワーク
Request2017/08/27 July Tech Festa 2017 21
階層間の通信路はコストが大きい
既存の配信ネットワークの課題
上流との接続点がボトルネック化少数拠点のCDNサーバに通信が集中し，通信品質が低下
キャッシュ容量の不足動画総数の増大と高精細化に伴い，単一キャッシュサーバでは容量が不足
2017/08/27 July Tech Festa 2017 22
通信事業者
CDNキャッシュサーバ 8K
4K
Full HDSD
CDNサーバへの負荷集中 動画の高精細化
動画配信サービスのアクセス傾向 (1/2)
動画通信はアクセスの偏りが大きい [Cheng13]一度見た動画はあまり見なくなる
視聴者はVoDサービスに推薦された動画をクリックしやすい
0
0.2
0.4
0.6
0.8
1
0 25 50 75 100
動画アクセスの
CD
F
動画の人気順位（%）
2017/08/27 July Tech Festa 2017 23
0
0.01
0.02
0.03
0.04
0.05
0.06
0 10 20 30 40 50 60 70 80 90
アクセス確率
動画の人気順位（%）
動画全体の10%がリクエストの70%を占める=上位のキャッシュミスはペナルティが大きい
動画配信サービスのアクセス傾向 (2/2)
1時間で人気動画の20-60%が変化 [Yu06]新規動画の追加や人気動画のランキング変化に起因
短時間でアクセス数が急激に変化する[Yin08]突然のニュースやSNSの話題などに起因
1時間あたりの人気順位の入れ替わり
2017/08/27 July Tech Festa 2017 24
急激にアクセスが集中する動画
現状考えられている解決方法は？
2017/08/27 July Tech Festa 2017 25
動画配信サーバ
動画A 動画B
技術的な解決策：複数サーバを組み合わせた分散協調キャッシュ
トラフィックエンジニアリングを駆使してキャッシュサーバ間でデータを融通
2017/08/27 July Tech Festa 2017 26
動画配信サーバ
通信量増大
動画A 動画B
CDN事業者による分散協調キャッシュの懸念事項
CDN事業者はネットワーク構造を把握していない意図しない混雑経路の発生
トランジットリンクの過剰利用
2017/08/27 July Tech Festa 2017 27
ISPはCDN事業者の分散協調キャッシュを許容できない
動画配信サーバ
動画A 動画B
左右のキャッシュサーバ間のリンクが混雑するのでは？
有料リンクの場合はできるだけ利用を避けたい
ネットワークの管理主体がキャッシュサーバを置けば問題ないよね！
2017/08/27 July Tech Festa 2017 28
ISPが管理するCDN: Telco-CDN
物理ネットワークを把握するISPがキャッシュサーバを配置してCDNを構成懸念事項を払拭して分散協調キャッシュを運用
2017/08/27 July Tech Festa 2017 29
広域コンテンツ配信ネットワーク(CDN)
CDN事業者
通信事業者B通信事業者A
動画配信サーバ
通信事業者が管理するCDN
Request
研究の焦点
キャッシュサーバとネットワークの両方を同一の事業者が管理
Hit!
階層間の通信量を大幅削減
グループ2グループ1
各サーバで異なるコンテンツを保持して実効キャッシュ容量を拡大近くのサーバをグループ化して平均ホップ数を削減
配信サーバ
アクセス頻度の高いコンテンツはネットワークを
何度も通過しサーバ間通信が増大
コンテンツIDのハッシュ値に基づく分散協調キャッシュ制御[Wang10]
2017/08/27 July Tech Festa 2017 30
1時間毎の動画の人気変動
通信量削減効果の高いキャッシュ配置を最適化アルゴリズムで計算PCクラスタを利用して10時間程度の計算時間
動画のアクセス傾向は1時間で20-60%変化計算したキャッシュ配置と最適配置に不整合が生じ，効率の良い通信量削減が難しい
最適化アルゴリズムに基づく分散協調キャッシュ制御[Li13]
2017/08/27 July Tech Festa 2017 31
短い計算時間で効率よく通信量を削減する方法は？
2017/08/27 July Tech Festa 2017 32
準最適キャッシュ配置の考察
遺伝的アルゴリズムでネットワーク通信量を小さく抑えるキャッシュ配置を計算
コンテンツのアクセス頻度によってネットワーク中にキャッシュされる数が異なる
2017/08/27 July Tech Festa 2017 33
効率的な分散協調キャッシュの検討
2種類のキャッシュ制御方針を組み合わせる
342017/08/27 July Tech Festa 2017
①分散キャッシュ：サーバ間で異なるコンテンツを保持して実効キャッシュ容量を拡大
②重複キャッシュ：アクセス頻度の高いコンテンツは多数のサーバで重複保持
①色タグを付した分散キャッシュ
サーバ間で異なるコンテンツを保持して実効キャッシュ容量を拡大キャッシュサーバとコンテンツに付されたタグがマッチする場合にキャッシュ
352017/08/27 July Tech Festa 2017
Cache server Cache server Cache server Cache server
実効キャッシュ容量が最大4倍
②人気コンテンツの重複キャッシュ
キャッシュサーバ間の通信量を削減人気コンテンツには複数の色を付してヒット率を向上
Cache server Cache server Cache server Cache server
Popularcontents
Unpopularcontents
キャッシュヒット率を向上
362017/08/27 July Tech Festa 2017
分散協調動作の例
基本的に動画は分散してキャッシュされる一部の人気動画は重複して保持
2017/08/27 July Tech Festa 2017 37
動画ライブラリ
配信サーバ
: 高人気の動画
: 低人気の動画
動画リクエストの転送方法
リクエストされたコンテンツと色がマッチする近くのサーバにリクエストを転送
CDNサーバ
Video1.mp4
Video2.mp4
Video3.mp4Video4.mp4
Video2.mp4Color: Green
Video3.mp4Color: Blue
REQ
REQVideo2.mp4
Video3.mp4
キャッシュ領域
2017/08/01 D論研究審査 38
ネットワーク内部にキャッシュされた動画を活用して通信量削減
キャッシュサーバの彩色方法
各キャッシュサーバは四色定理の要領で事前に色タグが付される下図は，同じ色が隣り合わず，色間距離が大きくなるように彩色した例
392017/08/27 July Tech Festa 2017
コンテンツの色タグ設定方法（1/2）
色タグはビット列で表現各ビットが各色に対応
人気の動画には多数のビットを立てておき，多数のサーバで保持させる
2017/08/27 July Tech Festa 2017 40
# of colors R G B Y
4 1 1 1 1
3
1 1 1 0
1 1 0 1
1 0 1 1
0 1 1 1
2
1 1 0 0
1 0 1 0
1 0 0 1
0 1 1 0
0 1 0 1
0 0 1 1
1
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
0 0 0 0 0
1111111011001000
コンテンツの色タグ設定方法（2/2）
動画をアクセス数で並び替えて，循環的にタグ付け
一定時間ごとにアクセスログを解析して色タグを更新
色数 R G B Y
4 1 1 1 1
3
1 1 1 0
1 1 0 1
1 0 1 1
0 1 1 1
2
1 1 0 0
1 0 1 0
1 0 0 1
0 1 1 0
0 1 0 1
0 0 1 1
1
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
0 0 0 0 0
順位 色数 コンテンツ名 色タグ
1 4 Video01.mp4 1111
2 4 Video02.mp4 1111
11 3 Video11.mp4 1110
12 3 Video12.mp4 1101
13 3 Video13.mp4 1011
14 3 Video14.mp4 0111
15 3 Video15.mp4 1110
130 2 Video130.mp4 1100
131 2 Video131.mp4 1010
132 2 Video132.mp4 1001
133 2 Video133.mp4 0110
……
上位から順にタグ付け
2017/08/27 July Tech Festa 2017 41
ネットワーク内外の通信量を評価
色数と通信量の関係を調査4色，8色，16色で通信量を評価
NTTのバックボーンネットワークを模したトポロジを使用
各サーバのキャッシュ容量はコンテンツ全体の10%
内部ネットワーク→通信コスト小 外部との接続
→通信コスト大
2017/08/27 July Tech Festa 2017 42
色数と通信量の関係
使用する色数が増えると通信量削減効果が拡大遺伝的アルゴリズム(GA)で求めた準最適なキャッシュ配置に近づくため
2017/08/27 July Tech Festa 2017 43
色数と通信量の関係
使用する色数が増えると通信量削減効果が拡大遺伝的アルゴリズム(GA)で求めた準最適なキャッシュ配置に近づくため
2017/08/27 July Tech Festa 2017 44
計算時間の評価
既存研究では10時間程度かかっていたが，簡易な計算方法で数秒程度で計算終了コンテンツを人気順にソートして循環的にタグを付与すればよいため
サーバのタグ付けは，貪欲な色付け方法[Welsh67]をもとにしたアルゴリズムで1秒未満
動画アクセスの人気変動に追従可能
2017/08/27 July Tech Festa 2017 45
急激にアクセス傾向が変化したら対応できるの？
2017/08/27 July Tech Festa 2017 46
ハイブリッドキャッシュの活用
LRUとLFUを組み合わせたハイブリッドキャッシュを活用し，急激なアクセス傾向の変化に追従色タグに基づいてキャッシュするLFUに領域で分散協調キャッシュを構成
LRU領域にはModified LRUアルゴリズム[Vleeschauwer11]を採用し，色がマッチしないコンテンツを保持
472017/08/27 July Tech Festa 2017
赤色が付されたキャッシュサーバ
色タグがマッチしたコンテンツをLFUでキャッシュ
タグにかかわらずModified LRUでキャッシュ
色制御ハイブリッドキャッシュの評価
色制御ハイブリッドキャッシュは新規動画が追加されてもヒット率を維持
482017/08/27 July Tech Festa 2017
Colored Hybrid Cache
色制御LFU90%
Modified LRU 10%
Colored Cache
色制御LFU 100%
色制御LFUだけではヒット率が13.9%下落
ヒット率の下落幅を2.3%に抑制
Inserted 5 popular contents (0.5% of content library) with no-color
でも、研究結果だけなんでしょう？
2017/08/27 July Tech Festa 2017 49
いいえ、作りました。
2017/08/27 July Tech Festa 2017 50
2017/08/27 July Tech Festa 2017 51
Go言語で書かれているのでWindows/Mac/Linuxでネイティブ動作します！
開発に協力して下さる方募集中です
まとめ
動画通信を効率よくキャッシュするキャッシュ基盤を提案し，効果を確認した動画アクセス傾向を考察し，ハイブリッドキャッシュと軽量分散協調キャッシュを組み合わせた
短時間の計算で，高い通信量削減効果が得られた
ハイブリッドキャッシュは，急激なアクセス傾向の変化を起こしてもヒット率を維持できた
2017/08/27 July Tech Festa 2017 52
