ALTO WG/P2P RG におけるP2Pアプリ・インフラ連 …インターネットの階層構造 ISP-A CUST-A CUST-B ISP-X トランジットを売ることでインタネットへの接続性を提供

ネットワーク高度利用推進協議会シンポジウム

「商用 P 2 P、クラウド、キャッシュを活用した

ネットワーク効率化最新動向」

N T T サービスインテグレーション基盤研究所

亀井聡

P2P技術を用いたネットワーク

効率化に向けた活動について

概要

Copyright (C) 2011 NTT Service Integration Laboratories, All right reserved.

2

P2P技術のメリット

ネットワーク負荷とコスト

P2P配信の課題

標準化の状況

推進協議会の実験

まとめ



3

サーバでのボトルネックを防ぎつつ多数のユーザにコンテンツ配信可能．

数分の一～数十分の一にサーバトラヒックを削減．

ユーザ数が増えれば増えるほど安定配信可能

配信前のアクセスユーザ数見積りが丌要なため，より高解像度でのコンテンツ配信が可能．


各種配信方式の適する領域


4

視聴者数

コンテンツ量

C/S+CDN: あらかじめ高い利用者数が読めている領域，

C/S: 利用者数はそこそこ．利用者

規模に応じて増設が必要．

C/S+配信プラットフォーム:

コンテンツの相乗りでコスト削減．

個別の方式はハイブリッド．

P2P: 利用者が膨大でインフラが用意できない領域

P2P: 増設が間に合わない領域

P2P: コストがかけられない領域


現状


5

大容量配信への期待は継続．特に需要が読めない領域では依然として有望．

サーバの機動的な増設はクラウド技術である程度カバーできつつある．

制御できないP2Pより制御できるC/Sという場合にはクラウドでのC/S配信が有力な選択肢になる場合も．




6

効率よく配信するにはどうすればいいのか？

サーバ側の視点

ネットワークに投入するので，あとはネットワークの中で複製してくれればサーバから出る量は減る．

ネットワーク側の観点

できるだけ利用者の近くから流す．

利用者の近くまで持ってきてから複製する．

理想的には，マルチキャストが使えれば最も効率的．擬似マルチキャストとして P2P，キャッシュ技術が位置づけられる．


ネットワーク内複製の非効率性


7

レイヤ間連携がないとこんなことも……．

一見効率的だが……

a

b

c

d

a

c d

b

インフラのレイヤではこうなってるかも？

a

b

c

d

インフラへの負荷を考えると，コスト×リンク数の最小化が望ましいが，回線コストやトポロジ情報はISPしか知らないことが多い．


P2Pとクラウド


8

P2P技術を単純に利用

ネットワークに投げ込むだけでは，ネットワーク事業者の立場が考慮されておらず，ユーザ品質のコントロールも困難．

クラウド利用

コスト観点から事業者の集中が起きやすい．海外から多くの動画が降ってくるような未来はほんとうに効率的か？

今後とも安価に提供し続けられるのかは未だ未知数．

この場合キャッシュでの対応が有力な選択肢．


P2P配信による解決策


9

P2P技術を配信に用いることで，

網内複製(アプリケーションレイヤマルチキャスト)

コンテンツの地産地消

が技術的には可能になる，筈だが……．


P2P配信の課題

P2P技術を用いたコンテンツ配信の利点(主にコンテンツ供給側)

利用者を配信源とすることでサーバコストを圧縮できる．

需要が予測できない配信に適する．

P2Pトラヒックが持つ問題点(主にISP)

サーバボトルネックが軽減するため流通量が増大

下位のネットワークを考慮しないため効率が悪くなりがち．

他のトラヒックを圧迫


インフラと配信事業者の

利害が衝突

10

P2P配信の課題

ISP間接続の構造

インターネットの階層構造

ISP-A

CUST-B CUST-A

ISP-X

トランジットを売ることで

インタネットへの接続性を提供

ISP-Y トランジットを購入し、

インタネットへの到達性を確保

ISP-B ISP-C

peering peering

transit

transit

ピアリングにより

相互の良好な到達性を確保

上流

the Internet

☆あるISPの視点からみたインターネット

11


P2P配信の課題

インフラへのインパクト

登場当初はとにかく量が多いことが問題であった．

特にアクセス網における丌公平性．

最近はアクセスボトルネックの解消とともにバックボーンでの課題となりつつある．

利用者間公平性→事業者間公平性

ＩＳＰ－Ｂ

ＩＳＰ－Ａ

ＶＯＤ

プロバイダー

（ＣＰ）

●ISP-Aは、VODプロバイダーから収入。

●ISP-Bは、VODプロバイダーからの収入がない。

○ISP-AとISP-Bが料金を精算しない対等ピアリングの関

係にあるのなら、大量のトラヒックの流入のみ発生。

○ISP-Bが下位に位置するISPなら、支払うトランジット料

金が増加。

接続料金

Ｐ２Ｐネットワークの在り方に関する作業部会報告書

NTTコミュニケーションズ（株）提供資料を基に編集

12


P2P配信の課題

まとめ


13

P2Pアプリケーションは多くのISPの網上で分散動作するため，制御や観測が困難．なにが起こっているかの把握が必要．

うまく使えばネットワーク効率を高められる．効率的な配信網の構築によるネットワーク負担の軽減化．

ネットワーク事業者からの制御を受け入れる仕組み．

まず必要なのは，P2P事業者とネットワーク事業者の対話と連携．

P2P配信の課題

標準化の状況

FCCの動き

Comcast によるP2P

トラヒックの遮断

FCCによる是正命令

中立性原則発表

全米ブロードバンド計画(NBP)発表

是正命令敗訴

2007

2008

2009

2010


U.S.業界団体の動き

DCIA P4PWG発足

Comcast と Bittorrent の歩み寄り

Field Trial

各社帯域上限設定

IETF

P2Pi meeting

IETF72 ALTO/TINA BOF

IETF73 ALTO/LEDBAT WG

IETF75 PPSP/DECADE BOF

IETF78 PPSP/DECADE WG

日本国内

中立性懇

帯域制御ガイドライン

P2P実験協議会

NW高度利用推進協議会

14

標準化の状況

IETFにおけるP2P関連活動概観


15

リサーチ(IRTF) P2PRG Peer-to-Peer Research Group (from IETF74/2009)

アプリケーションエリア ALTO Application-Layer Traffic Optimization WG (from IETF72/2008)→ IETF79からトランスポートエリアへ

DECADE Decoupled Application Data Enroute WG (from IETF78/2010) →IETF79からトランスポートエリアへ

トランスポートエリア LEDBAT Low Extra Delay Background Transport WG (from IETF72/2008)

PPSP Peer to Peer Streaming Protocol WG (from IETF78/2010)

リアルタイムアプリケーションエリア P2PSIP Peer-to-Peer Session Initiation Protocol WG(from IETF68/2007)

アプリケーション

プラットフォーム

ネットワーク運用

ALTO

LEDBAT

DECADE

PPSP

P2PSIP

P2PRG

活動範囲

アプリ作成 P2PSIP (VoIP) / PPSP (Streaming)

DECADE (ストレージ制御)

ALTO(自網内でのP2Pアプリの制御)

LEDBAT (ベストエフォートの下位クラス)

標準化の状況

ALTO WGの概要と状況


16

概要

P2P技術はリソースの冗長性がメリットである一方で，無駄なトラヒックが生じる傾向があることが問題．

解決策として，ISP側が提供する網情報を元にしたガイダンスに従いP2Pアプリケーションが適切な(近傍の)ダウンロード先を選択する枠組みとそのプロトコルを策定．

状況

problem-statement RFC化(RFC5693/Oct2009)

requirement, protocol Last call(Jan2011)

仕様策定はほぼ完了で落穂拾いのフェーズ．今後はいくつかある独自実装の相互接続性検証，運用上の問題整理等が課題．

標準化の状況

ALTO Protocol の Architecture


17

ALTO

Server

P2P Tracker

(ALTO Client)

P2P Client Peer

Peer Peer

Peer Peer

Peer Peer

Peer

1)Get Network Map

2)Get Cost Map

3)Get Peers

4)Selected Peer

List

5)Connect to

Selected Peers

ISPがネットワークの

Cost Map/Network Map

を定義，ALTO Serverに入力&運用．

PID 1 PID 2 PID 3

PID 1 1 10 15

PID 2 10 1 20

PID 3 15 20 1

PID 1: 192.0.2.1/24,…

PID 2: …

Cost Map

Network Map

ん

Network 事業者 P2P 事業者

ALTOの範疇

標準化の状況

ALTOの注目点


18

P2Pの商用利用に向けて・設備コストの削減

草の根のP2Pと差別化するための方策として有望．加えてネットワーク事業者と商用P2Pとの共通インタフェースとして．

P2Pアプリのためだけでなく，近傍制御のための汎用プロトコルとして有望．

CDNの制御に向けたdraftがCisco/Juniperから．

Ciscoのデータセンタ向けソリューション(UCS)内でのCloud間制御にALTOプロトコルが利用されている．

標準化の状況

http://www.cisco.com/en/US/prod/collateral/routers/ps5763/DC_Services_System_WP.html





DECADE WGの概要と状況


19

概要

P2Pトラヒック増大への対策として，大容量ストレージを網内に留めることが有望である．P2Pキャッシュ等のアプローチは個々のP2Pプロトコルへの対応が必要であり，非効率的．また，コンテンツホルダーへのI/Fも未整備．

上記解決のためP2Pアプリが利用するストレージを扱うための汎用プロトコルの策定を目的とする．

状況

2回目の開催．プロトコルの適用範囲も含めてまだ議論は発散中．

標準化の状況

DECADE Protocol の Architecture


20

標準化の状況

DECADEの利用イメージ


21

標準化の状況

HUAWEIによるDECADEの実装実験例


22

ファイル共有ライブ配信

1/3

標準化の状況

DECADEの注目点


23

ISPの新たなビジネスモデルとして興味深い．

仮想化クラウド上でのP2Pアプリの運用． Bittorrent over EC2

端末型P2Pの丌安定さを補う手法として有効．

ウェブ向けのキャッシュサービスのバックエンド大量の中小規模ISPを収容する場合のキャッシュ間連携．

アクセス回線が高コストな環境での利用モバイル環境等．

標準化の状況

ネットワーク高度利用推進協議会の実験


24

大きな目標は，コンテンツ流通を促進するため，大量のトラヒックをさばけるネットワークアーキテクチャを作ること．

そのための手段としてP2P，キャッシュ等に注目．


海外での各種実験と協議会実験


25

ISP P2P Protocol 測定

海外実験(P4P) Verizon等 pando 独自アプリ内(一部シミュレーション？)

海外実験(P4P) Comcast Bittorrent 独自アプリ内

海外実験(ALTO) China Telecom Bittorrent(系) ALTO(改) バックボーンでの計測(含DPI)

国内実験(-2009) 複数ISP 複数アプリ独自ダミーノード

国内実験(2010) 複数ISP 複数アプリ ALTO(改) ダミーノード

海外での既存実験は単一ISP・単一アプリが中心．

光普及率・バックボーンの構造・ビジネスの構造の差か．

普及が進むにつれ同様の問題が発生すると予測．


実験概要

P2Pアプリケーションの挙動を把握し，課題を明らかにする．

ユーザ環境を模擬するダミーノードを用いた測定

問題解決に向けた仕組の検討，実証

網情報をアプリに反映する(ネットワーク距離を考慮した適切なピア選択)ためのヒントサーバを用いた実験

26



今年度の注力点


27

ヒントサーバと国際標準(IETF ALTO)との互換性向上．

ヒントサーバ用データを国内主要3キャリアの経路情報から構成．

個々のISPでヒントサーバをカスタマイズできるようにプライベートヒントサーバを導入．

コスト情報に留まらない制御ということで，CATVでの網内制御の実験を行った．


ダミーノードでの測定

コンテンツキャッシュ / 部分ファイル

オリジンサーバコンテンツ配布元

制御サーバトラッカー DRM etc…

コンテンツメタデータ？ログ，制御情報

ピア利用者ノード

制御信号，ログ

ピア

ピア測定専用ノード（ダミーノード）

28



ダミーノードの設置状況場所 ISP 1) 2) 3

) 4)

札幌市 HOTnet ● ○ ○ ○

札幌市 NTTCom検証設備－ ●×２

● －

札幌市 NTTCom北海道支店－－ ○ ○

場所 ISP 1)

2) 3) 4)

福岡市 NTTCom検証設備－ ● ● －

福岡市 NTTCom九州支店－－ ○ ○

大分市大分CATV △ △ △ △

鹿児島市グッドコム ● ● ● ○

場所 ISP 1) 2) 3) 4)

福井市 MiteneInternet ● ○ ● ○

金沢市インクル ● ● ● ○

金沢市ネスク △ △ △ △

富山市コーラルネット ● ● ● ○

富山市富山IX － ●×２－－

富山市 FITWEB ●

場所 ISP 1) 2) 3) 4)

堂島 NTTCom検証設備－ ●×２ ● －

大阪市 NTTCom関西支店－－ ○ ○

大阪市スマートコネクト－ ● ● ○

京都市 ???

場所 ISP 1) 2)

3)

4)

名古屋市 NTTCom東海支店－－ ○ ○

東海市知多メディアス ● ● ● ○

場所 ISP 1) 2) 3) 4)

倉敷市倉敷CATV ● ● ●×２ ○

岡山市岡山IX － ● －－

広島市 NTTCom中国支店－－ ○ ○

米子市中海テレビ △ △ △ △

場所 ISP 1) 2) 3) 4)

松山市愛媛CATV ● ● ● ○

高松市 NTTCom四国支店－－ ○ ○

高知市高知IX － △ －－

場所 ISP 1) 2) 3) 4)

大手町 NTTCom検証設備－ ●×3 ○ ○

横浜市横浜テレビ △ △ △ △

場所 ISP 1) 2) 3)

4)

山形市 CATV山形 ● ● ● ○

仙台市 NTTCom東北支店－－ ○ ○

仙台市キャベツ

青森市青森CATV

秋田市秋田CATV

遠野市遠野テレビ

2009/02/04 現在

42台のダミーノード設置済

ISP提供環境 DummyNode設置状況

1)

エンドユーザ環境の提供 ● 設置検討OK、設置済

2)

ISPネットワーク環境の提供 ○ 設置検討OK、設置未

3)

OCN回線施設場所の提供 △ 設置検討中

4)

Yahoo!BB回線施設場所の提供－設置対象外

場所 ISP 1)

2)

3)

4)

長野市 NTTCom信越支店－－ ○ ○

上越市上越CATV ○ △ △ △

29 Copyright (C) 2011 NTT Service Integration Laboratories, All right reserved.


ダミーノードでの測定によるピア選択状況

あるISPに設置したダミーノードのピア選択状況に着目した結果．

ほぼISPシェア，人口に比例した結果となっており，ランダムにピア選択が行われている現状を捉えている．

条件実験1 実験2

A: 同一ISPピアを選択 22% 29%

B: 同一地域ピアを選択 19% 23%

A∧B 5% 7%

30



ん

ん

Full-mesh

Cost DB

経路探索プログラム

ALTO/Hint Server 2010


31

Topology

DB

変換プログラム

BGP full

route

ALTO/Hint

Server I/F

・PeerSelection

・EndpointCostMap

ISP/IX

データ更新I/F

subnet

AS route

subnet->AS->PID

AS route->PID route

Cost of PID pairs

dijkstra

Full-mesh

Cost DB

経路探索プログラム

Topology

DB

複製

Public Hint Server

Private Server

IX Logic / 海外AS

コスト処理等 PID Topology

Link cost

ALTO/Hint Server Program

GEO IP DB


BGP経路のマージとトポロジーDB


32

BGP Full Route in ISP A BGP Full Route in ISP B

Merged Topology


ノード情報のマージと更新

ネットワーク情報の更新は基本的にトポロジーに対するオペレーションにより実施．

ノード(＝PID≒AS)の追加(分割)．サブネット単位．

リンクの追加・削除．

コストの変更．

その他

BGP経路についてはマージスクリプト作成．

国内実験用ということで，海外経路を集約．国内(AS単位)・韓国(PPSolutions利用NW，その他)・その他海外．


33


事業仕分け配信 NHKコンクール配信

0

20

40

60

80

100

120

140

only OCN without OCN all

ヒントなし

ヒントあり

0

20

40

60

80

100

120

140

only OCN without OCN all

ヒントなし

ヒントあり

ヒントサーバ制御による平均コスト削減効果

34


制御による削減効果あり．

ISPが大きく，視聴者数が多いほど効果大．


ヒントなしヒントあり

35

制御状況の視覚化(富山での観測)


0

10

20

30

40

50

60

10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210

［mbps］

［s］

KCT - 岡山

HIGE - 宮城

HIGE - 東京

OCN - 愛知

IIJ - 北海道

IIJ - 東京

IIJ - 神奈川

HOTNET - 北海道

0

5

10

15

20

25

30

35

40

45

10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 220 230

［mbps］

［s］

OCN - 鳥取

OCN - 大阪

OCN - 石川

OCN - 山形

OCN - 愛知

高スループットをつかむまで試行錯誤するヒントなし動作に対し，ヒント制御後は安定して近いISPをつかんでいる．


CATVでのP2P制御


36

CATVでのCMTS実装では，帯域

が共有型であるためP2Pとの相

性が悪い場合がある．

同様に非対称なADSLでは非共

有なため，分散で対応可．

CMTS 下り通信速度

1Mbps x 3 = 3Mbps

以上必要

CMTS 上り通信速度

1Mbps x 3 = 3Mbps

以上必要

コンテンツ

輻輳

0

20

40

60

80

100

120

速度比[%]

対策前対策１対策２

端末２

端末３

端末４

端末１

端末２

端末３

端末１

端末２

端末３

端末４

端末１

端末２

端末３

端末４端末４

キャッシュサーバ

制御によりおよそ倍のスループットに．網情報を用いたP2P制御の重要性を確認．


得られた知見と標準化へのフィードバック


37

実験で得られた知見

ダミーノードによる測定から現状を把握

IETF ALTO型制御の有効性とデータ作成手法

個別ISPでのカスタマイズに向けたプライベートサーバの導入

網情報一般をP2P制御に用いることの有効性確認

国内での取り組み状況をIETFのP2PRGの場で発表．

主に運用面での課題をフィードバック．主なトピックは

測定・検証の重要性

複数ISP，複数P2Pアプリでの利用における有効性と運用上の課題

プライベートサーバによる階層化等．


まとめ


38

効率的なネットワーク利用を目指し，P2P技術の適用に必要な課題解決を目指した実験を行った．

標準化が進むP2Pインフラ連携方式について，有効性の確認と運用上の課題を抽出．解決に向けた提案を行っている．

ISP，P2P事業者の技術的な情報交換のみならず，ビジネス上での情報交換の場としても協議会は有効であった．

まとめと考察

P2P技術の今後

内部的には既にあたりまえに使われている状況．クラウドの要素技術(Key Value Store等)はP2P由来と言えなくもない．

利用者の悪印象はやはり大きな課題．

抵抗感は残る．たまに配信側に偏見がある場合も．

クラウドでいいじゃん

ほんとに安価でいられつづけるかは未知数．

クラウド上でP2P，という荒技も．

インターネットでの利用には多くの課題．

トラヒック量 → 配置の工夫で効率は上げられる

上り帯域，トランジット，etc…

ブロードバンド先進国として．

全部Google，海外クラウドという事態を避けるためにも，地産地消は重要．

「受け取る人」「流す人」「運ぶ人」の Win-Win を

P2P技術によって！

39


まとめと考察

Documents

ALTO WG/P2P RG におけるP2Pアプリ・インフラ連 …インターネットの階層構造 ISP-A CUST-A CUST-B ISP-X トランジットを売ることで インタネットへの接続性を提供

ALTO WG/P2P RG におけるP2Pアプリ・インフラ連 …インターネットの階層構造 ISP-A CUST-A CUST-B ISP-X トランジットを売ることでインタネットへの接続性を提供