大規模かつグローバルなインフラストラクチャの

運用基盤分析に関する研究

関谷 勇司

2005年1月26日最終審査資料

本研究の目的

● 身の回りには，従来のインフラの枠を越えた，新しいインフラが出現している

– GPS

– インターネット

– DNS

● これらインフラが正常に運用されているか分析する手法は？

● 大規模かつグローバルなインフラの運用基盤を分析する手法を確立する

本研究の成果

● 大規模かつグローバルなインフラの運用基盤分析手法を確立した

● 本手法に従って DNS の運用基盤分析モデルとシステムを作成した

● DNS の運用基盤分析を行った

本研究の背景

● 身の回りには新たなインフラが登場し，生活がより便利なものへと進化している

– 大規模かつグローバルなインフラが増加

● 新たなインフラは本当にインフラとしての条件を満たしているのか

– 従来のインフラとの違いは

– 運用基盤を監視，分析するためのコストの増加

● 新たなインフラは，インフラとして機能できているのか

● 新たなインフラの運用分析を行う手法は？

本研究のアプローチ

● インフラに求められる必要条件を定義

– 従来のインフラや新しいインフラは条件を満たしているか

● インフラの必要条件をふまえ，インフラの運用基盤分析に必要な要件を定義

● 大規模かつグローバルなインフラの運用分析を行うモデルの提案

● 提案したモデルによる運用分析の実証

● 提案したモデルの有用性を確認

インフラとは

● 人間が文化的な生活を営んだり，経済活動を行うにあたって必要なもの

● 従来のインフラ

– 生活インフラ● 上下水道，ガス，電気

– 通信インフラ● 電話

– 社会インフラ● 道路，学校

● インフラの供給が断たれると生命に関わる問題も発生

大規模かつグローバルなインフラとは

● サービスの範囲が地球規模にて提供される

– サービスの範囲があらかじめ限定されていない

● サービス提供拠点が分散して複数存在

– 大規模なサービスエリアを構築する

● どの拠点でも均一なサービス内容

– サービスを受ける権利がある人はどこでも利用可能

● インターネット上における新たな分散サービス

大規模かつグローバルなインフラの例

● GPS

– 地球規模で展開される位置情報システム

– 複数台の衛星にてサービス提供

● インターネット

– 地球規模の情報通信インフラ

– 自律分散協調的に構成されるシステム

● DNS

– 数万台の DNS サーバによって構成される分散データベース

– インフラを支えるインフラ

インフラの必要条件

● インフラが満たすべき必要条件

(1) サービスの公共性

(2) サービスの信頼性・耐障害性

(3) サービス拠点の識別性

● 最低限これらの条件を有するものがインフラである

● 大規模かつグローバルなインフラもこれらの条件を満たしている

● これらの条件を定常的に満たすことが必要

インフラの運用基盤分析

● インフラの必要条件を満たしているか調査する

– 定量的に分析する

– 継続的に分析する

– インフラの運用健全度合いを分析する

● 調査手法

(1) ユーザの視点からのサービス調査

(2) サービスの完全性・正確性の調査

(3) サービス識別情報の調査

本研究の分析モデルInfrastructure

ユーザ

ユーザ

ユーザ

ユーザユーザ

(1) (1)

(1)

(1)(1)

監視点

サービス拠点

(2)

(2)

サービス拠点

サービス拠点

サービス拠点

サービス拠点

(3)

(3)

(3)

(3)

(3)

本研究の分析手法

(1) ユーザの視点からのサービス調査

サービスの公共性を検証するために複数地点から調査を行う

(2) サービスの完全性・正確性の調査

サービスの信頼性・耐障害性を検証するため，にインフラ全体で一貫したサービスが提供されているかを調査する

(3) サービス識別情報の調査

障害時の迅速な復旧対応のために，平常時からサービス拠点におけるサービス範囲の調査を行う

DNSの運用基盤

● DNS を研究課題とするにあたって，DNS の運用基盤の特色をまとめる

– DNS はインターネットを支えるインフラである

– 名前空間は木構造の分散データベース

– 数万台規模の DNS サーバによって形成される

● 公共性の強い DNS サーバ

– ルート DNS サーバ

– ccTLD DNS サーバ

– gTLD DNS サーバ

エニーキャスト DNS

m.root-servers.net (2)

m.root-servers.net (3)

m.root-servers.net (1)USER A

USER B

● DNS サーバの負荷分散● 同じ IP アドレスの DNS サーバを複数台設置● ユーザは近いサービス拠点にてサービスを受ける

エニーキャスト DNS の現状A VeriSign Global Registry Services Dulles VAB Information Sciences Institute Marina Del Rey CA

C Cogent CommunicationsD University of Maryland College Park MDE NASA Ames Research Center Mountain View CA

F Internet Systems Consortium, Inc.G U.S. DOD Network Vienna VAH U.S. Army Research Lab Aberdeen MD

I Autonomica/NORDUnet

J VeriSign Global Registry Services

K RIPEL IANA Los AngelesM WIDE Project Tokyo; Seoul (KR); Paris (FR)

Herndon VA; Los Angeles; New York City; Chicago

Ottawa; Palo Alto; San Jose CA; New York City; San Francisco; Madrid; Hong Kong; Los Angeles; Rome; Auckland; Sao Paulo; Beijing; Seoul; Moscow; Taipei; Dubai; Paris; Singapore; Brisbane; Toronto; Monterrey; Lisbon; Johannesburg; Tel Aviv; Jakarta; Munich; Osaka; Prague

Stockholm; Helsinki; Milan; London; Geneva; Amsterdam; Oslo; Bangkok; Hong Kong; Brussels; Frankfurt; Ankara; Bucharest; Chicago; Washington DC; Tokyo; Kuala Lumpur

Dulles VA (2 locations); Mountain View CA; Seattle WA; Amsterdam; Atlanta GA; Los Angeles CA; Miami; Stockholm; London; Tokyo; Seoul; Singapore; Sterling VA (2 locations, standby)

London (UK); Amsterdam (NL); Frankfurt (DE); Athens (GR); Doha (QA); Milan (IT); Reykjavik (IS); Helsinki (FI); Geneva (CH); Poznan (PL); Budapest (HU)

DNS のセキュリティ

● DNS に見られる攻撃

– サービス妨害攻撃● エニーキャストによる負荷分散

– DNS サーバ乗っ取り● サーバの情報収集

– 詐称攻撃● DNSSEC の普及

● インフラとしての公共性，信頼性，耐障害性，識別性を確保するにあたっての障害となる

DNS の分析モデル

● DNS 到達性調査システム

– ユーザの視点から，公共性の高い DNS サーバ群への到達性を計測するシステム

– RTT, loss rate, 応答内容

● DNS 委譲情報調査システム

– 木構造の完全性を調査するシステム

– 同時に DNS サーバのバージョン情報も調査

● DNS 運用情報識別システム

– エニーキャスト DNS を識別するシステム

DNS の分析モデル

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

DNS サーバ

委譲情報調査システム

到達性調査システム

運用情報識別システム

到達性調査システム

DNS 到達性調査システム

● dnsprobe というツールを使用

– DNS サーバ群に対して名前解決クエリを送信

– 応答を得られるまでの時間を記録

● 複数地点からの計測

– ダイヤルアップによる計測を利用

– ダイヤルアップによる計測誤差を補正● 単純補正● 基準 DNS サーバを用いた補正

●

DNS 到達性調査システム概要

Native v.s. Dialup

Native v.s. Dialup 結果(L.A.)

A B C D E F G H I J K L M0

100

200

300

400

500

600

700

800

900

1000

Beta(native) Alpha(dialup) Gamma(offset)

RT

T(m

s)

Native v.s. Dialup 結果(SFC)

A B C D E F G H I J K L M0

100

200

300

400

500

600

700

800

900

Beta(native) Alpha(dialup) Gamma(offset)

RT

T(m

s)

Dialup probe の補正

基準 DNS サーバ

● 計測地点から最も近い ccTLD DNS サーバを基準 DNS サーバとして用いる

– 最も分散して存在している公共的な DNS サーバ

– 計測地点からのインターネットバックボーンへの接続性の差異を補正

● 同一計測地点からの DNS サーバ間の到達性を比較

– 単純補正

● 計測地点間における DNS サーバの到達性を比較

– 基準 DNS サーバを用いた補正

ccTLD DNS サーバの分布

153

36

17

17

1413

1311

1010 9 9 8 8 8 8 7 7 7

others (< 1.0%) 302

United States United Kingdom Canada Australia Sweden

Japan Germany Italy Netherlands France

Russian Federation New Zealand Poland Hong Kong Spain

China South Africa Korea Belgium others (< 1.0%)

DNS 委譲情報調査システム概要

DNS 委譲情報調査システム

● DNS サーバ情報収集モジュール

– DNS サーバの種別，バージョン情報を収集

● 管理情報収集モジュール

– DNS サーバが持つ名前空間とその管理者情報の収集

● 委譲情報確認モジュール

– 委譲情報をチェックするためのモジュール

● データベースモジュール

DNS 運用情報識別システム

● エニーキャストの識別● dnsprobe をエニーキャスト対応に改造● 通常の名前解決クエリの他に，DNS サーバ個

体識別情報を要求するクエリを送信

● 計測地点毎にサービス拠点を記録

到達性調査システムによる分析結果(1)

到達性調査システムによる分析結果(2)

委譲情報調査システムによる分析結果

全委譲点 183476正確な委譲点 173154 94.4%不正確な委譲点 10322 5.6%

Unknown

Other implementation

Other bind

bind-8.2.2-P3

bind-4.9.7

bind-8.2.2-P5

bind-8.1.2

0 1000 2000 3000 4000 5000 6000

3575

2393

1993

1097

5036

1537

2823

安全な bind 31.12%

危険な bind 68.88%

運用情報識別システムによる分析結果

Warshaw(Poland) Vindeln(Sweden) Taipei(Taiwan) Singapore Oslo(Norway)A ns8-aroot ns12-aroot ns11-aroot ns8-aroot ns3-arootB B3 B3 b2.isi.edu b1.isi.edu b2.isi.eduC iad1a.c.root-servers.org jfk1b.c.root-servers.org lax1b.c.root-servers.net lax1a.c.root-servers.org iad1b.c.root-servers.orgD d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.eduE e4.arc.nasa.gov e2.arc.nasa.gov e2.arc.nasa.gov e2.arc.nasa.gov e2.arc.nasa.govF pao1e.f.root-servers.org pao1e.f.root-servers.org tpe1b.f.root-servers.org sfo2a.f.root-servers.org sfo2a.f.root-servers.orgG g.root-servers.net g.root-servers.net g.root-servers.net g.root-servers.net g.root-servers.netH H1 H1 H2 H1 H1I s2.sth s1.sth s1.tok s1.tok s1.amsJ jns2-kgtld.j.root-servers.net jns1-hgtld.j.root-servers.net jns1-kr.j.root-servers.net jns2-mgtld.j.root-servers.net jns3-hgtld.j.root-servers.netK k2.denic k2.ams-ix k1.linx k1.linx k1.linxL l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.orgM M-cdg3 M-cdg3 M-d4 M-d3 M-d4

Nabulus(Palestina) Monterrey(Mexico) Manilla(Philippines) Lisboa(Portugal) Heathrow(UK)A ns10-aroot ns7-aroot ns3-aroot ns11-aroot ns9-arootB b2.isi.edu B3 B3 b1.isi.edu b2.isi.eduC jfk1b.c.root-servers.org ord1a.c.root-servers.org lax1a.c.root-servers.org jfk1b.c.root-servers.org jfk1a.c.root-servers.orgD d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.edu d-root.net.umd.eduE e1.arc.nasa.gov e4.arc.nasa.gov e2.arc.nasa.gov e2.arc.nasa.gov e2.arc.nasa.govF tlv1b.f.root-servers.org mty1a.f.root-servers.org sfo2b.f.root-servers.org sfo2a.f.root-servers.org pao1c.f.root-servers.orgG g.root-servers.net g.root-servers.net g.root-servers.net g.root-servers.net g.root-servers.netH H2 H2 H2 H2 H2I s1.lnx s1.tok s1.tok s1.ams s2.sthJ jns2-kgtld.j.root-servers.net jns2-fgtld.j.root-servers.net jns1-fgtld.j.root-servers.net jns4-hgtld.j.root-servers.net jns1-kgtld.j.root-servers.netK k2.linx k2.linx k1.linx k1.linx k1.linxL l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.org l1.l.root-servers.orgM M-cdg3 M-cdg3 M-d1 M-d2 M-d1

Gijon(Spain) Dorado(PuertoRico)A ns4-aroot ns8-arootB b2.isi.edu B3C jfk1a.c.root-servers.org ord1a.c.root-servers.orgD d-root.net.umd.edu d-root.net.umd.eduE e2.arc.nasa.gov e4.arc.nasa.govF med1a.f.root-servers.org sfo2b.f.root-servers.orgG g.root-servers.net g.root-servers.netH H2 H2I s1.lnx s1.amsJ jns6-hgtld.j.root-servers.net jns3-fgtld.j.root-servers.netK k2.mix k1.linxL l1.l.root-servers.org l1.l.root-servers.orgM M-cgd4 M-d4

本手法による分析結果● DNS の運用基盤分析結果は以下の通りである● ユーザの視点からのサービス調査

– どの地点からでも，同一に名前解決可能

– 名前解決を受けるために要する時間は地域による差異がある

● サービスの完全性調査

– 5.4% の委譲点が不正確である

– 危険な DNS サーバ実装が多く存在する

● サービス識別情報の調査

– エニーキャストによる分散は機能している

– 一部意図しないサービス範囲となっている

本研究のまとめ

● 本研究にて作成した DNS 運用基盤分析モデルにてDNS の運用基盤分析を行うことができた

● この手法は，これからさらに増えるであろう大規模かつグローバルなインフラに対しても有効である

– インターネット上の分散サービス

● 大規模かつグローバルなインフラの運用分析基盤手法を確立した