25
Network Diagrams of WIDE Backbone 遠峰隆史 ([email protected]) 近藤賢郎 ([email protected]) 中島博敬 ([email protected]) 鈴木恒平 ([email protected]) 垣内正年 ([email protected]) 井上博之 ([email protected]) 宇多仁 ([email protected]) 明石邦夫 ([email protected]) 小林和真 ([email protected]) 中野博樹 ([email protected]) 岡部寿男 ([email protected]) Glenn Mansfield Keeni ([email protected]) 齋藤武夫 ([email protected]) 土井一夫 ([email protected]) 松本智 ([email protected]) 高橋航平 ([email protected]) 畠山元也 ([email protected]) 堀田幸暉 ([email protected]) 吉川かなえ ([email protected]) 関谷勇司 ([email protected]) 岡田和也 ([email protected]) 中村遼 ([email protected]) 山本成一 ([email protected]) 2018 2 15 1

Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

Network Diagrams of WIDE Backbone

遠峰隆史 ([email protected])

近藤賢郎 ([email protected])

中島博敬 ([email protected])

鈴木恒平 ([email protected])

垣内正年 ([email protected])

井上博之 ([email protected])

宇多仁 ([email protected])

明石邦夫 ([email protected])

小林和真 ([email protected])

中野博樹 ([email protected])

岡部寿男 ([email protected])

Glenn Mansfield Keeni ([email protected])

齋藤武夫 ([email protected])

土井一夫 ([email protected])

松本智 ([email protected])

高橋航平 ([email protected])

畠山元也 ([email protected])

堀田幸暉 ([email protected])

吉川かなえ ([email protected])

関谷勇司 ([email protected])

岡田和也 ([email protected])

中村遼 ([email protected]) 山本成一 ([email protected])

2018年 2月 15日

1

Page 2: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

本ドキュメントでは、2017年の WIDE backbone と各 NOC の現状について述べる。

1 はじめにWIDE バックボーンネットワークは国内はもとより San Fransico, Bangkok な

ど海外にも拠点(NOC, Network Operation Center)を持つ広大なレイヤ 2 およびレイヤ 3 ネットワークである.WIDE バックボーンネットワークは各接続組織の対外接続ネットワークとして活用されるだけではなく,インターネットの新技術を開発している研究者,開発者らの新技術の運用実験の場としても頻繁に活用されている.WIDE バックボーンネットワークの運用は Two ワーキンググループに参加す

る各 NOC の運用者による定常的な運用に支えられている.本年度の Two ワーキンググループの活動報告として,WIDE バックボーンネットワークの運用報告を行う.最後に今後の WIDE バックボーン運用についての展望を述べる.

2

Page 3: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2 WIDEバックボーンの運用本節では,WIDEバックボーンの各拠点での 2016年 12月 31日から 2017年 12

月 31日までの運用報告と 2017年 12月 31日現在のWIDEバックボーンのネットワーク構成を報告する.図 1は 2017年 12月 31日現在のWIDEバックボーンの概略図である.

via SINETvia SIN

ETOkayama

100Gbps

図 1: WIDEバックボーントポロジ

3

Page 4: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.1 仙台

仙台 NOC は仙台周辺の拠点を収容するNOC として運用されている.2016年3月 30日の「JGN-X 東北-2 AP(東北大)」廃止に伴う回線断以降,再接続方法の検討が遅れており、NOC としての運用が停止している.地元の大学でネットワーク監視系の研究などのニーズも出てきたこともあり,

2018年 1月以降に再接続の検討開始予定.

• なし

brocade1.nezu

.26

::a

em0

pc10

::8 .24

2001:200:0:1C07::/64

2001:200:0:7000:/64

203.178.138.16/28.21

::5

pc5em1FastEthernet0

FastEthernet1

cisco1VLAN311

::82001:200:0:7F0:/64

pc13

.29

::d.19

::3

pc3

Cyber Solutions Inc.

em0

em3

brocade1.nezu

203.178.136.180/30

図 2: 仙台 NOC (-2016/3/30)

4

Page 5: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.2 筑波

筑波NOCは筑波大学学術情報メディアセンター内に設置されている,システム情報工学研究科産学間連携推進室をはじめとする周辺の研究組織を収容している.株式会社ソフトイーサと共同で、グローバル・固定 IPv6 アドレス割当型トン

ネル接続実験サービス (v6ip.tsukuba.wide.ad.jp)を運用しており、2012年にはDNS64/NAT64による IPv4ネットワークとの相互接続の試験運用も開始した.

• (2017/10/21) 電気事業法に基づく電気設備の定期点検のため停止

• (2017/10/22) 同上

• (2017/10/29) つくばNOC構成変更作業、ルータ更改

• (2017/10/30) 公開ミラーサービスストレージ障害につき再構築

• (2017/10/31) IPv6アドレス割り当て型トンネルサービスに送信元検証を追加

• (2017/11/03) ミラーサービス復旧

図 3: 筑波 NOC

5

Page 6: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.3 根津

根津 NOC は,WIDE 関東地区の重要な接続拠点として,東京大学,JGN-X,SINET 等との接続を行っている.また WIDE クラウドの拠点としても重要な機器が設置されている.2017年にHuawei Technologies 社の機器が導入され,対外接続が 100GbE 化された.

• (2017/01/28) 根津-矢上間の 100Gリンクがダウン

• (2017/01/31) clk.nezu (NTP サーバ) サービス開始

• (2017/09/24) 根津 NOC 法定点検のため停電

eth48eth2/12

U-TOKYO

Sekiya-LabDataReservoir

pc7.nezufoundry3.nezu

YAGAMI As of 2016/12/31

MAWI-storage

JGN2-BI4K-eth1/5

JGN2-GS4K-eth4/1foundry4.nezu

eth5/4

eth4/2

Otemachi

eth5/3

foundry5.nezueth3/9

U-TOKYO

To x448-n7f@NTT otemachiU-TOKYO

foundry1.hongo

eth3/3eth1/1

foundry1.nezu

eth1/7

eth1/6eth1/2eth1/3

foundry7.nezu

eth1/5

eth1/8

mawi.nezu eth2/4

eth2/13

eth7/4

a10.nezu

vm1.nezu

vm2.nezu

vm4.nezu

U-TOKYO

INFOTREND

eql.nezu

eth1/1/{11,14,16,20}

eth1/1/{17,21}

eth1/1/{18,22}

eth1/1/24

eth1/1/8

eth1/1/{1,19}

eth1/1/5

sekiya-esxi.nezu eth2/11

tongari.nezu eth4/24 new-mawi.nezu

NAKAYAMALab.

vm5.nezu

eth2/2

eth2/3

Kato-Lab

eth1/1/4

eth1/1/7

eth2/9eth2/10eth2/16

eth3 eth17

eth2/14

solana.nezu

eth2/1

eth2/6

ironport2

eth2/7

eth2/8

eth5/1

brocade1.nezu

eth1/7

NECOMAeth1/2

eth1/3

foundry8.nezu

eth2/8

eth2 eth13

U-TOKYO (Q-in-Q)

eth48

eth4/23

JGN2-GS4000eth4/24

eth2/15

huawei1.nezu

huawei2.nezu

OSN1800

eth5/2

eth1/4

10GE2/0/1

10GE2/0/0

100GE4/0/2

図 4: 根津 NOC

6

Page 7: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.4 NTT 大手町

NTT大手町 NOC(notemachi)は,1999年終りから稼働した NOCで,現在,関西方面,北陸方面への L2 網,JGN-X ,APAN-JP の接続拠点として重要な立場にある.また,日本のインターネットトラフィック交換の 1拠点として,DIX-IE ,T-LEX を設置し ISP および学術研究 NWを収容している.2015年度は T-LEX

の 100GbE 版である,T-REX (Tokyo Research and Education eXchange) が発足した.

foundry1

pc1.t-lex

f2.ote

1/4

1/7

rt50i

2/5

clk

2/6

3/3

1/5

3/1 3/2

DR-HIRAKI

1/7

apan

1/8

NTT-EASTMETRO-ETHER

2/13

2/12

gmx1004

2/18

cisco2

taishitakomatsu

3/2 2/3

f6.ote1/2

5/1 5/2

{1,2}/3

As of 2017/02/10

2/8

2/9melco1

2/15fe3miyakawa-sw

2/24

miyakawa-sjc

tehe

1/4 JGNNTT otemachi

ASCC:GMX-B2

4/14

cat3512-MII

0/1

SX

7/35

mawinotemachi

4/15

A7A01224N

4/64/7

JAIST-shinagawaIPv4-kokatsuTF

2/2

KEIO-DMC

0/60/12

soumH-Cable

xfow-collector 7/12

7/7

7/3

7/2

SINET

1/6

traceback-verio 7/10

3/1

NAOJ

UNISYS

7/8

RIPE/NCC(A4C)

3/4

1/2

1/14/4

bge1

pc1

2/3meisei-u1/6

2/4

StarPorte

juniper1

7/6

0/0/0

0/0/1

2/1

2/2

1/1/9

foundry2.t-lex

foundry3.t-lex

huawei1.t-lex

NAOJ

2/0/0

CENIC:MLX

5/0/0

huawei2nezu

3/0/0

2/1/00/0/0

5/1/1 5/0/1

nexus1.ote SINET

7/13

JPRS

図 5: NTT 大手町 NOC

7

Page 8: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.5 KDDI 大手町

KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC となっており,外部組織接続が最も多い NOC となっている.10GbE によるバックボーンが導入され,NTT大手町 NOCとの連携がより強まり,WIDEから DIX-IE

への接続拠点となっている.

• (2017/04/04) nexus1.t-rex (Nexus9236C) 設置

• (2017/11) SC17への実験協力

• (2017/11/24) KDDI大手町 9F NOC 2ラックの機材整理・撤去

NEZU(f4.nezu-e2/4)

e2/4

CUC

e1/1

NTTOtemachi

(c2.note-Ten2/3)

(f1.riho-m)

e1/2

foundry6

TITECH

e1/3

MIRAIKAN

e1/4

alala1

e2/1

Ten0/1

Ten0/0 DIX-IE

TsukubaWAN

e8/1

APAN(ms3-e1/3)

GRAPEAPAN

e8/7 e8/8

WIDE KDDI Otemachi NOC

cisco7Gi0/0/0

Gi1/0/0

e8/17

hitachi1

e8/22e8/3

foundry21/2

foundry1

2/15

Otemachi23F

1/3

KDDILAB

2/2

VoIPgate

2/3

CUC

2/4

toyaku.ac.jp

2/18

SonyCSL

2/102/16

JSAT

2/17

NICTNAG

3/62/22

dgre

pc10

pc13

pc15

Otemachi 9F

3/1

NTTOtemachi

(f1.note-e1/4)

GMX

3/7

APANfor AI3

3/8

4/5

risingsun.isc

wireless

4/72/0-3

KeioMITA

4/20

NIHONUniv.

detector

4/17

cyclades1

y6

RouteViews

4/3

AI3-PC

4/12

new-y.ip6.int

4/23

PCH-Server

4/21

APNIC-Cyclades

4/15

4/44/14

e4/8-11 GbE2

GbE1

DIX-IE

GbE3

cisco1

e26e7

e9e1 fa1/0/0

e0/0e0/4

DNS IMnet

2017/02/10

foundry7

e8/33

e49

pc18

e3

mirror

e47

e8/34

alaxala2

g0/1

pc17

e33

SEIJO(a1.seijo-Ten0/25)

Ten0/2

allied1

e8/2

M-LAB

JGN

NSPIXP-23

e2/3

IRI

e8/30

e8/39 KDDILabs

vm1

vm2

eql1

4/4

RIPE RCC RAC

nexus1Eth3/3Eth3/2

Eth4/2

Eth3/3

Eth3/1 Eth4/1

huawei1.t-lex

図 6: KDDI 大手町 NOC

8

Page 9: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.6 矢上

矢上 NOC は慶應義塾大学理工学部矢上キャンパス構内にあり,同大学理工学部情報工学科,同大学 DMC 統合研究センターおよび周辺の研究組織を収容している.また WIDE SOC/CSIRT に関わるサーバの運用も担っている.

• (2017/01/28 - 2017/02/04) 伝送装置の不良に伴う根津 == 矢上間疎通断

• (2017/02/04) juniper1.yagami (EX3400) 稼働開始

• (2017/02/13) Huawei による伝送装置の出力調整実施

• (2017/03/13) foundry3.yagami (MLX4) 稼働開始

• (2017/03/28) 日大回線の収容開始

• (2017/06/13) 矢上 == 藤沢間回線の回線借用

• (2017/06/30) 矢上 NOC 内電源系統トラブルに伴う接続組織疎通断

• (2017/08/16) 矢上キャンパス法廷停電 (外部電源からの電源供給トラブルにより 15 分程度疎通断)

• (2017/09/18) 矢上 NOC 内 UPS 過負荷による一部収容組織への疎通断

• (2017/11/07) IPv4 CAM 溢れに伴う f2.yagami 再起動

fujisawa

DMC

YAGAMI NOC TOPOLOGY (Layer1)

hiyoshi(kyoseikan)

100GE4/0/2

10GE3/0/0

alaxalahuawei1CE12804

10GE3/0/1

tera-labcisco2Cat3560

GE0/25e4/19GE0/26e4/20

GE0/1

GE0/23

GE0/24

osn1OSN1800

osn2OSN1800

nezu 100GE4/0/0

100GE4/0/1

foundry2MLX4

e1/2

10G3/0/3

e4/7pc6

pc5

vm1

GE0/1-48

inl-blade

GE0/21GE0/3

e1/1

10G3/0/2

10GE3/0/6e1/1foundry3MLX4

10GE3/0/4

10GE3/0/5

xe-0/2/0

xe-0/2/1

juniper1EX3400

ge-0/0/10 jump/serial

ge-0/0/4

ge-0/0/5

ge-0/0/2 ge-0/0/3

GE0/2

FujiXerox

e4/3Nihon Univ.

e4/1

pc4

Nihon Univ.

e4/1

vtep1

ge-0/0/1

GE0/27

GE0/51

cisco3Cat3560

ge-0/0/0

図 7: 矢上 NOC Layer-1 トポロジ

9

Page 10: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

YAGAMI NOC TOPOLOGY (Layer2) vlan120: Nihon-Univ-1

vlan121: Nihon-Univ-2

vlan150: KMD

vlan151: Kyoseikan

vlan191: YAGAMI-ALAXALA

vlan197: Miraikan-Hiyoshi

vlan200: INL-QinQ

vlan297: DMC-Hiyoshi-2

vlan298: DMC-Hiyoshi-3

vlan299: DMC-Hiyoshi-4

vlan491: KMD-Miraikan

vlan900: SEA-LOOP1

vlan901: SEA-LOOP2

vlan1413: DMC-JGN-3thrWIDETLEX

vlan1415: JGN-KMD-201105b

vlan2132: CineG:UcsdJgnWideDmc

vlan3110: DMC-KMD-3110

vlan3764: NEDU-LA

huawei1

Nezu

vlan4: K-N-N-Y-F

vlan6: CLOUD-NAT

vlan21: INL-Local

vlan22: WIDE-Cloud-Yagami

vlan40: Notemachi-Yagami-P2P

vlan45: Nezu-Yagami-P2P

vlan46: Fujisawa-Nezu-P2P

vlan47: Fujisawa-Nezu-P2P-2

vlan79: CLOUD-EQL

vlan88: F-H-Y-Backup

vlan89: Hiyoshi-Yagami-P2P

vlan94: Yagami-Xerox-P2P

vlan97: Miraikan-Hiyoshi

vlan100: Yagami NOC

vlan101: Yagami Servers

vlan110: Keio-West-WIDE

vlan111: West-Lab-IPv6

LAG

foundry2

100GE4/0/0 100GE4/0/1

10GE3/0/2

Hiyoshi

vlan46, 47

vlan4

vlan6, 79, 97

vlan197, 297, 298

vlan299, 491, 900

vlan901, 1413, 1415

vlan2132, 3110, 3764

vlan4

10GE3/0/1

eth4/7

10GE3/0/0

vlan88

AlaxalA

vlan191

vlan6, 79, 97

vlan197, 297, 298

vlan299, 491, 900

vlan901, 1413, 1415

vlan2132, 3110, 3764

vlan46, 47

vlan4

Fujisawa

eth4/19

eth4/20

vlan200

vlan45

vlan4

juniper1

LAG

GE0/25

vm1

GE0/21 GE0/27GE0/3

pc6

vlan6 vlan21

100GE4/0/2 DMC

LAG

GE0/23

GE0/24

vlan21

GE0/1vlan111

INL

West-lab.

cisco2

cisco3

GE0/49

vlan21

GE0/1-48vlan23

INL-blade

vlan40

em1

em2

eth0

xe-0/2/0

LAG

LAG

10GE3/0/3

10GE3/0/4

xe-0/2/1

GE0/1 GE0/2

vlan6

10GE3/0/5

ge-0/0/2 ge-0/0/3

vtep1

eth3 eth4

eth0 eth3pc4eth1

vlan200

LAG

GE0/26

eth4/1Nihon Univ.

vlan120

vlan150, 151

vlan89

eth4/3FujiXerox

vlan94

vlan100

pc5

vlan100

eth0

LAG

LAG

LAG

vlan100

eth1

ge-0/0/1 ge-0/0/0

foundry3

eth1/1 eth1/2

eth4/1Nihon Univ.

vlan121

eth1/1

10GE3/0/6

ge-0/0/4

eth0

vlan100vlan100vlan22

ge-0/0/5

図 8: 矢上 NOC Layer-2 トポロジ

10

Page 11: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

huawei1

foundry2

203.178.141.80/28vlan:100

.90 .94Yagami NOC

INL-lab

vlan: 45

vlan:150

vlan:94

vlan: 120Nezu-Yagami-P2P

KMD

FujiXerox

Nihon Univ.

vlan: 151

Kyoseikan

.92

vlan: 21

West-labvlan: 111 INL-blade

vlan: 23

.91

vlan: 40

Yagami-Note-P2P

cisco2 cisco3

juniper1

foundry3

.148 .129

203.178.135.128/27vlan:21

Yagami Expr. .144

vlan:110

Keio-WestWIDE

vlan:89

Hiyoshi-Yagami-P2P

vlan: 88

Yagami-Hiyoshi-Fujisawa-Backup

203.178.135.160/27vlan:101Yagami Servers

.83: vtep1

.84: vm1

.85: monitor

.86: jump

.87: pc4

.88: pc5

.89: pc6203.178.135.176/28vlan:22

WIDE Cloud .177-182: asaeda.183: storage.184: wirt

.177

.173 .161: vrrp.162-163: aom.164-165: hannah

.82: osn2

.81: osn1

.93: vrrp

.174

vlan: 191

ALAXALA

vlan: 121

Nihon Univ.

図 9: 矢上 NOC Layer-3 トポロジ

11

Page 12: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.7 藤沢

藤沢NOCは慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研究室の他、周辺の研究組織を収容している。同時にW3CやAI3との接続、VoIP

関連サービス、外部研究組織のトラフィック計測サーバの設置及び接続性の提供などを行っている。

• (2017/8/2) nexus1.fujisawa 設置

• (2017/8/10-2017/8/12) 受変電設備更新に伴う停電

• (2017/8/17) nexus1.fujisawa にコアルータを切替

• (2017/8/17) 慶應義塾大学湘南藤沢キャンパス間を 100G接続

• (2017/8/24) vtep1.fujisawa 再起動

• (2017/11/6) juniper1.fujisawa, juniper2.fujisawa 撤去

• (2017/11/7) pict5.fujisawa ディスク故障

• (2017/12/3) 法定停電に伴う停電

• (2017/12/3) 慶應義塾大学湘南藤沢キャンパスとの冗長線を敷設 (10G)

12

Page 13: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

Fujisawa NOC Layer2-topology2017/12/18 by ao

huawei1.yagami huawei3.fujisawa

vlan4

vlan46

vlan47

nexus1.fujisawa

10GE3/0/0

xe-1/1

foundry3.fujisawa foundry5.fujisawa

xe-2/17

xe-2/14

xe-0/0/1

vlan105

vlan104

vlan103

vlan100

vlan88

xg-0/0/1 xg-1/0/1

Notemachi-P2P

foundry2.fujisawa

eth3

W3C eth4

juniper1.sfc eth11

vlan100

voip-gw1 eth43

c3800.ai3 eth44 vlan31

vlan49

SOI-switch eth17

vlan501

vlan100 vlan100

pict1eth18

pict2eth25

pict3

pict4eth5

pict5eth28

sh.wideeth10

mcasteth26

eth30

Nara-evlan eth4/11

vm1.fujisawa

vlan105

vlan106

vlan6

eth4/1

vm2.fujisawa

vlan105

vlan106

vlan6

eth4/7

nec1.fujisawa eth4/14

nec2.fujisawa eth4/12

hitachi3.f eth1/2

detr.fujisawa eth4/17

eth4/13

vlan110

pxtr.fujisawa eth4/18

xtr.fujisawaeth4/20

eth4/19

vlan105

vlan106

vlan109

vlan109

vlan109

vlan110

vlan105

-eth4/5

-eth4/9

vlan47

vlan4

vlan46

AI3-satellite vlan205eth3/8

vlan31

vlan49

K2 eth3/9 vlan103

alaxala3.sfc eth2/1

foundry6.f eth3/1

sfc-gate2.ai3

vlan100

tracebacketh3/5

pc4eth3/2

ge-0/1

alaxala1.fujisawa

SOI-ITC ABF-57-5-17 ge-0/2 vlan150

SOI-Shochositsu ge-0/9 vlan150

ISI-Pinger

vlan107ge-0/6

ge-0/7

ge-0/8

vlan100

vlan107

vlan150

KEIO-ITC KEIO-SFC

100GE4/0/0100GE4/0/1

vlan88

vlan103

vlan104

vlan100

vlan100

vlan104

vlan104

vlan100

vlan100

vlan6

vlan71

vlan100

vlan100

vlan6

vlan100

huawei1.fujisawa

xg-0/0/2-xg-1/0/2

eth49-50

xg-0/0/4-xg-1/0/4

eth1/1-eth-1/2eth-1/1-eth1/2

xg-0/0/3-xg-1/0/3

eth-trunk0 eth-trunk2eth-trunk1

lag1

UCS eth47-48

vtep1 eth33

eth34

vlan501

vlan100

vlan100

vlan103

vlan104

vlan105

vlan6

vlan31

vlan49

eth-3/3

vlan6

vlan31

vlan49

vlan105

vlan104

vlan103

vlan100

vlan6

vlan31

vlan105

vlan104

vlan103

vlan100

vlan71

vlan105

vlan31

10GE3/0/23

cisco3.fujisawa eth21 vlan100ge-1/2

mawieth24 vlan104

vlan106

vlan106

vlan130

Flets ONU eth31 vlan130

voip-vpn vlan100

vlan103

eth7

eth8

vlan106

vlan4

vlan46

vlan47

vlan71

vlan88

vlan100

vlan103

vlan104

vlan105

vlan106

vlan6

vlan31

vlan49

vlan130

KNNYF

Nezu-Fujisawa-P2P-1

Nezu-Fujisawa-P2P-2

Nara-Fujisawa-P2P

Otemachi-Fujisawa-P2P

Fujisawa-1-net

Fujisawa-3-net

Fujisawa-4-net

Fujisawa-cloud

Fujisawa-v6exp

WIDE-CLOUD

AI3(NDNKF)

APAN-AI3

Fujisawa-NGN

mawi

ge-0/10

ge-0/11

ge-0/13

ge-0/14

ge-0/12Pinger-j1/j2

Pinger-j3/j4

vlan107

xe-2/18

xe-1/2

vlan71

eth3/4

図 10: 藤沢NOC Layer-2 トポロジ図

13

Page 14: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.8 小松

小松 NOC は北陸先端科学技術大学院大学 (JAIST / 石川県能美市)内に設置された NOC であり、同大学、NICT 北陸 StarBED技術センター (通称: StarBED)

等への接続を収容している。NOC間接続として関東および関西方面に対し複数のリンクを持ち、東阪間リンク障害時の迂回経路としての役割も担っている。

• (2017/05/14) 08:00–17:00 JAIST 全学停電に伴うサービス停止.

Arista1[ab](7060CX)

Cisco2(Cisco6507)

Juniper1(MX240)

JGN

SINET

Arista4[ab]

ct67.jaist

mlxe8.jaist

Foundry2

Arista3

Arista40g@shinoda-lab

JAIST

StarBED

JAIST (AS#17932)

図 11: 小松 NOC

14

Page 15: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.9 堂島

堂島 NOCは,WIDEプロジェクトのネットワークにおける西日本のコア拠点となっている.NTTテレパーク堂島第 1ビルと第 3ビルに拠点を構え,NTT大手町NOCとともに 10GigabitEthernetバックボーンの 1点を担ったり,大阪における学術 IX(NSPIXP3)拠点を担ったりしているNOCである.また,第 3ビル内において JGN や SINET とも接続し,西日本方面の多数のNOCとリーフサイトを収容している.ルーティングポイントの cisco2.dojimaから juniper1.dojima,

crs1-1.dojimaへの移行を進めている.

15

Page 16: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

図 12: 堂島NOCトポロジ

16

Page 17: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.10 奈良

奈良NOCは奈良先端科学技術大学院大学内にあり,大学およびNOC周辺の研究組織を収容するとともにAI3と接続している.また,Debian JP等の公式ミラーを始めとする 10以上のミラーを提供するFTPミラー (ftp.nara.wide.ad.jp) をサービスしている.

17

Page 18: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

図 13: 奈良NOCトポロジ

18

Page 19: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.11 左京

左京NOCは京都およびその周辺に存在する組織に対する接続拠点であり京都大学に設置されている.

図 14: 左京 NOC

19

Page 20: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.12 岡山

OKIX NOC は岡山情報ハイウェイ OKIX NOC 内にあり,岡山情報ハイウェイを経由して相互に接続しているプロジェクト参加機関 (美星スペースガードセンター,倉敷市等) を収容している.

Teleport  NOC

WIDE-­‐Kurashiki  P2P    VLAN  3727203.178.136.208/30Redistribute  OSPF  to  WIDE

interface  TenGigabitEthernet1/1/1To  Dojima(203.178.126.209)

203.178.136.210

Cisco7600

WIDE  Okayama(OKIX)  connecting  Topologies      (31/10/2016)E-­‐mail:  kazu-­‐[email protected] Cantact:  [email protected]

BSGC  Subnet203.178.145.145/28Redistribute  OSPF  to  WIDE

Bisei-­‐T  Subnet203.178.145.148/29Redistribute  OSPF  to  WIDE

Kurashiki  City  Subnet203.178.152.64/26Redistribute  OSPF  to  WIDE

OKIX  teleport    Subnet203.178.152.0/26

Redistribute  OSPF  to  WIDE

Okayama  IoT Subnet203.178.152.128/25Redistribute  OSPF  to  WIDE

Cat3750x

OKIX(Okayama  Information  

Highway)  

WIDEJGN/JB

図 15: 岡山 NOC

20

Page 21: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.13 広島

広島NOCは,トポロジー図に示すとおり,大阪NOCと福岡NOCの中間に位置しており,WIDEバックボーンに対して大阪~福岡間の冗長性も同時に提供している.なお,2016年 4月より JGN-Xの広島と福岡でのアクセスポイントが設置されている拠点が変更になったため,福岡NOCとの直接の接続性が失われている.ソフトウェアルータによる運用を 2012年より続けており,Xen Hypervisor上で

動くVM(Virtual Machine)であるVyatta Routerを使用している.また,ローカルサービス用の Linuxサーバも,同じVMとして動作させている.VMとしての運用による問題はこれまで生じておらず,パフォーマンス,安定性ともに高い性能を維持できている.大阪NOCとの接続には JGN-XのVLANを経由しており,さらに地域プロバイ

ダである SuperCSIを経由し,また設置場所である大学内もまたVLANを経由して接続している.よって,各接続点での L2 SWは経路的に冗長化されておらず,運用上の注意が必要である.

• (2017/09/10) 法令点検による計画停電

21

Page 22: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

WIDE Hiroshima NOC

Xen Hypervisor

Vyatta

Software

Router

Local

Servers

Fukuoka

NOC

Dojima

NOC

203.178.136.144/30

eth1

203.178.138.177/28

management

eth2eth0

203.178.136.200/30

2001:200:0:3000::/64

.202

.145

.65

::1

updated: 2016/04/01 [email protected]

回線の都合により

2016/04/01より断

図 16: 広島 NOC

22

Page 23: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.14 バンコク

2007年 5月 15日に設置されたバンコクNOCは,NECTECやUniNETといったタイの学術研究組織との研究活動強化を目的に設立された.今年度も引き続き,WIDEプロジェクトとしての独自の回線は存在しないが,JGN-Xの回線を利用し,VLANを用いてWIDEインターネットをバンコクまで延長し,IPv4,および IPv6

の接続性を提供している.バンコクNOCは,JGN-Xバンコク回線を収容しているNECTECと同じ建物に存在し,そこからUTPケーブルを延伸し,バンコクNOC

が存在する部屋にネットワークを引いている.バンコクNOCの主な利用者は,バンコクを中心に活動している SOI Asiaプロジェクトのメンバーである Patcharee

Basu,および関係者になる.バンコクNOCは,2017年度末をもって閉鎖予定である.

• 2017年は構成変更や障害等はなかった.

cisco2.notemachi

Yamaha RTX810

polycom PC PC

203.178.138.145/282001:200:0:6009::1/64

203.178.138.146/282001:200:0:6009::2/64

203.178.140.65/272001:200:0:a800::1/64

JGN :WIDE-BKK(1Gbps)

図 17: Bangkok NOC

23

Page 24: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

2.15 サンフランシスコ

サンフランシスコNOC(sanfrancisco)は,2004年 4月からそれまでの sanjoseに代わり稼働したNOCで,Los AngelesからOC-3により接続されていた.その後OC-3 から 100M Ethernet に変更された.主な接続先は,PAIXや ISC である.2010年 9月の Los Angeles NOC 撤収にともない,2010年 10月に Los Angeles

と San Francisco 間の回線も廃止され,専用線による接続の無い独立 NOC として存在する.2013年は M-ROOT 関連の機材更新があったが、WIDE SFO NOC としての構

成変更は無かった。2014年も、JP DNS 関連の機材更新があったが、WIDE SFO

NOC としての構成変更は無かった。2016年は,2015年と同様特に大きな変更点や障害は発生しなかった.2017年 12月に契約終了に伴い,サンフランシスコ NOC の撤収をおこなった.

24

Page 25: Network Diagrams of WIDE Backbone · cisco7 Gi0/0/0 Gi1/0/0 e8/17 hitachi1 e8/3 e8/22 foundry2 1/2 foundry1 2/15 Otemachi 23F 1/3 KDDI LAB 2/2 VoIP gate 2/3 CUC 2/4 toyaku.ac.jp 2/18

3 おわりに本年度もWIDEバックボーンネットワークの安定運用を行ってきた.来年度は,

100G バックボーンの運用と合わせて,CSIRT などのセキュリティ体制の構築および強化を推進する予定である.

4 CopyRight

c⃝2017 WIDE Project Two Working Group

25