View
220
Download
0
Category
Preview:
Citation preview
De Amsterdam Internet Exchange
Henk Steenman
Technisch Directeur
Amsterdam, 9 Maart, 2006 2
Agenda
• De rol van een Internet Exchange in het Internet
• De AMS-IX organisatie
• Technisch overzicht AMS-IX platform
• Klant aansluitingen
• Ontwikkelingen
Amsterdam, 9 Maart, 2006 3
Agenda
• De rol van een Internet Exchange in het Internet
• De AMS-IX organisatie
• Technisch overzicht AMS-IX platform
• Klant aansluitingen
• Ontwikkelingen
Amsterdam, 9 Maart, 2006 4
De rol van een IX
• Interconnectiviteits modellen– Transit– Peering
• Korte Geschiedenis van Internet Exchanges
• Internet Exchanges in de Wereld
• Euro-IX
Amsterdam, 9 Maart, 2006 5
De rol van een IX• Internet Exchange:
– Infrastructuur waar aangesloten partijen (ISPs, content providers, Carriers etc) IP verkeer met elkaar uitwisselen
• Onderscheiden twee typen bilaterale relaties– Peering
• Men annonceert aan elkaar alleen de eigen netwerken/klanten.
– Transit• Men annonceert (en geeft toegang tot) derden.
– Een speciale vorm van een transit relatie is toegang geven tot het hele Internet.
• Dit noemt men ook wel “usptream” connectiviteit• Meestal wordt deze service geboden over een dedicated
verbinding in plaats van een exchange
Amsterdam, 9 Maart, 2006 6
De rol van een IX
• Typisch stuurt men elkaars bestemmingen (routes) met behulp van het BGP4 protocol
• Doel:– Bespaar kosten aan “upstream” connectiviteit.
• Verkeer dat lokaal op een exchange wordt uitgewisseld hoeft niet via een dure upstream provider
– Houd lokaal verkeer lokaal• Geen reden om b.v. verkeer tussen Nederlandse
providers via de US te routeren
Amsterdam, 9 Maart, 2006 7
Verschillende Netwerken
• Elk netwerk autonoom in:– Organisatie – Doelstellingen– Opzet– Technologie
• Symbool: wolkje
Amsterdam, 9 Maart, 2006 8
Transit en Upstream
• Praktisch onmogelijk om elk netwerk met elk ander netwerk te verbinden
• Transit netwerken kunnen verkeer van en voor andere netwerken afhandelen
• Grotere netwerken bieden upstream aan kleinere netwerken
Amsterdam, 9 Maart, 2006 9
Upstream
• Upstream verkeer kost ISPs veel geld
Amsterdam, 9 Maart, 2006 10
Peering
• Upstream verkeer kost kleine ISPs veel geld
• Logische gedachte is lokaal verkeer lokaal af te handelen
• Peering– Uitwisseling van verkeer
tussen ‘gelijke’ partijen
• Upstream blijft nodig voor verkeer dat niet via peering kan
Amsterdam, 9 Maart, 2006 11
Internet Exchange Point (IXP)
• Een faciliteit voor uitwisseling van verkeer tussen meer dan twee partijen– Veelal peering
• Technologie– Ethernet– FDDI en ATM komen
nauwelijks meer voor
Amsterdam, 9 Maart, 2006 12
Private Peering
• Rond IXPs clusteren veel ISPs samen in dezelfde gebouwen
• Onderlinge verbindingen zijn gemakkelijk te maken
Amsterdam, 9 Maart, 2006 13
Internet Exchange
• Grote IXPs trekken ook grotere netwerken– Peering is geen
verplichting– Grote netwerken
willen niet altijd (gratis) peeren.
Amsterdam, 9 Maart, 2006 14
De rol van een IX
• Interconnectiviteits modellen– Transit– Peering
• Korte Geschiedenis van Internet Exchanges
• Internet Exchanges in de Wereld
• Euro-IX
Amsterdam, 9 Maart, 2006 15
Eerste echte Exchange
• Metropolitan Access Experiment• Metropolitan Area Ethernet• Metropolitan Area Exchange• WorldCom MAE-East™
Washington, D.C.Eind 199210mb/s ethernet Initieel 4 lokatiesMFS fiber hubGedeelde administratie door deelnemersSprint/ICM, Alternet, PSI, SURAnet, NSFnet
Amsterdam, 9 Maart, 2006 16
En Daarna -
• MAE-West / Federal Internet ExchangeSan Jose / Mountain View (1994)
FDDI ring
Bridged tot 10mb Ethernet in verschillende lokaties
• Commercial Internet ExchangePalo Alto (1994)
Layer-3 MMLPA
DS1 (T1) lines naar een Cisco 7010
1991 Not-for-profit industry association
Alternet, PSI, Cerfnet
Amsterdam, 9 Maart, 2006 17
Europa
• LINX London– 1994– Opgezet als een vereniging– Ethernet
• AMS-IX– Zie later
• Hong Kong Internet ExchangeChinese University of Hong KongEthernet switchFirst major free exchange (1995)
Amsterdam, 9 Maart, 2006 18
Technologische veranderingen
• Shared 10Base-T
• Switched 10mb Ethernet
• Shared FDDI
• Switched FDDI
• 100Base-T / 100Base-FX
• Gigabit Ethernet
• 10Gigabit Ethernet
Amsterdam, 9 Maart, 2006 19
Andere technologien
• Layer-3 route-servers
• Frame Relay
• ATM
• Wireless Ethernet
• Crossconnect mesh
Amsterdam, 9 Maart, 2006 20
Typische additionele services
• Route-server
• Looking-glass
• Measurement and instrumentation
• Network Time Protocol
• Web cache parent
• News server
• Root server mirror
Amsterdam, 9 Maart, 2006 21
Verschillende business modellen
• Beheerd door Universiteit of Overheid• Vereniging van deelnemers• Neutral for-profit onderneming• Informeel
– Men zet ergens een switch neer en een ieder prikt zijn router er in. Vaak onbeheerd/un-managed
Amsterdam, 9 Maart, 2006 22
Verschillende afmetingen
• Gemeente
• Grotere metro-area
• National
• “Regional”
Amsterdam, 9 Maart, 2006 23
De rol van een Exchange in het globale Internet
• Interconnectiviteits modellen– Transit– Peering
• Korte Geschiedenis van Internet Exchanges
• Internet Exchanges in de Wereld
• Euro-IX
Amsterdam, 9 Maart, 2006 24
Europe
Amsterdam, 9 Maart, 2006 25
Europe
Amsterdam, 9 Maart, 2006 26
US
Amsterdam, 9 Maart, 2006 27
Asia
Amsterdam, 9 Maart, 2006 30
De rol van een Exchange in het globale Internet
• Interconnectiviteits modellen– Transit– Peering
• Korte Geschiedenis van Internet Exchanges
• Internet Exchanges in de Wereld
• Euro-IX
Amsterdam, 9 Maart, 2006 31
Euro-IX
• Vereniging van Internet Exchanges in Europa– Sinds kort echter ook “associated” leden uit Japan
en US
• Overleg orgaan voor Exchanges– Deel ervaringen en discussier over verschillende
oplossingen voor typische Exchange problemen.
• Zie www.euro-ix.net voor heel veel informatie over de verschillende exchanges in Europa
• Voor geschiedenis en overzichten zie ook http://www.pch.net/resources/
Amsterdam, 9 Maart, 2006 32
Agenda
• De rol van een Internet Exchange in het Internet
• De AMS-IX organisatie• Technisch overzicht AMS-IX platform• Klant aansluitingen• Ontwikkelingen
De Amsterdam Internet Exchangeorganisatie struktuur
Amsterdam, 9 Maart, 2006 34
De AMS-IX organisatie
• Vereniging Amsterdam Internet Exchange– Ieder die een aansluiting wil op AMS-IX dient lid te worden
van de vereniging.• Vereiste is het zijn van een Internet gerelateerd bedrijf. • AS nummer
• Vereniging formeel opgericht in 1997 • Daarvoor al een informele Exchange (sinds 1994)
met aangesloten partijen bij SARA en NIKHEF (Watergraafsmeer Science Park)
Amsterdam, 9 Maart, 2006 35
De AMS-IX organisatie
• Doel van de vereniging AMS-IX – Het faciliteren van de uitwisseling van Internet verkeer
tussen aangesloten leden.– De vereniging is:
• Not for profit• Neutraal ten opzichte van de belangen van de leden.
– Raad van bestuur van 5 personen gekozen uit de leden• Twee jaarlijkse leden vergadering om rekenschap af te leggen.
• Het aantal leden van de AMS-IX vereniging is op het moment 239.
Amsterdam, 9 Maart, 2006 36
De AMS-IX organisatie
• Initieel beheer en organisatie uitbesteed aan SURFnet bv.– Technisch beheer door SURFnet uitbesteed aan
SARA
• In 2000 AMS-IX BV opgericht om beheer en organisatie van SURFnet over te nemen– Technisch beheer blijft nog in handen van
SURFnet– Not for profit BV. AMS-IX BV
Amsterdam, 9 Maart, 2006 37
De AMS-IX organisatie
• Begin 2002 wordt technisch beheer overgenomen van SURFnet BV
• Oprichting AMS-IX NOC.– AMS-IX BV betrekt pand op Westeinde 12,
Amsterdam Centrum.
• Begin 2006, AMS-IX BV bestaat uit 16 FTE
Amsterdam, 9 Maart, 2006 38
De AMS-IX organisatie
• De AMS-IX vereniging is enige aandeelhouder van de AMS-IX BV
• Het bestuur van de AMS-IX vereniging is tevens raad van bestuur van de AMS-IX BV
• Sinds 2002 wordt het secretariaat voor EURO-IX door AMS-IX uitgevoerd
Amsterdam, 9 Maart, 2006 39
Agenda
• De rol van een Internet Exchange in het Internet
• De AMS-IX organisatie• Technisch overzicht AMS-IX platform• Klant aansluitingen• Ontwikkelingen
De Amsterdam Internet ExchangeTechnical oveview
Henk Steenman
Technisch Directeur
Amsterdam, 9 Maart, 2006 41
Overzicht AMS-IX platform
• Ethernet based platform• 4 lokaties voor klant aansluitingen
– Watergraafsmeer Science Park• SARA• NIKHEF
– Telecity 2, Amsterdam Zuidoost– Global Switch, Amsterdam West
• Kantoor en NOC in centrum Amsterdam– Westeinde 12.
Amsterdam, 9 Maart, 2006 42
Technisch overzicht AMS-IX platform
• Hub/Spoke topologie• Edge Switches
– Foundry Networks BigIron 15000 JetCore
• 10GE access switches:– GGN system 300 photonic switches– Foundry networks MG8,RX16
• Core switches – FoundryNetworks RX16
Amsterdam, 9 Maart, 2006 43
Technisch overzicht AMS-IX platform
Amsterdam, 9 Maart, 2006 44
Technisch overzicht AMS-IX platform
• Waarom hub/spoke topologie ?– In hub/spoke model een betere verdeling
van de bandbreedte over de inter-switch links
• Alleen verkeer op een link voor de switch die daaraan verbonden is.
– Voorheen een cirkel topologie• Alle interswitch links moeten dezelfde capaciteit
hebben
Amsterdam, 9 Maart, 2006 45
Technisch overzicht AMS-IX platform
• In hub/spoke topologie verschillende single points of failure– Core switch– Dark fiber verbindingen tussen edge en core switch.
• Opgelost door implementatie van dubbele hub/spoke topologie– Twee core switches
• Altijd een actief en een standby
– Vanaf elke edge switch twee verbindingen naar core switches
• Edge switches zijn niet redundant– Klanten sluiten aan op meerdere edge switches.
Amsterdam, 9 Maart, 2006 46
Technisch overzicht AMS-IX platform
Amsterdam, 9 Maart, 2006 47
Technisch overzicht AMS-IX platform
• Protocol nodig voor failover en om loops in de Ethernet infrastructuur te voorkomen– VSRP
• Altijd één core switch operationeel en één standby– Geeft de mogelijkheid om te werken aan core switch
(upgrade, aanpassingen etc) zonder de productie te verstoren
– Geeft de mogelijkheid te werken aan een of meerdere interconnectie links van de standby infrastruktuur.
Amsterdam, 9 Maart, 2006 48
VSRP virtual switch redundancy protocol
• Foundry propriety• Master/Slave selection
– Een van beide core switches is geconfigureerd als master.– De andere als slave– Keuze voor master of slave gebaseerd op prioriteit. – Prioriteit wordt geadverteerd in HELLO messages– Na de initiële master keuze, stuurt alleen deze nog HELLO
messages uit om te laten weten dat hij nog bestaat.– De slave switch blokkeert zijn interfaces !
Amsterdam, 9 Maart, 2006 49
VSRP virtual switch redundancy protocol
• VSRP configuratie bestaat uit verschillende onderdelen– Voor welk VLAN – Prioriteit
• bepaalt of switch initieel master of slave word
– Interfaces welke van belang zijn voor VSRP• Welke interfaces zin van belang voor een master/slave
failover ?
– Timers• Bepaald de uiteindelijke convergentie tijd in geval van
een “failover”
Amsterdam, 9 Maart, 2006 50
VSRP virtual switch redundancy protocol
• Prioriteits bepaling.– Geconfigureerde prioriteit maal de verhouding tussen operationele
en niet operationele links– Bijvoorbeeld
• 4 links• Geadverteerde prioriteit is =
geconfigureerde prioriteit * (aantal operationele links)/4
– Als alle links werken is de geconfigureerde prioriteit doorslaggevend voor master keuze
• Als één link breekt dan wordt de door de master geadverteerde prioriteit
– geconfigureerde prioriteit * 3/4
• De geconfigureerde prioriteit van de slave is zo dat deze dan hoger wordt dan die van de master en failover plaatsvind.
Amsterdam, 9 Maart, 2006 51
VSRP virtual switch redundancy protocol
• Foundry edge switches zijn VSRP aware– Luisteren naar HELLOs van de master – Onthouden op welke poort deze binnen komen– Op het moment dat de HELLOs over een andere
poort binnenkomen passen ze de MAC tabel aan. • Heeft als voordeel dat niet opnieuw MAC adressen
geleerd hoeven te worden.
• Typische failover tijd voor de AMS-IX configuratie is < 100 ms.
Amsterdam, 9 Maart, 2006 52
Topology group
• VSRP werkt per VLAN• Ter vereenvoudiging gebruiken we
zogenaamde Topology group– Master VLAN draait VSRP– Member VLANs (ISP, GRX, MDX) volgen
topologie veranderingen master VLAN
Amsterdam, 9 Maart, 2006 53
Technisch overzicht AMS-IX platform
• Foundry Networks BigIron Ethernet switches
Type Use Capacity
15000 10, 100 base TX
GE: SX, LX, LH
10GE for ISL
120 GE ports max.
Limitation in ISL, max 2 * 10GE Aggregates = 14Gbit/s
MG8 10GE customers 32 10GE ports max
RX16 Core 64 10GE ports max
Amsterdam, 9 Maart, 2006 55
Klant aansluitingen
• Co-Lo site – Huren of plaatsen van racks met routers, switches,
servers en dergelijke.– Typisch verbinding van klant router op co-lo site
naar lokale AMS-IX switch.– AMS-IX beheer beperkt tot de switches.– Co-locatie ruimte en verbindingen tussen klant
apperatuur en AMS-IX verantwoording co-locatie.
Amsterdam, 9 Maart, 2006 56
Klant aansluitingen
• Elke co-locatie site heeft AMS-IX ethernet switch– Interconnectie tussen switches (X * 10GE )– Klant poorten
• 10 of 100 Mbit/s over koper (UTP5/RJ45)• 1GE SX over fiber (850 nm over MM fiber)• 1GE Mbit/s LX of LH (1310 of 1550 nm over SM fiber)
– Geaggregeerde GE aansluitingen ( 2 of 4 GE)
• 10 GE (1550|1310 nm over SM fiber)– Geaggregeerde 10GE aansluiting (2 * 10GE)
Amsterdam, 9 Maart, 2006 58
Klant aansluitingen 10GE
• Realiseren door aansluiting op Photonic switch– Photonic switch zorgt voor aansluiting op actieve 10GE
edge switch• Aansturing photonic switches
– Webinterface– TL1
• Management station laten luisteren naar SNMP traps voor VSRP
• Op grond van VSRP prioriteit verandering worden de photonic switches aangestuurd.
• Software hiervoor is door AMS-IX ontwikkeld
Amsterdam, 9 Maart, 2006 60
Klant aansluitingen• Verschillende VLANs
– ISP VLAN• Dit is het meest gebruikte en op het moment belangrijkste
VLAN. • Hierop vind de peerings plaats voor Internet connectiviteit
tussen de aangesloten partijen
– GRX VLAN• Aangesloten partijen zijn zogenaamde GRX providers. • Verzorgen roaming verkeer tussen GPRS operators
– MDX VLAN• Aangesloten partijen zijn de Nederlandse mobiele operators• Interconnectie voor de uitwisseling van MMS verkeer.
Amsterdam, 9 Maart, 2006 61
De optische infrastruktuur
• De optische infrastruktuur bij AMS-IX bestaat uit twee componenten– GE en 10GE interfaces worden optisch
gekoppeld• De gebruikt optische form factoren zijn:
– SFP– XENPAK or XFP
» 850, 1310 en 1550 nm» De laatste twee gebruiken MM fiber
Amsterdam, 9 Maart, 2006 62
De optische infrastruktuur
• De optische infrastruktuur bij AMS-IX bestaat uit twee componenten– Photonic switches
• Glimmerglass networks Layer 1 switches• 64 or 144 port switch• Map any fiber on any other fiber
Amsterdam, 9 Maart, 2006 63
Optical infrastructure
Amsterdam, 9 Maart, 2006 64
Photonic Switching• Glimmerglass networks System 300 switch
– 64 port MEMS based switch– Connect any port to any other port
Reflecting Mirror
Fiber Array
Micro lens Array
Micro Mirror Array
Amsterdam, 9 Maart, 2006 65
Glimmerglass networks photonic switch
• Glimmerglass Networks optical cross connects• MEMS (micro-electromechanical switch) based 64 bij
64 mirror array• MEMS array bestaat uit silicium spiegels (1mm
diameter) die met behulp van een electrostatisch veld gericht worden.
• Maakt het mogelijk willekeurige inkomende fiber te mappen op een willekeurige uitgaande fiber.
• Typische switch tijd is in de orde van 15 ms.
Amsterdam, 9 Maart, 2006 66
Optische infrastructuur
• Gebruik op twee manieren– Alle interswitch links worden via photonic
switches gerouteerd• Schept de mogelijkheid van het verplaatsen
van links of het in of uitschakelen van nieuwe links
– Het schakelen van 10GE klanten tussen de twee infrastrukturen.
Amsterdam, 9 Maart, 2006 68
Bescherming van het platform
• Groot gevaar voor Ethernet platform: LOOPs
• Controleerbaar op eigen platform
• Moeilijk als klanten L2 infrastructuren koppelen
Amsterdam, 9 Maart, 2006 69
Bescherming van het platform
• Maatregelen– Scheiden van VLANs.
• Klant L2 apparatuur zit niet in zelfde controle VLAN als AMS-IX
– Port security• Sta slechts 1 MAC address toe achter een klant poort. • Dit is per definitie de router anders geen functionaliteit.
– Luister niet naar STP of andere protocollen op klant poort
• AMS-IX VLANs volgen master VLAN in topology changes
Amsterdam, 9 Maart, 2006 70
Bescherming van het platform
• Maatregelen– Limiteer de hoeveel broadcasts, unknown unicasts en
multicasts welke uitgestuurd worden op een poort. • Breekt het ongebreideld groeien van broadcast verkeer in een
loop• Broadcast, multicast en unknown unicast worden door CPU
adfgehandeld
– Een nieuwe poort wordt opgebracht in een zogenaamd Quarantaine VLAN
• Alleen die poort en monitor apparatuur.• Controle dat alleen juiste MAC adres zichtbaar is en er geen L2
protocollen worden gestuurd.
Amsterdam, 9 Maart, 2006 71
Agenda
• De rol van een Internet Exchange in het Internet
• De AMS-IX organisatie• Technisch overzicht AMS-IX platform• Klant aansluitingen• Ontwikkelingen
Amsterdam, 9 Maart, 2006 72
Groei
• AMS-IX heeft alleen maar groei gekend!• Zowel in aantal klanten, poorten als verkeer. • Gezien de ontwikkelingen zal dat nog wel een tijdje
doorgaan:– Meer en snellere breedbandverbindingen naar de
eindgebruikers• ADSL2+, FTTH etc
– Toename gebruik video
Groei zal dus voorlopig nog wel doorzetten.
Amsterdam, 9 Maart, 2006 73
GroeiHistogram & port types AMS-IX
0
25
50
75
100
125
150
175
200
225
250
275
300
325
350
375
06/02 12/05 27/08 27/11 26/02 10/05 23/08 01/01 01/04 01/07 01/10 01/01 01/04 01/07 01/10 01/01 01/04 01/07 01/10 01/01 01/04 01/07 01/10 01/01 01/04 01/07 01/10 01/01 08/03 #N/A #N/A
99 00 01 02 03 04 05 06
Year/Q
# Ports & Members
Ports total 1000BaseSX 100BaseTX 10BaseT 1000BaseLX/LH/CWDM10G-ER/LR Members Linear (Ports total) Linear (Members)
Amsterdam, 9 Maart, 2006 74
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.
Amsterdam, 9 Maart, 2006 75
Groei
0.00
5.00
10.00
15.00
20.00
25.00
30.00
02-Nov-97
02-Nov-98
02-Nov-99
01-Nov-00
01-Nov-01
01-Nov-02
01-Nov-03
31-Oct-04
31-Oct-05
31-Oct-06
PByte/month
0.00
100.00
200.00
300.00
400.00
500.00
600.00
700.00
800.00
900.00
1000.00
1100.00
TByte/day
Amsterdam, 9 Maart, 2006 76
Groei
0.80
0.90
1.00
1.10
1.20
1.30
1.40
01-Dec-98 01-Dec-99 30-Nov-00 30-Nov-01 30-Nov-02 30-Nov-03 29-Nov-04 29-Nov-05
relative monthly growthaverage monthly growth
Amsterdam, 9 Maart, 2006 77
GroeiAverage monthly traffic volume change
0.90
0.95
1.00
1.05
1.10
1.15
1.20
1.25
1.30
0 1 2 3 4 5 6 7 8 9 10 11 12 13
Month
Average traffic volume growth
1999
2000
2001
2002
2003
2004
average monthlygrowthoverall average
2005
2006
Amsterdam, 9 Maart, 2006 78
Klant aansluitingen
• Klanten sluiten aan met BGP capabele router.– Cisco, Juniper, Foundry, Extreme, FreeBSD, Linux
• Cisco 65%• Juniper 26%• Foundry 3%• Intel 2%• Extreme 2%• Diversen 2%
Cisco
Foundry
Intel
Juniper
Extreme
Diverse
Amsterdam, 9 Maart, 2006 79
Klant aansluitingen
• Klanten aansluitingen met 1GE of groter• Cisco 58%• Juniper 46%• Foundry 4%• Intel 1%• Extreme 2%• Riverstone 1%
• Verhouding Nederlands klanten ten opzichte van internationale partijen ongeveer 40%
Recommended