©2008 Tata Communications, Ltd. All Rights Reserved.

ESIGETEL April 15, 2009 Greg VILLAIN

Internet 101: ce qu’on ne vous a pas dit en

amphi Enfin pas de mon temps…

AGENDA

1.  Internet, c’est quoi au juste

2.  Métiers & acteurs d’Internet

3.  La topologie d’Internet

4.  Petits rappels sur BGP

5.  Le métier d’Architecte Réseau

6.  Outils & Conseils

Internet, c’est quoi au juste ?

Définitions vs Points de vue

4

Internet, c’est quoi au juste ?

•  Réponse triviale: IP: Internet Protocol. Couche n°3 (réseau) du Modèle OSI. “deux machines communiquant ensemble via IP en tant que couche réseau font partie d’Internet”.

•  Définition juste, mais partielle: “réseaux d’entreprises qui implémentent IP en vase clos ? Quid de la rfc1918 ?”

•  Le point de vue de l’utilisateur est bien plus pertinent. Internet se définit comme une somme variable de services accessibles aux Internautes.

5

Internet, c’est quoi au juste ?

Internet est avant tout une somme de services: •  Sur n’importe quel *NIX, taper la commande:

less /etc/services (ports serveurs) •  http (service web) •  mail (POP, IMAP, ou MAPI chez les proprietaires…SMTP) •  nntp (newsgroups) •  IRC (Internet Chat Relay) •  ftp, ssh …

Quelques uns plus récents: •  instant messaging (Jabber, MSN, AIM, YahooIM …) •  peer-to-peer (bit-torrent & FreeBSD… p2p != warez…) •  jeux en ligne.

6

Internet, c’est quoi au juste ? Définition très pertinente d’Internet: “Internet est de près ou de loin le seul réseau au monde dans lequel n’importe quelle machine connectée peut à la fois et en même temps être un client et un serveur”.

Si ça n’est pas possible:   c’est un mode de souscription à des services centralisés via un Terminal passif. (ça

ne rappelle rien à personne ? Un truc moche en pastique près du téléphone S63)   Si seul l’accès à un sous ensemble des services précédents est possible, on ne

parle plus d’Internet, mais de Service en ligne (remember AOL, Infonie ?)

En France en ce moment, grosse discussion sur le rôle des ISP (FAI):   Fournisseur d’accès Internet VS fournisseur de services en ligne ?   Accès indissocié a toute destination, tout contenu, sous tout protocole

s’appuyant sur IP ? chaqun sa définition, mais finalement beaucoup de divergence

7

Internet, c’est quoi au juste ?

Internet n’est donc pas (définition par le contre-exemple) :   Le service de TVIP de votre ISP   Le service de VoIP de votre ISP …

Définition strictement objective: ” Internet est la résultante de l’interconnexion en IP d’un grand nombres de réseaux, hétérogènes dans leur conception et leur implantation géographique, chaque réseau étant placé sous une autorité administrative distincte, mais tous interconnectés en IP ”

Métiers & Acteurs de l’Internet

 Opérateurs d’infrastructures (datecenters)  Opérateurs d’infrastructure (Opérateurs fibre)  Carriers   ISPs (FAIs)  Hébergeurs & fournissers de contenu  Points d’échange

9

Métiers & Acteurs d’Internet

•  Les métiers d’Internet sont répartis sur la plupart des couches du modèle OSI, de la plus basse à la plus haute, ils forment un écosystème: - sont tous clients/fournisseurs les uns des autres - Phagocytent parfois leurs métiers respectifs

•  Opérateurs d’infrastructure –  Datacenters –  Opérateurs fibre

•  Carriers •  ISPs •  Hébergeurs •  Fournisseurs de contenu •  Les points d’échange, IX(P), NAP, exchanges …

10

Métiers & Acteurs d’Internet > Opérateurs d’infrastructure

•  Couche la plus basse du modèle OSI: 0 •  Datacenters (Telehouse, Equinix, Switch&Data, Redbus/Telecity, InterXion…) •  Organisés en Franchises ou privés •  Peuvent avoir des sites dans plusieurs pays (Equinix, Telehouse, InterXion, Global Switch) •  Fournissent principalement des services sans valeur ajoutée:

  Energie   Froid   Espace pour placer des baies d’équipements ou de serveurs   Services d’interconnexion locale entre clients dans leurs sites   Des serices de “mains à distance”

•  Les Datacenters sont les points de concours obligatoires de tous les acteurs d’Internet, quels qu’ils soient. •  Essaient de plus en plus de vendre du service plutôt que de l’infra (stockage, disaster recovery, mise en prod de serveurs...)

11

Métiers & Acteurs d’Internet > Opérateurs d’infrastructure

Opérateurs fibre (n9uf, telcité …) •  Activité de Génie civil, donc accréditations spéciales pour faire du tirage. •  Tirent des tronçons de fibre qu’ils louent aux professionnels d’Internet. •  Beaucoup ont une raison d’être historique (N9UF ? Opérateurs Historiques ? SANEF ? Telcité ? Telecom Developement ?) •  Plusieurs types de portées: Métropolitaine, Nationale, Internationale. •  Ont des coûts d’exploitation d’infrastructures très élevés. •  Ont des produits rudimentaires: Fibres Noires •  Sont aujourd’hui très peu à ne faire que ça (coûts, reviens…), beaucoup ont été ingérés par d’autres des métiers listés ci-après, pour étoffer leur portefeuille de produits. •  Cas particuliers, opérateurs de câbles sous-marins (SeaMeWe, Hibernia …) – souvent organisés en consortiums

12

Métiers & Acteurs d’Internet > Carriers (Level3,TATA, Verizon)

• Représentent les “super-réseaux”, dimension géographique Nationale et Internationale (opérateurs Globals).

• Ils transportent et hébergent le trafic des autres acteurs (carriers), sont en “plein millieu” d’Internet – ne délivrent pas de services finaux – aussi appelés wholesalers.

• Exercent souvent l’ensemble des métiers d’Internet (opérateurs fibres, opérateurs de datacenters, opérateurs transmission/IP/Ethernet, hébergeurs …).

• Sont très peu nombreux et bien identifiés

• La plupart des opérateurs historiques sont des carriers (FT, Telia, AT&T, DTAG, Telefonica, TDC, BT…).

• Sont souvent le fruit de rachats, de faillites consécutives (UUNet, WorldCom, MCI, Verizon…).

• Faisaient souvent de la téléphonie à l’origine (historiques…TDM for the win)

• Maitrisent les technologies Long Haul (TDM, WDM), issus du monde de la transmission, ont évolué vers IP par ingestion puis migration.

• La plupart des gros opérateurs de Transit IP sont des carriers (les Tier1 le sont tous)

13

Métiers & Acteurs d’Internet > ISPs (FAIs) fournisseurs d’accès Internet Les ISPs ont vu leur rôle, leur étendue et leur domaine de compétence s’agrandir au fil du temps. •  Ils ont une portée nationale (pour les ISPs résidentiels) •  N’opéraient à l’origine pas ou peu de réseau – en RTC, ils utilisaient le réseau de l’opérateur historique et n’avaient qu’un site de collecte, avec leur coeur IP directement attaché aux serveurs d’accès. •  Sont tributaires de contraintes légales de régulation Télécom. Ex: convention de dégroupage en France, Licenses WiMax… •  Aujourd’hui, ils manient:

  Une ou plusieurs technologies d’accès (DSL, Docsys, WiMax, Wifi)   En propre pour les zones qu’ils couvrent (ex: ADSL option 1)

  En collect pour les zones qu’ils ne couvrent pas (ex: ADSL option 3 et 5)

  Des technologies de transmission   Metro

  Longue distance

  Des technologies issues du monde de la voix (ToIP, interconnexions TDM avec les opérateurs historiques et alternatifs)

  L’ingénierie de leurs équipements client: *box, media-box, offre mobile unifiée

14

Métiers & Acteurs d’Internet > ISPs (FAIs) sont maintenant des opérateurs nationaux ! Les ISPs ont maintenant acquis une expertise en opération d’infrastructures: • Plusieurs PoPs Nationaux • Un réseau National longue distance basé sur:

  Un réseau de fibre noire acheté ou loué (IRU) aux opérateurs d’infrastructures   Des équipements de transmission longue distance

  Multiplexage en longueur d’onde (Nx1G ou Nx10G)   Régénération du signal optique

  Un coeur de réseau IP qui fait du routage hierarchique

• Des PoPs (points de présence) Métropolitains (NRA pour l’ADSL) sur lesquels arrivent leur technologie d’Accès. • Des réseaux métropolitains (plusieurs boucles métro par PoP National) • Plusieurs Datacenter sur leur point central, pour y héberger:

  Leur coeur de routage vers le reste d’Internet   Leur plateforme de service système (DNS, MX, Abonnement, Portail web, Pages perso/blogs)   Leur plateforme de TV sur IP (Tvip & VoD)   Leur plateforme VoIP et donc encore de la voix (du TDM) old school !!!

15

Métiers & Acteurs d’Internet > Architecture Nationale Typique

Paris Strasbourg

Lyon

Marseille

Bordeaux

Lille

Montpellier Toulouse

DWDM national

Réseau Metro

Ethernet

Ville PoP IP & Longue distance

Internet

16

Métiers & Acteurs d’Internet > exemple d’architecture METRO

Lyon

Boucle Metro 10G Ethernet

Ville PoP IP & Longue distance

NRA#1

NRA#2 NRA#3

NRA#4

Switch de NRA

DSLAM

NRA

Boucle Lyon#1

DWDM national

Strasbourg Paris

17

Métiers & Acteurs d’Internet > Coeur de réseau/service Parisien

Paris

Datacenter#1

Paris

Datacenter#2

Paris

Datacenter#3 Paris

Datacenter#4

Internet

Internet

Réseau de collecte ADSL autre opérateur

Plateforme Services:

Abo, mail, dns,pages

perso, portail Plateforme TVip / VoD

Plateforme VoIP

Voix FT

Voix Autre opérateur

VoIP autres opérateurs

Feed VIDEO TV

Pourquoi plusieurs datacenters ? Résilience, place, proximité autres acteurs

18

Métiers & Acteurs d’Internet > le coeur de services se décentralise (chez les plus gros ISPs)

Bordeaux COEUR IP et boucle métro

Transit IP local

INTERNET

Interco VOIX locale

Plateforme TVip / VoD

Plateforme VoIP

Transmission

Vers coeur IP Paris

Transmission

Vers coeur IP Toulouse

Raisons ?

•  couts en transmission maitrisés

•  résilience

•  qualité: service au plus proche

•  service local moins cher que central à Paris

Mise en cache des VOD populaires à partir du

référent central de stockage

19

Métiers & Acteurs d’Internet > Hébergeurs & fournisseurs de contenu •  Ont une présence que sur 1 ou peu de sites, de la même ville, en général la “capitale internet” du pays dans lequel ils sont. •  N’ont pas de réseau national •  Un réseau métropolitain réduit •  Ne font pas d’ingénierie d’Accès (DSL…) •  Font principalement du LAN et du routage pour sortir vers Internet •  Ont le gros de leur expertise centrée sur l’expertise d’administration système. •  Ont une gamme de service qui va de:

  Housing (fourniture espace rackable et bande passante)   Hosting (fourniture de serveur, et bande passante)   Infogerance (fourniture de serveur, bande passante, administration de serveur)

•  Facturent à leurs clients:   L’hébergement   La bande passante consommée ou forfaitaire vers Internet

•  Les fournisseurs de contenu ont un métier nouveau: ils occupent le même rôle que les hébergeurs, mais n’hébergent que leurs propres services. exemples récents de dimention internationale: Yahoo, Google, Microsoft.

20

Métiers & Acteurs d’Internet > Points d’échange •  Ancêtres: MAE – Metropolitan Area Exchanges (FDDI, FOIRL …ATM) Synonymes: IX, IXP, eXchange, NAP (OLD!!!) •  Définition Wikipedia: “An Internet exchange point (IX or IXP) is a physical infrastructure that allows different Internet service providers (ISPs) to exchange Internet traffic between their networks (autonomous systems) by means of mutual peering agreements, which allow traffic to be exchanged without cost. IXPs reduce the portion of an ISP's traffic which must be delivered via their upstream transit providers, thereby reducing the Average Per-Bit Delivery Cost of their service. Furthermore, the increased number of paths learned through the IXP improves routing efficiency and fault-tolerance.”

•  LANs métropolitains (= switching = layer2 <> layer3 <> routing) •  Permettent aux différents acteurs Internet le souhaitant de venir se connecter pour venir échanger du traffic (= peerer). •  Les membres choisissent un ou plusieurs couples (Port, Site) et sont facturés mensuellement fonction du type de port. •  Tous les membres sont se retrouvent sur le LAN du point d’échange, qui est un seul segment ethernet, avec chacun une IP (ou plusieurs) appartenant au subnet de l’IX •  Une fois tous sur le même LAN, ils peuvent établir des sessions de peering entre eux.

21

Métiers & Acteurs d’Internet

•  Les 3 points d’échange les plus volumineux dont on connait les stats sont en Europe:   AMSIX (Amsterdam)

  LINX (Londre)

  De-CIX (Frankfort) Les plus gros sont certainement en Asie (probablement x5 mais pas de stats)

•  Les IX (les plus gros) suivent un modèle associatif •  Les membres des IX souscrivent à un certain nombre de conditions techniques pour être admis (rêgles techniques de bonne conduite). •  Les IX sont aujourd’hui un point de passage quasi systématique sur le trajet d’un paquet dans Internet. •  Les IX proposent souvent l’utilisation d’un Route-Server qui permet aux membres de ne pas avoir a configurer une session par peering (pas beaucoup utillisé). •  Organisent régulièrement des conférences techniques (qui finissent systématiquement au pub ) •  Permettent aux membres de discuter entre eux via des mailing-list mises à leur disposition:

  Annonces des maintenances et pannes

  Demandes de peering

•  Le LINX sollicite tous les membres par mailing-list à chaque nouveau membres, pour qu’ils approuvent la candidature. •  Certains IX on des ‘member fees’ (LINX) d’autres non

La topologie d’Internet

 Explication par l’exemple  L’importance des Routing Registries  Retour sur l’exemple initial  Les infos que donnent un traceroute  Retour au Routing Registry

23

Topologie d’Internet > Explication par l’exemple

??? www.dailymotion.com

24

Topologie d’Internet > Explication par l’exemple

AS ISP AS Carrier #1

AS Hébergeur

AS Carrier #2

DNS ISP

BGP4

BGP4

DNS hébergeur

25

Topologie d’Internet > Importance des routing registries

• Tout réseau est défini par le couple

  AS (objet aut-num , objet as-set )

  Range d’adresses IP (objet inet(6)num objet route)

• Les IRR (Internet Routing Registries) centralisent cette information à echelle géographique et font en sorte qu’elle soit publique. (RIPE, ARIN, APNIC…)

• Tout opérateur de réseau IP a pour obligation morale de maintenir ses objets dans la base de donnée de l’IRR dont il dépend.

• Sa politique de routage, ses plages d’IPs, ses routes, ainsi que les rôles (personnes physiques ou équipes) qui maintiennent ces objets figurent dans la base de donnée.

• Ne pas les renseigner peut s’avérer dangereux (cf plus tard)

26

Topologie d’Internet > Retour à www.dailymotion.com

•  Trouver l’AS dans lequel se situe l’hôte (Hébergé ? Self-Hébergé ?)   Faire une requête DNS pour obtenir son IP: dig www.dailymotion.com

;; ANSWER SECTION: www.dailymotion.com. 495 IN A 195.8.214.142 www.dailymotion.com. 495 IN A 195.8.214.140 www.dailymotion.com. 495 IN A 195.8.214.141

  Interroger le RIPE pour trouver l’AS qui est origine de la plage IP: whois –h whois.ripe.net 195.8.215.142

route: 195.8.214.0/23 descr: Dailymotion origin: AS41690 org: ORG-DM5-RIPE mnt-by: NEO-MNT source: RIPE # Filtered

•  Consulter l’objet aut-num correspondant pour obtenir des infos sur la politique de routage de l’AS en question

whois –h whois.ripe.net AS41690 (ou via le portail du RIPE) Cf la suite sur les infos techniques qu’on tire de cet objet.

•  Faire un traceroute (ou MTR) pour voir le chemin emprunté pour aller vers www.dailymotion.com

27

Topologie d’Internet > infos données par un traceroute

•  Traceroute fonctionne en envoyant des paquets UDP et en faisant croitre le TTL de ces paquets à chaque nouvelle salve, jusqu’à destination. •  Permet de voir tous les ‘Hops’ qui se trouvent sur le trajet aller du paquet. •  Par défaut, traceroute affiche, pour chaque saut, l’IP du saut, ou le reverse DNS si il éxiste les reverses DNS donnent de bonnes idées sur les réseaux que traversent le paquet. traceroute www.clubic.com traceroute: Warning: ; using

193.22.143.62 traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets 1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms 2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms

27.070 ms 3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms 4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms 5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms

•  D’où l’importance de toujours renseigner les reverses de toute interface IP sur une machine qui route, avec une convention qui a un sens !

28

Topologie d’Internet > infos données par un traceroute

traceroute www.clubic.com traceroute: Warning: www.clubic.com has multiple addresses; using 193.22.143.62 traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets 1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms 2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms 27.070 ms 3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms 4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms 5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms

traceroute to www.facebook.com (69.63.184.28), 30 hops max, 40 byte packets 1 217.70.191.252 (217.70.191.252) [AS29169] 0.408 ms 0.483 ms 0.565 ms 2 vl9.core1-v.gandi.net (217.70.176.97) [AS29169] 0.632 ms 0.692 ms 0.741 ms 3 171.ge3-0.er1a.cdg2.fr.above.net (62.4.73.58) [AS6461] 1.397 ms 1.461 ms 1.522 ms 4 te2-4.mpr2.cdg2.fr.above.net (64.125.23.82) [*] 161.310 ms 161.362 ms 161.421 ms 5 (84.207.21.10) [AS6461] 1.341 ms * * 6 ae-32-54.ebr2.Paris1.Level3.net (4.68.109.126) [AS3356] 71.848 ms 1.381 ms 1.555 ms 7 ae-41.ebr2.Washington1.Level3.net (4.69.137.50) [AS3356] 92.222 ms ae-42.ebr2.Washington1.Level3.net (4.69.137.54) [AS3356] 92.793 ms ae-43.ebr2.Washington1.Level3.net (4.69.137.58) [AS3356] 92.012 ms 8 ae-82-82.csw3.Washington1.Level3.net (4.69.134.154) [AS3356] 95.015 ms ae-92-92.csw4.Washington1.Level3.net (4.69.134.158) [AS3356] 83.497 ms ae-62-62.csw1.Washington1.Level3.net (4.69.134.146) [AS3356] 90.533 ms 9 ae-21-79.car1.Washington1.Level3.net (4.68.17.67) [AS3356] 82.870 ms ae-31-89.car1.Washington1.Level3.net (4.68.17.131) [AS3356] 84.131 ms ae-11-69.car1.Washington1.Level3.net (4.68.17.3) [AS3356] 83.018 ms 10 FACEBOOK-IN.car1.Washington1.Level3.net (4.79.20.10) [AS3356] 84.252 ms 84.578 ms 84.277 ms 11 te-9-2.csw01a.ash1.tfbnw.net (204.15.21.214) [AS32934] 84.688 ms 84.003 ms te-9-2.csw01b.ash1.tfbnw.net (204.15.21.218) [AS32934] 90.487 ms 12   www-2.01.ash1.facebook.com (69.63.184.28) [AS32934] 103.959 ms 105.875 ms 105.338 ms

Donne une idée sur: - le type d’équipement traversé - le PoP dans lequel se trouve le routeur - le VLAN emprunté - les interconnexions entre réseaux (cf slides suivants sur la manière dont on procède). - les sauts limitants - les débits des interfaces traversées - les points d’échange traversés

29

Topologie d’Internet > infos données par un traceroute

Les objets route représentent les préfixes routés par un AS. pour toute route, voir le champ origin

Exemple, déterminer tous les préfixes routés par un ISP (pour constituer un filtre en entrée par exemple): whois –h whois.ripe.net –i origin AS12322

Tout de suite, un exemple en couleurs ! AS41690/AS-DAILYMOTION (un exemple d’objet bien rempli… OK je me mouille pas trop hein…)

Rappels sur BGP

 Rêgles & définitions élémentaires  Confusions fréquentes, pièges à débutants  Mécanisme de décision de BGP  Transit & Peering  Exemple de BGP en routage naturel  Exemple de tuning de trafic sortant  Exemple de tuning de trafic entrant  Les dangers du peering liés à BGP

31

Petits rappels sur BGP • BGP = Border Gateway Protocol version actuelle: V4

• BGP est un EGP (Exterior Gateway Protocol) c’est le seul EGP en place dans Internet.

• Ce protocole est le protocole implémenté par les routeurs de bordure d’Autonomous System pour s’échanger des routes.

• BGP est une machine a états finis rudimentaire qui suit un arbre décisionnel bien identifié, public, que tout ingénieur backbone doit connaître sur le bout des doigts, cet arbre décisionnel conduit à l’installation ou non d’un préfixe dans la table de routage de l’équipement.

• BGP permet de router IP et seulement IP. (route-t-on d’autres protocoles qu’IP ? IS-IS, protocole ISO)

• BGP éxiste en 2 déclinaisons: eBGP et iBGP, les deux vont systématiquement de pair dès qu’on a au moins 2 routeurs de bordure.

• BGP est toujours implémenté en parallèle d’un IGP: OSPF, IS-IS ou EIGRP pour ceux qui aiment les standards propriétaires.

• BGP permet d’annoncer des routes originés ou non par un AS, i.e. donner le prochain saut vers un certain préfixe (“tranche d’IP”)

• BGP fait correspondre, à chaque annonce de préfixe, un certain nombre d’attributs bien identifiés (weight, local-pref, metric ou MED, next-hop, as-path, communautés, atomic aggregate …)

• BGP ne nécessite pas que deux voisins soient dirctement connectés pour etablir une session, du moment qu’il existe une route vers l’IP du voisin, la session s’établit (multi-hop).

• Tout interlocuteur BGP d’un réseau doit maintenir une session iBGP avec chacun des autres interlocuteurs iBGP (Full Mesh iBGP)

32

Petits rappels sur BGP

AS (système autonome)

Loopback Loopback

Loopback Loopback iBGP

iBGP

iBGP iBGP

eBGP

eBGP

eBGP

eBGP

•  l’IGP transporte l’adressage de l’infrastructure

•  les sessions iBGP sont établies sur les loopbacks, transportées par l’IGP

 Une loopback ne tombe jamais elle est toujours annoncée dans l’IGP

 Les sessions iBGP ne tombent jamais

Petits rappels sur BGP > Confusions fréquentes, pièges à débutants • Ne surtout pas confondre protocole de routage et protocole routé. BGP est un protocole de routage (utilise TCP:179), IP est le protocole routé. IS-IS est un protocole de routage qui permet de router n’importe quel protocole de niveau 3 (pas que IP !!!).

• Ne pas confondre table BGP et table de routage chaque protocole de routage participe a la constitution de la table de routage globale d’un équipement, en suivant une échelle d’administrative distance:

Connected interface Static route Enhanced Interior Gateway Routing Protocol (EIGRP) summary route External Border Gateway Protocol (BGP) Internal EIGRP OSPF Intermediate System-to-Intermediate System (IS-IS) Internal BGP

Pour connaître le next-hop d’une route, on fait dans l’ordre   show ip route <préfixe>   L’entrée dans la table de routage contient le protocole par lequel la route est

apprise   Enfin on fait un sh ip bgp <préfixe> si la route installée dans la table de routage

a été apprise en BGP. Internet est le monde du Routage Asymétrique.

Petits rappels sur BGP > Mécanisme de décision de BGP

•  Deux voisins BGP s’annoncent des routes

•  Une route plus spécifique prime sur une route moins spécifique: 1.2.3.0/24 prime sur 1.2.2.0/23 (cf Prefix Hijacking)

•  On lui applique ou non des filtres en entrée (on peut statiquement configurer des blacklist de routes ou même d’as-path)

•  On applique ou non un traitement automatique à la route qui modifie ses attributs

•  On la compare aux routes équivalentes fonction de ses attributs:

  (Prefer the path with the highest weight)   Prefer the path with the highest local preference   (Prefer locally originated routes (Next Hop = 0.0.0.0))   Prefer the path with the shortest AS path   (Prefer the path with the lowest origin type: IGP is lower than EGP, and EGP is lower than INCOMPLETE)   Prefer the path with the lowest metric or MED   Prefer EBGP routes over IBGP routes   Prefer the lowest IGP metric to the next hop   Prefer the path from the router with the lowest router ID

•  On la marque ou non comme BEST dans la table BGP, si elle est BEST, elle est éligible à la table de routage. Deux préfixes identiques ne peuvent pas être BEST.

Petits rappels sur BGP > Transit & Peering

•  Un AS n’annonce, à un autre AS, via BGP, que les préfixes dont il est l’origine. SAUF cas particulier, il peut annoncer en totalité ou partie les routes de ses peers, dans ce cas, il sert d’AS de transit vers les AS dont il annonce les préfixes. •  Un peer qui annonce toutes les routes d’Internet (270K routes, augmente tous les jours) est un fournisseur de Transit (ou upstream). •  Les fournisseurs de transit font payer le trafic au volume: ils vendent un port et font payer au 95%ile du volume entrant ou sortant maximum écoulé par ce port. •  La facture mensuelle est déduite en multipliant le 95%ile consommé, multiplié par un prix au méga. •  On peut contracter un transitaire en achetant un “port flat” ou en fonctionnant en mode “commit/burst”. •  Le transit est la sortie par défaut pour rejoindre tout autre AS. •  Quand on dispose d’un peering avec d’autres AS, on configure les local-pref plus haut sur les peerings pour éviter de sortir par le Transit. •  La notion de peering s’accompagne d’un accord mutuel, gratuit ou pas.

Petits rappels sur BGP > Exemple 1: trafic sortant en mode ‘naturel’

Petits rappels sur BGP > Exemple 2: trafic sortant forcé AS100 veut faire passer le préfix de AS300 par AS200

Petits rappels sur BGP > Exemple 3: trafic entrant forcé AS300 ne veut pas que AS100 le joingne en direct

Petits rappels sur BGP > Quelques dangers du peering liés à BGP

•  Toute annonce plus spécifique l’emporte lié aux mécanismes de routage plus qu’à BGP

•  Si on ne filtre pas les préfixes reçus, a priori on les accepte tous (même des préfixes rfc1918 !!!)

•  BGP est basé sur un modèle de confiance: on suppose systématiquement qu’on va configurer son seul aut-num et ses seules routes sur ses équipements.

•  BGP, comme DNS, intègre tous les voisins BGP d’Internet comme participant à un seul système logique.

toute erreur non filtrée se propage (vite)

GooTube VS Pakistan Telekom_LOL !

•  Ne pas renseigner assidûment son objet aut-num (AS) dans son IRR empêche la génération automatique des filtres chez peers consciencieux.

 Renseignez rigoureusement votre routing policy !

•  BGP ne tient pas compte de l’état de remplissage des liens ! Si une route est la meilleure par un lien donné et qu’il est rempli, le trafic est discardé !

Le métier d’Architecte Réseau

 Avant-propos  Timeline de la vie d’un réseau IP  Traffic et ordres de grandeur  Les premières étapes de l’interconnexion d’un

réseau  Le métier de peering manager  Les typologies de trafic

•  Inscrire le réseau dont on s’occupe dans Internet, c’est l’interconnecter le mieux possible aux autres réseaux qui forment Internet.

•  Dans toute la suite, Réseau IP <-> AS, interco IP <-> session de peering BGP4

•  Cela sous entend:   de la manière la plus diverse/redondante possible   7J/7, 24J/24   sans contention (a moins qu’elle ne soit voulue…)   qu’il faut connaître au mieux la cible des utilisateurs de notre réseau afin de choisir avec soin

ses PoPs ses peers Ses points d’échange

•  Que veulent dire les idiômes suivants (“Peering Manager Slang”), entendus dans des conversations techno-mondaines ?

“Mon AS/réseau fait $VOLUME_TRAFIC de trafic” OU “Mon AS/réseau pousse $VOLUME_TRAFIC vers Internet” OU “Mon AS/réseau prend $VOLUME_TRAFIC d’Internet”

Ces termes désignent le débit cumulé, en pointe, qui rentre ou sort du réseau dont on parle (voir les schémas de typologie en fin de chapitre).

Le métier d’architecte réseau > Avant-propos

1. Obtenir un AS et un range IP Provider Independent auprès de son Registry (nécessite un design à deux transitaires)

2. Contracter/Installer 2 transitaires

3. Choisir des points d’échange

1.  Y aller en louant une liaison ethernet 2.  Aller installer un équipement sur place

4. Identifier les AS vers lesquels va notre trafic

1.  Identifier leurs points de présence ( www.peeringdb.com , RIPE, APNIC…) 2.  Ldentifier leurs conditions de peering 3.  Leur faire une demande de PNI

5. Acheter éventuellement du Transit Partiel (moins cher que du transit) pour joindre par exemple certains ISPs avec qui il est difficile de peerer.

6. Ouvrir des PoPs pour se rapprocher de ses utilisateurs (router le trafic au plus près)

7. Upgrader/diversifier ses ports sur les points d’échange (ajout en trunk, ajout sur un autre site)

8. Upgrader ses PNIs, les diversifier sur d’autres PoPs

9. Essuyer les revers opérationnels d’un réseau de peering international:

1.  Écrire un premier draft de peering policy

2.  Être de plus en plus éxigeant

10. De-Peerer les AS qui ne se conforment plus à votre peering policy

11. Convertir progressivement tous les peerings publics en peerings privés.

Le métier d’architecte réseau > Timeline de la vie d’un réseau IP

• Micro hébergeur: 10Mbps • Petit hébergeur: 100Mbps • OVH, plus gros hébergeur français : de l’ordre de 200Gbps • YouTube: de l’ordre du Tbps – Dailymotion 60/80Gbps • Skyrock blogs: 6/8Gbps (que du texte et de l’image !!!) • Un petit ISP Français: 50Gbps • Un gros ISP Français: Nx 100Gbps • Un ISP Pro spécialisé dans le corporate: <10Gbps • transitaire: >1Tbps de trafic peeré ! (LLNW >1Tbps en 2006)

Le métier d’architecte réseau > Ordres de grandeur

L’achat de transit est la première étape pour connecter son réseau dans Internet

  Un transitaire envoie toutes les routes de l’Internet à ses clients   Facture au volume (ou au forfait)

Plus les enjeux sont gros, plus on contracte de transitaires (“ne pas mettre tous ses oeuf dans le même panier”) Pour bien choisir un transitaire, il faut:

  Avoir une parfaite connaissance de l’audience géographique de son réseau (stats de trafic web issus des logs des serveurs web, par exemple)

  Connaître les réseaux des différents transitaires du marché (points forts, points faibles)   Avoir une idée des tarifs pratiqués (prix au méga) en fonction du volume prévu   Se renseigner sur la qualité du support de ce transitaire , sur sa réputation   Être familier à la notion de Tier1, Tier2

Pour bien choisir ses candidats au peering il faut:   Configurer du flow sampling (NetFlow_berk, Sflow, Jflow) sur les interfaces de bordures   Monter un collecteur *Flow   Monter un grapheur et grapher tous les ports bordure (SNMP sur IF-MIB + RRDs affichés par Cacti, MRTG, Cricket,

Drraw…)   Lire les graphs tous les jours   Lire les graphs tous les jours   Lire les graphs tous les jours … (l’idéal est le matin avec la première tasse de café)   Faire des revues de peering/capacity-planning

Le métier d’architecte réseau > Les premières étapes de la vie d’un réseau

Le peering entre 2 AS est issu d’un accord bilatéral, et n’est en général pas facturé. Tout ce qui passe par un peering ne passe pas par le transit:

  Baisse le volume de transit consommé baisse les coûts mensuels de bande passante

  Permet de voir l’AS peer en direct (moins de sauts) meilleure qualité.

  Tout peering est donc secouru soit par un autre peering, soit par du transit.

Certains AS ont un lot de conditions à remplir pour peerer:   Nombre de PoPs en commun   Volume minimum de trafic entre les 2 AS   Ratio (un ratio trop déséquilibré est pénalisant).

Peerer c’est aussi engager son réseau sur la responsabilité de maintenir le peering

  Up   Correctement dimensionné (i.e. ne pas refuser les upgrades)

On distingue 2 types de peering:   PPI (Public Peering Interconnect   PNI (Private Network Interconnect)

Le métier d’architecte réseau > Le métier de peering manager

Les bonnes raisons de peerer:   Renforcer la diversité/redondance des chemins vers un réseau en particulier

  Diminuer le nombre de sauts vers un AS en particulier et donc améliorer la qualité de service et la joignabilité

réduire la latence vers les réseaux peerés

  Multiplier les routes disponibles, et donc rendre certaines destinations fault-tolerant.

LA mauvaise raison (ou plutôt la moins bonne raison)

  Économiser de l’argent en Transit !

Ne pas faire de budget de bande passante en tenant compte du volume de peering. ‘settlement free mutual peering relationship’ : un peering n’est maintenu que si l’intérêt est mutuel.

On choisit en général ses peers fonction de leur rôle et de leur typologie de trafic (cf slide suivant).

Le métier d’architecte réseau > Le métier de peering manager

Le métier d’architecte réseau > Typologies de traffic

Outils & Conseils

 Conseils en vrac à l’ingénieur réseau en devenir  Ressource sur BGP et le routage sur Internet  Couteau suisse de l’ingénieur réseau

• (Quand on parle de débit en réseau on parle de Mbps (Megabit/s), pas de MB (MegaByte/s))

• Internet est la seule industrie où l’expertise est publique: face a un problème donné, les alternatives sont limitées:   L’IETF ou l’IEEE détient la réponse s’il s’agit d’un protocole standard   Pour un détail opérationnel et/ou d’implémentation technique:

  Les sites des constructeurs (www.cisco.com) leur support, leur knowledge base   Les mailing lists privées   Google/wikipedia sont vos amis: vous n’êtes pas le premier homme à marcher sur la lune !

• Ne jamais pêcher par excès d’amour propre: la moindre boulette de configuration d’un équipement réseau qui route sur Internet se voit directement par tout le monde dans les tables BGP (BGP = Voici Magazine ® de l’Internet) : rester humble.

• OSI n’est pas qu’un modèle abscons, c’est une méthodologie de troubleshooting ! (10H de troubleshooting plus tard, on remplace un cable et ca marche…)

• Les paquets IP, les trames Ethernet ont une structure définie ! Lisez attentivement les dumps:   En live en utilisant snoop, tcpdump et les options de filtres   En sauvegardant en format libpcap puis en utilisant Ethereal/Wireshark

• Le routage IP est déterministe (en tout cas à chaque saut) , Traceroute, MTR et consors sont vos amis – les RIRs sont publiquement accessibles.

• Dès la conception, envisagez le pire: ça vous évitera de le découvrir en prod. un dimanche en pleine nuit, ou ivre mort en boîte de nuit...

• Si vous avez une politique rigoureuse de filtrage en entrée de votre réseau, que vous ne laissez parler vos machines que pour les serives qu’elles sont censées rendre, que vous ne mettez pas de gateway aux machines qui n’ont pas besoin de sortir, des firewalls ne vous seront d’aucune utilité.

Mais avant tout: DOCUMENTEZ votre travail au fil de l’eau !!!

Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir

• Trop de monitoring tue le monitoring ! Faites bien attention a ne pas noyer des Alertes importantes dans un flot d’Alertes qui ne seraient que des conséquences: la corrélation est un travail sans fin, mais il est vital.

• Ethernet est quasiment vendor-specific (désolé si je brise des rêves…): problèmes permanents d’intéropérabilité Spanning Tree - pendant la phase de choix de vos équipements, pensez à vérifier en LAB l’intéropérabilité entre vendeurs (ex: délais de bascule spanning tree).

• Layer 3 Switching, c’est bien, mais dès que vous pouvez router, faites le ! Evitez à tout prix de forwarder des VLANs sur plusieurs sites distincts, Ethernet ne dispose que de peu de mécanismes de troubleshooting, comparé à IP.

• ICMP n’est pas IP ! Il ne sert qu’à déterminer si une machine est vivante, pas à mesurer du packet loss: sous SOLARIS, une réponse ICMP reply à un echo-request est “host xxx is alive”

• Apprenez à utiliser la commande show sur vos équipements, la plupart du temps tout est marqué, il suffit de lire et de prendre du recul.

• Gardez les choses les plus simples possibles ! Votre employeur ne vous paye pas pour pondre des solutions élégantes et/ou alambiquées, il vous paye pour que ça marche, 24/24 et avec le moins de ressources possibles – sauf si vous travaillez chez FT R&D

• L’ingénierie de réseau n’est pas une fin en soi, pensez services, pensez fonctionnel, développez votre culture système pour avoir une idée des implications de votre travail sur celui des équipes d’ingénierie système. (vous allez voir, les admin sys ne vous aiment pas, c’est un postulat de départ)

Ayez recours à MAN (ou <tab> ou <?> sur cisco) le plus souvent possible !

Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir

BIBLE ABSOLUE TCP/IP Illustrated, vol1. et vol2. (Richard Stevens) Internet Routing Architectures (Sam Halabi – Cisco Press) Routing TCP/IP (Jeff Doyle - Cisco Press) CISCO BGP Case Study: http://www.cisco.com/warp/public/459/bgp-toc.html

Présentations de Phil Smith (Cisco): ftp://ftp-eng.cisco.com/pfs/seminars

Sites institutions sur le NET: Cymru: http://www.cymru.com Caida: http://www.caida.org Renesys: http://www.renesys.com - blog: http://www.renesys.com/blog Annuaire des looking-glass: http://www.traceroute.org

Les mailing-lists de groupements d’opérateurs   FrNOG : http://www.frnog.org (videos des conferences dispos sur le site / téléchargement slides)   NANOG: http://www.nanog.org - pour les ressources: http://www.nanog.org/isp.html   Plus généralement tous les XXnog pour toutes les zones géographiques du monde Réunions de ces groupes de discussion, on peut participer librement

Les mailing-list collartives dédiées à certains équipementiers:   Cisco: http://puck.nether.net/mailman/listinfo/cisco-nsp   Foundry: http://puck.nether.net/mailman/listinfo/foundry-nsp   Foundry (FR): http://lists.oav.net/wws/subscribe/fndry-fr   Juniper: http://puck.nether.net/mailman/listinfo/juniper-nsp

Les Channels IRC:   Sur IRCNet en France:

#isp-fr , #frnog , #panap (point d’échange)   Sur Efnet: #nanog, tous les autres $nog

Outils & conseils > Ressources BGP, routage, et internet

• Internet Routing Registries: www.arin.net - www.ripe.net - www.apnic.net - www.lacnic.net - www.afrinic.net • RIPE RPSL documentation: www.ripe.net/db.docs.html • /usr/bin/whois binaire UNIX de lookup dans les RIR (man whois) • Traceroute (/usr/bin/traceroute – man traceroute pour les options) • mtr: http://www.bitwizard.nl/mtr/ = traceroute amélioré (apt-cache search / apt-get install) • tcpdump/snoop pour faire des captures (man tcpdump, man snoop) Wireshark pour visualiser les captures libpcap: http://www.wireshark.org/ • Langages de scripts divers:

  bash/zsh/sh   Perl, python, php, ruby   C,C++ pour les plus courrageux

• Lookup sur tranches OUI assignées par IEEE pour les adresses MAC: http://standards.ieee.org/regauth/oui/index.shtml • Firefox AS-Number plugin: http://www.asnumber.networx.ch/

Outils & conseils > couteau suisse de l’ingé réseau

www.tatacommunications.com

Contact Grégoire VILLAIN

CDN Solutions & Market Manager Europe

gregoire.villain@tatacommunications.com

Merci ! Maintenant, les questions