Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
1
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 1
JRES 2007 Solution de stockage
répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type
« NAS »DateLaurent Mirtain, Jean-Luc Szpyrka – Novembre 2007 – v1.3.2
2
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 2
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
3
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 3
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
4
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 4
LORIANancy
INRIA Rhône-AlpesGrenoble
INRIASophia Antipolis
IRISARennes
FUTURSBordeaux
Metz
FUTURSLille
Lannion
Marseille
Lyon
Montpellier
FUTURS OrsaySaclayCachanNantes
Besançon
StrasbourgINRIA
RocquencourtParis
Données répartiessur ~600 machines
(serveurs et stations)
Données réparties sur ~ 100 machines
(serveurs et stations)
Données centralisées sur 1 serveur NAS
et ~10 serveurs
Données réparties sur ~ 20 machines
(serveurs et stations)
Données réparties ~200 machines
(serveurs et stations)
2004 : État des lieux• Inventaire des solutions
de stockage et de sauvegarde de l’INRIA.
5
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 5
Conclusions de l’étude• Constat : des objectifs communs
➢ Centraliser les données importantes➢ Simplifier la sauvegarde et réduire la durée de restauration des
données critiques➢ Établir un plan de reprise d’activité
• Propositions➢ Trouver une solution mutualisée➢ Utilisant la technologie de serveurs NAS
• Création d’un groupe de travail pour valider une solution et proposer une organisation
6
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 6
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
7
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 7
La solution• A base de serveurs NAS répartis sur chaque site
• Complétée par une librairie de bandes raccordée à un serveur NAS central, sur lequel sont répliquées les données des NAS de site
• Acquisition via une procédure d’appel d’offres– Marché notifié en décembre 2005, mise en service de janvier à février
2006– Comprend la fourniture de l’ensemble des matériels et les prestations de
services
• Le prestataire de ce marché est Stordata avec du matériel NetApp et StorageTek
8
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 8
Répartition
LORIANancy
INRIA Rhône-AlpesGrenoble
INRIASophia Antipolis
IRISARennes
FUTURSBordeaux
Metz
FUTURSLille
Lannion
Marseille
Lyon
Montpellier
FUTURS OrsaySaclayCachanNantes
Besançon
StrasbourgINRIA
RocquencourtParis
FAS3020
FAS3020
FAS3020 FAS940
R200
STK L1400
FAS270FAS250
FAS270
FAS3020c
9
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 9
Détail des configurations
Site Modèle, capacité brute (type de disques)Grenoble - FAS 3020, 16 TB (FC)Lille - FAS 270, 6 TB (FC)Metz - FAS 250, 144 GB (FC)
Nancy
- FAS 940, 4 TB (FC)- Nearstore R200 56 TB (ATA)- Librairie de bandes StorageTek L1400 de 300 Slots avec3 lecteurs SDLT 600
Orsay - FAS 250, 1TB (FC)Rennes - FAS 3020 cluster, 18 TB (FC) + 14 TB (SATA)Rocquencourt - FAS 3020 20 TB (FC)Sophia - FAS 3020 17 TB (SATA)
Capacité brute de 152 TB
10
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 10
Caractéristiques matérielles• Garantir une haute disponibilité et permettre l'évolutivité
➢ Redondance des composants matériels ➢ Technologie RAID double parité (DP) autorisant la panne simultanée
de deux disques sans perte de données➢ Possibilité de faire cohabiter dans le même filer des groupes RAID
Fibre Channel et SATA➢ Facilités d’extension de la volumétrie par ajout de tiroirs de disques➢ Possibilité de configuration en cluster
11
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 11
Caractéristiques logicielles des équipements• Concept d’Appliance
➢ Système d’exploitation spécialisé (Data ONTAP®) – Administrable via des commandes en ligne et une interface Web– Support natif des protocoles NFS, CIFS, NIS, Active Directory, LDAP,
Kerberos, iSCSI, Fibre Channel, IPSec, NTP...– Mécanisme de reboot « rapide » (moins de 2 minutes)
➢ Système de fichiers journalisé « Write Anywhere File Layout » (WAFL®) couplé à une mémoire cache NVRAM (protégée par batterie) pour optimiser les I/O
– Possibilité de redimensionner les volumes à chaud– Mécanisme de quotas– Support des modes de sécurité CIFS, NFS ou mixte– Mécanisme intégré de sauvegarde sur disques permettant la
restauration par l’utilisateur ➢ Possibilité de répliquer des volumes vers un autre filer
12
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 12
Mécanisme de sauvegarde• Utilise un mécanisme de copie instantanée appelé « snapshot »
(logiciel Snapshot®)➢ Duplique uniquement les blocs d’inodes, pas les blocs de données
– Peu de place (réserver ~20% du volume)– Peu d’I/O : rapidité et faible perturbation
• Snapshots accessibles en lecture aux utilisateurs
13
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 13
Mécanisme de réplication• Le logiciel SnapMirror® permet de répliquer les volumes de filer à
filer au travers du réseau LAN ou WAN.1. initialisation par recopie complète (à la création du miroir)2. puis, synchronisation incrémentale, par recopie de snapshots
14
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 14
Mécanisme de virtualisation• Le logiciel MultiStore® permet de « découper » un filer en plusieurs
filers virtuels (appelés vfiler) avec leurs propres ressources (configuration, volumes, interfaces réseau, domaines de sécurité, exports...)
15
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 15
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
16
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 16
PRA : en théorie... • Son objet
➢ Permettre un accès aux données sur le NAS central en cas de panne prolongée du filer de site
➢ Reconstruire les volumes du filer de site une fois que celui-ci est réparé ou en cas d’erreur humaine
➢ Restituer les données à partir des sauvegardes sur bandes en cas d’une corruption de données sur le filer de site et sur le NAS de réplication
17
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 17
PRA : utilisation de plusieurs ressources
Filer centralFiler central
RéplicationRéplication
SauvegardeSauvegardesur bandessur bandes
ÉquipeÉquiped’exploitationd’exploitation
HotlineHotline
VirtualisationVirtualisation
Accès distantAccès distant
18
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 18
filer
@IP1
vfiler
@IPv1Réplication
Sophia Nancy
PRA : procédure de basculement sur le filer de secours
//@nas/partage
@nas => @IP1@nas => @IPv1
Réplication
19
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 19
PRA...tique : réplication & sauvegarde• Réplication
➢ Plus de 37 flux de réplication (un flux par volume répliqué) déclenchés de manière échelonnée toutes les heures
➢ Taille totale des volumes répliqués : ~13 TB➢ Taille cumulée par réplication horaire : ~10 GB
– Soit un flux de transfert continu d’environ 20 Mbits/sec– Volume transféré par heure : ~0,07% du volume global– Volume transféré par jour : ~ 1,8% du volume global
• Sauvegarde sur bandes➢ Via le logiciel Networker, en mode NDMP➢ Une sauvegarde totale par semaine
20
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 20
PRA...tique : reconstruction & accès distant• Reconstruction de filer
➢ Nos raccordements Renater sont à 200 Mbits/sec : soit un maximum de 2 TB par 24 heures
➢ Nos volumétries NAS sont élevées : plusieurs jours pour reconstruire en entier un NAS
• Accès distant➢ Temps de réponse NFS/CIFS entre 10 et 20 fois plus lent qu’en
mode local (copie, parcours d’une arborescence...)➢ Les temps de latence de nos liaisons WAN (entre 8 et 28 ms) sont
pénalisants pour les protocoles NFS et CIFS
21
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 21
PRA...tique : quelques déboires• Des incidents inattendus
➢ Deux bogues logiciels ont provoqué une interruption de service– Enregistrés officiellement chez NetApp (BugID 245282 et 248621)
• Dans un cas, l’interruption a duré 8 heures.
• Dans l’autre, quelques minutes.➢ Le filer étant en configuration cluster, il a suffit de basculer tous les
volumes sur le deuxième filer, encore opérationnel.
22
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 22
PRA : le bilan• Le PRA n’est pas utilisable comme nous l’envisagions initialement
➢ Impossibilité de travailler en accès distant➢ Reconstruction d’un filer par le réseau trop longue
• Par contre➢ Il fournit une solution de reprise sur sinistre➢ Il permet d’utiliser une solution de sauvegarde centralisée
• Nous devons faire évoluer notre solution➢ Utilisation, lorsque nécessaire, d’une solution de réplication locale
– permettre une reconstruction rapide et une utilisation en mode secours➢ Mise en place, si besoin, de NAS en configuration cluster
– Augmenter le niveau de disponibilité
23
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 23
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
24
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 24
Service de fichiers utilisateurs• Un NAS est avant tout un serveur de fichiers
➢ Ce mode d’utilisation concerne l’essentiel des données hébergées sur nos filers :
– homedirs utilisateurs– profils itinérants– espaces partagés par les équipes de recherche ou les services de
support– données d’archivage ou temporaires
➢ Il représente environ 60% de la volumétrie globale de nos serveurs
25
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 25
Service applicatif en NFS • Compte-tenu du niveau de disponibilité et de performance de nos
NAS, de la sauvegarde intégrée et du PRA, nous avons tout intérêt à héberger sur nos NAS, nos données applicatives importantes
– Construction d’un cluster heartbeat avec volume partagé en NFS
LAN
NAS- fichiers et données du service applicatif
Cluster de 2 Serveurs
fichiers de l’OS
NFS NFS
fichiers de l’OS
26
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 26
Service applicatif en iSCSI • Si l’application ne supporte pas l’utilisation d’un volume NFS, en
terme de fonctionnement ou de performance, il est alors possible d’utiliser nos filers en mode bloc
➢ protocole iSCSI (SAN IP) ou FCP (SAN Fibre Channel)
NAS
LAN
- LUN serveur
Serveur - fichiers de l’OS
iSCSI
27
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 27
Optimiser la configuration réseau • Liens GbE, agrégats, auto négociation de bout en bout, jumbo
frames, isolement du trafic data sur un VLAN « stockage » dédié
28
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 28
Déploiement de services : NetApp Library • Les guides techniques de NetApp Library fournissent des
recommandations pour mettre en œuvre et optimiser le fonctionnement du service avec un filer
➢ Côté NAS– Architecture haute disponibilité– Répartition des données applicatives sur les volumes– Ajustement des paramètres systèmes
➢ Côté serveur applicatif– Options de montage NFS– Ajustement des paramètres du noyau
➢ Coté application– Ajustement des paramètres de configuration– Déclenchement des snapshots
29
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 29
Panorama des services déployés • Apache : accès NFS
– attention aux fichiers de lock, suivre les recommandations de apache.org
• Oracle Calendar (base 10g) : accès NFS– RAS, suivre les recommandations de NetApp Library
• MySQL : accès NFS– attention au moteur de stockage
• Sauvegarde sur disques : iSCSI– Utilisation des initiateurs iSCSI standard de Linux ou Windows
• En prévision➢ Images virtuelles de serveurs➢ IMAP
30
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 30
NFSv4 • Déployé sur deux sites
• Les plus ➢ accès sécurisé➢ mécanisme de disponibilité des données hors connexion
• NFSv4 a besoin d’un service d’authentification Kerberos, couplé à une base utilisateurs (ici, un annuaire LDAP)
• Implique la mise en place d’une relation d'approbation entre les domaines Kerberos Windows et Linux
• NetApp considère ce service comme encore expérimental
31
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 31
Comparaison SCSI/iSCSI/NFSv3
2GB 4GB 8GB 16GB0
50
100
150
200
dd: écriture en MB/s
SCSI
ISCSINFS
2GB 4GB 8GB 16GB0
20
40
60
80
100
120
140
dd: lecture en MB/s
SCSI
ISCSINFS
Networker DBO : débit en MB/s NFS NFS optimisé iSCSI
Sauvegarde (3 en //) 40 47 58
Restauration 45 57 44
Disque local NAS (NFS)0
100
200
300
400
500
600
700
800
900
1000
1100
alter-table
big-tables
connect
create
insert
select
Rés
ulta
t en
seco
ndes
Fig. 1
Fig. 2
Fig. 3
Fig. 4
32
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 32
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
33
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 33
Bilan...• Sur 12 mois
➢ Déploiement de 7 serveurs NAS➢ D’une solution de sauvegarde centrale➢ Des réplications entre NAS et d’une procédure de PRA➢ Volume de données utilisé sur nos serveurs NAS multiplié par cinq
• Ce projet a permis de renouveler les solutions de stockage et de construire une solution mutualisée
➢ Évolutive : supporte l’augmentation de volumétrie et le rajout de serveurs NAS sans casser l’existant
➢ Permet de construire des services applicatifs sécurisés
• Mise en place d’une équipe d’exploitation multi localisée➢ Gain d’exploitation procuré par l’accès aux snapshots par l’utilisateur
34
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 34
... et perspectives• PRA à améliorer
➢ Accès au filer de secours➢ Reconstruction de volumes
• Évolutions prévues ➢ Répondre aux besoins d’extensions en filers et volumétrie ➢ Prendre en compte la haute disponibilité, avec des solutions de
cluster NAS sur les sites
Bilan très positif mais encore du travail
35
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 35
JRES 2007 : Solution NAS de l’INRIA
• Genèse du projet
• Description de la solution NAS
• Plan de reprise d’activité (PRA)
• Modes d’utilisation de nos NAS
• Bilan et perspectives
• Questions
36
Solution NAS – JRES 2007 – L. Mirtain – JL Szpyrka 36
Annexe (quelques transparents pour les questions)
37
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 37
Mécanisme de sauvegarde (2)• Ces caractéristiques nous permettent de multiplier les sauvegardes
38
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 38
Modes de sécurité• Pour changer les permissions
Unix sur un espace partagé en mode de sécurité Unix depuis un client Windows.
➢ Outil « SecureShare » fourni par NetApp (plugin), déployé sur les postes Windows
• Pour changer les permissions sur un espace partagé en mode de sécurité Windows depuis un client Unix.
➢ Fonctionnalités des clients Samba
SecureShare
39
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 39
Mécanisme de sauvegarde (3)• La restauration des fichiers accessible aux utilisateurs !
Windowsvisualiser/restaurer/copier les différentes sauvegardes d’un fichier/répertoire via le menu « Propriétés > Versions Précédentes »
40
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 40
Mécanisme de sauvegarde (4) • Unix
Accès via le répertoire .snapshot (en lecture seule)
Restauration avec cp
Attention : inodes identiques !
pb avec commandes diff, cmp...
Astuce : diff – fichier < .snapshot/..../fichier
41
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 41
Base de données Oracle 10g • Oracle sur NFS ?
➢ NetApp certifie la compatibilité de ses filers avec les principaux SGBD du marché (Oracle, Sybase, Microsoft SQL Server, MySQL Enterprise Edition...)
• Exemples de recommandations :➢ Séparer sur différents volumes, les fichiers de données, les fichiers
journaux➢ Des options de montage NFS spécifiques➢ Des procédures de sauvegardes
• Notre utilisation actuelle : base Oracle 10g pour le logiciel Oracle Calendar (Oracle Collaboration Suite)
• Notre service Oracle hébergé sur NAS fonctionne bien jusqu’à ce jour
42
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 42
Base de données MySQL • MySQL sur NFS ?
➢ NetApp certifie MySQL Enterprise avec ses solutions NAS➢ MySQL dissuade d’utiliser NFS (problèmes potentiels liés aux verrous
(lock) NFS des fichiers)
Disque local NAS (NFS)0
100
200
300
400
500
600
700
800
900
1000
1100
alter-table
big-tables
connect
create
insert
select
Rés
ulta
t en
seco
ndes
• Notre configuration : base MySQL pour un serveur Web (moteur non transactionnel MyISAM)
• Tests concluants avec sql-bench (robustesse et performances)
• Notre service Mysql hébergé sur NAS donne toute satisfaction jusqu’à ce jour
43
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 43
Sauvegarde sur disques • Utilisé en iSCSI pour de la sauvegarde sur disques (Networker
DBO)➢ Depuis un serveur Linux RHEL v4➢ Et un serveur Windows 2003 Server
• Sur les recommandations de Dell➢ Pas de carte matérielle iSCSI (HBA) spécifique, mais une deuxième
carte dual port GbE ;➢ Utilisation des initiateurs iSCSI standard de ces OS.
• Les recommandations de NetApp➢ Configuration/optimisation du driver iscsi côté client et côté NAS➢ Pour Linux : partitionner (fdisk) le LUN en alignant sa géométrie avec
celle des blocs de 4096 bytes de WAFL (performances)
44
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 44
ISCSI (3) • Comparaison SCSI/iSCSI/NFS
5 10 20 50 100 200 500 700 1000
05
1015202530354045505560657075
Ecriture (dd)
SCSIiSCSINFS
Taille en MB
Dur
ée e
n se
c
5 10 20 50 100 200 500 700 10000
2,55
7,510
12,515
17,520
22,525
27,530
32,535
37,540
42,5
Lecture (dd)
SCSIiSCSINFS
Taille en MB
Dur
ée e
n se
c
45
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 45
ISCSI (4) • Comparaison SCSI/iSCSI/NFS
5 10 20 50 100 200 500 700 10000
200
400
600
800
1000
1200
1400
1600
1800
2000
tiobench : débit en lecture
SCSIiSCSINFS
Taille en MB
Mbi
ts/s
ec
1 5 10 20 50 100 200 500 700 10000
10
20
30
40
50
60
70
80
90
100
tiobench : débit en écriture
SCSIiSCSINFS
Taille en MBM
bits
/sec
46
Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 46
ISCSI (5) • Comparaison SCSI/iSCSI/NFS
file_delete_par_sec
file_creation_par_sec
file_delete_par_sec
file_creation_par_sec
transaction_par_sec
mb_write_per_sec
mb_read_per_sec
file_read_par_sec
0 1000 2000 3000 4000 5000
182,37
0,3834
4,3428
370,37
2083,33
2081,5
184,37
186
984,8
1,0543
11,9427
2000
4166,67
4163
995,6
1004,4
289,65
0,2365
2,6787
588,24
806,45
805,74
292,82
295,41
Test Postmark
SCSIiSCSINFS