Upload
phamdung
View
227
Download
3
Embed Size (px)
Citation preview
Virtualisation, Cloud Computing et Big DataVirtualisation, Cloud Computing et Big Data
Présenté par Ahmed Khoudir
Février 2014
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
2
Virtualisation : DéfinitionVirtualisation : Définition
Technique consistant à faire fonctionner plusieurs systèmes d'exploitation, en même temps, sur un même ordinateur (LAROUSSE)
Abstraction des ressources d'un système informatique
3
Virtualisation : HistoriqueVirtualisation : Historique
Concept introduit dans les années 60
– But : partitionner les ressources des coûteux mainframes
– Naissance du terme « pseudo-machine » Perte d'intérêt dans les années 80
– Architecture client-serveur• Coût élevé de l'infrastructure physique• Problèmes en cas de panne
4
Virtualisation : ChronologieVirtualisation : Chronologie
~1960 : IBM M44/44X 1999 : VMware Workstation 2001 : Microsoft Virtual PC ; VMware ESX 2003 : Xen (para-virtualisation) 2005 / 2006 : Extensions Intel VT-x et AMD-V 2007 : KVM intégré au noyau Linux 2008 : Microsoft Hyper-V
5
Virtualisation : Virtualisation : PrincipesPrincipes
Critères de Popek et Goldberg (*)
– Critères d’équivalence
• Comportement d’exécution similaire virtuel ou pas
– Critère d’efficacité
• Le processeur physique exécute directement les instructions du processeur virtuel
– Critère de contrôle des ressources
• Le système de virtualisation doit avoir un contrôle total des ressources
(*) Formal Requirements for Virtualizable Third Generation Architectures. Communications of the ACM, Vol. 17, No. 7, July, 1974, pp. 412–421.
6
Instruction Set Architecture (ISA)Instruction Set Architecture (ISA)
Trois groupes d’instructions ISA selon Popek et Goldberg
– Instructions privilégiées (Privileged instructions)
• S'exécutent dans un mode privilégié du processeur
– Instructions sensibles à la configuration (Control sensitive instructions)
• Ont la possibilité d'interroger ou modifier la configuration du système
– Instructions sensibles au comportement (Behavior sensitive instructions)
• Leurs comportement dépend de l’état ou la disponibilité des ressources
7
Virtualisation : Architecture IA-32Virtualisation : Architecture IA-32
Non-prévue pour la virtualisation
– Un certain nombre d'instructions sont problématiques car elles dérogent aux règles de Popek et Goldberg (*)
Solution apportée par VMware
– Virtualisation totale : VMware Workstation Xen a par la suite proposé une autre solution
– Para-virtualisation : Les instructions qui posent problème sont remplacées par des hyper-appels
(*) John Scott Robin and Cynthia E. Irvine "Analysis of the Intel Pentium's Ability to Support a Secure Virtual Machine Monitor" Proceedings of the 9th USENIX Security Symposium, Denver, Colorado, USA August 14-17, 2000
8
Virtualisation : Architecture IA-32Virtualisation : Architecture IA-32
9
Ces instructions dérogent aux règles de Popek et Goldberg Sensitive register instructions
– SGDT, SIDT, SLDT, SMSW, PUSHF, POPF Protection system instructions
– LAR, LSL, VERR, VERW, POP, PUSH, CALL, JMP, INT n, RET, STR, MOV
10
Virtualisation : Architecture IA-64Virtualisation : Architecture IA-64
(*) Kadir Karadeniz "ANALYSIS OF INTEL IA-64 PROCESSOR SUPPORT FOR A SECURE VIRTUAL MACHINE MONITOR" NAVAL POSTGRADUATE SCHOOL, Monterey, California, March 2001
18 instructions dérogent aux règles de Popek et Goldberg (*)
11
Virtualisation : Architecture IA-64Virtualisation : Architecture IA-64
3a1: References or changes the mode of the processor 3a2: References or changes the state of the processor 3b1: References or changes sensitive registers 3b2: References or changes sensitive memory locations 3c1: References or changes privilege level 3c2: References the memory system 3c3: Interferes with address translations 3d: I/O instructions
Virtualisation : TypesVirtualisation : Types
Émulateur (Hyperviseur de type 2)
– Simulation totale du matériel
– Virtualisation complète Isolation
– Virtualisation applicative
– Virtualisation au niveau du noyau (Partitionnement) Para-virtualisation (Hyperviseur de type 1)
12
Virtualisation :Virtualisation : Émulateurs Émulateurs
Simulation totale du matériel
– Vieilles consoles de jeux
– Vieux ordinateurs• Amiga, Atari, etc.
– QEMU, Gxemul, PearPC, Bochs, etc. Virtualisation complète
– Le système d'exploitation invité n'a pas conscience d'être virtualisé
– VMware Workstation, Oracle VM VirtualBox, VMware Server, Virtual PC
13
Virtualisation :Virtualisation : Émulateurs Émulateurs
14
Virtualisation : Virtualisation : IsolationIsolation
Virtualisation applicative
– Technique permettant d'emprisonner l'exécution des applications dans des contextes ou zones d'exécution
• Chroot, BSD Jail
– Plusieurs instances d'une même application• Apache, Tomcat, etc.
15
Virtualisation : Virtualisation : IsolationIsolation
Virtualisation au niveau du noyau
– Elle fait croire à la présence de plusieurs machines
– Il n’est pas possible d’utiliser des noyaux différents en même temps.
• Linux vserver, OpenVZ, Solaris zones, etc.
16
Virtualisation Virtualisation : Isolation: Isolation
17
Virtualisation Virtualisation : Para-virtualisation: Para-virtualisation
Le système d'exploitation invité est conscient d'être virtualisé Il communique avec l'hyperviseur via des API de
communication Les appels système au matériel du serveur physique se font par
l'intermédiaire de l'hyperviseur Nécessite une modification du système invité pour remplacer les
instructions non « virtualisables » par des hyper-appels VMware vSphere (ESXi), Citrix XenServer, Microsoft Hyper-V
18
Virtualisation Virtualisation : Para-virtualisation: Para-virtualisation
19
Virtualisation : UsageVirtualisation : Usage
Domaines d'application
– Virtualisation d’applications
– Virtualisation de serveurs
– Virtualisation de stockage
– Virtualisation de réseaux
– ...
20
Virtualisation : AvantagesVirtualisation : Avantages
Optimiser l’infrastructure physique, mutualiser les ressources
Améliorer la disponibilité des services Simplifier la gestion et le déploiement du système
– Automatisation des tâches
– Efficacité et gain de temps Réduire la consommation électrique Faire des économies ...
21
Virtualisation : InconvénientsVirtualisation : Inconvénients
Infrastructure souvent complexe, nécessite des connaissances techniques approfondies
Nécessite une solution de stockage « partagée » efficiente et sans faille
La facilité de déploiement des VM peut être un inconvénient
– Multiplication non justifiée des VM La gestion du cycle de vie des VM doit être rigoureuse Coût des licences et de la maintenance ...
22
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
23
Virtualisation du serveur Virtualisation du serveur
24
Source (Oct 2013) : http://www.virtualizationmatrix.com/matrix.php?category_search=all
VMware vSphereVMware vSphere
25
VMware vSphere : FonctionnalitésVMware vSphere : Fonctionnalités
Virtual SMP vMotion Storage vMotion DRS (Distributed Resource Scheduler) DRS Host Affinity HA (High Availability) App HA Fault Tolerance DPM (Distributed Power Management) ...
26
VMware vSphere : Virtual SMPVMware vSphere : Virtual SMP
27
CPU virtuel (vCPU) réglable selon les besoins de la VM - Un ou plusieurs Cœurs - Une ou plusieurs Sockets
VMware vSphere : vMotionVMware vSphere : vMotion
28
Migration à chaud d'une VM d'un serveur physique vers un autre
VMware vSphere : Storage vMotionVMware vSphere : Storage vMotion
29
Migration à chaud du disque d'une VM d'un volume (datastore) vers un autre
VMware vSphere : Resource PoolsVMware vSphere : Resource Pools
30
Les ressources physiques (CPU, Mémoire, etc.) sont organisées sous forme de pools
VMware vSphere : DRSVMware vSphere : DRS
31
Regroupe les ressources du cluster et les distribue aux VM. Équilibrage et déplacement des VM à l'aide de vMotion
VMware vSphere : DRS Host AffinityVMware vSphere : DRS Host Affinity
32
Possibilité de définir des dépendances vis à vis des serveurs physique, DRS tient compte de ces dépendances
VMware vSphere : HAVMware vSphere : HA
33
Redémarrage et relocalisation des VM sur d'autres serveurs physiques en cas de panne
VMware vSphere : App HAVMware vSphere : App HA
34
Assure la surveillance et la disponibilité des applicationsBasé sur des règles, redémarrage de l'application ou de la VM
VMware vSphere : Fault ToleranceVMware vSphere : Fault Tolerance
35
Basculement sur un autre serveur sans redémarrage de la VM (configuration limitée)
VMware vSphere : DPMVMware vSphere : DPM
36
Gestion de la consommation électrique
VMware vSphere : Update ManagerVMware vSphere : Update Manager
37
Mises à jour sans interruption de service
VMware vSphere : AdministrationVMware vSphere : Administration
38
L'administration de l'infrastructure de virtualisation se fait avec un client vSphere et un serveur vCenter
VMware vSphere : AdministrationVMware vSphere : Administration
39
Délégation de la gestion des VM
– Possibilité de définir des utilisateurs et des groupes d'utilisateurs
– Possibilité de définir des rôles et de les affecter : droit d'arrêter ou de démarrer une VM, de faire un snapshot, etc.
– Possibilité d'utiliser un annuaire AD pour authentifier et gérer les utilisateurs
VMware vSphere : Éditions v5.5VMware vSphere : Éditions v5.5
40
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
41
Virtualisation du poste de travail Virtualisation du poste de travail
42
Types de déploiement Streaming d'OS Architecture Virtual Desktop Initiative (VDI) Hyperviseur client
Streaming d'OSStreaming d'OS
43
Diffusion centralisée de l'OS et des applications Code exécuté sur la machine cible Une image par type de machines Gestion intégrée des applications et des pilotes Nécessite une connexion réseau continue
Virtual Desktop Infrastructure (VDI) Virtual Desktop Infrastructure (VDI)
44
Poste de travail hébergé sur les serveurs de virtualisation sous forme de VM
Machines et logiciels virtualisés distribués à la demande Administration centralisée Configuration minimale du poste client
– Périphériques d’entrées / sorties– Composant logiciel de déport d’affichage– Client léger
Nécessite une connexion réseau continue (mode connecté) Coût élevé et infrastructure complexe
Hyperviseur client Hyperviseur client
45
Hyperviseur de type I installé sur le poste client Meilleures performances L'hyperviseur local contrôle un ou plusieurs systèmes
virtualisés Facilite la migration vers un nouveau OS Possibilité de travailler en mode déconnecté Matériel géré par l'hyperviseur : Déploiement d'images
simplifié
Virtualisation du poste de travail Virtualisation du poste de travail
46
Citrix XenDesktop Microsoft (UE-V, App-V, RemoteApp, VDI, Client Hyper-
V, MED-V, Windows Thin PC) VMware Horizon Suite (View, Mirage, Workspace) Oracle Virtual Desktop Infrastructure, Oracle Desktop
Virtualization Clients Red Hat Entreprise Virtualization (RHEV) Etc..
Virtualisation du poste de travail Virtualisation du poste de travail
47
Projets open source– SPICE (protocole de communication) :
http://www.spice-space.org– Cantivo (KVM + SPICE) : http://www.cantivo.org
Tendances– Mobilité et l'usage du Cloud – BYOD (Bring Your Own Device)
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
48
Cloud Computing Cloud Computing
49
Définition– Accès via un réseau de télécommunications, à la demande et
en libre-service, à des ressources informatiques partagées configurables (wikipedia)
– Modèle d’organisation informatique permettant l’accès à des ressources numériques dont le stockage est externalisé sur plusieurs serveurs (Larousse)
Origine– Le mot Cloud, qui signifie « nuage » en anglais, correspond à
l'image généralement utilisée dans le monde informatique pour symboliser le réseau Internet (wikipedia)
Cloud Computing : Historique Cloud Computing : Historique
50
1997 Pr. Ramnath Chellappa, suggère que les frontières de l’informatique seraient définies par la logique économique plus que par les limites techniques (*)
1999 Salesforces fut le premier, à transformer ce concept en « business » avec une offre logiciel
2002 Amazon présente une offre de type « Cloud » comme solution au sur-dimensionnement de son parc de serveurs hors période de fêtes
2007 IBM fait du Cloud Computing une priorité(*) Intermediaries in Cloud-Computing: A New Computing Paradigm, INFORMS
Annual Meeting, Dallas, TX, October 26-29, 1997
Cloud Computing : C'est quoi ? Cloud Computing : C'est quoi ?
51
Ce n'est pas une technologie, mais un ensemble de technologies combinées
C'est un modèle d’exploitation et de distribution informatique orienté services
La virtualisation est au cœur de ce modèle : Usage et infrastructure sont découplés
Repose sur des centres de données modernes, hautement connectés et hautement disponibles
Ressources en libre-service et à la demande Approvisionnement rapide et ajustable Paiement à l'usage
Centres de données modernes Centres de données modernes
52
Administration automatisée au maximum– Intervention humaine réduite au minimum– Ajout et prise en compte automatique d'un matériel
Virtualisation – Optimisation et consolidation des ressources
Fabric Ethernet – Gestion simplifiée et réseau performant
Big Data – Stockage « distribué » de grande quantité de données
Cloud Computing Cloud Computing
53
Défis à relever– Normes et standards– Sécurité
Open Source– Doit jouer un rôle majeur pour relever ces défis – IBM annonce (4 mars 2013) que toute son offre Cloud
sera désormais basée sur l'Open Source (*) et investi massivement (17 septembre 2013) (**)
(*) IBM To Make Its Cloud Services and Software Open Sourced-based « http://www-03.ibm.com/press/us/en/pressrelease/40519.wss »
(**) IBM Commits $1 Billion to Fuel Linux and Open Source Innovation on Power Systems « http://www-03.ibm.com/press/us/en/pressrelease/41926.wss »
Cloud Computing : Cloud Computing : Types de déploiementTypes de déploiement
54
Cloud privé – Réservée à l’usage exclusif d’une seule organisation
Cloud public – Destinée à un usage public
Cloud communautaire – Réservée à l’usage d’une communauté spécifique
Cloud hybride – Combinaison d'au moins deux Cloud (privé, public ou
communautaire) autonomes mais liés entre eux
Cloud Computing : Cloud Computing : Gestion et organisationGestion et organisation
55
Cloud Computing : ServicesCloud Computing : Services
56
Software as a Service (SaaS)
Platform as a Service (PaaS)
Infrastructure as a Service (IaaS)
Cloud Computing Services : SPI model
Modèle de fourniture de logiciels hébergés dans le cloud.Exemples :
Google Apps Office Web Apps LotusLive (IBM)
Modèle de fournitured'un environnement d'exécution rapidement disponible pour des applications spécifiques ou en développement.
Modèle de fourniture de l'infra matériel (serveurs, stockage, réseau).Serveurs virtuels gérés par les clients eux même.
Cloud Computing & Open SourceCloud Computing & Open Source
57
OpenStack : http://www.openstack.org– Créé par Rackspace Hosting et la NASA (juillet 2010)– Licence : Apache v2.0
Piston Cloud Computing : http://www.pistoncloud.com – Offre commerciale basée sur OpenStack
Distributions Linux : OpenStack + KVM + libvirt– Red Hat, SUSE, Debian, Ubuntu, etc..
Apache CloudStack : http://cloudstack.apache.org– Licence : Apache v2.0
Eucalyptus : http://www.eucalyptus.com– Licence : GPL v3.0
OpenNebula : http://opennebula.org/– Licence : Apache v2.0
Cloud Computing Cloud Computing
60
Cloud Computing Cloud Computing
61
Cloud Computing Cloud Computing
62
Cloud Computing Cloud Computing
63
Références– Aspects juridiques du Cloud Computinghttp://www.clusif.asso.fr/fr/production/ouvrages/pdf/CLUSIF-Cloud-2010-Juridique.pdf
– Le Cloud et la sécurité http://www.clusif.asso.fr/fr/production/ouvrages/pdf/clusif-cloud-2010-securite.pdf
– L'évolution maitrisée vers le IaaS/PaaS http://www.eurocloud.fr/doc/lb_eurocloud_iaas.pdf
– CY13-Q3 Community Analysis — OpenStack vs OpenNebula vs Eucalyptus vs CloudStack By John Jiang, October 03, 2013
http://www.eucalyptus.com/blog/2013/10/03/cy13-q3-community-analysis-%E2%80%94-openstack-vs-opennebula-vs-eucalyptus-vs-cloudstack
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
64
Big Data Big Data
65
Définitions– Big Data, littéralement grosses données, parfois appelé
données massives, est une expression anglophone utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information (wikipedia)
– Big Data, règle des 3V : Volume, Vitesse et Variété (Doug Laney, voir références)
• Explosion du Volume de données • Variété du format de données, des sources et des contenus• Vitesse du traitement dynamique des données
Big Data : Selon IBM Big Data : Selon IBM
66
67
Big Data : Performances et haute disponibilité– Hadoop (pionnier du big data) : http://hadoop.apache.org – Hadoop Distributed File System (HDFS), MapReduce
NoSQL : Hbase, Cassandra, MongoDB, etc..– Analyse en temps réel
• Détection de fraude par exemple– Comprendre le passé et le présent
• Prédire l'avenir
Big Data & NoSQLBig Data & NoSQL
68
Idées reçues– Big Data concerne uniquement les données massives ?
• Le Volume n'est qu'un indicateur parmi les 3V selon Doug Laney
– Big Data veut dire Hadoop ? • Hadoop, NoSQL, MPP (Massively Parallel
Processing)– NoSQL veut dire pas de SQL « No SQL » ?
• NoSQL = Not only SQL
Big Data Big Data
Big Data Big Data
69
Références – Real-Time Big Data Analytics: Emerging Architecture, Mike
Barlow http://cdn.oreillystatic.com/oreilly/radarreport/0636920029441/Real_Time_Big_Data_Ana
lytics_Emerging_Architecture.pdf
– Application Delivery Strategies, Doug Laney http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-
Controlling-Data-Volume-Velocity-and-Variety.pdf
– Top 5 Myths About Big Data, Brian Gentile http://mashable.com/2012/06/19/big-data-myths/
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
70
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
71
ConclusionConclusion
Dans cette présentation nous avons pris connaissance de l'historique, des différentes formes et usages de la virtualisation.
La virtualisation n'est pas une technologie nouvelle, mais son usage a augmenté d'une manière significative ces dernières années et ce dans plusieurs domaines.
Avec la mobilité, le nombre grandissant des clients connectés ainsi que l'explosion de données très variées, l'usage de la virtualisation, le Cloud et Big Data devient incontournable.
La maîtrise des coûts et une gestion efficace des ressources dans les centres de données modernes est un élément essentiel et ne peut se faire sans l'usage de la virtualisation.
72
PlanPlan
Introduction– Définition, historique, principes, types
Virtualisation du serveur– VMware vSphere
Virtualisation du poste de travail– État des lieux
Cloud Computing Big Data Démonstration DbaaS Conclusion Questions
73