Melhores Praticas Para o Processamento, Protecao e Armazenamento de Dados - Joao Bonassi

Melhores Práticas - Rede de Armazenamento de Dados

João Bonnassis - Evento Alagoas Digital - Maceió - 08/04/2009 1


Apresentar os conceitos e as melhores práticas para o dimensionamento, o processamento e a proteção dos subsistemas em rede de armazenamento de dados, de acordo com o SNIA - Storage Network Industry Association(www.snia.org) e de documentos/artigos disseminados pela área de engenharia da EMC (www.emc.com). A EMC já executou, pelo mundo, milhares projetos de consolidação e virtualização de servidores e redes de armazenamento de dados (com eficiência de recursos computacionais e em energia, refrigeração e espaço físico).

João Bonnassis (M.Sc.)Sales Productivity ManagerEMC Brasil

Maceió, 08/04/2009


• Virtualização de Servidores.

• Virtualização da Rede de Armazenamento de Dados.

• Proteção Contínua de Dados em Ambientes de TI Virtualizados.

• Recuperação de Desastres em Ambientes de TI Virtualizados.

• Backup / Restore para Disco e Fita com Desduplicação na Fonteem Ambientes de TI Virtualizados.




Virtualização fornece uma visão lógica simplificada dos recursos físicos computacionais, enquanto preserva as interfaces na utilização destes recursos.

Virtualização remove, logicamente, os limites e melhora a utilização dos recursos computacionais físicos.

Virtualização

João Bonnassis - Evento Alagoas Digital - Maceió - 08/04/2009 4 4

Cada aplicação enxerga sua própria memória (lógica), independente dos limites da memória física.

Virtual Memory

Cada aplicação enxerga sua própria rede (lógica) independente da rede física.

Virtual Networks

Cada aplicação enxerga seu próprio servidor (lógico),independente do seu servidor físico.

Virtual Servers

Cada aplicação enxerga seu próprio armazenamento (lógico), independente dos limites do seu armazenamento físico.

Virtual Storage

Virtualização




Operating System

Exchange

Operating System

Virtualization

Operating System

VPN

Operating System

Virtualization

Operating System

File/Print

Operating System

Virtualization

Operating System

CRM

Operating System

Virtualization

Virtual Infrastructure

InterconnectPool

CPUPool

MemoryPool

StoragePool

Infraestrutura Tradicional Virtual Infrastructure

Virtualização de Servidores


Infraestrutura Virtual

InterconnectPool

CPUPool

MemoryPool

StoragePool

CRM

Operating System

CRM

Operating System

VPN

Operating System

VPN

Operating System

File/Print

Operating System

File/Print

Operating System

Exchange

Operating System

Exchange

Operating System

CRM

Operating System

CRM

Operating System

VPN

Operating System

VPN

Operating System

File/Print

Operating System

File/Print

Operating System

Exchange

Operating System

Exchange

Operating System

Virtual Machine (VMs)





Desktops virtuaisBI CRMDesenvolvimento Produção

Aplicativos Marketing

Dimensionamento Alinhado às Necessidades de Negócios

Capacidade agregada:20 x (4 x 2.2 GHz, 24 GB RAM) = 176 GHz, 480 GB RAM

HARDWARE COMPARTILHADO(CPUs, RAMs, NICs, HBAs, Storage)

Exemplo: Consolidação de 50 servidores físicos em 20 servidores físicos (quad core)virtualizados (como um "pool" de recursos computacionais agregados –"cluster")



Sempre Ativo e sob Demanda

X

++Garantia de recurso

automatizado

Balanceamento dinâmicoBalanceamento dinâmicoOtimizaOtimizaçção contão contíínuanua

Aumentoda disponibilidade

AutomatizadoAutomatizadoNos aplicativosNos aplicativos

Capacidadesob demanda

Dimensionamento Dimensionamento sem interrupsem interrupççõesõesFlexFlexíível, reconfigurvel, reconfiguráávelvel

- Simplificar o provisionamento de recursos de TI para as aplicações.- Obter um elevado grau de utilização desses recursos.- Alinhar esses recursos com as prioridades e valores do negócio.

Virtual Machine (VMs)

Physical Hardware & Real Operating System (hypervisor)





– Capacidade sob demanda.

– Escalabilidade facilitada.

– Plug: Ativar um novo servidor físico e associá-lo a um cluster para balanceamento dos recursos.

– Play: Todas as máquinas virtuais (VMs) no cluster são automaticamente redistribuídas, levando-se em consideração os novos recursos disponíveis.

Ativando o Datacenter "Plug-and-Play"

Tecnologias necessárias em ambiente virtual:- Alocação dinâmica de recursos;- Balanceamento da capacidade (manual ou automático);- Provisionamento e alta disponibilidade;- Ativação/desativação de energia.

Ativando a Movimentação de VMs



– Minimiza o tempo de inatividadeplanejado devido ao armazenamento.

– Solução completa de gerenciamento de tempo de inatividade planejado em servidores e no armazenamento.

Ativando a Movimentação de Dados

VMs (máquinas virtuais)– Migração de discos de máquinas virtuais

independente de armazenamento.– Sem tempo de inatividade para as VMs.– Independente da LUN (Disk Partition).– Suporte a SANs Fibre Channel e iSCSI.

Hardware Físico eS.O. (hypervisor)

Rede de Armazenamento Externo

(SAN - Storage Area Network)





LUN 1

LUN 2

Migraçãode LUN 3 otimizada

– Eliminação de gargalos de entrada / saída (I/O) de LUNs que atendem cada máquina virtual.

– Movimentação de LUNs de cada máquina virtual para melhorar o desempenho de entrada / saída.

– On-Line (sem paralisação).

Gargalo eliminadoGargalo de I/O

VMs (máquinas virtuais)

Rede de Armazenamento Externo(SAN - Storage Area Network)

LUN (Logical Unit Number) :

partições lógicas dentro de um disco físico

Hardware Físico eS.O. (hypervisor)

Ativando a Movimentação de Dados



Compacto, memória de 32 MB.Somente arquitetura, independente de um sistema operacional de propósito geral.Integrado ao hardware, não requer instalação.Inicialização intuitiva, controlada por um assistente, reduzindo consideravelmente o tempo de implantação.Hardware gerenciado com base em padrões.

– Liga e inicializa o servidor para executarmáquinas virtuais em minutos.

– Gerenciamento simplificado.– Auxilia o provisionamento de recursos computacionais.

– Seguro e confiável (1998).


VMware ESX Server (VMotion, DRS, HA, VDI, SRM)VMotion (VMs & Storage), DRS (Distributed Resource Scheduler), HA (High Availability),VDI (Virtual Desktop Infrastructure, SRM (Site Recovery Manager)




CX4-120 CX4-240 CX4-480 CX4-960

EMC CLARiiON CX4 EMC CLARiiON CX4 -- Enterprise Storage PlatformsEnterprise Storage Platforms( 99.999% taxa de alta disponibilidade )

4-CPU Xeon1.2 GHz

6 GB cacheup to

256 servers120 disks120 TB SATA53 TB FC

4-CPU Xeon1.6 GHz

8 GB cacheup to


4-CPU Xeon2.2 GHz

16 GB cacheup to


16-CPU Xeon2.3 GHz

32 GB cacheup to 1024 servers960 disks960 TB SATA424 TB FC

Fabricados no

RAID Protection (EFD, FC, LP SATA) : 1, 10, 3, 5, 6

Cache Protection : Mirror & Destage (vault drives)

System Protection : Dual Cluster (Active / Active)Storage Controllers

+400.000 CXs instalados no mundo(desde 1999)

64-bit Operating System, Fibre Chanel (4 & 8 Gbps) & iSCSI (1 Gbps) connections

LP SATA : até 60 IOPS (8 KB block) por disco;4 Gbps até 3 MByte/sec (64 KB block) por disco;7200 RPM média de 12 ms de tempo de resposta por acesso;

1024 GB 5400 RPM & 7200 RPM drives.(automaticamente desligado e ligado).

FC : até 180 IOPS (8 KB block) por disco;4 Gbps até 8 MByte/sec (64 KB block) por disco;15000 RPM média 6 ms de tempo de resposta por acesso;

146 GB, 300 GB, 450 GB 15000 RPM drives.

EFD : até 2500 IOPS (8 KB block) por disco;4 Gbps até 100 MByte/sec (64 KB block) por disco;

máx. 1 ms de tempo de resposta por acesso;73 GB e 400 GB drives.

Disk Drives

Virtualização da Rede de Armazenamento de Dados


www.snia.orgEducation - Tutorial

IOPS (EMC Engineering) 180 - 160 180 - 160 120 - 60 60 => 8 KB Random Read MissMByte/sec (EMC Engineering) 8 - 6 8 - 6 6 - 3 3 => 1 MB Sequential Read





cost per I/Ox

cost per gigabyte









5x HBAs (Host Bus Adapter) SAS 3 Gbps 102x disk drives SAS 3 Gbps 15000 RPM

32 GB 667 MHz FB-DIMM (DDR RAM)82600 active users (Oracle 11g)

4-CPU Xeon 2.83 GHz Quad Core Intel

104,492 tpmC – US$ 62,567

1024.43 tpmC per disk drive (average)1.27 tpmC per active user (average)

1024.43 tpmC / 160 = 6.4 IOPS





Dimensionamento de Discos Sata II 4 Gbps para Atender 2500 IOPS de uma Aplicação OLTP com Tempo de Resposta de até 14 ms

US Price List : 110x (Sata II 1024 GB 7200 RPM 4 Gbps) US$ 450 = US$ 49500



Dimensionamento de Discos FC 4 Gbps para Atender 2500 IOPS de uma Aplicação OLTP com Tempo de Resposta de até 14 ms

US Price List : 25x (FC 450 GB 15000 RPM 4 Gbps) US$ 1445 = US$ 36125





US Price List : 55x (FC 450 GB 15000 RPM 4 Gbps) US$ 1445 = US$ 79475

Dimensionamento de Discos FC 4 Gbps para Atender 2500 IOPS de uma Aplicação OLTP com Tempo de Resposta de até 7 ms



US Price List : 3x (EFD 73 GB 4 Gbps) US$ 11250 = US$ 33750

Dimensionamento de Discos EFD 4 Gbps para Atender 2500 IOPS de umaAplicação OLTP com Tempo de Resposta de até 1 ms





EFDs estão disponíveis, desde janeiro/2008, nas capacidades de: 73 GB, 200 GB e 400 GB úteis

Dimensionamento de Discos EFD 4 Gbps para Atender 2500 IOPS de umaAplicação OLTP com Tempo de Resposta de até 1 ms



EMC CLARiiON CX4-240, with 112 drives FC 4 Gbps 15000 RPMRAID-5 (7+1) 450 GB (total = 50400 GB raw) - 2 spare disks.

Database Size = 400 GBThroughput = 15000 IOPS (OLTP2)

Response Time = 7.3 ms (OLTP2)

Cost = 114x US$ 1445 = US$ 164730 (US List Price)

EMC CLARiiON CX4-120, with 8 drives EFD 4 GbpsRAID-5 (7+1) 73 GB (total = 584 GB raw) - 1 spare disk.

Database Size = 400 GBThroughput = 15000 IOPS (OLTP2)

Response Time = 2.2 ms (OLTP2)

Cost = 9x US$ 11250 = US$ 101250 (US List Price)

Desempenho equivalente (15000 IOPS - OLTP2)73% melhor no tempo de resposta39% de redução de custo32% menos energia por GB98% menos energia por entrada/saída (I/O)

FC : Fibre Channel drive 15000 RPM 4 Gbps

(180 IOPS & 6 ms response time per drive)

EFD : Enterprise Flash Drive 4 Gbps

(2500 IOPS & 1 ms response time per drive)


FC vs. EFD TechnologyFC vs. EFD Technology




Gerencia os recursos computacionais do CLARiiON baseado em níveis de serviço.

– Monitora e sintoniza recursos a partir de objetivos de desempenho.

Otimiza o desempenho baseda em políticas de gerenciamento.

– Define objetivos para aplicações críticas. – Define limites para aplicações não críticas.– Escalona políticas em diferentes intervalos

definidos.Mede e controla o armazenamento baseado em diferentes métricas.

– Response Time (ex: Microsoft Exchange).– Bandwidth (ex: backup to disk).– Throughput (ex: OLTP applications).

Fornece dados de desempenho em tempo real ou histórico.Elimina e impede gargalos de desempenho.

Rede de Armazenamento de Dados comDefinição e Controle de Níveis de Serviço

QoS Manager TechnologyQoS Manager Technology

EMC CLARiiON CX4

este software EMC exige licenciamentoQoS : Quality of Service



Virtual Provisioning TechnologyVirtual Provisioning Technology

Simples para criar o pool de armazenamento.– Atribui um nome para o storage pool (ex: “Test and Dev Pool 2”).– Seleciona os recursos (ex: # de discos ou a capacidade em GB).– Escolhe o nível de proteção (ex: RAID-5 ou RAID-6).

Simples para atribuir para um servidor.– Seleciona o nome do storage pool. – Escolhe o servidor (host).– Especifica a capacidade virtual disponível.

Simples para gerenciar.– Expande storage pools de modo não disruptivo.– Monitora o uso versus a capacidade virtual alocada.– Trilha, alerta e gera relatórios.

LOGICAL APPLICATION USER VIEW

Common Storage Pool

User A10 GB

User B10 GB

User C10 GB

PhysicalAllocation

3 GB 3 GB4 GB

Rede de Armazenamento de Dados comDefinição e Controle de Níveis de Serviço

EMC CLARiiON CX4

este software EMC exige licenciamento





Camada de armazenamento das máquinas virtuais (VMs) dentro do EMC CLARiiON CX4

– Eficiente uso dos recursos de armazenamento (custo, proteção e desempenho).

Move dados das VMs entre as camadas críticas e não críticas (sem parar aplicação).Altera o desempenho e as características do sistema de arquivos sem paralisação de qualquer aplicativo.

– Ex: Move os dados das VMs de LUN RAID-5 para LUN RAID-1 (“a quente”).

APP

OS

APP

OS

APP

OS

Virtual MachinesAPP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

VMware ESX Server

Camada-1

Camada-2

Virtual LUN Technology

EFDEFDEFD FCFCFC

LP-SATA

LP-SATA

LP-SATA

LP-SATA

LP-SATA

LP-SATA

Rede de Armazenamento de Dados em Camadas

Camada-0

LP SATALP SATA : Low Price SATA II Drive (4 Gbps 5400 / 7200 RPM)média de 12 ms de tempo de resposta por acesso.

FCFC : Fibre Channel Drive (4 Gbps 15000 RPM)média 6 ms de tempo de resposta por acesso.

EFDEFD : EMC Enterprise Flash Drive (4 Gbps)máx. 1 ms de tempo de resposta por acesso.

EMC CLARiiON CX4

Virtual LUN TechnologyVirtual LUN Technology

este software EMC está embutido na licença Navisphere Manager LUN (Logical Unit Number) : partições lógicas dentro de um disco físico



Virtual Machines

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

VMware ESX Server

MetaLUN technology

Expansão de LUN em tempo real, suportando a criação de VMs em tempo real.A novo provisionamento de capacidade estará disponível imediatamente para o VMware ESX Server.Não é preciso efetuar o reboot

– Suporte para VMware raw device mapping (RDM) & virtual machine file system (VMFS). 4 Gb/s

Rede de Armazenamento de Dados comProvisionamento e Expansão de LUNs

EMC CLARiiON CX4

MetaLUN TechnologyMetaLUN Technology

este software EMC está embutido na licença Navisphere Manager

LUN (Logical Unit Number) : partições lógicas dentro de um disco físico





Recovery Point Objectives - RPO

Principais Direcionadores para Decisão

Consideraçõesde Negócio

ConsideraçõesTécnicas

Custo

Recovery Time Objectives - RTO

Desempenho

Largura de Banda

Capacidade

Recuperação e consistência a

Funcionalidade Disponibilidade

Proteção Contínua de Dados(Local e Remoto)

Continuous Data Protection TechnologyContinuous Data Protection Technology

Ambiente de TI Virtualizado


Continuous Data Protection Technology Continuous Data Protection Technology -- CDPCDP

EMC RecoverPoint Splitter Drivers– Intercepta / copia as escritas efetuadas pelos servidores.– Envia para o EMC RecoverPoint Appliance.– Reside nos servidores ou na SAN Fabric (switch | storage).

EMC RecoverPoint Appliance– Gerencia e prioriza os recursos da rede.– Espelha as escritas no EMC RecoverPoint Local Journal.– Distribui as alterações para os disk systems (target).

EMC RecoverPoint Journal– Trilha / anota as alterações de dados em cada LUN que

faz parte da proteção CDP.– Pode usar bookmarks para recuperar aplicações (VSS, SCN).

– Repositório para atualizações instantâneas de dados.– Provisionada a partir de LUNs já existentes na SAN.– Dinamicamente comprimido (baixo consumo de espaço).

Suporta ambientes de armazenamento heterogêneo

– EMC RecoverPoint acesssa armazenamento EMC e não EMC*.– EMC RecoverPoint / SE suporta somente EMC CLARIONs.

Applicationservers

Databaseservers

Messagingservers

File andPrint servers

Disksystems

Local CDP Journal

EMCEMCnonEMC

* Suporte para non EMC Storage necessita de SAN Intelligent Fabric

SAN

EMC RecoverPointAppliance

EMC CLARiiONSplitter Driver

SAN FabricSplitter Driver

SAN (Storage Area Network) 4 Gbps & 8 Gbps

CDPCDPInfinitas cópias point-in-time de qualquer escrita efetuada pelos servidores, em qualquer dispositivode armazenamento (DAS, SAN FC, SAN IP, NAS), mantendo a integridade e consistência dos dados (NTFS, UFS, Oracle, SQL, Exchange, .. )

Ambiente de TI VirtualizadoProteção Contínua de Dados

(Local e Remoto)





Continuous Remote Replication Technology Continuous Remote Replication Technology -- CRRCRR

EMC RecoverPoint Splitter Drivers

EMC RecoverPoint Appliance– Reduz a largura de banda (de 5:1 a 10:1) através da compressão dos dados transmitidos na rede WAN.

– Distribui as alterações nos dados para o site remoto.

– Suporta acesso instantâneo ao dado protegido.

– Replica (local e remoto) sobre IP (1 Gbps) ou sobre Fibre Channel (4 & 8 Gbps).

– Largura de banda mínima: 1.5 Mbps





Concurrent Local & Remote Data Protection Technology Concurrent Local & Remote Data Protection Technology -- CLRCLR

EMC RecoverPoint Appliance (escalabilidade de até 8x appliances)

– Reduz a largura de banda (de 5:1 a 10:1) através da compressão dos dados transmitidos na rede WAN.

– Distribui as alterações nos dados para o site remoto.

– Suporta acesso instantâneo ao dado protegido.

– Replica bi-direcional (local e remoto) sobre IP (1 Gbps) ou sobre Fibre Channel (4 & 8 Gbps).

– Largura de banda mínima: 1.5 Mbps/

– Arquitetura out-of-band usando a inteligência nos Hosts e na SAN Fabbric.






PRODUCTION DISASTER RECOVERY

VirtualCenter SRM SRA

VMware Infrastructure

VirtualCenterSRMSRA

EMC RecoverPointAdapter for VMware Site

Recovery Manager

VMware Site Recovery Manager

EMC RecoverPoint

Virtual MachinesAPP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

Virtual Machines

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

APP

OS

VMware InfrastructureServersServers

Heterogeneous StorageHeterogeneous Storage

VMware Site Recovery Manager

EMC CLARiiON CX4ou armazenamento não EMC

EMC CLARiiON CX4ou armazenamento não EMC

Protege e Recupera cada VM ou todas as VMsem um ou mais Servidores VMware ESX



Remote Site 1Instância Duplicada

Dado já "backed up", sóum ponteiro de 20-Byte éenviado e armazenado

DataCenter

A B C D

Source De-duplicationEMC Avamar Server

(stored backup data)

Somente segmentos únicos de dados serão"backed up"

E

E

AB

CD

1a. InstânciaRemote Site 2Instância Modificada

Novo segmento de dados é identificado e "backed up"

Backup para Disco e Fita comDesduplicação de Dados na Fonte


Data DeData De--duplication Technologyduplication Technology




7831 GB

9583 GB

3265 GB

5097 GB

3573 GB

Qtde. Dados PrimáriosBacked Up

104.2 GB

80.0 GB

24.2 GB

11.7 GB

6.1 GB

Qtde. Dados Movidos por Dia

75:1

120:1

135:1

436:1

586:1

Taxa de Desduplicação por Dia

Mix of Linux file systems and databases

Mix of 20% databases, 80% file systems (Windows and UNIX)

Engineering files on NAS (NDMP backups)

Mix of Windows, Linux, and UNIX file systems

Windows file systems

Tipo do Dado

Source: EMC Customer (Finance)

*EMCAvamar Server

Equivale a uma capacidade de 37 TB de um backup tradicional. Assumindo : 100% de arquivos MS Office, backups-full incrementais diários, sem compressião, taxa de alteração de dados de 10% por dia, retenção de 90 dias.

EMC Avamar Server(*single node - 37 TB)





VMware Data Center com guest-level-backup

Escritório Remoto sem VMwareEscritório Remoto com VMware

VMware DATA CENTER com vcb-backup

Agente Avamar move dados para o Avamar Virtual Edition. Esses dados são

replicados para o VMware Data Center

Agente Avamar move dados para um Avamar Server (physical single-node). Esses dados são

replicados para o Avamar Data CenterOU

um Agente Avamar pode fazer o backup diretamente para o VMware Data Center via WAN.

WAN

LAN /SAN SAN

VCB Proxy Server







Benefícios ….até 95% menos movimento de dadosaté 90% mais rapidez no backupaté 95% menos storage & network I/Oaté 85% de redução no uso de CPUaté 50% de redução no uso de RAM Elimina a necessidade de backup pelo hostDisponível para as Virtual Machines e Avamar Physical Appliance

Método Tradicional de BackupFull and incremental backup: move 150–200% of data / week

HardwareVMware

DiskNICMemoryCPU

APP

OS

APP

OS

APP

OS

EMC Avamar com VMwareEfficient VMware backup: move 2–7% of data / week

HardwareVMware

DiskNICMemoryCPU

APP

OS

APP

OS

APP

OS





Problema:– Empresas continuam comprando servidores,

fitas, bibliotecas, switches, discos e softwares de backup porém sem o efeito desejado.

Solução:– Reavaliação do ambiente de proteção de

dados através do EMC Assessment for Backup, Recovery & Archiving.

Objetivos:– Coletar, identificar e recomendar investimentos

realmente necessários,com replanejamento, visando a diminuição de custos, dar sobrevida à infraestrutura atual e ganhos operacionais.

Ganhos:– Redução de custos de aquisição.– Redução do volume e janela de backup.– Redução de uso de energia, floor space, etc.

Armazenamento

TRADICIONAL EMC

OPEX

TRADICIONAL EMC

Energia

TRADICIONAL EMC

Você não precisa deixar de investir, você precisa passar a investir corretamente !





João BonnassisJoão Bonnassisee--mail: mail: [email protected][email protected]. :(21)9311cel. :(21)9311--05680568

Documents

Melhores Praticas Para o Processamento, Protecao e Armazenamento de Dados - Joao Bonassi