SQL Server over SMB3

SQL Server over SMB

Fabio Hara e Fabricio CataeTechnical Evangelists@fcatae | @fabiohara

Como tirar vantagem das melhorias no WS 2012/R2

SMBServer Message Block (SMB) é o protocolo de compartilhamento de arquivos em uma rede local. Massivamente utilizado em ambientes Windows, mas também possui implementações em Unix (Samba).

SQL Server

SMB

Virtualização

Instalação do SQL Server

Instalação dos binários

Aplicação de Service Packs

Configuração da instância

Cópia de banco de dados

Upgrade de Hardware

Consolidação de Servidores

Visão de Consolidação

Computação

WindowsHyper-V

System Center

Armazenamento

SAN StorageFile Servers (NAS)

Você armazenaria os dados em uma pasta compartilhada na rede?

Banco de Dados em File Share

⃣ SIM

⃣ NÃO

Arquitetura de Storage

Servidor SQL Storage

Fiber Channel(FC)

Ethernet

SAN Storage

Windows Server

SQL + SMB

Vantagens

Localização dos dadosProvisionamento

Economia de recurso

Mudanças

Nuvem PrivadaEvolução do EthernetMaturidade do SMB

Visão de Storage para IaaS• Redução de custos e esforços para oferecer

serviços de Storage para IaaS• Computação e Storage desacoplados

– Gerenciamento independente e escalável em cada camada

Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency

Hyper-V ClustersSMB

Shared JBODStorage

Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency

SQL ServersSMB

Shared JBODStorage

File Server Cluster

SMB Transparent Failover• Failover transparente para aplicações• Zero downtime – pequeno delay de IO delay

durante failover

• Suporta Failovers planejados (ou não)• Manutencção de Hardware/Software• Falhas de Hardware/Software• Load Rebalancing

• Requer:• File Servers configurados como Windows

Failover Cluster• Windows Server 2012/R2 em ambos os

servidores rodando a aplicação (ou VM)• Compartilhamento habilitado para “continuous

availability” (configuration padrão para clustered file shares)

• Funciona com cluster disks e CSV

Hyper-V

Failover share - conexões e controles perdidos, pausa temporária de IO

2

2

Operação normal1

Conexões e controles auto-recuperadosIO da aplicação continua sem erros3

1 3

File Server Node A

File Server Node B

\\fs\share \\fs\share

SMB Scale-Out• Idealizado para storage de servidores

de aplicação (ex: Hyper-V e SQL)• Aumenta banda disponível simplesmente

adicionando Nós

• Principais capacidades:• File shares Ativo/Ativo• Tolerancia a falhas com zero downtime• Recuperação rápida contra falhas• CHKDSK com zero downtime• Suporte para snapshots consistentes• Suporte para redes com RDMA• Otimização para servidores de aplicação• Gerenciamento simples

Single File System Namespace

Cluster Shared Volumes

Single Logical File Server (\\FS\Share)

Hyper-V Cluster(Até 64 nodes)

File Server Cluster

Datacenter Network(Ethernet, InfiniBand or

combination)

SMB

Scale-out File Server

Hyper-V host

Automatic Scale-Out Rebalancing • Clientes de Scale-Out File Server são

agora redirecionados para o “melhor” nó para acesso a um share específico

• Evita redirecionamento desnecessário de tráfego

• Conexões SMB gerenciados por Share, não por servidor

• Cliente é redirecionado quando o ownership de um volume CSV muda

• Clustering agora faz balanceamento automático do CSV

• Comportamento automático, sem necessidade de administração

File Server 2File Server 1Storage Spaces

\\SOFS\Share2

Share1 Share2 Share1 Share2

Novo noWindows Server

2012 R2

\\SOFS\Share1

Multiple RDMA NICsMultiple 1GbE NICsSingle 10GbE RSS-capable NIC

SMB Server

SMB Client

SMB MultichannelFull Throughput• Agregação de banda com várias

placas de rede• Multiplos Cores de CPUs utilizados

quando a placa de rede suporta Receive Side Scaling (RSS)

Automatic Failover• SMB Multichannel implementa

detecção de falhas fim-a-fim• Pode utilizar NIC teaming (LBFO) ,

mas não é obrigatório

Configuração Automática• SMB detecta e utiliza múltiplos

caminhos

SMB Server

SMB Client

SMB Server

SMB Client

Exemplo de Configuração

Multiple 10GbE in LBFO team

SMB Server

SMB ClientLBFO

LBFO

Switch10GbE

NIC10GbE

NIC10GbE

Switch10GbE

NIC10GbE

NIC10GbE

NIC10GbE

NIC10GbE

Switch1GbE

NIC1GbE

NIC1GbE

Switch1GbE

NIC1GbE

NIC1GbE

Linhas verticais são canais lógicos e não cabeamentos

Switch10GbE/IB

NIC10GbE/

IB

NIC10GbE/

IB

Switch10GbE/IB

NIC10GbE/

IB

NIC10GbE/

IB

Switch10GbE

SMB Client SMB Server

SMB ServerSMB Client

User

Kernel

Application

DiskR-NIC

Network w/RDMA support

NTFSSCSI

Network w/RDMA support

R-NIC

SMB Direct (SMB over RDMA)Vantagens• Escalável, rápido e acesso eficiente à storage• Alto throughput com baixa latência• Utilização minima de CPU para processamento de I/O• Load balancing, automatic failover e agregação de

banda de rede via SMB Multichannel

Cenários• Alta performance para servidores de aplicação (ex:

Hyper-V, SQL Server, IIS e HPC)

Hardware necessário• Placa suportando RDMA (R-NIC)• iWARP, RoCE e InfiniBand• Placas RDMA não devem fazer teaming (use SMB

Multichannel)

SMB Direct v2 Performance

Scale-out File Server

SMB Direct v2

Hyper-V

VHD

Eficiência

Eficiência melhorada e densidade com I/O´s pequenos (ex: OLTP database em uma VM) Otimiza redes 40Gbps Ethernet e 56Gbps InfiniBand

Performance

50% de melhoramento para blocos pequenos de IO´s com SMB over RDMAIOPS de 8KB melhorados ~300K IOPS p/ ~450K IOPS por interface


2012 R2

SMB Direct v2 Performance – Resultados do TechEd

File Server(SMB 3.0)

File Client(SMB 3.0) SQLIO

RDMA NIC

RDMA NIC

RDMA NIC

RDMA NIC

RDMA NIC

RDMA NIC

SAS

SASHBA

JBODSSDSSDSSDSSDSSDSSDSSDSSD

SAS

SASHBA


SAS

SASHBA


SAS

SASHBA


SAS

SASHBA


Storage Spaces

SAS

SASHBA


8KB random readsfrom a mirrored space

(disk)~600,000 IOPS

8KB random readsfrom cache (RAM)~1,000,000 IOPS

32KB random readsfrom a mirrored space

(disk)~500,000 IOPS

~16.5 GBytes/sec

Criptografia SMB• Criptografia fim-a-fim para dados no SMB

o Proteção de dados• Novas implementações

o Sem necessidade de IPsec, hardware especializado ou aceleradores WAN

• Configurado por share ou para todo o servidor

• Pode ser habilitado para vários cenários onde dados são trafegados em ambientes não-seguroso Aplicações usando redes não-seguraso Escritórios remotos usando redes WAN

ServerClient

SMB Encryption

Scale-Out File Server

File Server 2

Múltiplas Instâncias SMB• Instância adicional para cada nó

em um ambiente de Scale-Out File Server

• Instância padrão controla tráfego de entrada de clients SMB acessando compartilhamentos regulares

• Outra instância controla somente tráfego inter-node de CSV (acesso a metadados tráfego redirecionado)

• Melhora escalabilidade e confiabilidade de tráfego inter-node de CSV

File Server 1

Hyper-V Host 1

CSV1(Metadata

Owner)

Shared SAS Storage

SMB

Serv

erDe

faul

t In

stan

ceSM

B Se

rver

CSV

Inst

ance

SMB

Clie

nt

SMB Client

SMB

Serv

erDe

faul

t In

stan

ce

SMB

Serv

erCS

V In

stan

ce

SMB

Clie

nt

Hyper-V Host 2

SMB Client

CSV2(Not

Metadata Owner)

CSV1(Not

Metadata Owner)

CSV2(Metadata

Owner)


2012 R2

Exemplo – Automatic Scale-Out Balancing

Configurações de RedesTodos c/ 1GbE Misto 1GbE/High

SpeedTodos c/ High Speed

(10GbE/40GbE/56GbIB)

Hyper-V 1

File Server 1

Hyper-V 2

File Server 2

1GbE 1GbE

1GbE 1GbE

Hyper-V 1

File Server 1

Hyper-V 2

File Server 2

High Speed High Speed

1GbE 1GbE

Hyper-V 1

File Server 1

Hyper-V 2

File Server 2



Clients Clients Clients

File Server 1

File Server 2


Clients

B CA D

Hyper-V 1 Hyper-V 2

Hyper-V

ClientClient

Hyper-VHyper-VHyper-V

Host

FileServer

2

Típica Configuração para Hyper-V over SMB

FileServer

1

SAS HBASAS HBA

R-NIC

R-NIC

R-NIC

R-NIC

Client

Storage

SpacesSMB 3.0Server

SMB 3.0Client

Switch5

Switch6NIC

NIC

NIC TeamingvSwitch

Switch4

Switch1NIC

RouterSwitch

2ClientClient

Client

NIC

VMVMVMVirtualMachine

vNIC vDiskFile

Share SpaceFileShare Space

……

…NIC

NICSwitch

3

FileServerDHCPDC/DNS

Management

…

NIC NIC

File ServerCluster JBODsClients Hyper-V

Cluster

SAS JBOD

SASModule

SASModule

Disk

Disk

Disk

Disk

SAS JBOD

SASModule

SASModule

Disk

Disk

Disk

Disk

SAS JBOD

SASModule

SASModule

Disk

Disk

Disk

Disk

R-NICR-NIC

NICNIC

SAS HBASAS HBA

SAS JBODSAS JBOD

Considerações de Performance

Hyper-V

ClientClient

Hyper-VHyper-VHyper-V

Host

FileServer

FileServer

SAS HBASAS HBA

R-NIC

R-NICR-NIC

R-NIC

Client Storage

SpacesSMB 3.0ServerSMB 3.0

ClientSwitch

5

Switch6

NIC

NIC

NIC TeamingvSwitch

Switch4

Switch1NIC

RouterSwitch

2ClientClient

Client

NIC

VMVMVMVirtualMachine

vNIC vDisk

FileShare SpaceFileShare Space

……

…NIC

NIC

Switch3

FileServerDHCPDC/DNS

Management

…NIC NIC

VMs per hostVirtual processes per

VMRAM per VM

R-NICs per Hyper-V host

Speed of R-NICs

SAS ports per module

SAS Speed

SAS HBAs per File Server

SAS Speed

R-NICs per file server,Speed of R-NICs

NICs per Hyper-V host

Speed of NICs

Disks per JBODDisk type and speed

SAS Speed

Number of SpacesColumns per spaceCSV cache config

Tiering config

Hyper-V hostsCores per Hyper-V

hostRAM per Hyper-V host

Number of clientsSpeed of client NICs

SAS JBOD

SASModule

SASModule

Disk

Disk

Disk

Disk

Blog do Fabio Harahttp://www.fabiohara.com.br

Blog do Fabricio Cataehttp://blogs.msdn.com/fcatae

Blog do Jose Barretohttp://blogs.technet.com/josebda

Maiores Informações

© 2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

Technology

SQL Server over SMB3