Сюртуков Игорь

NetApp

Современные СХД

NetApp – тенденции и

тренды

NetApp: 26 лет инноваций

FabricPool Cloud Tiering,

Expanded Inline Dedupe,

EF570 AFA SPC1 & 2

World Record

$/Performance

First NAS

Appliance

Snapshot

Network Based

Backup Protocol,

Multiprotocol NAS

Appliance

NFSv2

Database

Solutions

HA NAS

Unified NAS/SAN,

SnapVault,

SnapLock

NearStore,

Native Infiniband,

Direct Access File

System (DAFS)

Data ONTAP 7G,

FlexVol,

FlexClone,

Thin Provisioning

MetroCluster,

SnapManager

for SQLNFSv4

Scale Out Data ONTAP GX,

SnapManager for Oracle,

FlexShare and MultiStore,

Kilo Client Lab in RTP

(Genesis of FlexPod)

Write

Anywhere

File Layout

SnapManager

Exchange

Data ONTAP8,

DataMotionlexPod,

Bycast*/StorageGRISSD

Aggregates

Flash Cache I, FCoE,

Protection Manager,File Level FlexClone

FAS2500,

FAS8000,

All Flash FAS (AFF),

StorageGRID WebScale,

SteelStore*/AltaVault

EF540 Flash

Array UTA

Data ONTAP9,

AFF700/300,

FAS9000/8200/2600,

NVMe,

Inline Data Compaction,

15TB SSD, RAID-TEC

NetApp FlexGroup,

Volume Encryption

19921993 1997 2000

1996 1999 20022003

20042011

20122013 2015 2017

2014 2016

SnpRestore

SnapMirrorDeduplication

for Tier 1 and 2,

Rapid RAID

Recovery

PAM,

SnapManager for

Vmware + Hyper-V +

SharePoint + SAP,

OnCommand Insight

Clustered Data

ONTAP, Flash Accel,

ONTAP Edge,

Dynamic Disk Pools

Flash Cache II,

FAS Compression,

Flash Pool,

Engenio*/E-Series,

Akorri*/OCI and OPM

SolidFire Acquisition

Data Fabric

AFF Fast Path Enhance

In-line Zero Block Dedupe

Adaptive Compression

Deduplication

History of NetApp

2005 2007 20092006 2008 2010

2018

A220/FAS2700,

AFF800 Industry 1st End-to-End

NVMe/FC,

Industry 1st 100GbE connectivity,

NetApp ONTAP AI by NVIDIA,

Azure NetApp Files Cloud

Volumes Service for AWS &

Google Cloud Insights,

MCC 100GbE IP,

100GbE NVMe/RoCE support

for EF570 NetApp MAX Data

iSCSI,

V-Series,

RAID-DP

3

Magic Quadrant for General-Purpose Disk Arrays // 08.11.2018

Magic Quadrant for General-Purpose Disk Arrays

Published 8 November 2018 - ID G00346291

Market Definition/Description

General-purpose disk arrays (GPDAs) satisfy the storage

needs of applications and middleware, such as databases,

backup/restore systems and archiving solutions running on

physical or virtual servers. Block-and-file protocols — e.g.,

Fibre Channel (FC), Internet Small Computer System

Interface (iSCSI), Network File System (NFS), Serial

Attached SCSI (SAS) and SMB — dominate this market.

NVMe-oF, an emerging protocol designed to enhance the

performance of solid-state arrays (SSAs), will not be

supported by hybrid disk arrays or all hard-disk drive (HDD)

arrays, perhaps other than those with flash-centric

architectures delivering submillisecond response times.

https://www.gartner.com/doc/reprints?id=1-3L2DG7Q&ct=161101

https://www.gartner.com/doc/reprints?id=1-3L2DG7Q&ct=161101

4

Линейки NetApp

FAS/AFF

Производительность,

функциональность,

масштабируемость

Software-defined storage (SDS)

на базе NetApp ONTAP software

ONTAP Select

Масштабируемая Flash

архитектура нового поколения

SolidFire

Блочный доступ, компактность,

производительность, низкая

стоимость

E/EF

NetApp FAS/AFF и Cloud

Наш паровоз

6

Унифицированный (unified) доступ

FC

FCoE

iSCSI

NVMe/FC

SAN

блочный доступ

CIFS (SMB)

NFS

NAS

файловый доступ

NetApp FAS/AFF – гибридные и all-flash СХД

7

FAS27002 TB NVMe SSDread cache onboard

FAS8200

2-4 TB NVMe SSDread cache onboard

FAS9000

2-16 TB NVMe SSDread cache onboard

A220

A300

A700A700s

A80044 45 46 4742 4340 4136 37 38 3934 3532 3328 29 30 3126 2724 25

20 21 22 2318 1916 1712 13 14 1510 118 94 5 6 72 30 1

48 x NVMe drives

+ SSD-полки

8

Легкость масштабирования – до 24 узлов

Common Set of Enterprise Grade Features

Inline Dedupe Hybrid Cluster Data FabricApplication IntegrationSnapVault SnapMirror NDOCompression &

compaction

FC FCoE CIFSNFSiSCSI 11 400 000 IOPS

>300 ГБ/сScale Out – добавление контроллеров

All Flash FAS (AFF) AFF FAS

Scale Up

All Flash FAS (AFF)FAS

Commodity ServersNext-Generation SSD

Масштабирование

NVMe

9

Модель NetApp Data Fabric

Colocation

Public Cloud

Cloud Volumes +

ONTAP

NetApp Private Storage

Local Cloud

Dedicated Link

NetApp Storage

SnapMirror(репликация)

E/EF-seriesStorageGRID

AltaVaultSolidFire

Единая ОС ONTAP

1. CХД серии FAS/AFF

2. Software-defined storage

3. Cloud storage

2

3

ONTAPSelect

FAS/AFF

Cloud VolumesService

1

Azure NetApp Files AWS EFS

Файловые протоколы NFS v3, 4/4.1 + SMB NFS v4 (80% бизнеса использует NFS v3!)

Уровни производительности Да (3 уровня) Нет

Автоматизация снапшотов Да Нет, требуется самописные скрипты

Интеграция снапшотов Да Нет, требуется покупка app-based ПО

Интеграция AD/Kerberos Да Нет

Репликация Да Нет

10

Сравнение файлового хранения Azure и AWS

Azure NetApp Files = NetApp Cloud Volumes Service:

Это NetApp AFF в облаке Azure – широкий выбор протоколов, снапшоты и клоны,

репликация в локальный ЦОД (и не только), высокая производительность и низкое время

развертывания.

Текущее положение сервисов хранения в облаке

11

Файловое хранение

Преимущество NetApp Cloud Volumes:

▪ Shared storage in the cloud: пониженная

потребность в ресурсах

▪ Features: снапшоты, клоны, доступ по

нескольким протоколам, репликация

▪ Easy: легкость внедрения и управления

Типичное блочное хранение в облаке:

▪ Azure Managed Disks

▪ AWS Elastic Block Storage (EBS)

▪ GCP Persistent Disk

Преимущество NetApp Cloud Volumes:

▪ Better performance: 4000 IOPS/TB с блоком

16K и задержкой 2ms

▪ Features: снапшоты, клоны, доступ по

нескольким протоколам, репликация

▪ Easy: легкость внедрения и управления

Типичное файловое хранение в облаке:

▪ Azure Files (SMB)

▪ AWS Enterprise File Storage (NFS v4 only)

▪ GCP Single Node File Server (NFS, SMB)

Блочное хранение

Tiering по протоколу S3

13

FabricPool – tiering по протоколу S3

ПослеДоFabricPool – перемещение(tiering) «холодных» блоков на внешнее хранилище по объектному протоколу S3

Активные данные

Snapshot

Неактивные данные

Перемещаются «холодные» блоки – только те, которые

не были востребованы от 2 до 63 дней (настраиваемо)

14

FabricPool – подробности

Все блоки делятся на - «горячие» и - «холодные» – активные и неактивные. Блок

становится холодным, когда к нему не было обращения в период от 2 до 63 дней

(настраиваемо). Политики перемещения:

▪ Snapshot-Only – перемещаются только блоки снапшотов, политика по-умолчанию

▪ Auto – перемещающая любые блоки

▪ Backup – перемещение всех блоков (вне зависимости от температуры)

• Только для томов, реплицированных на удаленную СХД (SnapMirror/SnapVault)

▪ None – блоки не перемещаются

Все технологии эффективности сохраняются при перемещении:

▪ Дедупликация

▪ Компрессия (сжатие)

▪ Уплотнение

Это НЕ резервное копирование и НЕ средство повышения доступности!

15

Cloud

Volumes

ONTAPS3

BLOB

Instance

VM

FabricPool – откуда и куда?

NetApp

FAS/AFF

flash volumes

NetApp

ONTAP Select

(SDS)

Public Cloud

storage

NetApp

StorageGRID

S3 replication

$

$

Performance Tier Capacity Tier

16

FabricPool - инструменты

Object Store Profiler – тестирование

пропускной способности и задержек

объектного хранилища (capacity tier)

до того, как будет запущен тиринг

Inactive Data Reporting – отображение объема

холодных данных, доступных для перемещения

(просмотр через CLI или GUI в NetApp OnCommand

System Manager)

Op Size Total Failed Latency(ms) Throughput

min max avg

-------------------------------------------------------------------------------

PUT 4MB 50000 0 273 9500 719 277.3MB

GET 4KB 5000000 0 4 9591 38 48.46MB

GET 8KB 5000000 0 5 9121 37 123.3MB

GET 32KB 5000000 0 7 7889 60 475.3MB

GET 256KB 2125276 0 21 7838 450 530.7MB

flash – не только скорость

CY17Q1 EMEA All Flash Array (External) Market ShareCY17Q1 EMEA All Flash Array Market (External) Revenue Market Share – Top 5

UK & Ireland

Southern EMEA

Germany

Northern EMEA

193%

77% 79%

39%

62%

0%

50%

100%

150%

200%

250%

NetApp Dell Inc HewlettPackard

Enterprise

IBM Pure Storage

Top 5 EMEA AFA Vendor YoY Revenue GrowthEMEA - Top 5 Vendors AFA Dashboard

Ranking Vendor Revenue ($M) 2017Q1 Share YoY Growth

1 NetApp $121.32 32% 193%

2 Dell Inc $73.71 19% 77%

3Hewlett Packard

Enterprise$70.69 19% 79%

4 IBM $37.75 10% 39%

5 Pure Storage $20.33 5% 62%

TOTAL AFA MARKET $381.38 107%

# 1NetApp is No. 1 in current quarter with 32% quarterly revenue share in EMEA AFA market, ahead of Dell Inc,

Hewlett Packard Enterprise & IBM.193% In 2017Q1 NetApp grew faster than the market pace at 193% YoY compared to 107% for over all EMEA market.

18

19

Market Share of all-flash systems (external)

AFF A700s – в TOP-3 теста SPC-1

▪ 12-node AFF A700s:

▪ 2 400 000 IOPS at 0,69 ms latency

▪ All-flash in TOP-10 performance list:

▪ A700s is #1 in response time

▪ A700s has lowest $/SPC-1 IOPS

▪ Predictable and consistent latency

▪ Less than 0.5 ms latency @ 80% load

▪ Highest storage capacity utilization

▪ 56% versus ~30% from most others

20

SPC-1 benchmark results: https://spcresults.org/sites/default/files/results/A02002/A02002_ES.pdf (полный отчет: здесь)

6 * AFF A700s (HA) + 144 * 960GB SSD

42

41

40

39

38

37

36

35

34

33

32

31

30

29

28

27

26

25

24

23

22

21

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

42

41

40

39

38

37

36

35

34

33

32

31

30

29

28

27

26

25

24

23

22

21

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

AFFA700s

AFFA700s

AFFA700s

AFFA700s

AFFA700s

AFFA700s

https://spcresults.org/sites/default/files/results/A02002/A02002_ES.pdfhttps://spcresults.org/sites/default/files/results/A02002/A02002_FDR.pdf

21

Что это?

Intel Optane (NVMe)

Прогресс носителей данных

22

SCM

SSD

HDD

Hybrid Flash

Hybrid SCM

Стоимость

Скорость

DRAM

Persistent Memory (PMEM)

• Энергонезависимость

• Latency и bandwidth стремятся к DRAM

• Байт-адресация, как у RAM

Подход для NVMe-oF и Storage-Class Memory (SCM)

23

Persistent Memory (PMEM)

Storage Class Memory (SCM)

StorageCPU

ServerCPU

NVMe over Fabrics

RDMA NICRDMA NIC

AFF A800 – первая в индустрии end-to-end NVMe СХД

Ускорьте самые требовательные приложения:

▪ Ультранизкая задержка: ~0,2 ms

▪ Порядка 1 300 000 IOPS с задержкой 0,5 ms (HA-пара)

▪ Пропускная способность:

▪ 34 GB/s для HA-пары в SAN по протоколу NVMe/FC

▪ 25 GB/s для HA-пары в NAS по протоколу NFS

Масштабирование:

▪ До 12M IOPS в 24-узловом кластере

▪ >300 GB/s, что в 4 раза быстрее ближайших конкурентов

Широкий спектр рабочих нагрузок:

▪ Пропускная способность и масштабирование для deep learning

▪ IOPS и низкая задержка для machine learning

▪ Ядро высоконагруженных ЦОД и облачных сервисов

24

4U / 48 модулей NVMe

• 100 GbE (downto 40GbE)

• 32 Gb NVMe-over-FC

FCP vs. NVMe/FC Performance

25

… ONTAP 9.4 Oracle 12c SLOB FCP vs. NVMe/FC (75% read / 25% update)

FCP NVMe/FC % Diff

75% read / 25% update

424,087 718,020 40.9%

100% read

453,975 767,724 40.9%

100% update

342,651 388,905 11.9%

FCP vs. NVMe/FC IOPs

424,087 @ .90 ms

718,020 @ .56 ms

0,00

0,20

0,40

0,60

0,80

1,00

1,20

0 100 200 300 400 500 600 700 800

FCP - 75% read/25% update

FC-NVMe - 75% read/25%update

Se

rve

r R

ea

d L

ate

nc

y (

ms

)

Total Physical IO Requests per Second (K ops)

26

The END

https://t.me/storagetalksНеофициальный канал NetApp

https://t.me/storagetalks