Партнерская конференция 2018 - huawei · 2020. 3. 12. · Партнерская конференция 2019 “Все свое” Multi-Protocol Network Chip:

Партнерская конференция 2019

Эволюция Dorado


Нахимовский Константин


2010 Niche player

2014 Challenger

2015 Top Challenger

2016-2019 Leader

Gartner Storage Magic Quadrant



Эволюция Huawei All-flash

Оценка «Рекомендовано» в рейтинге систем хранения All-Flash DCIG в 2018-2019 гг.

2005

Huawei начинает исследование

технологийфлеш-памяти

2008

Выпущен первый дискSSD SATADimond 1

2011

1-ое поколение OceanStor Dorado с поддержкой SSD

SAS 6 Гбит/с

2-ое поколениеOceanStor Dorado

100k iops

2012

май 2014

3-е поколение OceanStor DoradoНачало эпохи полностью

конвергентных архитектур данных

май 2015

Высокотехнологичная конвергентная

система храненияOceanStor 18000 – новый эталон отрасли.

сентябрь 2016

Dorado v3Flashlink

Global Wear LeveringGlobal Garbage collection

март 2017

5-ое поколениеOceanStor Dorado

Первыми в мире запустили технологию NVMe

июль 2019

KungPeng CPURMDA

PCIE 4.0PALM NVMe

Более 14 лет исследований и разработок в области систем хранения

Присутствие более чем в150 странах по всему миру

По данным Gartner за 3 квартал 2019 года Huawei занимает 3-е место на рынке систем хранения в России

12 центров исследований и разработок по всему миру. Более 3000 инженеров по всему миру заняты в разработке систем хранения.

Huawei запатентовал более 2000 разработок в области систем хранения — 1 место в мире

Huawei - единственный поставщик систем хранения, который использует архитектуру и элементную базу собственной разработки.

2-е место в мире и 1-е место в России по объему поставок систем All-Flash



“Все свое”

Multi-Protocol Network Chip: Hi1822

• FC и Ethernet

BMC Chip: Hi1710

• Troubleshooting accuracy 93%

SSD Controller Chip: Hi1812e• Half the latency of previous model

AI Chip: Ascend 310

• AI SoC for small scale training

Array Controller Chip: Kunpeng 920

• SPECint 930+, #1 performance ARM

processor

Processing power requirement

• > 1 TeraFLOPS for real-time analytics

Ascend 310 capability

• FP16：8 TeraFLOPS

• INT8：16 TeraOPS

• Max power：8W

Real-time analytics

• Data Correlations；Data Similarity；

Adaptive Optimization；Health Analytics；

Data Temperature；Failure Prediction

Use case

• Intelligent Cache

• Smart QoS

• Intelligent Data Dedup



Entry-Level Mid-Range Enterprise/High-End

модель 3000 5000 6000 8000 18000

Юниты/Число контроллеров на шасси

2U/2C 2U/2C 2U/2C 4U/4C 4U/4C

Масштабируемость 2-16 2-16 2-16 2-16 2-32

Вычислительные ядра 24 64 96 128 192

Масштабируемость по числу накопителей

1200 1600 2400 3200 6400

Объем кэш-памяти на 2 контроллера

192G 256G/512G 512G/1024G 512G/1024G/2048G 512G/1024G/2048G

Фронт-энд коммуникация 8/16/32G FC, 1/10/25/40/100G Ethernet

Бэк-энд коммуникация SAS 3.0 SAS 3.0/100G Ethernet

Портфолио Dorado v6



• 3 копии каждого блока кэш-памяти

• Обновление микрокода обеспечивает

задержку не более 1с.

SmartMatrixEngine

Shared Frontend

Storage Controller

Storage Controller

Storage Controller

Storage Controller

Shared Frontend

Shared Frontend

Shared Frontend

Shared Backend

Shared Backend

Shared Backend

Shared Backend

RDMA Network

Engine

Shared Frontend

Storage Controller

Storage Controller

Storage Controller

Storage Controller

Shared Frontend

Shared Frontend

Shared Frontend

Shared Backend

Shared Backend

Shared Backend

Shared Backend

• Симметричный Full-mash

• Общий фронт-энд, бэк-энд.

• End to end NVMe

• Backend RDMA 100Gb/s Ethernet.

DAE

IntelligentDAE Controller


DAE



DAE



DAE





OceanStor Dorado(2019)

OceanStor Dorado(2017)

Качественный скачок

Data Deduplication

SSD Shelf

SSD Form Factor

Backend Network

NVMe Support

Max. Storage Controller

Max. Performance

Fixed-Length

Standard DAE (No CPU)

25 Drive/2U Shelf

SAS/PCIe

Back-End

16

7M IOPS

Fixed & Variable Length

Intelligent DAE

36 Drive/2U Shelf

100Gb RoCE v2

End-to-End

32

20M IOPS

Controller Fault Tolerance 1 of 2 7 of 8

Engine Fault Tolerance N/A 1 of 2

Artificial Intelligence (AI) N/A AI Module with Ascend Chip



Shared Back-End

Shared Front-End

Shared Front-End

Shared Back-End

Shared Back-End

Shared Front-End

Shared Back-End

Shared Front-End

Shared Back-End

Shared Front-End

Shared Back-End

Shared Front-End

Shared Back-End

Persistent cache mirroring

Tolerance for failure of 7 out

of 8 controllers

Cache: Three copies

Three cache copies are distributed in two

controller enclosures.

If one controller enclosure fails, at least one

cache copy is available.

Cache: Three copies

Three cache copies are distributed in three

different controllers.

If two controllers fail simultaneously, at least one

cache copy is available.

Работа при отказе до 7 контроллеров или целиком шасси



Solution BSolution A

Выход из строя контроллера

BE

FE

Ctrl

BE

FE

Ctrl

BE

FE

Ctrl

BE

FE

Ctrl

FE FE

Ctrl Ctrl Ctrl Ctrl

BE BE

FE FE

Ctrl Ctrl Ctrl Ctrl

BE BE

IOP

S

Time

IOP

S

Time

IOP

S

Time

4S 6S 6S 9S >9S 1S 1S 1S

* В лаборатории Huawei.



Huawei

Industry average

30 minutes

120 minutes

Online upgrade: 1s

performance fluctuation

Online upgrade: 10s performance fluctuation

Performance fluctuation window

Start

Start Prepare for the upgrade Fast upgrade Check after upgrade End

Prepare for the

upgradeFast upgrade

Check after

upgradeEnd

Апгрэйд без прерывания сервиса



3.84TB SSD*40, SwingBench OE2 transaction generator 100 VM clone, 50GB each 3.84TB SSD*100 with data reduction

Extreme Performance

1500VDI

1.5 Minutes52 Minutes

11,500

57,000

Tran

sact

ion

Per

Sec

on

d

7200VDI

DB Acceleration VM Delivery VDI Support



100% 100%

90% 90%

80% 350K 80%

70% 300K 70%

60% 250K 60%

50% 200K 50%

40% 150K 40%

30% 100K 30%

20% 50K 20%

10% 10%

0% 0%

Inline Compression

43.4%

Стабильная производительность

78.9%

Performance Base Line

GC + 80% Pre-Conditioning

RAID Performance Impact

Advanced FeaturePerformance Impact

Inline Compression

Inline Dedup

HA Storage Cluster

RAID 5

RAID 6

GC + RAID 6

Inline Dedup

Test Case: Mixed workload, 8K, 7:3/1ms average latency/8x LUN, 32x outstanding

SnapshotRAID 5RAID TP / RAID 6 /

HA Storage Cluster



I/O I/O I/O I/O

Балансировка нагрузки на всех уровнях

Shared Front-end Adapter

Global Cache

Global Storage Pool

Engine

FrontendAdapter

StorageController

StorageController

StorageController

StorageController

FrontendAdapter

FrontendAdapter

FrontendAdapter

BackendAdapter

BackendAdapter

BackendAdapter

BackendAdapter

DAE



NVMe и RoCE

Engine

FrontendAdapter

StorageController

StorageController

StorageController

StorageController

FrontendAdapter

FrontendAdapter

FrontendAdapter

BackendAdapter

BackendAdapter

BackendAdapter

BackendAdapter

DAE

Server

RoCE/FC

50

us

30

us

30

us

10

0u

s

Front-End/Back-End Adapter Protocol Offloading

• 10% of latency reduction can be done with:

‐ Self-developed TOE frontend adapter chip.

‐ ASIC IO balancing/distribution

Intelligent DAE and Self-Developed SSD

• Read priority technology: Read requests on SSDs are

preferentially executed to respond to hosts in a timely

manner. The latency in hybrid scenarios is reduced by 20%.

• 30% of performance improvement for SAS DAE connection

multiplexing technology

The Latest Protocol & Network Standard

• 50% of latency reduction can be done with the latest

protocols (NVMe & RoCE v2)



Разделение данных на холодные/горячие и автоматическая приоритизация I/O

•Разделение данных происходит автоматически.

•Эффективно снижает объем Garbage collection

•В зависимости от нагрузки

•Автоматически устанавливается в контроллерах и накопителях

•Контроль за приоритетом Garbage collection

•Обеспечивает максимальную производительность для целевого IO

Разделение Hot/cold I/O приоритизация

Garbage Collection I/O

Rebuild I/O

Cache Flush I/O

Feature I/O

R/W I/O

Garbage Collection I/O

Rebuild I/O

Cache Flush I/O

Feature I/O

R/W I/O



Global garbage collection

SSD garbage collection

SSD

SSD

SSD

SSD

IOPS @ low latency

Падение из-за GC

Stable performance

Пики производительности

IOPS @ low latency

Падение из-за GC

Пики производительности

Global Garbage Collection

Global garbage collection обеспечивает стабильную задержку 0.5 мс.



Smart Migration

Application Server

Original Path

Original Path

SmartMigration(included in

the basic Software bundle)

New Path

Take Over

Path

eDev LUN Target LUN

Legacy Storage

arraysHuawei

OceanStor V6

Switches • Step1: Take over the legacy storage

resource(Luns).

• Step2: Huawei storage create eDev Luns,

which are virtual LUNs inherit the same WWNs

of the original Luns.

• Step3: Allocate internal resource, start the data

migration internally. No interruption in this

stage.

SmartMigration



СПАСИБО!


ПАРТНЕРСКАЯ КОНФЕРЕНЦИЯ HUAWEI 2020

Documents

Партнерская конференция 2018 - huawei · 2020. 3. 12. · Партнерская конференция 2019 “Все свое” Multi-Protocol Network Chip: