白皮書 Bigtera VirtualStor™Scaler

Intel® Xeon® Processor D-1500 Product Family

Intel® SSD Data Center Series

主題：軟體定義儲存

Intel® Xeon® Processor D-1500 Product Family 與

Intel® SSDs 上部署 Bigtera VirtualStor™ Scaler

Bigtera VirtualStor™ Scaler 利用 Intel® Xeon® processor D-1500 product family 和 Intel® Data Center SSDs，構建高性能和高性價比的儲存解決方案。

執行摘要 企業 IT 需要一個可擴展，高性能和具有成本效益的儲存解決方案，可

以處理快速的數據增長和滿足不同類型的工作負載。為解決企業 IT 部

署可擴展的儲存集群，並且優化性能和成本的挑戰，Bigtera*和 Intel

進行了廣泛的測試，以表徵 Bigtera VirtualStor™ Scaler 在 Intel®

Xeon® Processor D-1500 Product Family 和 Intel® SSD上部署的優

化配置。

概述

根據IDC的《數位宇宙研究報告》(Digital Universe)，從現在到2020

年，數位宇宙的資料每兩年將翻一倍。到2020年，將有超過 44ZB(即

40萬億GB)的資料註1。這對企業IT有重大影響：企業IT將需要可擴展、

高性能和成本效益的儲存解決方案。但不幸的是，由於以下挑戰，這

些企業已經超出了傳統基礎設施能力所及：

業務複雜性。企業的業務流程變得越來越複雜，不同的應用

需要不同的儲存特性，例如儲存協議、儲存性能，可用性等。因此，

用戶必須為他們的工作流程中購買不同類型的儲存系統，因而形成了

『儲存孤島』，實施成本高，但利用率低。

數據快速增長。以媒體和廣播電視行業為例：高清和4K視頻

的需求持續上升，對儲存容量和可擴展性造成極大的壓力。90分鐘的

標準清晰度電視節目可以消耗540GB的空間，而高品質的90分鐘實境

秀節目，其原始素材就可能會消耗好幾個TB的儲存空間。 由於傳統

企業 IT需要一個可

擴展，高性能和具

成本效益的儲存解

決方案。

註1 IDC. The Digital Universe of Opportunities: Rich Data and the Increasing Value of the Internet of Things, April 2014. http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

335434-001TW

儲存系統無法無縫地擴展，儲存孤島只得繼續增加，進一步增加了管理

基礎架構、數據和內容的複雜性。

穀倉效應。在許多企業中，數據隨工作流程移動。對於多個儲

存孤島的企業，用戶必須在異質環境之間手動複製數據，從而增加工作

複雜性，而重製數據，更是浪費時間和資源。

為了因應這些挑戰，Bigtera*和Intel正在合作，提供基於Intel® Xeon®

Processor D-1500 Product Family 與 Intel® Data Center SSDs以及

Bigtera VirtualStor™ Scaler的軟體定義儲存解決方案。 Bigtera*軟體

定義儲存解決方案與Intel技術相結合，可以保證具有經濟性和高性能的

橫向擴展能力。

Bigtera VirtualStor™ Scaler 產品概述

VirtualStor™ Scaler部署在基於Intel® Xeon® Processor D-1500 Product Family的裸機伺

服器之上，為客戶提供了一個

高性能的橫向擴展儲存解決方

案，讓客戶得以隨著成長而支

付費用。VirtualStor™ Scaler運

用在Intel®技術上，利用高擴展

和高可用的架構，並提供靈活

的儲存類型 Network Attached

Storage (NAS)、Storage Area

Network (SAN)或物件儲存，具

有 高 性 能 Input and Output Operations Per Second (IOPS)和傳輸率和效率，同時提供彈

性和安全的能力。

在Object Storage Device (OSD)中快取(圖1)

作為軟體定義儲存技術的世界

領先者，Bigtera*利用高性能固

態硬碟(SSD)優化隨機輸入 /輸

出性能，而革新了儲存行業。

圖 1. VirtualStor™ Scaler 的快取數據流

不同於其他軟體定義儲存提供

商，為了優化性能，將許多SSD

OSD合併到一個快取池中，

Bigtera VirtualStor™ Scaler採取

做法則是在OSD之內，利用高性

能SSD提供隨機輸入/輸出快取。

此外，順序輸入/輸出將跳過SSD

並直接讀/寫硬碟驅動器。此一設

計的原因是，通常隨機輸入/輸出

時，SSD比傳統機械硬碟的領先

優勢大得多，但是在順序讀寫中

則沒有那麼多的優勢。因此，

VirtualStor™ Scaler 可以採取以

不同方式，智慧地服務隨機輸入/

輸出和順序輸入/輸出，從而優化

整體性能。

Intel® Xeon® Processor D-1500 Product Family Bigtera VirtualStor™ Scaler提供

可擴展的高性能軟體定義儲存解

決方案，同時高效地服務多種儲

存類型(NAS，SAN或物件儲存)

需要足夠具有的處理能力而且具

有成本效益的硬體平臺。 Intel® Xeon® Processor D-1500 Product Family旨在克服這一挑

戰。

第三代64位元系統單晶片(SoC)

和基於Intel® 14nm矽技術的第一

個 Intel® Xeon® Processor D-

1500 Product Family SoC。它提

供了平衡的計算性能和低功耗，

卓越的功率效率還可以支援資料

中心建立超大規模，高密度的雲

端儲存。 平衡性能和功率消耗 Intel® Xeon® Processor D-1500 Product Family具有從2至8個內

核的硬體和軟體可擴展性，TDP

為19 至65 W。利用類似的開發

工具和流程，如Intel® Core™，

Intel® Atom™ 和 其 他 Intel®

Xeon®處理器， Intel® Xeon® Processor D-1500 Product Family提供從數據中心到端點的

廣泛的應用程式相容性和軟體一

致性。 可靠的Intel x86 64位元軟

體支持有助於節省時間，成本和

驗證。 Intel® Xeon® Processor D-1500 Product Family 是滿足一系列 IT

需求的理想平臺，包括 Intel 平臺

儲存擴展，通過系統整合技術實

現更智慧和更具成本效益的儲存

解決方案，加速資料移動，保護

資料並簡化資料管理。

Intel® SSD數據中心系列可為企

業和服務提供商的需求提供低延

遲、高耐用性、高性能。基於

NVMe的Intel® SSD也可以提供

出色的儲存需求性能。

Intel® 進 階 加 密 指 令 集(Intel®AES-NI)

Intel® AES-NI實現強大的加密和

解密功能，同時大大減少了加密

標準演算法執行所需的相關處理

時間註 2。因此，使用 Intel AES-

NI保護數據可以確保安全性，而

不會影響性能。

註2. 沒有計算系統可以在所有條件下提供絕對安全。 部分Intel ®處理器內置的安全功能可能需要額外的軟件、硬件，服務或網路連接。 結果可能因配置而異。 有關詳細信息，請諮詢

系統製造商。

請參閱http://security-center.intel.com/。

表 1. 儲存節點規 格

Bigtera VirtualStor™ Scaler的Intel®參考架構 此參考架構使用 Intel® Xeon® Processor D-1500 Product Family 參 考 設 計 作 為 Bigtera

VirtualStor™ Scaler集群中的儲

存節點。

(表1)提供了儲存節點規範的概

述。

此參考架構基於標準Intel X86設

計。也可以客製化以支援不同的

組合，以滿足不同市場需求。

Bigtera VirtualStor™ Scaler配置

世界上沒有兩個完全相同的公

司，沒有一個單一的配置可以適

合所有公司及其應用程式。 例

如，為了得到每GB的最低成本，

或者每單位成本之下的最高性

能，採取的存儲設計方法將會完

全不同的。 即使高性能存儲，面

向高吞吐量工作負載或高IOPS工

作負載也會有不同的配置。在此

檔的參考架構中，將提供兩種不

同的Scaler配置，以演示如何優

化不同類型工作負載下的性能。

高吞吐量配置是專為高吞吐量的

工作負載所設計，而這些負載通

常的特點是更大的輸入/輸出區塊

和順序性讀寫輸入/輸出。許多軟

體定義的儲存解決方案在此一使

用案例中都有很好的表現。 為了

優化每秒最高的MB傳輸量，

Bigtera*建議使用兩個SSD用於

OSD日誌。此外，每個SATA硬

碟部署一個OSD，因此在每個儲

存節點中總共有10個OSD。

高IOPS配置被設計用於高 IOPS

工作負載，這些工作負載通常以

較小區塊 (small I/O size) 的隨機

輸入/輸出(例如4KB隨機輸入/輸

出)為特徵。對於儲存到服務器虛

擬化環境，其輸入/輸出模式通常

需要更多更密集型的IOPS。為了

優化高IOPS，Bigtera*強烈建議

利用 Intel® SSD的速度和高性

能。使用兩個SSD於OSD日誌與

大容量SATA硬碟的快取。此

外，將5個SATA硬碟組成一個Redundant Array of Independent Disk (RAID) 0虛擬

磁碟組，設為一個OSD。 因此，

在每個儲存節點中，共有兩個

OSD 。

測試配置 本節介紹 Bigtera VirtualStor™

Scaler測試集群的配置。 Intel 在

4 節 點 集 群 中 設 計 Bigtera

VirtualStor™ Scaler，如(圖2)所

示。

每個儲存節點有10個HDD和2個

SSD，以及一個10GbE 網路到網

路交換機。 (表1)總結了儲存節點

的規格。

兩個2U Intel® Xeon® processor

E5-2680 v2服務器用於測試客戶

端(計算節點)。在每個物理計算

節點上創建40個virtual machine

(VM)，以模擬同時存取場景。每

個 VM配有一個 10GB RADOS (Reliable Autonomic Distributed Object Storage) block device (RBD)卷，並運行基準測試工具

fio (http://git.kernel.dk/?p=fio.git)，

以 衡 量 Bigtera VirtualStor™

Scaler節點的整合性能。

在此測試中，我們將逐步增加虛

擬機的數量，從 20 個虛擬機增

加到 80 個虛擬機。然後，當測

試數據集大於 SSD 快取的大小

時，我們就能夠觀察性能的變化。

圖 2. VirtualStor™ Scaler 集群的測試配置

(表 2)總結了計算節點規範的詳細

信息。

高吞吐量配置性能 高吞吐量配置的性能評估，使用

大區塊 (large I/O size) 的順序輸

入/輸出工作負載進行評估。所有

的測試都採用兩份副本來保存資

料。日誌數據儲存在兩個 SSD

的不同分區中，OSD 數據儲存在

10 個 HDD 上。測試的輸送量和

延遲通過 fio 在 CeTune 框架(https://github.com/01org/CeTune)下測量。還觀察了相關的 CPU，

記憶體和網路使用率。 傳輸效率接近硬體限制 對於大區塊 (128KB)的順序讀取

(圖3)，從20加至80個虛擬機，四

個節點的VirtualStor™ Scaler 集

群保持一致的性能提升，峰值為

4109 MB/秒。在另一方面，對於

大區塊 (128KB)的順序寫入 (圖

4)，這四個節點的VirtualStor™

Scaler 集群在20至80個並發虛擬

機之下，可保持一致的性能提

升，並可達峰值1407MB/秒。經

分析後，連續讀寫的性能已接近

了原始硬碟的性能，這意味著效

能已經針對硬體進行了優化。 高IOPS配置的性能

高 IOPS 配置的性能評估，使用

小區塊的隨機讀寫輸入/輸出工作

負載進行。所有的測試都採用兩

份副本來保存資料。日誌資料和

快取記憶體資料存儲在兩個固態

盤的不同分區中。OSD 資料儲存

在硬碟上。5 個 SATA 硬碟組成

一個 RAID0 虛擬磁碟，一個虛擬

磁 碟 配 置 一 個 OSD 。 通 過

CeTune 框 架(https://github.com/01org/CeTune)，收集 fio 測試工具的 IOPS。在

整個測試過程中，還會觀察相關

的 CPU、記憶體和網路利用率。 隨機讀取 213K IOPS

對於小區塊 (4KB)的隨機讀取(圖

5) ， 四 個 節 點 VirtualStor™

Scaler集群在面向20個並發VM之

時，峰值超過213K IOPS。當增

加VM之後， IOPS從213K降到

172K IOPS，由於 VM數目增

加，受測的資料量也會增加，記

憶體上的快取將會逐漸飽和，熱

數據也會逐漸不在記憶體快取

中，因此，觀察到效能隨著VM增

加而逐漸下降的現象。 對於小區塊 (4KB)的隨機寫入(圖

6) ，四個節點的 VirtualStor™

Scaler集群在面向20至80個VM

時，效能皆維持在31K至32K附

近，峰值發生在30個VM之時的

32.7K IOPS。經過進一步的調

查，發現這段測試的CPU利用率

已接近滿載，這意味著系統已接

近計算能力的極限。 延遲時間與I/O深度 為 了 進 一 步 驗 證 VirtualStor

™Scaler集群是否可以提供隨機

讀寫I/O足夠小的延遲，我們設計

了另一個測試，當I/O佇列深度呈

指數增加時，測量延遲時間將如

何變化。在這個測試中，我們在

計算節點上創建20個VM，然後

增加每個VM的I/O深度，從1加到

64，分別測試隨機讀取和寫入，

針對IOPS和延遲時間進行測量。 IOPS和延遲 對於小區塊 (4KB) 的隨機讀取(圖

7)，四個節點的 VirtualStor™

Scaler 集群延遲逐漸增加，從

0.478 毫秒增加到 I/O 深度 64 之

時的 6 毫秒。對於小區塊 (4KB)

的隨機寫入(圖 8)，四個節點的

VirtualStor™ Scaler 集群延遲亦

逐漸增加，從 1.825 毫秒增加到

I/O 深度 64 之時的 41 毫秒。

表 2.計算節點規格。

圖 3. 四節點 VirtualStor™ Scaler 集群上的順序讀取帶寬

圖 4. 四節點 VirtualStor™ Scaler 集群上的順序寫入帶寬

圖 5. 四節點 VirtualStor™ Scaler 集群上的隨機讀取 IOPS

圖 6. 四節點 VirtualStor™ Scaler 集群上的隨機寫 IOPS

圖 7. 四節點 VirtualStor™ Scaler 集群上的隨機讀取 IOPS 和延遲

圖 8. 四節點 VirtualStor™ Scaler 集群上的隨機寫入 IOPS 和延遲

結論

該是現代組織解決傳統儲存相

關痛點的時候了。

傳統的儲存基礎設施不僅不能

滿足業務需求，而且還會不必

要地增加 IT 成本。本文介紹

的參考架構和兩種儲存配置，

在經濟高效的硬體平臺下提供

優化的傳輸效率和 IOPS。同

時，一如軟體定義基礎設施的

精神，架構中的每個硬體和軟

體可以靈活地定制，以適應各

種需求。例如，如果客戶需要

更多的儲存容量，可以安裝更

多的儲存節點，或更換為容量

更大的硬碟。如果客戶需要更

高的性能，在硬體方面，傳統

的機械磁碟可以用 SSD 替

換，並且額外的儲存節點也可

以幫助。在軟體方面，Bigtera

VirtualStor™ Scaler 可以提供

參考配置，在經濟硬體平臺下

服務的高吞吐量工作負載或高

IOPS工作負載。

Bigtera VirtualStor™ Scaler不僅可以提供高性能，其統一

存儲、多租戶系統、QoS 能

力、SLA 策略配置，可以無痛

滿足「業務複雜性」的需求。

存儲的橫向擴展，資料的無縫

遷移，再加上具有經濟效益的

存儲虛擬化，能彙聚整合存儲

孤島，協助企業應對「資料快

速增長」的挑戰。而資料跨越

虛擬存儲資源池的帶內遷移和

分享，NAS 和物件存儲池之

間的資料透傳等能力，更是解

決「穀倉效應」的良方。

獲取更多資訊

要 瞭 解 Bigtera* software defined storage (SDS)解決方 案 ， 請 訪 問http://www.bigtera.com

要瞭解有關 Intel 儲存產品和技術的更多資訊，請訪問http://www.intel.com/storage

Intel technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Performance varies depending on system configuration. No computer system can be absolutely secure. Check with your system manufacturer or retailer or learn more at http://intel.com/storage. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more information go to http://www.intel.com/performance. Intel processor numbers are not a measure of performance. Processor numbers differentiate features within each processor family, not across different processor families. See http://www.intel.com/performance for details. Performance tests and ratings are measured using specific computer systems and/or components and reflect the approximate performance of Intel products as measured by those tests. Any difference in system hardware or software design or configuration may affect actual performance. Buyers should consult other sources of information to evaluate the performance of systems or components they are considering purchasing. For more information on performance tests and on the performance of Intel products, visit http://www.intel.com/performance/resources/limits.htm or call (U.S.) 1-800-628-8686 or 1-916-356-3104. No computer system can provide absolute security. Requires an enabled Intel® processor, enabled chipset, firmware and/or software optimized to use the technologies. Consult your system manufacturer and/or software vendor for more information. All dates and products specified are for planning purposes only and are subject to change without notice. Information in this document is provided in connection with Intel products. No license, express or implied, by estoppel or otherwise, to any intellectual property rights is granted by this document. Except as provided in Intel’s Terms and Conditions of Sale for such products, Intel assumes no liability whatsoever, and Intel disclaims any express or implied warranty, relating to sale and/or use of Intel products including liability or warranties relating to fitness for a particular purpose, merchantability, or infringement of any patent, copyright or other intellectual property right. Intel products are not intended for use in medical, lifesaving, or life sustaining applications. Intel may make changes to specifications and product descriptions at any time, without notice. © 2016 Intel Corporation. Intel, the Intel logo, Xeon, and Atom are trademarks of Intel Corporation in the U.S. and/or other countries. © 2016 Bigtera Inc. All rights reserved. Bigtera, VirtualStor™, VirtualStor™ Converger, and VirtualStor™ Scaler are trademarks of Bigtera Inc. in the U.S. and/or other countries. * Other names and brands may be claimed as the property of others.