openstack_neutron-ovs_osc2014tf_20141019

© Hitachi Solutions, Ltd. 2014. All rights reserved.

株式会社日立ソリューションズ技術開発本部オープンソース技術開発センタ

2014/10/19

工藤雄大

OpenStackネットワーク環境検証 Open vSwitch選択時の挙動

オープンソースカンファレンス 2014 Tokyo/Fall

OpenStack Neutron OVS を用いたネットワーク環境構築とミドネットの検証評価

～OSCA(tm)技術分科会の活動より抜粋～

© Hitachi Solutions, Ltd. 2014. All rights reserved. 1

１. 検証環境


Network 2Network 1em1 em2

Controller(+　Block storage)

em1 em2

Bench

Compute1

em1 em2

Compute2

em1 em2

Compute20

em1 em2

GRE encapslation for Tenant A192.168.110.0/24

Tenant A Tenant A Tenant A

GRE encapslation for Tenant B192.168.120.0/24

Tenant B Tenant B Tenant B

VM VM VMVM VM VM

bond0

.3

.2

.102

.107

.102

.108 .109

.254 .254

.108 .109.107

p2p4p2p3p2p2p2p1

p2p4

em1 em2

p2p4

.103

Network 3em1 em2

p2p4

.104

Management Network10.1.1.0/24

Guest Network192.168.0.0/24

1G1G 1G

.4

bond

0

Public Network10.2.2.0/24

4G

v routerAv routerB

.127 .127

・・・・・・・

.254v routerC

.6外部

ネットワーク

内部ネットワーク

2

１-１検証環境図

Network Nodeを複数台化 =>Neutron Open vSwitch選択時の性能・冗長化はどうなる？？

■OpenStack (Havana)を用いて環境構築・Red Hat Enterprise Linux6.5 + Red Hat Enterprise Linux OpenStack Platform 4.0


１-２ Neutronの構成要素

要素 Network Node 1 N 2 N 3

NEUTRON_SERVER_HOST ・Neutron Serverのインストール先サーバ・1台のみ設定可能

○ - -

NEUTRON_L3_HOSTS ・L3 Agentのインストール先サーバ・複数台設定可能

○ ○ ○

NEUTRON_DHCP_HOSTS ・DHCP Agentのインストール先サーバ・複数設定可能

○ ○ ○

NEUTRON_METADATA_HOSTS ・MetadataのAgentのインストール先サーバ・複数台設定可能

○ ○ ○

NEUTRON_LBAAS_HOSTS (今回は構成せず) ・LBaaSのAgentのインストール先サーバ・複数台設定可能

- - -


２. 検証項目


２検証項目

●Open vSwitch単体のデータ転送性能 (検証項目1) Network Node 1台構成時のデータ転送速度計測

●Network Nodeスケールアウト時のデータ転送性能 (検証項目2) Network Node 2台追加(計3台)時のデータ転送速度計測

■目的１性能計測

■目的２冗長化機能判定

●障害発生時の、Neutron各要素自動切り替わり可否 (検証項目3) Network Node2(副系1)停止時の挙動確認

(検証項目4) Network Node1(正系)停止時の挙動確認


３. 検証結果









Network 1em1 em2


em1 em2

Bench

Compute1

em1 em2

Compute2

em1 em2

Compute20

em1 em2


Tenant A Tenant A Tenant A

VM

bond0

.3

.2

.102

.107

.102

.108 .109

.254

.108 .109.107

p2p4p2p3p2p2p2p1

p2p4



1G

bond

0

Public Network10.2.2.0/24

4G

v routerA

.127 .127

・・・・・・・

外部ネットワーク


VM VM

8

３-１検証1 Network Node1台構成時のデータ転送速度計測

●検証手順・Network Node 1に、Neutronの要素(SERVER・L3・DHCP・METADATA)を構築・単一Private Network内のVM(Webサーバ) 8台を、異なるCompute Node上に配置・Public Network側のベンチマークサーバから、ベンチマークツール(https://github.com/wg/wrk)にて、データ転送速度を計測

ベンチ実行元

https://github.com/wg/wrk


３-１検証1 Network Node1台構成時のデータ転送速度計測

●検証結果・データ転送速度の総和は、871.04Mbps ・Network Node 1は1GbpsのNICを使用しており、wire speedの9割弱を確認

# スループット

VM1 108.08 Mbps

VM2 110.16 Mbps

VM3 106.16 Mbps

VM4 103.44 Mbps

VM5 110.72 Mbps

VM6 113.20 Mbps

VM7 112.24 Mbps

VM8 107.04 Mbps

合計 871.04 Mbps

意外と速い！？

9









Network 2Network 1em1 em2


em1 em2

Bench

Compute1

em1 em2

Compute2

em1 em2

Compute20

em1 em2


bond0

.3

.2

.102

.107

.102

.108 .109

.254

.108 .109.107

p2p4p2p3p2p2p2p1

p2p4

em1 em2

p2p4

.103

Network 3em1 em2

p2p4

.104



1G1G 1G

.4

bond

0Public Network

10.2.2.0/24

4Gv routerA

v routerB

.127 .127

・・・・・・・

.254v routerC

.6外部

ネットワーク


Tenant A

VMTenant A

VM

Tenant A

VM

11

３-２検証２ Network Node 2台追加時のデータ転送速度計測

●検証手順・Network Node2・3として、Neutronの要素(L3・DHCP・METADATA)を追加・単一Private Network内のVM(Webサーバ) 8台を、異なるCompute Node上に配置・Public Network側のベンチマークサーバから、ベンチマーク実施

ベンチ実行元

分散される？？



●検証結果・検証1の結果と変わらず、データ転送速度の総和は870 Mbps程度・トラフィックは、Neutron Server 1・2・3で分散されず

●理由

[root@nw1 /(keystone_admin)]# neutron l3-agent-list-hosting-router router2 +--------------------------------------+---------------------+----------------+-------+ | id | host | admin_state_up | alive | +--------------------------------------+---------------------+----------------+-------+ | c9357447-ccf4-4e9a-90f6-4884e009ee28 | nw2.example.com | True | :-) | +--------------------------------------+---------------------+----------------+-------+

つまり、Private Network内のVMからPublic Networkへ抜けるトラフィックは、特定の1台のNEUTRON_L3_HOSTを通らざるを得ない。

・Private→Publicのトラフィックを処理するのはVirtual Router ・Virtual Routerは、特定の一台のNEUTRON_L3_HOST上で動作



●トラフィック増強のための回避策は？・異なるNEUTRON_L3_HOSTS上で、Virtual Routerを複数作成し、それに紐づく複数Private Networkを作成した場合 - それぞれのPrivate Network毎に約830Mbps - システム全体で、約2.5Gbpsとなる =>Private Network毎の帯域を試算し、どのNEUTRON_L3_HOSTに分散するか要検討

Network1 Network3Network2em2

Private

Network A

p2p4

em2

p2p4

em2

p2p4

Public Network

router1 router2 router3

850Mbps 800Mbps 850Mbps

2.5Gbps

Private

Network B

Private

Network C









Network1(Neutron Server) Network3Network2

em2

Private

Network A

p2

p4

em2 em2

Public Network

router1 router3

Private

Network B

Private

Network C

router2

p2

p4

p2

p4

15

３-３検証３ Network Node2(副系1)停止時の挙動確認

●検証手順・Network Node2を停止・Neutronの挙動確認 - Network Node2上の仮想ルータ(router2)を通るトラフィックはどうなるか

停止

Router移動？セッション遷移？

Router移動？セッション遷移？


３-３検証３ Network Node2(副系1)停止時の挙動確認

●検証結果・Network Node2上の仮想ルータ(router2)を通るトラフィックは遮断される

●理由

[root@nw1 /(keystone_admin)]# neutron agent-list +--------------------------------------+--------------------+-----------------------+-------+----------------+ | id | agent_type | host | alive | admin_state_up | +--------------------------------------+--------------------+-----------------------+-------+----------------+ | 305a7ce8-898a-4708-8a3d-f816242ac7ad | DHCP agent | nw2.rdo.example.com | xxx | True | ---------------------------------------（省略）--------------------------------------------------------- | 6dda701e-dbf9-4e0a-a35f-2c12de63c6f5 | Open vSwitch agent | nw2.rdo.example.com | xxx | True | | 6ffba734-1520-4568-a631-31b0b238060f | L3 agent | nw1.rdo.example.com | :-) | True | | 8cb9a6b6-818c-4caa-aa1d-8a554f3621a6 | DHCP agent | nw1.rdo.example.com | :-) | True | | c9357447-ccf4-4e9a-90f6-4884e009ee28 | L3 agent | nw2.rdo.example.com | xxx | True | | fa48327a-2aab-4068-8d0f-3039cbee20e9 | Open vSwitch agent | nw1.rdo.example.com | :-) | True | +--------------------------------------+--------------------+-----------------------+-------+----------------+ [root@nw1 /(keystone_admin)]# neutron l3-agent-list-hosting-router router2 +--------------------------------------+---------------------+----------------+-------+ | id | host | admin_state_up | alive | +--------------------------------------+---------------------+----------------+-------+ | c9357447-ccf4-4e9a-90f6-4884e009ee28 | nw2.rdo.example.com | True | xxx | +--------------------------------------+---------------------+----------------+-------+

・router2は単にダウンしてしまうから -ルータの他のノードへの自動移動、セッションの他のルータへの遷移はしない









Network1(Neutron Server) Network3Network2

em2

Private

Network A

p2

p4

em2 em2

Public Network

router1 router3

Private

Network B

Private

Network C

p2

p4

p2

p4

router2

18

３-４検証４ Network Node1(正系)停止時の挙動確認

●検証手順・Network Node2を復元・Network Node1を停止・Neutronの挙動確認 - Network Node1上の仮想ルータ(router1)を通るトラフィックはどうなるか(多分遮断) - Network Node2上の仮想ルータ(router2)を通るトラフィックはどうなるか

停止


●検証結果・Network Node1上の仮想ルータ(router1)を通るトラフィックは遮断される・Horizon(ポータル)へのログインができなくなる・但し、Network Node2上の仮想ルータ(router2)を通るトラフィックは疎通継続

●(Horizonログイン不可の)理由

[root@nw2 /(keystone_admin)]# neutron agent-list Connection to neutron failed: Maximum attempts reached [root@nw2 /(keystone_admin)]# neutron l3-agent-list-hosting-router router1 Connection to neutron failed: Maximum attempts reached [root@nw2 /(keystone_admin)]# neutron l3-agent-list-hosting-router router2 Connection to neutron failed: Maximum attempts reached

３-４検証４ Network Node1(正系)停止時の挙動確認

・NEUTRON_SERVER_HOST停止により、neutronコマンドが投入できなくなる =>neutron関連の設定確認・設定変更が、一切NGとなる


３-５結果まとめ

●Open vSwitch単体のデータ転送性能・(今回の検証範囲では)wire speedの9割弱のデータ転送性能を確認

●Network Serverスケールアウト時のデータ転送性能・単一Private Networkでは、Network Nodeの数を増やしても効果無し・複数Private Network且つNetwork Node構成を考慮すれば、効果を得られる場合も有る



●障害発生時の、Neutron各要素自動切り替わり可否・Virtual Routerの自動移動、セッション遷移はされない・NEUTRON_SERVER_HOSTが停止すると、neutronコマンドの投入ができない・NEUTRON_SERVER_HOSTが停止しても、他のNetwork Node上で動作しているNEUTRON_L3_HOSTS上のVirtual Routerは、 (今回の検証範囲では) 停止しない為、トラフィックが流れる


Open vSwitch選択時の挙動

OpenStackネットワーク環境検証

END

•Linuxは，Linus Torvalds氏の日本およびその他の国における登録商標または商標です。 •OpenStack®の文字表記とOpenStackのロゴは，米国とその他の国におけるOpenStack Foundationの登録商標/サービスマークまたは商標/サービスマークのいずれかであり，OpenStack Foundationの許諾を得て使用しています。日立製作所は，OpenStack FoundationやOpenStackコミュニティの関連企業ではなく、また支援や出資を受けていません。 • OSCA™（Open Standard Cloud Association）は、デル株式会社の登録商標です。 • Red Hat、Red Hat Enterprise Linuxは、米国およびその他の国におけるRed Hat, Inc. の登録商標です。 •その他、記載の商標やロゴは、各社の商標または登録商標です。 •本講演は、情報提供のみを目的としており、誤字脱字、技術上の誤りには一切責任を負いません。 •本講演の内容は一般的な原則を記しており、すべての環境での動作を保証するものではありません。 •本講演の内容は検証時のものであり、明示的、暗示的を問わず、いかなる内容も保証いたしません。

Engineering

openstack_neutron-ovs_osc2014tf_20141019