46
Red Hat OpenStackとMidoNetを使った クラウド構築の取り組みについて 2013912ミドクラ 鈴木孝彰

Red Hat OpenStackとMidoNetを使った クラウド構築 … · Red Hat OpenStackとMidoNetを使った クラウド構築の取り組みについて 2013年9月12日 ミドクラ

Embed Size (px)

Citation preview

Red Hat OpenStackとMidoNetを使ったクラウド構築の取り組みについて

2013年9月12日ミドクラ 鈴木孝彰

Copyright ©2013 Midokura All rights reserved

発表者の自己紹介

2

ミドクラ システムエンジニア

•MidoNet、OpenStackの設計・構築・運用、およびそれらの支援を担当

Copyright ©2013 Midokura All rights reserved

本日の内容

3

会社紹介

ミドクラで開発してる製品 MidoNet

ミドクラの開発および検証環境

RHOSとMidoNetを使ったクラウドの構築

まとめ

Copyright ©2013 Midokura All rights reserved

ミドクラとは?

4

Copyright ©2013 Midokura All rights reserved

ミドクラの拠点展開

5

スペイン 開発拠点

スイス HQ機能

日本 営業拠点 開発拠点

US 営業拠点 開発拠点

東京にも開発拠点を持ち、フロントからダイレクトに開発部隊にエスカレーション

タイムゾーンが異なる3拠点に展開し、問題が発生した際も迅速な対応可能

地図データ ©2013 Google, INEGI, Tele Atlas

Copyright ©2013 Midokura All rights reserved

ミドクラで開発している製品

6

スケーラブルなmyクラウド

Copyright ©2013 Midokura All rights reserved

MIdoNetは分散アーキテクチャを持つ製品

7

VM

Upstream ISPvP

ort

vPor

t

vPor

t

vPor

t

VM VM

vPor

t

vPor

t

VM VM

vPor

t

Tenant ARouter

Tenant ABridge 1

Tenant ABridge 2

Tenant BBridge 1

Tenant BRouter

The Internet

Logical Topology (Overlay)Logical Topology (Overlay)

BGP uplink

MidoNet は個々のNW機器ではなく、

論理トポロジ全体をエミュレート

ProviderRouter

Upstream ISP

The Internet

VM

MidoNet

Compute Node

VM

MidoNet

Compute Node

VM

MidoNet

Compute Node

MidoNet

Gateway Node

MidoNet

Gateway Node

Back-end NetworkNetwork

State Node

NW StateDBNW State

DBNW StateDB

Physical Topology (Underlay)Physical Topology (Underlay)

BGP uplink

API Node

Cloud Mgmt System

Only requirement is

an IP reachability!

Copyright ©2013 Midokura All rights reserved

しかしMIdoNetは一台でも動作してしまう…

8

VM

Upstream ISPvP

ort

vPor

t

vPor

t

vPor

t

VM VM

vPor

t

vPor

t

VM VM

vPor

t

Tenant ARouter

Tenant ABridge 1

Tenant ABridge 2

Tenant BBridge 1

Tenant BRouter

The Internet

Logical Topology (Overlay)Logical Topology (Overlay)

BGP uplink

ProviderRouter

Upstream ISP

The Internet

VM

MidoNet

Compute Node

Physical Topology (Underlay)Physical Topology (Underlay)

Copyright ©2013 Midokura All rights reserved

分散システムのテストはサーバがたくさん必要

9

VM

Upstream ISPvP

ort

vPor

t

vPor

t

vPor

t

VM VM

vPor

t

vPor

t

VM VM

vPor

t

Tenant ARouter

Tenant ABridge 1

Tenant ABridge 2

Tenant BBridge 1

Tenant BRouter

The Internet

Logical Topology (Overlay)Logical Topology (Overlay)

BGP uplink

ProviderRouter

Upstream ISP

The Internet

VM

MidoNet

Compute Node

VM

MidoNet

Compute Node

VM

MidoNet

Compute Node

MidoNet

Gateway Node

MidoNet

Gateway Node

Back-end NetworkNetwork

State Node

NW StateDBNW State

DBNW StateDB

Physical Topology (Underlay)Physical Topology (Underlay)

BGP uplink

API Node

Cloud Mgmt System

Only requirement is

an IP reachability!

Copyright ©2013 Midokura All rights reserved

開発者毎に多数のサーバを貸し出すのは不可能…

10

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

...

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

...

Copyright ©2013 Midokura All rights reserved

分散システムは構築も大変

11

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

...

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

...

Copyright ©2013 Midokura All rights reserved

このままじゃいけない!

12

スケーラブルなテストを手軽に繰り返しできる環境がそろそろ必要

じゃない?

Copyright ©2013 Midokura All rights reserved

クラウド製品を作っていたらEC2のお世話になる

13

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

powered by

Copyright ©2013 Midokura All rights reserved

おそろしいAWSからの請求書…

14

テストが充実するにつれ請求金額が急増!

毎月増え続けてるやん!

15

そうだ、クラウドを作ろう。

16

そうだ、クラウドを作ろう。自分達で

Copyright ©2013 Midokura All rights reserved

ミドクラのデータセンタ

17

スペイン 開発拠点

日本 営業拠点 開発拠点

東京とバルセロナに構築済み

地図データ ©2013 Google, INEGI, Tele Atlas

18

そうだ、クラウドを作ろう。自分達でグローバルな

Copyright ©2013 Midokura All rights reserved

が、ネットワークの遅延が大きい…

19

スペイン 開発拠点

日本 営業拠点 開発拠点

地図データ ©2013 Google, INEGI, Tele Atlas

300ms!!!

20

そうだ、クラウドを作ろう。自分達で東京に

Copyright ©2013 Midokura All rights reserved

実は持ってたんです!

21

4,094グローバルIP (/20)

AS55393

Copyright ©2013 Midokura All rights reserved

システムの物理構成

22

開発環境のサーバ 16台新規サーバ 25台物理コア 640コア

ストレージ 120TB10GSwitch 40port 2台

Copyright ©2013 Midokura All rights reserved

システムの物理構成

23

Copyright ©2013 Midokura All rights reserved

さて、どのOpenStackを使おう?

24Photo Credit: milos milosevic via Compfight cc

Copyright ©2013 Midokura All rights reserved

これに決めました!

25

"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です

Copyright ©2013 Midokura All rights reserved

RHOSはインストールが簡単

26

1週間

3日

1日

15分

15分

10分

OpenStack コントローラー構築時間の遷移

RHOS 3.0, Packstack/Foreman

27

28

29

Copyright ©2013 Midokura All rights reserved

Packstack

30

$ sudo yum install -y openstack-packstack

$ packstack --install-hosts=192.168.2.12

**** Installation completed successfully******

Copyright ©2013 Midokura All rights reserved

RHOS+MidoNetでmyクラウドが実現できました

31

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

powered by

"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です

Copyright ©2013 Midokura All rights reserved

改善してもらいたいこともある!

32

Nested KVMのサポート

物理環境と同じようにクラウドの中からもKVMを使いたい

VM

MidoNet

VM

MidoNet

VM

MidoNet

VM

MidoNet…開発者

powered by

Linux Kernal (3.11)とqemu-kvm(version1.2)

を組み合わせれば動く!

"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です

Copyright ©2013 Midokura All rights reserved

今はこうやって使っています - その1-

33

QAテスト環境

• 東京とバルセロナチームで利用

• 様々な品質管理保証テストを、MidoCloud上で実施

• 以前利用していたEC2と同様、将来はVMを使ってスケーラビリティのテストを予定

Copyright ©2013 Midokura All rights reserved

今はこうやって使っています - その2 -

34

Sales Engineerのトレーニングや検証

• MidoCloud上でMidoNet+OpenStackやMidoNet+CloudStackを構築

• MidoNetの新機能トレーニング

• お客様検証環境の再現

Copyright ©2013 Midokura All rights reserved

今はこうやって使っています - その3-

35

営業のデモ環境

• お客様拠点からインターネット経由でアクセスし、デモを表示

• イベント展示でも遠隔から利用

• お客様にテナントアカウントを貸し出すことも

Copyright ©2013 Midokura All rights reserved

OSをAustinから触ったエンジニアとしての実感・・・

36

実用レベルのクラウドがOpenStackで作れようになった!

Austin Bexar Cactus Diablo Essex Folso

m Grizzly

37

そうだ、クラウドを作ろう。自分達で

38

Red Hat OpenStack + MidoNet

オススメ

39

Questions?

ミドクラ: Midonet

新しい⼤規模分散アーキテクチャを提案・実現する技術者集団

Amazonを越えるクラウドサービス基盤ソフトの提供2010年1⽉設⽴会⻑ 加藤 ⽒、CEO DanURL: http://www.midokura.jp/

Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 40

• 物理ネットワークとホストとの間にインテリジェントなソフトの抽象化レイヤーを⾃⽴分散アーキテクチャを実現、L2機能に加え

L3(FW, LB)機能を提供・スケーラビリティ(BGP Gatewayも含む)・最適化されたネットワークトラフィック、オーバーヘッドの最⼩化・ソフトウェアでL2〜L7までをカバー予定、物理に依存しない

・クラスタアーキテクチャによる強⼒な耐障害性(SPOFがない)• ・ネットワークをリモート端末から⼀元管理(運⽤コス

ミドクラ

Midonet

ZookeperとCassandraを利用

Midonet自体の利用リーソスが最小かするように設計→大規模にスケールアウト

過去投資したインフラ資産を有効利用可能

BGP GWもスケーラブル

【IaaSクラウドに特化したSDN】

AWSを中のアーキテクト(2名)スピンアウト(Amazon Dynamo開発者含む)

次の日に Danさんが話されるので詳しくはそちらを聞いてください。

OpenStack 対応

ミドクラ: Midonet

対応バージョン: OpenStack 2013.1(Grizzly)【対応済】

提供機能:・L3 BGP/Static Gateway・L2 Gateway・Security Group、Floating IP・Metadataサーバ機能・CLI

今後の予定:OpenStack Havanaサポート、IPSec VPNLoad Balancer (L4)、Monitoring / sFlow(12⽉末)Elastic Load balancer(L4/L7)、L7 Fire WallMulti-Chassis LAG、LACP

Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 41

REST API

トンネリング: GRE

MNの画面を入れる

CloudStack 対応

ミドクラ: Midonet

対応バージョン: CloudStack 4.2β【対応済み】

提供機能:・Advanced IsolatedモードL2, L3, DHCP, Firewll, Source NAT,Static NAT, Port Forwarding(仮想ルータ機能をMidonetにて提供)・CloudStack GUI 統合(ネットワーク作成)

今後の予定:Citrix Cloud Platform support(12⽉末)XenServerサポートVPCモードサポートLoadBalancerサポートSecurityGroup、CloudStack built-in機能連携

Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 42

仮想ルータの代わりにMidonetが選べる

CloudStack 対応

ミドクラ: Midonet

アーキテクチャ(補⾜)

Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 43

Copyright ©2013 Midokura All rights reserved

データセンタネットワークの変遷と新技術

44

Legacy datacenterLegacy datacenter IaaS Cloud datacenterIaaS Cloud datacenter

Physical Server

Physical L2SW

Physical Server

Physical Server

Physical L2SW

Physical Server

Physical Server

Physical Network

Physical Server

Physical L2SW

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Physical L2SW

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Physical Network

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Virtual SwitchVirtual SwitchVMVM VMVM VMVM

Physical Network への要求Physical Network への要求Datacenter-Optimized L2

FabricPath広帯域でPort数が多い物理 Network

Port-to-Port の Traffic Engineering

Virtual Network への要求Virtual Network への要求

Software-Controlled Switch

Virtual Network の自動構成

VM-to-VM の Traffic Engineering

VM数に対応するスケーラビリティ

Network Virtualization

Competitors

Our Focus!

Copyright ©2013 Midokura All rights reserved

MidoNetの機能一覧

仮想分散スイッチングによるアイソレーションとパス最適化 L2 Gateway による VLAN Tag 接続

L2

仮想分散ルーティングによるアイソレーションとパス最適化

IPv6 support (2014年以降実装予定)L3

L4ロードバランシング (2013Q4実装予定)

L7ロードバランシング (2014Q2実装予定)L4-7

DHCPによるFloating IP自動割り当て

L2 Gateway を経由した外部アプライアンスとの連携運用性

BGP接続による上位ネットワークとのActive-Active冗長構成 Single Point of Failure の存在しない分散システム信頼性

OpenStack 連携 CloudStack 連携 ( CCP のサポートは2013Q4予定 ) Restful API

マネジメント

Security Rule による L4 フィルタリング IPSec VPN (2014Q2実装予定)セキュリティ

BGP接続による上位接続の任意本数への拡張 オーバレイ接続により L2, L3双方の上位接続をサポートし、

スケールアウトが容易拡張性

45

Copyright ©2013 Midokura All rights reserved

ロードマップ

46

2012Q4

2013Q1

2013Q2

2013Q3

初の商品版リリース OpenStack Folsomサポート L3 BGP/Static Gateway

2012/12 Caddo2012/12 Caddo

OpenStack Grizzly サポート

L2 Gateway CLI RHOS 3.0 (as Diyari patch)

2013/8 Diyari2013/8 Diyari

OpenStack Havana サポート CloudStack CCP サポート Load Balancer (L4) Monitoring / sFlow IPSec VPN

2013/12 E release2013/12 E release

将来の記載事項は現在の予定であり、予告なく変更される可能性があります。

2013Q4

2014Q1

2014Q2

2014Q3

+

2014Q4

+

OpenStack Icehouseサポート Elastic Load balancer (L4/L7) L7 Fire Wall Multi-Chassis LAG LACP

2014/6 F release2014/6 F release

Yoshi