OpenStackによる、実践オンプレミスクラウド

QCon Tokyo 2013 - BS3-1 講演資料

Copyright © 2013 NTT DATA Corporation

April 23, 2013

株式会社ＮＴＴデータ

基盤システム事業本部伊藤雅典

OpenStack による、実践オンプレミスクラウド

自己紹介

氏名

伊藤雅典 (いとうまさのり)

所属

株式会社NTTデータ基盤システム事業本部システム方式技術BU

担当業務

OpenStack をベースにした「フルオープン仮想化基盤構築ソリューション」の

2Copyright © 2013 NTT DATA Corporation2

開発、OSS系案件対応等に従事

http://oss.nttdata.co.jp/openstack/

http://www.nttdata.com/jp/ja/news/release/2012/100201.html

活動領域

専門は、OS・仮想化・ネットワーク等のプラットフォーム系技術一般。

日本OpenStackユーザ会(JOSUG)、オープンクラウド実証実験タスクフォース

(OCDET)等で活動中。そのほか、各種記事執筆など。趣味は子育て。

ＩＮＤＥＸ

01 Introduction - はじめに

02 Overview - OpenStack プロジェクトの全体像

03 How it Works - どう動いているのか？

04 Toward the Production Systems -- 実システムへむけて

3Copyright © 2013 NTT DATA Corporation

０１はじめに

Copyright © 2013 NTT DATA Corporation 4

利用者視点で見たクラウドとは

• 情報システムを「保有せずに利用する」サービス形態

• 利用者は「ネットワークの向こう側」からサービスを受ける

• 「ネットワークの向こう側」がどうなっているかを知る必要はない


一言でいえば、「従量課金」ということ。

クラウドのサービスモデル

ミドルウェア・フレームPaaS

種類解説

SaaS

Software

as a Service

CRM・ERPなどの業務

アプリケーションアプリケーションアプリケーションアプリケーションを提

供

中中中中

柔軟性

低低低低

•アプリケーションとして

サービスが完成している

ため、変更には改修が

伴う

ユーザはハードを意識せずに

アプリケーションを利用可能

SaaS基盤（テナント管理・認証等）

AP AP



ミドルウェア・フレーム

ワーク等アプリケー

ション実行環境実行環境実行環境実行環境を提

供

CPU・メモリ・ネットワー

ク・ストレージなどのリリリリ

ソースソースソースソースを提供

PaaS

Platform

as a Service

中中中中

•アプリケーション開発を行

うための基盤であるため、

仕様変更等は比較的反

映し易い

高高高高

•アプリケーションを動作

させるインフラであるた

め、サービスの要求ス

ペックにあわせて自由に

変更が可能


アプリケーションを開発可能

開発環境

開発ツールIaaS

Infrastructure as a

Service


リソースを利用可能

仮想サーバ

ミドルウェアメモリCPUメモリCPUリソース

本日の話題はこのあたりをカバー

クラウドのサービス形態

パブリッククラウド

コミュニティクラウド

プライベート

クラウド

プライベート

クラウド

オンプレミスのプライベートクラ

ウドと外部パブリッククラウドを

組み合わせた

「ハイブリッド・クラウド」へ


•一般共有

（例 ECサイト）

•汎用性が求められるため、個別の要

求仕様には適合しにくい

プライベートクラウドコミュニティクラウドパブリッククラウド

•特定組織間で共有

（例共同センター）

•コミュニティが定めた範囲内でユーザの

要求仕様に適合可能

•単一機関内で利用

（例社内ポータル）

•個別機関毎に構築するため、細かな

要求仕様にも適合可能

特徴

ところで「オンプレミス」なのか？

� ノーチラス・テクノロジーズ 2013/04/09付報道発表

http://www.nautilus-technologies.com/topics/20130409.html

西鉄ストアさんの本部基幹システムをパブリッククラウド（AWS）のみで構築

画面数約600、処理量約3000バッチ、データ20億件/日

開発期間２年、開発工数 600-700人月

� ノーチラス・テクノロジーズ神林さんの 2013/04/14付ブログ

http://d.hatena.ne.jp/okachimachiorz/20130414/1365914031

「オンプレミス・システムの終わり」の始まり


「オンプレミス・システムの終わり」の始まり

～AWSでのミッションクリティカルシステムの稼働

ブログ末尾より引用

最後に実際に弊社某エースの作業中の独り言だけ書いておきます。「「「「これは・・・これは・・・これは・・・これは・・・一筋縄一筋縄一筋縄一筋縄ではいかないではいかないではいかないではいかない

わわわわ（（（（汗汗汗汗」」」」だそうでございます。いろいろありましたよ。そんな簡単じゃないですよ。まじめに。まぁとはいえ、

できているという現実は直視すべきでしょう。

ところで「オンプレミス」なのか？

� TechTarget 「OSSクラウド基盤 OpenStackの全て【前編】」より抜粋

http://techtarget.itmedia.co.jp/tt/news/1012/22/news01.html

「「「「プライベートクラウドを持つ（オンプレミスで設備を所有する）ことの意義は、…（中略）…………インフ

ラ運用ノウハウの担保、つまり現場力の維持も意義になるだろう。日本の産業界を支えてきた

最大の要因は現場力の強さであったことを思い起こしてほしい。」」」」

≒＞インフラはサービス（現場）の根幹


�「インフラエンジニアがOpenStackを学ぶべきたった一つの理由」より

（OSC.Cloud 2012 by 日本OpenStackユーザ会会長中島さん）

http://www.slideshare.net/irix_jp/osc2012-15658447

「OpenStackは一粒で８度おいしい」

≒＞（レイヤを問わず）エンジニア自身の価値向上

パブリッククラウドでもパブリッククラウドでもパブリッククラウドでもパブリッククラウドでも、、、、オンプレミスでもオンプレミスでもオンプレミスでもオンプレミスでも、、、、プライベートプライベートプライベートプライベート

クラウドでもクラウドでもクラウドでもクラウドでも、、、、幅広幅広幅広幅広くくくく理解理解理解理解してしてしてして使使使使うべしということうべしということうべしということうべしということ

０２ OpenStack プロジェクトの全体像


OpenStackとは

IaaS レイヤからPaaS レイヤの下部までをカバーするクラウド基盤OSS

11Copyright © 2013 NTT DATA Corporationhttp://www.openstack.org/software/ より引用

OpenStackの特徴

1 フルオープンソース

2 リッチな機能セット（≒豊富な周辺エコシステム）

3 確固とした開発・ユーザコミュニティの運営体制


4 主要ディストリビューションに標準搭載

５豊富なユーザー事例

OpenStack コアコンポーネントの概要図

Compute

(Nova)Object Storage(Swift)

Network

(Quantum)

Dashboard

(Horizon)

13Copyright © 2013 NTT DATA Corporationhttp://ken.pepple.info/openstack/2012/09/25/openstack-folsom-architecture/

Identity --AuthN/AuthZ

(Keystone)

VM Image

(Glance)

Block Storage

(Cinder)

OpenStack の機能範囲

コアプロジェクト

� OpenStack Compute - Nova AWS の EC2/VPCに相当

� スケーラビリティ強化

� 大規模対応強化

� OpenStack Image Service - Glance AWS の EC2 の一部に相当

� OpenStack Network Service - Quantum AWS の EC2 の一部に相当

� Grizzly で Load Balancer 機能をサポート

� Grizzly で多数のSDNコントローラプラグインが追加


� Grizzly で多数のSDNコントローラプラグインが追加

� OpenStack Volume Service - Cinder AWS の EBS に相当

� Grizzly で多数のストレージ装置ドライバが追加

� OpenStack Object Storage - Swift AWS の S3 に相当

� Grizzly で地理的分散対応

� OpenStack Identity Service – Keystone 認証/認可サービス

� OpenStack Dashboard – Horizon AWS の Mgmt. Console に相当

� Quantumの機能強化追従（ネットワークトポロジーのグラフィックパネルを含む）

� NovaのLiveMigration対応

1

OpenStack の機能範囲

周辺プロジェクト

� Monitoring and Billing - Ceilometer AWS では CloudWatch に相当

� Orchestration - Heat AWS では CloudFormation に相当

� Hadoop as a Service - Savanna AWS では EMR に相当

� S3の代わりに Swift インテグレーションも進行中

� DNS as a Service - Moniker AWS では Route53 に相当

� RDBMS as a Service - Reddwarf AWS では RDS に相当

� LB as a Service - Libra/Atlas AWS では ELB に相当


� LB as a Service - Libra/Atlas AWS では ELB に相当

� Grizzly では Quantum 内蔵の LBaaS 機能が追加された

Grizzlyの新機能の詳細については以下を参照

� https://wiki.openstack.org/wiki/ReleaseNotes/Grizzly

1

OpenStack Foundation

OpenStack Community を運営する、ベンダ中立な非営利団体

強いコミットメントを伴うメンバーシップ

Technical Committee / Board of Directors / User

Committee で構成


AT&T

HP

IBM

Nebura

RackSpace

Redhat

SUSE

Ubuntu

NEC

Cisco

DELL

Intel

NetApp

VMware

YAHOO!

… and others

OpenStack プロジェクトの歴史

2011年9月の Diable(4th)リリー

ス以降、順調に半年ごとにリリー

スされている

（タイムベースのリリースポリシー）

Havana

Release

NASA Press Release:

Nova

Rackspace Press

Release : Swift

05/09/‘10

イマココ


07/19/’10 10/21/’10

Austin

Release

Bexar

Release

Cactus

Release

02/03/’11 04/15/’11

発表

Diablo

Release

09/22/’11

Essex

Release

04/05/’12

3.5

か月2

か月5

か月

Folsom

Release

09/27/’12 04/04/’13

6

か月6

か月

Grizzly

Release

イマココ

6

か月

ユーザ事例（パブリッククラウドサービス）

HP

HPのパブリッククラウドサービス

5/10/’11時点で1000 Nodes, PBs Storage、Ubuntu ベース

Rackspace

RackSpace社のパブリッククラウドサービス

(Virtual Network, Virtual Block Storage Services (5/1/’11~)

GMOインターネットお名前.com VPSサービスを OpenStack で構築・運用


Korea Telecom Swift を用いた商用オブジェクトストレージサービス

SoftLayer Swift ベースのグローバルCDNサービス（等）

ユーザ事例（商用/内部サービスのホスト）

Mercado Libre

南米本拠の e-Bay パートナ

e-Commerce on Top of OpenStack

(1000Nodes, 58M Users, Peak 50K Reqs./s）

PayPal

vCloud からOpenStack にサービス基盤を移行

http://www.openstack.org/user-stories/paypal/agility-with-stability/

Sina

中国版Twitter(Weibo)を運営する会社

自社サービスのＡＰ基盤をOpenStack上で運用


WebEX (Cisco) WebEx のシステムをOpenStack上に収容

Sina

自社サービスのＡＰ基盤をOpenStack上で運用

SCE America

社内ゲーム開発環境をOpenStack上で運用

（AWSから移行）

サイバーエージェント Ameba の基盤を VMwareベースから置き換え

ユーザ事例（テレコム系、学術系）

DeutscheTelecom

SMB向けのビジネスマーケットプレースの基盤を

OpenStackで構築

NECTOR オーストラリアのHPC学術クラウド基盤

国立情報学研究所

教育クラウドの基盤で OpenStack を利用

（ベアメタルプロビジョニング機能等を独自開発）


CERN

EUの高エネルギー研究施設のクラウド基盤

(48 Nodes, 1PB)

OpenStackのユーザー事例は、OpenStack本家の以下のページから参照できます。

http://www.openstack.org/user-stories/

OpenStack ベースのディストリビューション/ソリューション

RedHathttp://www.redhat.com/products/cloud-computing/openstack/

Canonicalhttp://www.ubuntu.com/cloud

SuSEhttps://www.suse.com/products/suse-cloud/

21Copyright © 2013 NTT DATA CorporationPistonCloud

http://www.pistoncloud.com/openstack-cloud-software/

RackSpace

RackSpace Private Cloud Edition

http://www.rackspace.com/cloud/private/

Ciscohttp://www.cisco.com/web/solutions/openstack/index.html

NTTデータ

フルオープン仮想化基盤構築サービス

http://oss.openstack.co.jp/openstack/

国内コミュニティの動向

•日本OpenStackユーザ会

• OpenCloudCampus(http://opencloud.jp/)の中核として：

• 各種イベントやML等を通して情報発信

• ドキュメントの翻訳

• 海外コミュニティとの連携

等を行っています。


• HP http://openstack.jp/

• ML http://groups.google.com/group/openstack-ja

• 最近の活動： OpenStack Days Toky 2013 @ 秋葉原

• http://openstackdays.com/

• 事前登録1000名超、ユニーク来場者 650名！

０３ＨｏｗＩｔＷｏｒｋｓ？


Compute NodeCompute Node


Novaのアーキテクチャ(Diablo リリースくらいまで）

仮想マシンの作成、削除、

監視等の管理

Scheduler

Node

Scheduler

Node

リソーススケジューラ


OpenStack API

(/AWS API)

REST

• モジュラーなコンポーネント群がRPCメッセージを介して協調動作する構造。

• 外部I/Fは REST API

DBMSDBMS

DBアクセス


RPC /

AMQP

RPC /

AMQP

API ServerAPI Server

仮想マシンに不揮発性の

ブロックストレージを提供

Network NodeNetwork Node

GlanceGlance

仮想マシンへの

static NAT/DHCPを

提供

仮想マシンイメージの

管理

ユーザからの要求受付

Volume NodeVolume Node

SwiftSwift

REST

REST

イメージデータの実体を保持

RPC

Novaのアーキテクチャ（現在はこうなっています）

RPC

(/AMQP)

RPC

(/AMQP)

nova-apinova-api

nova-

scheduler

nova-

scheduler

OpenStack API

(/AWS API)

• モジュラーなコンポーネント群が REST/RPC メッセージを介して通信、協調動作する構造。

CinderCinder

DBMSDBMS

DBアクセス

RPC


nova-computenova-compute



SwiftSwift

REST

KeyStoneKeyStone

nova-conductornova-conductor

GlanceGlance

QuantumQuantum

注１：各コンポーネントから出

る「認可」のためのメッセージ

は省略しています。

注２：Nova以外はサブコン

ポーネントをまとめています。

大量のnova-compute か

らのDBアクセスを集約

REST

RPC

Account ServerAccount Server

Swiftのアーキテクチャ

Container の一覧を保持

認証サーバ

(Keystone)

認証サーバ

(Keystone)

Account ServerAccount Server

Container Container

• 外部I/Fを含めてすべてのコンポーネントが REST API で通信、協調動作する構造。

認証認可

26Copyright © 2013 NTT DATA CorporationObject ServerObject Server

Object ServerObject Server


Container

Server

Container

Server

Proxy ServerProxy Server

Object の一覧を保持

Object のデータを保持

利用者とストレージノード

の間でリクエストを中継す

る

クライアント

swift コマンドのほか、

CyberDug や CloudBerry

等（curl等操作可能）

REST

Proxy ServerProxy Server

Container

Server

Container

Server


ストレージノード

注１：ここに挙げたのは主要サ

ブコンポーネントのみで、

replicator 等は省略しています。

n-api n-scheduler n-compute q-server q-agent

run_instance

schedule_run_instance

create

ｎova コマンド等

Novaの動作：VM起動時のシーケンス抜粋（例: Quantum OVSの場合）

Quantum呼び出しは

L2 NW一覧取得や、

portの作成等さまざま


allocate_for_instance

ovs-vsctl 呼び出し

（port 作成等）

凡例

RPC

REST

API

注意

・DBアクセスは省略しています。

・RPCはMQサーバを経由します。

この後、必要に応じて

Glance からイメージ取得、

libvirt へVM作成要求等

システム構成例

インターネット

／イントラネット

Cinder

Zone #1

外部ネットワーク

エンドユーザPC

iptables

Nova + Glance +Quantum(ovs plugin) +

Cinder + Swift(イメージのみ) の標準的な

構成 (ただし、Keystone/DB/MQは省略)

クラウドコントローラ


Quantum

Agent

(L2/L3)

Nova-api

EBSEBSEBSEBSボリュームボリュームボリュームボリューム

Glance/

Swift

Cinder

Volume

(iSCSI等)

VMVMVMVMImageImageImageImage Nova ComputeQuantum AgentVMVM…

内部ネットワーク

管理・ストレージ用ネットワーク


DB

(MySQL)

Nova ComputeQuantum AgentVMNova

Scheduler

Quantum

Server

ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（1）： APIサーバで受付



Cinder

Zone #1



① 起動要求

iptables


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova ComputeQuantum AgentVMNova

Scheduler

Quantum

Server

ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（２）：スケジューラで資源選択



Cinder

Zone #1



� ユーザの要求とCompute Nodeの混

み具合を照らし合わせて、VMを実行

するべきホストを選択

iptables


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova

Scheduler

Quantum

Server

Nova ComputeQuantum AgentVM② VM作成

指示

ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（３）： compute へVM作成指示



Cinder

物理マシンプール#1



iptables


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova ComputeQuantum AgentVMVMNova

Scheduler

Quantum

Server

③VM起動処理

要求

ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（４）：内部L2NW作成処理



Cinder

Zone #1


エンドユーザPC� テナントに対応した VLAN や GREトンネル、

内部用IP(FIXED_IP)を割り当てる

� 各テナントごとに tap と内部用IP

(FIXED_IP)空間の gateway を設定

DHCPサーバを設定（・起動）

⑤ tap作成

iptables


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova

Scheduler

Quantum

Server

Nova ComputeQuantum AgentVM④ NW割当要求

⑤ tap作成

dnsmasq 起動

⑤’ tap作成 ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（５）： compute上でのVM作成処理



Cinder




iptables

� ステップ(3)で作成される tap をVMの

仮想NICに bridge 接続してVM生成。

� ebtables を利用し、L2でフィルタが設

定される

� 内部NW側の private address はDHCP

で割り当てられる。


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova ComputeQuantum AgentVMVMNova

Scheduler

Quantum

Server

⑥ VM テンプ

レートダウンロード

⑦ VM生成

ovsovs

dnsmasq/ovs

仮想マシンの起動シーケンス（６）：外部通信用設定



Cinder




⑧ 外部用

Floating IP割り

当て要求

� 外部通信用の global IP address

は iptables で SNAT/DNAT設定さ

れる

iptables

別オペレーション


Quantum

Agent

(L2/L3)

Nova-api


Glance/

Swift

Cinder

Volume

(iSCSI等)




DB

(MySQL)

Nova ComputeQuantum AgentVMVMScheduler

Node

Quantum

Server

⑨ NAT設定

要求

ovsovs

dnsmasq/ovs

OpenStack が利用するホストOS側の機能

OpenStack はホストOSのごく基本的な機能を（ただし、幅広く）

使って動いています

�仮想NW(VLAN/tunnel)切り出し → vconfig、ip、ovs-vsctl

�仮想NWへ仮想NICの接続 → brctl、libvirt API

�VMへのアドレス割り当て → dnsmasq

�NATの設定 → ip, iptables


�F/Wルールの適用 → iptables

�内部NWフィルタの設定 → ebtables、libvirt API

�VMの起動・停止制御 → libvirt API

�ボリュームの制御 → iSCSI系コマンド

�VMへのボリューム接続 → libvirt API

�ボリュームのスナップショット実現 → lvm2 系コマンド

etc.

他のIaaS構築ソフトとの比較

� CloudStack

� 機能範囲

� Compute サービスのみ

� Swift や RiakCS、Gluster 等、周辺エコシステムは拡充中

� メリット

� Citrix社の製品（例：NetScaler、XenServer等）との親和性が高い

� 海外だけでなく、国内での適用事例も豊富。


� 構造

� コントローラはモノリシックな構造。実装言語は Java

� Eucalyptus

� 機能範囲

� Compute サービスのみ

� メリット

� Amazon Web Service(AWS)との公式な互換性がある

� 構造

� コントローラはモノリシックな構造。実装言語は Java + C

OpenStack NW構成例：VLAN/GREベースで隔離する場合



Zone #1



iptables

�Amazon EC2型＋αのネットワーク

モデルを実現

�物理Network Nodeが外部トラ

フィックを集約

(*1) クラウドコントローラ

API, Scheduler, RabbitMQ, RDBMS


Quantum

agent

(L2/L3)

クラウド

コントローラ

(*1)

Glance/

Swift


内部ネットワーク(VLAN/GRE等）



DB

(MySQL)

Nova ComputeQuantum AgentVMVMdnsmasq

ovs ovs

CloudStack NW構成例：Advanceｄ Network モードの場合



Zone/Pod



仮想ルータ向け

トラフィックが流れる

�DNATベースのネットワークモデル

�テナントごとに仮想ルータVMが作成され、

内部NW経由でVMの通信を中継する。


Mgmt.

Server.

NFS

/iSCSI

VMVMVMVMImageImageImageImageCompute

VM…



DB

Compute

VMCompute

仮想ルータCompute

仮想ルータvnic0vnic1内部ネットワーク

VMvnic0vnic1SSVM CPVM

OpenStack NW構成例：Flatモデル + multi_host オプションの場合



zone1#1



(*1) クラウドコントローラ

API, Scheduler, RabbitMQ, RDBMS etc.

�RackSpace型のネットワークモデルを実現

� Gatewayはホスト単位に存在するので、ボ

トルネックにならない

� ただし、アイソレーションはできない。


Glance/

Swift

VMVMVMVMImageImageImageImage …



DB

(MySQL)

nova-

compute

VMVMdnsmasqiptablesnova-network

nova-

compute

VMVMdnsmasqiptablesnova-network

クラウド

コントローラ

(*1)

０４ＴｏｗａｒｄＰｒｏｄｕｃｔｉｏｎＳｙｓｔｅｍｓ


OpenStack Operations Guide (OpenStack 運用ガイド）

�コミュニティ有志による、設計～構築～運用にまつわるベストプラクティ

ス・ノウハウの集大成（トラブル事例もあります ☺）

� http://docs.openstack.org/ops/

�現在、日本OpenStackユーザー会(JOSUG)の有志で翻訳中

� http://dream.daynight.jp/openstack/openstack-ops/content/

↑翻訳中のスナップショット


CloudStack 等、他の

実装にも通じる部分

が多いです。

システム設計上のポイント

�原則

�一般的なWebサービスの高可用化・サイジング設計とほとんど変わりません

�出発点

�サービスの仕様を決定する

�提供する仮想ＮＷのモデル → アイソレーションが必要か？

�どの程度のユーザ/仮想マシン/ストレージをホストするのか？


�どの程度のユーザ/仮想マシン/ストレージをホストするのか？

�etc.


Operations Guide で紹介されている

Example Architecture

� Quantum を使わず、nova-network

で multi_host 構成。

� アイソレーションと、全体ス

ループット/外部GWの高可用

化のトレードオフ


→仕様も構造もシンプルにする

� ユーザ数/ＶＭ数に比例するブロック

ストレージ、VMディスクイメージの保

持ノードを分離

→スケールアウトしやすい構成

� コントローラは通常のＨＡ化機構

で冗長化

� 実際の需要/負荷に応じて、DB、

MQ、glance等から分離

→監視の設計も重要


�悩ましいところ

�Block Storage (Cinder)の実体に何を使うか？

�箱モノは信頼性はあるが高価。Ceph RBD や Sheepdog 等は面倒を見

切られるかどうか、見極めが難しい。

�etc.


Demo


Demo

モデルケース

•OpenStack では、SDNコントローラ等の周辺部品との組合わ

せにより、非常に多彩な仮想システムモデルを実現できます。

•本日お見せするデモシステムの構成は以下の通りです

• Amazon EC2型＋αの仮想NWモデル

• 全体が global firewall の内側にあり、ＶＭには private addressが割


• 全体が global firewall の内側にあり、ＶＭには private addressが割

り当てられる。

• 外部通信は、NAT経由で行う。

→外部からのアイソレーション

• 他のユーザのパケットは見えない。

→テナント間のアイソレーション

• テナントあたり、複数の孤立仮想L2ネットワークを定義できる（＋α）

• VMあたり、複数の仮想NICを接続できる（＋α）

VyattaPublic

Network172.28.0.0/24

EXT1

Cloud

ext-z1

zone1

eth2

eth0eth1172.28.0.11/24

172.28.0.12/24

172.28.1.11/24

172.28.2.1/24172.28.1.1/24

eth2 eth3

FLOATING (as next-hop)

172.28.11.0/24

172.28.12.0/26

HOST

(on KVM)

VM

L2 NW

(as a bridge)

Quantum

NW

デモ環境システム構成図


開場発表者PC

47Copyright © 2013 NTT DATA Corporation Management (10.10.1.x)

Cloud

Controller

n-cpu n-cpu

INT1

vm1-1 vm2-1

VR-z1

net-t1-2

net-t1

eth0

eth0

eth1

eth1

net-t2-1

vm1-2

eth0

nova-compute以外、

Horizon, Glance, Cinder,

Quantum L2/L3 agent

を含めてすべてここで動

作

作業用

サーバ

モデルケース

• OpenStack では、SDNコントローラ等の周辺部品との組合わせに

より、非常に多彩な仮想システムモデルを実現できます。

• 本日お見せするデモシステムの構成は以下の通りです

• Amazon EC2型＋αの仮想NWモデル

• 全体が global firewall の内側にあり、ＶＭには private addressが


• 全体が global firewall の内側にあり、ＶＭには private addressが

割り当てられる。

• 外部通信は、NAT経由で行う。

→外部からのアイソレーション

• 他のユーザのパケットは見えない。

→テナント間のアイソレーション

• テナントあたり、複数の孤立仮想ネットワークを定義できる（＋α）

• VMあたり、複数の仮想NICを接続できる（＋α）

OpenStack Dashboard (Horizon)画面サンプル

仮想L2面や仮

想ルータの動

日本の

OpenStackユー

ザ会で翻訳しま

した


想ルータの動

的な追加・削

除もできます。

NTTデータのOpenStackソリューション

2012年10月10日開催「ITpro EXPO 2012」優秀賞受賞！

50Copyright © 2013 NTT DATA Corporation「ITpro EXPO 2012」に出展されたすべての製品/サービスの中から、製品/サービスとして優れていると同時に、来場者に

対して分かりやすくインパクトのある展示を行ったものに与えられる賞です。

クラウド構築における悩ましい障壁

1 各種設計や高可用性確保

3 設定や利用方法の不明点の解消

2 サーバやストレージの選定


4 カスタマイズ

5 サービスイン後の運用に関する配慮

クラウド = 相応規模のITシステムは、SIerにお任せください

フルオープン仮想化基盤構築ソリューションとは

NTTデータではコンサルから運用までワンストップでサポートします

リソースの増減に応じてサーバ電

源を制御し、冗長なノードの電源を

アイドリングストップ

最小限の投資で素早くサービ

スを開始し、需要に応じて拡

リーンスタートアップ

コンピュート（nova）コンサル構築運用

52Copyright © 2013 NTT DATA Corporationモニタリング＆マネージメント

（Hinemos＋α）

ディザスタリカバリ

落としエコな運用

災害などでデータセンターが

停止した場合でも、他のデー

タセンターでサービスを継続

張可能

コンピューティングリソース、大規模

ストレージ、ネットワークを統合的に

運用・管理

統合マネージメントストレージ（swift）ネットワーク（OpenFlow）

小規模からリーン・スタートアップ

～お試しから徐々に増設

Before 需要予測 → サーバ購入→ 予想ハズレ →

After 最低限購入→ Full キャパ→ 増設 →


リーン(無駄のない)システム

その時々に応じた最も安いサーバーを選択

A社 A社 B社B社 B社

A社 B社 B社 B社 C社 C社

C社 C社 C社 C社 C社 C社

増設増設増設増設

エコ・クラウドの実現にアイドリング・ストップ

～ランニングコストを最低限に

走行中はエンジン全開でも停止中はエンジンも停止


★

★

★

休閉期には自動で電源OFF!繁忙期には自動で電源ＯＮ！

stop stop

電源ON 電源OFF

エコ・クラウドの実現にアイドリング・ストップ

～ランニングコストを最低限に

Compute Node

Compute Node

Compute Node

Compute Node

OpenFlowOpenFlow

ＶＭＶＭ

ＶＭＶＭ

ＶＭＶＭ

ＶＭＶＭＶＭ

ＶＭ

繁忙期閑散期

Compute Node

OpenFlowOpenFlow

ＶＭ

Compute Node

OpenFlowOpenFlow

ＶＭ

成長期電源OFFの機器

電源ONの機器


Compute Node

Compute Node

Compute Node

Compute Node

Compute Node

ＶＭ

ＶＭ

ＶＭＶＭ

ＶＭ

Compute Node

Compute Node

Compute Node

Compute Node

OpenFlowOpenFlow

ＶＭＶＭ

ＶＭＶＭＶＭ

ＶＭ

Compute Node

Compute Node

Compute Node

Compute Node

ＶＭＶＭ

ＶＭＶＭＶＭ

ＶＭ電力最小化ＶＭ

ＶＭデフラグ機能で

VM・NWを寄せ

る

アイドリングス

トップで不要な

ノードを停止

大規模クラウドに必須な OpenFlow

～VLAN上限もNTTデータ独自OpenFlow技術で突破！

テナントごとにNWを区画するのにVLANの上限が問題

新規格”Openflow”を使うことにより改善可能

同一テナント

56Copyright © 2013 NTT DATA Corporation パケットフロー指定

テナント

NTTデータ独自 ”Virtual Network Controller”

1 物理NWの上に自由に論理NWを構築可能

2 マルチテナントで利用される仮想NWを一元制御可能なGUI


まとめ：成功のポイントとは

1 サービスの仕様自体を、可能な限りシンプルに保つ

2 サービスの構造を、可能な限りシンプルに保つ

3 理解して使い、可能な限り自分で責任を持つ


4 信頼できるパートナーを選ぶ

NTTデータでは、OpenStackによるクラウド基盤のコンサルから

運用までをカバーしたワンストップサービスを提供しています


ご清聴、どうもありがとうございました



Q&A


Q&A

Documents

OpenStackによる、実践オンプレミスクラウド