Upload
akihiro-motoki
View
2.877
Download
6
Embed Size (px)
Citation preview
OpenStack が実現する仮想ネットワーク~OpenStack Quantum の紹介~
Akihiro Motoki (@ritchey98)OpenStack Quantum Core Developer
Japan OpenStack Users GroupDec 16th, 2012
自己紹介
• 元木顕弘 Twiter: @ritchey98
• 某電気系メーカの研究所に所属– IPルータ、広域Ethernet装置、迷惑メールフィルタなどの開発をやっていました。の開発をやっていました。
– 最近は OpenStack, OpenFlow 周りで活動しています。
• Linux JM Project– 皆さん日本語マニュアル必要ですか。いつやめてもいいです (^^;
• OpenStack Quantum Core Developer
OpenStack Project と Quantum
Compute Nova
Swift (Objects)
*-as-a-Service Capability OpenStack Service
Storage
Network
Glance (Images)
Quantum
Cinder (Block)
identity Keystone
Quantum の目的 #1
• Network-as-a-Service (NaaS) を提供する
–テナントが自由なネットワーク操作を提供
• 複数のプライベートなネットワークの作成
• IPアドレスの制御• IPアドレスの制御
–論理ネットワーク操作API• 論理操作と物理操作を分離
• 物理レイヤーは Quantum (Plugin) が設定する
Quantum の目的 #2
• 複数のネットワーク技術に対応
– データセンタでは新たな要件が発生• multi tenancy, remote data center, VM mobility, advanced
network services, …
– Nova は VLAN + Linux iptables のみが利用可能– Nova は VLAN + Linux iptables のみが利用可能
– 新しいネットワーク技術に対応できるアーキテクチャ• SDN/OpenFlow-based network
• Overlay tunneling (VXLAN, NVGRE, STT, …)
• L2 Fabric (Fabric Path, QFabric, …)
Quantum 仮想NWモデル• テナントは複数の Network を作成できる• Network には Subnet (CIDR, GW等) を関連付ける。
– 1つのNWに複数のSubnetを関連付けできる。IPv4+IPv6, IPv4 Address pool 等– IPアドレスの払い出し (IPAM)– テナント間での IP アドレス重複にも対応
• Networkに複数のPort を作成できる。(L2SWのポートのイメージ)– VM の仮想NICはやルータのINF は Port と関連付けられる。
Net1
VM110.0.0.2Nova
Quantum L2 virtual network
VM210.0.0.3
virtual port
virtual server
virtual interface (VIF)
virtual subnet10.0.0.0/24 IPv6
Quantum でできることTenantA-VM1
10.0.0.2TenantA-VM1
10.0.0.2
TenantA-VM3TenantA-VM39.0.0.2
TenantA-VM210.0.0.3
TenantA-VM210.0.0.3
Tenant-A Net110.0.0.0/24
Tenant-A Net29.0.0.0/24
L2 virtual network
virtual port
virtual server
virtual interface (VIF)
virtual subnet
• ネットワークの自由な作成• IP overlapping Tenant Networks
External
88.0.0.0/18
External Net
88.0.0.0/18
SNAT for external trafficFloating IP
• 複数 NIC を持った VM の)作成
• ルータ経由で Subnet 間通信• Floating IP での外部からの接続 (Elastic IP@AWS)
Tenant View vs Infra ViewTenant-A
VM
VMnet2
VM
VMnet1 R
Tenant-A
VM
VMnet1 R
Internet
Infra (Provider) View
VM
Tenatn View
Data Center Network
Internet
GW
vSwitch
VM VM
vSwitch
VM VM
vSwitch
VM VM
SW SW
Tenant View vs Infra View
Tenant-A
VM
VMnet2
VM
VMnet1 R
Tenant-A
VMnet1 R
Internet
User
• Quantum は論理操作をユーザに提供• 物理操作はプラグイン or NW Controller が行う
REST API
Infra (Provider) View
VM
VMnet1 R
Tenatn View
Data Center Network
Internet
GW
vSwitch
VM VM
vSwitch
VM VM
vSwitch
VM VM
Quantum
NWController
SW SW
NovaPlugin
REST API
Quantum API
• Network, Subnet, Port のそれぞれに対してList, Create, Read, Update, Delete 操作をREST API で行う。
– net-create, net-update, net-delete,net-list, net-shownet-list, net-show
– subnet-create, subnet-update, subnet-delete,subnet-list, subnet-show
– port-create, port-update, port-delete,port-list, port-show
Quantum API (network)
$ quantum net-create net1Created a new network:+-----------------+--------------------------------------+| Field | Value |+-----------------+--------------------------------------+| admin_state_up | True || admin_state_up | True || id | a5d04085-3a15-470f-adca-b67c0958a829 || name | net1 || router:external | False || shared | False || status | ACTIVE || subnets | || tenant_id | c3ed8c16308642de9b15647759d9e5e9 |+-----------------+--------------------------------------+
Quantum API (subnet)
$ quantum subnet-create net1 172.16.1.0/24Created a new subnet:+------------------+------------------------------------------------+| Field | Value |+------------------+------------------------------------------------+| allocation_pools | {"start": "172.16.1.2", "end": "172.16.1.254"} || cidr | 172.16.1.0/24 || dns_nameservers | || dns_nameservers | || enable_dhcp | True || gateway_ip | 172.16.1.1 || host_routes | || id | 736b30c1-5b83-4b52-b5ac-a397273cb240 || ip_version | 4 || name | || network_id | a5d04085-3a15-470f-adca-b67c0958a829 || tenant_id | c3ed8c16308642de9b15647759d9e5e9 |+------------------+------------------------------------------------+
Quantum API (port)
$ quantum port-show 332d3288-5d7a-4ea9-8af6-9b5c82615bb2+----------------+--------------------------------------------------------+| Field | Value |+----------------+--------------------------------------------------------+| admin_state_up | True || device_id | d8b5dc3c-f73c-44bf-9c04-13f986cf5e6b || device_owner | compute:nova || device_owner | compute:nova || fixed_ips | {"subnet_id": "d9054ffb-1a0d-41d1-835b-8758d11f0060", || | "ip_address": "10.0.0.3"} || id | 332d3288-5d7a-4ea9-8af6-9b5c82615bb2 || mac_address | fa:16:3e:20:b9:f6 || name | || network_id | 6d013e3f-7ea9-402c-9725-9cb693809988 || status | ACTIVE || tenant_id | 34657b6768184444af7b5081213e6e73 |+----------------+--------------------------------------------------------+
Tenant Network Control (Horizon)
Tenant Network Control (Horizon)
VM Launching (1)
VM Launching (2)
nova boot --flavor 1 --image 58ba017b-dd22-492f-a826-b8c72a133be0--nic net-id=45fe25eb-f5ef-43b1-b006-6878c1643111 server1
Quantum Architecture• 物理ネットワークの制御は Quantum Plugin が行う。• Plugin を切り替えることで、様々なネットワーク技術を利用
できる。現在は同時には一種類のみ利用可。
CLI / Dashboard (Horizon) / Orchestration Tool
Quantum API Nova API
Quantum
Nova
Quantum Plugin
Nova Compute
Virtual Switch
VM VM
Nova Compute
Virtual Switch
VM VM
HW SwitchPhysical Network
agent agent
Quantum
OpenStack と OpenFlow の連携
Nova
NEC OpenFlow PluginNova Compute Nova Compute
CLI / Dashboard (Horizon) / Orchestration Tool
Quantum API Nova API
Nova Compute
Virtual Switch
VM VM
Nova Compute
Virtual Switch
VM VM
HW Switch
OpenFlow Controller
Network
OFC API
OpenFlow Protocol
agent agent
Quantum Plugin• 現在 Mainline に入っているもの• NW Controller なし
– Open vSwitch Plugin (VLAN, GRE)– Linux Bridge Plugin (VLAN)
• SDN/OpenFlow 系– Nicira NVP Plugin– Nicira NVP Plugin– Ryu Plugin– NEC OpenFlow Plugin
• Trema SliceableSwitch (OSS)• ProgrammableFlow
– Big Switch Plugin• その他
– Cisco Plugin : Cisco UCS と Nexus スイッチを利用
Quantum の機能ブロック• Quantum Server
– 論理ネットワークの管理を行う– Plugin は Quantum Server の一部
• Agent – Quantum Server 以外のサービスプロセス。Quantum Server 以外の
サーバでも動作可能。– Plugin– Plugin の実現方式に応じて、必要に応じて使用する。
実現方式次第では Agent は不要。
• Plugin Agent– vSwitch の情報取得、設定を行う
• DHCP Agent– 仮想NW単位のDHCPサーバの管理を行う
• L3 Agent– 論理ルータの操作を行う。論理ルータは、iptables を利用して実現
Nova(CC)Quantum
Server
Compute Node Compute Node
eth0eth0eth0
NovaCompute
NovaCompute
Management Network
機能ブロックと配置
eth0
DHCP agentL3 agent
OVS(br-ex)
eth2
External network
Server
Data Network
eth1 eth1
OVS(br-int)
OVS(br-int)
Compute Compute
Plugin Agent Plugin Agent
ControllerNode
eth1
OVS(br-int)
L3 agentPlugin Agent
Network Node
機能ブロックと配置
• Plugin Agent– データトラフィックを扱うノードで動作させる必要あり
• Nova-compute ノード
• DHCP-agent が動作するノード
• L3-agent が動作するノード
• DHCP-agent, L3-agent• DHCP-agent, L3-agent– いずれか一つのノードで動作させる必要あり
– L3-agent は外部ネットワークとの通信を行うため、Nova-Compute ノードとは別ノードにするのが望ましい。
– 現状、Nova-network の multi_host 構成は未対応
Quantum を使う上での注意点 (1)• Network Namespace
– Linuxが持つネットワーク仮想化の機能で、1つの物理ホスト上に、複数の独立したネットワーク機能を構成できる。他の Namespace の影響を受けない。
– Quantumでは、IPアドレスが重複したネットワークを扱うために、Network Namespace を利用しています。
起動したVMの動作確認に ping を打とうとした際に、起動したVMの動作確認に ping を打とうとした際に、制御サーバから Ping を打っても届きません。
Network Namespace 内からコマンドを実行する必要があります。
– 詳しくは “network namespace” で検索してください。
– 最近のUbuntu(12.04など)では問題なく動作しますが、RHEL6/CentOS6系では現状は動作しません。• Quantumの設定で Network Namespace を使用しないようにすることもできま
す。
ip netns exec <netns-name> ping 192.168.1.10
Quantum を使う上での注意点 (2)• ネットワークの操作は quantum コマンドで。
– nova-manage network は使わないで下さい。create コマンド自体は成功して、list でも表示されますが、何の意味もありません。Nova DBに書き込んでいるだけなので。
– Grizzly で、Quantum が有効になっていると、nova-manage network でエラーが出るようになるかもしれません。
• KVM• KVM– /etc/libvirt/qemu.conf に設定が必要です。– Quantum では作成済みの tap device を指定してVMを起動しま
す。そのため、QEMU が tap device を操作できるように設定が必要。
cgroup_device_acl = ["/dev/null", "/dev/full", "/dev/zero","/dev/random", "/dev/urandom","/dev/ptmx", "/dev/kvm", "/dev/kqemu","/dev/rtc", "/dev/hpet", "/dev/net/tun",]
次期リリース Grizzly に向けて
• Closing gaps– Nova との連携が十分でない機能の実現
– Quantum Security groups & metadata service with overlapping IPs
– L3 forwarding 、DHCP機能の scalability 確保– L3 forwarding 、DHCP機能の scalability 確保
• 負荷分散, nova “multi_host” flag 相当
• Advanced Services– Load-balancing (LBaaS)
– VPN
最後に
• Quantum を使うと、–仮想ネットワークを自由に作れるようになります。自由なネットワークトポロジー。
– SDN/OpenFlow といった新しいネットワーク技術と組み合わせて、従来のネットワーク制限を克服で組み合わせて、従来のネットワーク制限を克服できます。
• 情報不足、機能不足な点も多いです。–日本OpenStackユーザ会の勉強会などもご利用下さい。