Nov 13 2014 Internet Initiative Japan Inc.

Takashi Sogabe

Cumulus Linux 導入事例

ネットワークをDevOpsに統合した、エンジニアが幸せになるインフラ運用手法のご紹介

Who am I?

• Takashi Sogabe – @rev4t

– Software Engineer, Internet Initiative Japan Inc.

– 最近の注力分野 • OpenStack

– 関わっているプロジェクト • OpenContrail, mruby, Riak, etc.

クラウドのメリット

• サーバ資産を変動費用にできる?

• コストが下がる?

• Agilityが上がる?

クラウドで実現される世界

• コンピュータがジャブジャブに使える – AI, BigData, IOT, etc.

• クラウドのユーザ – 世界中の誰でも、 何処からでも コンピュータが使える

• クラウド提供者 – 大量のサーバを全世界的に自動制御にて管理

Bimodal IT: 2つの世界

• Traditional IT: Do it Right – 従来のエンタープライズ型IT運用・管理モデル

– 効率、セキュリティ、コンプライアンス、信頼性を重視

• Agile IT: Do it Fast – 新しい時代の戦略性の高いITモデル

– クラウド、モバイル、アナリシス、ソーシャルなどの動きに沿う

開発スタイルの変化

• Agile IT

–分散システムが大前提

• クラウド必須

• スケールアップ -> スケールアウト

– これからのアプリ開発に必須

ハイブリッドクラウドの必要性

• 開発環境は堅牢なサービスでなくて良い

– 開発環境向けにコスト最適化

– 退役サーバ、余りサーバ、etc. の有効利用

• 社外に出したくないデータ

• IaaSを プライベート環境でも使いたい

– 伸縮自在, Self Manage, APIによるプログラム制御

Agile ITと Traditional ITの棲み分け

• インフラ

–ハイブリッドクラウドを駆使してクラウドの恩恵を受けつつ Agile ITのインフラと Traditional IT のインフラを共有

• 開発・運用

–開発スタイルが全く違うので、無理に一本化はせず別々のチームで開発・運用する

コスト面では圧倒的に不利なHybrid Cloud

• IaaSに最適化されたコモディディサーバ

• 人力作業を最大限に排除できるCloud OS

• 余分な電力を消費しないファシリティ

サーバ、Cloud OS、ファシリティのコスト構造を可能な限り Public Cloud に近づけることが

Hybrid Cloud 導入には必要

Reference Design • ファシリティ

– co-Izmo/I

• ラック、サーバ – Open Compute Project (OCP)

• スイッチ – White Box Switch + Cumulus Linux

• Cloud OS – OpenStack

Ready-Made Data Centers

• co-IZmo/I(コイズモアイ)

–モジュール型のコンテナDC

– http://www.iij.ad.jp/DC/en/products/index.html

高い電力消費効率、伸縮自在なDC

• 高い電力消費効率

– PUE 1.17

• 伸縮自在

– 1コンテナ当たり4rack

–連結することで拡張ができる

本日のお話

• サーバと同じ仕掛けでネットワーク機器を制御できると、本当に便利

• Cumulus Linux を BGP LSDC構成でテストしました

• Chef + Cumulus Linux を開発中のサービスに導入しました

遡ること2013年…

• Open Router Competition

– Interopの会期に行なわれた、オープンなルータの開発を競うイベントに参加しました

– http://www.interop.jp/2013/orc/

コモディディL3SW/ルータで オープンなSDNを実現しよう (Chef/mruby編)

• http://slidesha.re/1GNoGRy

ネットワーク機器とサーバ • 昔のネットワーク機器

– 組込システム – 低性能のCPU, 尐ないMemory/Flash をやりくり – 転送機能については専用ASIC等で補う

• 今のネットワーク機器 – 技術革新が進み、一昔前のパソコン以上に高性能 – Debian, Ubuntu, CentOS, etc.. 丸ごと載せられる – 高性能かつ安価な汎用ASICが使えるようになった

サーバ + Switch ASIC = ネットワーク機器

• ルータ、スイッチ – パケットの転送が得意な「コンピュータ」

– ポートが沢山載っている

– Switch ASIC等で転送性能や電力効率を上げる

• 汎用サーバも「コンピュータ」

• 同じ「コンピュータ」であれば、サーバと同じ方法で徹底的にソフトウェア制御ができるはず

Networkの得意な「普通の」Linuxが欲しい!

• PicOS、当時は組み込み向けの小型linux distroのためクロスビルドが大変だった

–今はDebianベースに移行

• QuantaのSwitchはH/W的に良い感じ、OSの差し替えできればなぁ..

Cumulus Linux との出会い

• 2013年6月

– Cumulus Networks社がStealth mode を解除

欲しいものを作っている会社が既にあった!

Cumulus Linux で BGP LSDC (1)

• 2013年夏頃、社内の開発プロジェクトでスケールアウト性能出せる Top of Rack Switchを探していた – L2 Fabricはちょっと怖い、ベンダロックインも心配

– IP Fabricが組めてソフトウェア制御が容易なネットワーク機器が欲しい

– もちろん、10Gでもお安い値段で

Cumulus Linux で BGP LSDC (2)

Spine-Y1 Spine-Y2

Leaf-X1 Leaf-X2

Spine-Z1 Spine-Z2

AS-X

AS-Y AS-Z eBGP peer

Cumulus Linux で BGP LSDC (3)

• 問題なく動いた

– BGP ECMPもバッチリ動作

– BGPは Quaggaを使用

Chef + Cumulus Linux

• Serverに導入している cookbook と同じものを適用 – Password/group設定

– Timezone, ntp 等

– Todo: network • Ooyala の cookbookが良くできている

• https://github.com/ooyala/cumulus-linux-cookbook

• http://bit.ly/10jgk37

サーバもスイッチも一元管理

Switch

Whitebox Switch Whitebox Switch

Switch

Edge Router

Whitebox Switch Whitebox Switch

Whitebox Switch Whitebox Switch

まとめ

• Cumulus Linux を BGP LSDC構成で検証、問題なく動作した

• Chef + Cumulus Linux を開発中のサービスに

適用、サーバとネットワーク機器の一元管理が実現

今後の予定 • 他のプロジェクトについてもCumulus Linuxを導入してIT機器のソフトウェアによる自動構成を積極的に進めていく – OpenStack

• IIJ Technical Week 2014にて現在取り組み中のプロジェクトについて発表予定 – 11月28日 – http://www.iij.ad.jp/news/seminar/2014/techweek.html – 「エンジニアの皆さん、パブリッククラウドだけで満足ですか?」