Open Compute Projectにおけるネットワークの課題と検証実験Zabbixによるベアメタル監視(TIS) Ironicによるベアメタルプロビジョン(OCDET) OpenStack

Open Compute Projectにおけるネットワークの課題と

検証実験

SDN Japan 2014

恵比寿ガーデンホール

2014年10月31日 10:00 – 10:30

株式会社データホテル伊勢幸一

氏名伊勢幸一（いせこういち)生誕 1962年11月26日(52歳)

日本北海道夕張市住居日本東京都渋谷区国籍日本出身校室蘭工業大学職業株式会社データホテル執行役員

(Wekipediaより）

基本情報

1986年室蘭工業大学工学部産業機械工学科卒

- 省略 -

1996年スクウェア入社 (システムディレクター）2005年ライブドア入社 (技術担当執行役員)2008年新生ライブドアに移籍 (執行役員CTA)2012年データホテルに社名変更情報環境技術研究室執行役員 CTA 室長に就任

Twitter: @ibuchoBlog : http://blog.livedoor.jp/koichiise/

職歴

明日 (2014年11月1日)から

は、

テコラス株式会社

に社名変更します！

Open Compute Projectとは？

Open Compute と Facebook の背景

• 米国の東西海岸と、欧州に巨大 DC を構築

人々がスマホを10時間使うと・・・

・ 2時間 20分は Facebook にいる・ 1時間 10分は Google にいる

Facebook が 20分間に処理するデータ

・ Shared links: 1,000,000・ Wall Posts: 1,587,000・ Status updates: 1,851,000・ Photos uploaded: 2,716,000・ Comments: 10,208,000・ Message: 4,632,000

2010年12月のレポート

http://wp.me/pwo1E-5D3 http://wp.me/pwo1E-2lE

http://wp.me/pwo1E-5D3

http://wp.me/pwo1E-2lE

・2011年4月Facebookが提唱

・自社DC仕様を公開・エネルギー利用効率の高いハード・サーバ冷却方式・高密度ストレージシステム

など・ベスト・プラクティスを業界全体で共有・更なる効率化をめざしてアイディアを提案

Open Compute Project Japan が発足• 2013年1月17日@ Santa Clara

Open Hardware

・Microsoft、Facebook主導のOCPに参加データセンターの仕様を公開(2014年1月27日）

Facebookが主導する、データセンター構築情報を共有する取り組み「Open Compute Project」にMicrosoftが参加し、Windows Azureをはじめとするサービス提供に使っているサーバの仕様や管理ソフトウェアのコードをオープンソースで公開した。(Itmediaニュースより）

Open Switch Architecture (ONIE – Open Network Install Environment)

OCP Japanは今？

そろそろ運用について話そうじゃないか？

OCPの運用対象は基本的に

ベアメタル(地金）

なぜならOCPは高効率DCの実現

を目指したベストプラクティス

OCP運用に必要不可欠な事

OCPベアメタルサーバをクラウドちっくにデプロイする技術

そこで、OCDETがOCPJ PoC(Proof of Concept)WGと共同検証実験を行うことになった！

OCPJ PoC(Proof of Concept)WG

❏ 独自のベアメタルコントローラを開発(CTC)❏ Zabbixによるベアメタル監視(TIS)❏ Ironicによるベアメタルプロビジョン(OCDET)❏ OpenStack + Dockerの検証(IIJ)❏ エアフロー温度分布シュミレーション(FF)❏ ラック横流現象の検証(タマチ電)

TSC写真集

19

オープンクラウドアーキテクチャ全体図

仮想環境制御

サーバ

BareMetalOS

ネットワーク

OSインストール/設定

MWインストール/設定

Scale outStorage

テスト自動化

仮想OS

Linux/KVM

仮想OS

仮想NW 仮想NW

Linux/docker

仮想OS 仮想OS

仮想NW 仮想NW

ソース管理

Real ApplicationCentric Kernel

API

App/MW Webポータル（デモ用）

スケールアウト

スケールアウトスケールアウトスケールアウト


コントロール

コントロール

HW監視

MW監視

リソース監視

自動デプロイ

自

動

イ

ン

ス

ト

ール

設

定

自

動

イ

ン

ス

ト

ール

設

定


BareMetalOS

仮想環境 docker環境 BareMetal 環境

パブリッククラウド環境

自

動

デ

プ

ロ

イ

※次Verにて実装

インフラ監視管理

HW/MW監視

ログ監視/分析

HW/FW資産管理

ベアメタルサーバのデプロイ

サーバを追加

完成

Ceph Node

PXEを利用してUbuntu Live CDをネットワークブート

NW、ストレージを作成

一般ユーザアカウント/テナントを作成

未使用サーバ(empty server)を一般ユーザのテナント

へ割当

サーバのインベントリ情報(サーバモデル、シリアル、MACアドレスetc)を取得し、Webポータルに

未使用サーバ(empty server)として登録

Cobblerを利用してOSインストール

未使用サーバにOS Profile、NW、ストレージを割当

Bare Metal Node

Bare Metal Node

http://fedora.nicubunu.ro/centos/logo/centos.svg

http://fedora.nicubunu.ro/centos/logo/centos.svg

データセグメントスイッチ

DHCPサーバ

ベアメタルサーバ





コントロールセグメントスイッチ

PXE boot

IPアドレス(boot file)tftpサーバ情報

ちょっと詳しいブートシーケンス①


tftpサーバ(cobbler)







boot filename

ちょっと詳しいブートシーケンス②

pxelinux.0’(カスタムしてある）


Profileサーバ(cobbler)







Server Profile

ちょっと詳しいブートシーケンス③


IPMIサーバ







ちょっと詳しいブートシーケンス④

IPMI boot up


DHCPサーバ







PXE boot

IPアドレス(boot filename)tftpサーバ情報

ちょっと詳しいブートシーケンス⑤


tftpサーバ(cobbler)







Boot filename

ちょっと詳しいブートシーケンス⑥

pxelinux.0(通常のブートファイル）


cobbler







Install request

ちょっと詳しいブートシーケンス⑦

OSイメージ


cobbler





完成！


ちょっと詳しいブートシーケンス⑧


cobbler







Install request

なんか危ない

PXE bootBoot filenameServer Profile

IPアドレスBoot filenametftpサーバ情報pxelinux.0

IPMI reboot








こうなっていてほしい

IPMIサーバ

Deployサーバ

オンデマンドに特定ポート間にVLANパスを形成する

OpenFlowが便利そう！？

だが、OpenFlow(switch)には致命的欠陥がある

高い

CumulusがOpenFlowをサポートしてない・・・

あんまネットワークに関わっている暇無い

で、結局ssh で CLIを叩くか、NETCONF使ったVLAN構成に落ち着く ← イマココ

ここが齟齬かも

SDNプロバイダーはSDNソルーションを提供したい

（運用はびみょ~）

OCPとかサーバ運用者はネットワーク運用に手間暇かけたくない

それよりも今のDC/IaaS業界では

❏クラウドIaaSやベアメタルクラウドがコモディティ化

❏非IT企業がオンプレからアウトソースへ向かう

❏究極までブラッシュアップされたコンピューティングリソースの運用技術、運用サービスが要求されている

最近、構築だけではなく運用をしてくれる所ない？

と、よく言われる

お金の匂いがプンプンする！

というわけで、明日11月1日日本MSP協会(MSPJ)を設立します！

テコラス株式会社共々よろしくお願いします。

終了

Documents

Open Compute Projectにおけるネットワークの課題と検証実験Zabbixによるベアメタル監視(TIS) Ironicによるベアメタルプロビジョン(OCDET) OpenStack