これからのデータセンターが目指す技術(公開用）

これからのデータセンターが目指す技術 1

これからの

データセンターが

目指す技術

（独）産業技術総合研究所

情報技術研究部門

テクニカルスタッフ

杉田正 sugipooh

2

・自己紹介

・データセンターは電気使いすぎ

・データセンターの３つのタイプ

通信事業者スパコンクラウド

・データセンター省電力化技術

・間接外気冷却

・Googleデータセンター・再生可能エネルギー

・1台からクラスタへ・不揮発メモリ→ノーマリオフデータセンター

・データセンターのスパコン化

これからのデータセンターが目指す技術

Facebook （（（（IDははははsugipooh ）や）や）や）やGoogleで情報を集めて、で情報を集めて、で情報を集めて、で情報を集めて、

ASCII.jp××××TECH に「インフラ屋さんの週刊ブックマーク」を連載に「インフラ屋さんの週刊ブックマーク」を連載に「インフラ屋さんの週刊ブックマーク」を連載に「インフラ屋さんの週刊ブックマーク」を連載

自己紹介

sugipooh です。

Slideshare にてにてにてにて”sugipooh “で検索“で検索“で検索“で検索

いただくといただくといただくといただくと「データセンターの作り方」「データセンターの作り方」「データセンターの作り方」「データセンターの作り方」

などアップされています。などアップされています。などアップされています。などアップされています。


4

• ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代

– 日本初日本初日本初日本初大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入

• １ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０KgKgKgKg １列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。

• 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果

• １ラック１ラック１ラック１ラック１６０１６０１６０１６０AAAAの常識はずれのの常識はずれのの常識はずれのの常識はずれの

高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働１１年１１年１１年１１年

• NECNECNECNEC８番街でのご紹介８番街でのご紹介８番街でのご紹介８番街でのご紹介

– 「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索いただくと検索いただくと検索いただくと検索いただくと

http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.

htmlhtmlhtmlhtml がヒットします。がヒットします。がヒットします。がヒットします。

– 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置

– 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギー省エネルギー省エネルギー省エネルギーDCDCDCDC

• DCDCDCDC内内内内風流な風流な風流な風流なコントロールコントロールコントロールコントロール

• ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計

• 1111４ラック４ラック４ラック４ラック

• PUEPUEPUEPUE＝２１０＝２１０＝２１０＝２１０KWKWKWKW÷÷÷÷１５８１５８１５８１５８KWKWKWKW＝約１．３＝約１．３＝約１．３＝約１．３

ブレードサーバー高密度実装

日本初大量導入635台

※PUEとは、

サーバー電力＋空調電力

サーバー電力

であり、最良値が1.0。PUE=2.0ならばサーバーと同じ電力を空調が浪費している。

※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前



2010年の予想


2010年ごろ


2012年後期 Googleデータセンターにおける電力と冷却ロスは23%以下を実現

先月発売された

Google技術の紹介本

データセンター分電設備

空調機・UPSメーカー

EMERSON社資料社資料社資料社資料

1ラック２KWから８KWで全体の７０％

1ラック３２KW超が３％もある

今後８~１２KWが増えるだろう


8


データーセンター電力は今後も増加するデーターセンター電力は今後も増加するデーターセンター電力は今後も増加するデーターセンター電力は今後も増加する

2017年には、全世界電力の３％がデータセンターで消費するという予測もある。

SlideShareに上がっているEricssonのデータ2018年にビデオだけのトラフィックが他のトラフィック合計を越えると予想している。

上ブレ下ブレ50%も、はずれないだろう。ビデオ配信はスマホじゃなくてデータセンター

のサーバーから行われるだろうから CDNやさんが儲かるのかな？

＞

出所：http://www.slideshare.net/Ericsson/ericsson-mobility-report-june-2013


Ericsson Mobility Report June 2013

東京都でデータセンターが使う電力は東京都でデータセンターが使う電力は東京都でデータセンターが使う電力は東京都でデータセンターが使う電力は１２％１２％１２％１２％を越えるを越えるを越えるを越える

2011年度年度年度年度(実績実績実績実績)

面接調査企業面接調査企業面接調査企業面接調査企業30社社社社延床面積延床面積延床面積延床面積(㎡㎡㎡㎡) 1,280,455国内全体延床面積国内全体延床面積国内全体延床面積国内全体延床面積(㎡㎡㎡㎡) 1,789,706

11

2010年度年度年度年度

(実績実績実績実績)2011年度年度年度年度

(実績実績実績実績)2012年度年度年度年度

(予測予測予測予測)国内データセンター消費電力量国内データセンター消費電力量国内データセンター消費電力量国内データセンター消費電力量(万万万万kWh) 886,134 945,015 1,006,097

前年度比前年度比前年度比前年度比 - 6.6% 6.5%

国内データセンターの延床面積推定国内データセンターの延床面積推定国内データセンターの延床面積推定国内データセンターの延床面積推定

データセンター事業社数は、現在、国内で300社程度と推定される

今回の当社による調査対象企業：①40社（面接調査企業30社＋ﾃﾞｽｸ

調査企業10社）①以外のデータセンター事業者：②約260社

国内データセンター消費電力費国内データセンター消費電力費国内データセンター消費電力費国内データセンター消費電力費(百万円百万円百万円百万円) 106,336 113,402 120,732前年度比前年度比前年度比前年度比 - 106.6% 106.5%

2011年 2012年 2013年約45%が東京に集中している。

2010年度東京都年間使用電力量（万ｋWh）32,760百万KWh（出所：環境省環境統計集国内基本指標）

東京都内データセンター使用電力量2010年度延床での全国比率45%として8861.34百万kWh×45%=3,988百万kWh

東京都でデータセンターが使う電力東京都でデータセンターが使う電力東京都でデータセンターが使う電力東京都でデータセンターが使う電力2010年度年度年度年度

3,988÷32,760百万kWh=0.122= 12.2%出所：ミック経済研究所出所：ミック経済研究所出所：ミック経済研究所出所：ミック経済研究所

ﾃﾞｰﾀｾﾝﾀｰ市場と消費電力・省エネ対策の実態調査ﾃﾞｰﾀｾﾝﾀｰ市場と消費電力・省エネ対策の実態調査ﾃﾞｰﾀｾﾝﾀｰ市場と消費電力・省エネ対策の実態調査ﾃﾞｰﾀｾﾝﾀｰ市場と消費電力・省エネ対策の実態調査【【【【2012年度版年度版年度版年度版】】】】から抜粋から抜粋から抜粋から抜粋

出所：ミック経済研究所


データーセンターには、３つのタイプがある。

３．インターネットサービス用サーバーが大量に

設置されるタイプ

Googleのコンテナや海外Yahooの鶏舎型

１．通信機用に設計された安定度の高いタイプ

日本にある、ほとんどのデーターセンター

２．スーパーコンピューターを冷却・収納するタイプ

アースシュミレーターやTUBAME2などを

収容するデーターセンター


13

１．通信機用に設計された安定度の高いタイプ

日本にある、ほとんどのデーターセンター

図面出所：IT Prohttp://itpro.nikkeibp.co.jp/article/Keyword/20081125/319829/?SS=imgview&FD=551175525&ST=network

光ケーブル接続では、ケーブル利用料＋トランジット料が必要。トランジット料が

高価なため事業者同士でデータを交換するピアリングもある。

NTTコミュニケーションズ東京大手町データセンターが日本の中心。

ピアリング

トランジット料が高価



14

3年前接続状況

出所：インプレス

JPNAP

さくらインターネット

JPIX

OCNNTTコミュニケーションズ

IIJ

EQUINIX


CERN DataCenter

出所：http://www.zdnet.com/needed-more-than-ever-devops-to-manage-cloud-unpredictability-7000030828/




さくらインターネットさくらインターネットさくらインターネットさくらインターネット石狩石狩石狩石狩

インターネットサービス用サーバーが

大量に設置されるタイプ


日本Yahooグループ IDCフロンティア

福島県新白河データセンター


Yahoo! JapanプレハブDC

18

出所：DatacenterDynamicsCONVERGED


コンテナ岩見沢

19これからのデータセンターが目指す技術


大型データセンター内をコンテナで構築大型データセンター内をコンテナで構築大型データセンター内をコンテナで構築大型データセンター内をコンテナで構築

中国漢雲コンテナDC



中国電信中国電信中国電信中国電信内モンゴル内モンゴル内モンゴル内モンゴル 10万ラック万ラック万ラック万ラックデータセンターデータセンターデータセンターデータセンター

出所：http://www.iemoto.com/2014/06/chinatelecom-innermongolia-idc/

アフリカアフリカアフリカアフリカデータセンターデータセンターデータセンターデータセンター屋根付きコンテナ屋根付きコンテナ屋根付きコンテナ屋根付きコンテナ

出所：DataCenterKnowledgeこれからのデータセンターが目指す技術 23

三菱商事データセンター

24

三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に対応しながら外気冷却を導入している。



建設中：岡山建設中：岡山建設中：岡山建設中：岡山井戸水利用データセンター井戸水利用データセンター井戸水利用データセンター井戸水利用データセンター


雪冷水

11m

9m

NEDO実証委託実証委託実証委託実証委託

：北海道：北海道：北海道：北海道雪冷却システム利用データセンター雪冷却システム利用データセンター雪冷却システム利用データセンター雪冷却システム利用データセンター


排熱を利用する

「足湯」

シアトルアマゾン本社


アマゾン新本社屋は、自社のデータセンターの熱で暖房アマゾン新本社屋は、自社のデータセンターの熱で暖房アマゾン新本社屋は、自社のデータセンターの熱で暖房アマゾン新本社屋は、自社のデータセンターの熱で暖房

出所：http://www.gizmodo.jp/2014/09/post_15544.html


20MW Bitcoin DataCenter

出所：Bitcoin Hardware Player BitFury Enters Cloud Mining With 20MW Data Center




東大・日立の外気導入DC 運用結果





Facebook

31

米国

スウェーデン


３．インターネットサービス用サーバーが

大量に設置されるタイプ

間接外気冷却装置

• 海外データセンターで採用が始まっている。–米国本方式採用 60MW以上–ベルギー、オーストラリア建造中

• 水：空気熱交換器方式多湿な日本で性能評価

が必要。

• ホコリ・腐食ガスに影響されずに

PUE=1.1を実現可能


液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱

直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御

サーバの省電力運用サーバの省電力運用サーバの省電力運用サーバの省電力運用

液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ外気導入装置外気導入装置外気導入装置外気導入装置

（グリーンユニット）（グリーンユニット）（グリーンユニット）（グリーンユニット）

クーリングタワークーリングタワークーリングタワークーリングタワー

モジュールモジュールモジュールモジュール

次世代モジュール型データセンタ

の構成

従来従来従来従来次世代次世代次世代次世代

抜熱

方式

サーバ内空冷ファン液冷液冷液冷液冷

全体空調機外気導入外気導入外気導入外気導入

給電方式交流

全電源装置常時稼働

高電圧直流高電圧直流高電圧直流高電圧直流

負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減

IT運用方式全マシン常時電源ON 負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減

→電源電源電源電源ON/OFF

7800mm

3000mm

2950mm


抜熱方式グリーンユニットの動作

• 基本的な運用は、熱交換器を使い、

間接的に外気を

利用し、モジュール

内の空気を循環

給気ファン

除湿・加湿器

気化冷却器直接給気チャンバ

熱交換器

排気ファン



データセンターが集中する米国Quincy

出所：DataCenterKnowledge

水力発電所からの供給電力費用が安価＋シアトル～SFO回線がある。


Sabyに導入された間接外気冷却機

出所：ムンタース

708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター


Google データセンターデータセンターデータセンターデータセンター水を使って冷却水を使って冷却水を使って冷却水を使って冷却


38

39

隙間が空いている

熱交換コイル

ラック背後のファン群

ホットアイルホットアイルホットアイルホットアイル

床下から冷却水

3ラックで1クラスタを構成？


40

http://www.techbang.com/posts/16068-google-taiwan-data-center-tour?page=1

久しぶりに公開された Googleお皿サーバー


ファンが無く、小型蓄電池が搭載されている。


Google台湾


再生可能エネルギーをデータセンターが使う

出所： NEDO PV Challenges）


Googleは、太陽光発電、風力発電を利用


Googleは、太陽光発電、風力発電を利用

再生可能エネルギー

プロジェクトは、電力

2GW(2000KW)を生成


出所：DataCenterKnowledge

燃料電池と

太陽光発電（計２０MW）

APPLEデータセンターは、再生可能エネルギーで稼働

APPLEと環境http://www.apple.com/jp/environment/renewable-energy/

1台からクラスタへ

46

頭を切り換える

昔はサーバーベンダーが教えてくれた

クラウドサービス会社は秘密主義

インメモリーで動作する高速サーバーから


47

SSD RAID と Fusion-io

従来からのHDDと何が違う

IOPSが違う DBスピードが上がるHDD 数百

HDD RAID 百～千

SSD RAID 数万

Fusion-io 数十万


48

出所：パソコン工房出所：パソコン工房出所：パソコン工房出所：パソコン工房 Samsung SSD 840 EVOの「の「の「の「RAPIDモード」を試すモード」を試すモード」を試すモード」を試す

RAPIDモードが速いモードが速いモードが速いモードが速い

出所：マイナビニュース出所：マイナビニュース出所：マイナビニュース出所：マイナビニュース

Plextor ブランドのブランドのブランドのブランドのPCIe x2高速高速高速高速SSD「「「「M6e PCI Express SSD 」」」」

別格なM.2 SSDが、SamsungのXP941これからのデータセンターが目指す技術

49

1TByteメモリを搭載出来るIAサーバー


SK Hynixが128GB DDR4 DIMMの開発発表。2015年には「デスクトップPCにも1TBメモリ」時代

省電力不揮発高速メモリ

NVDIMM


一般的には、まだOSなどが未対応

Google最新サーバIBM Power8

51

Power8は、IBMの22nm SOI(Silicon-On-Insulator)プロセスで製造され、ダイサイズ(半導体本体の面積)は650平方mmと、IntelのサーバーCPUも超えるサイズとなっている。CPUコアは12コアだが、各コアが8-waySMT(Simultaneous Multithreading)をサポートしている。そのため、CPU全体で96スレッドを同時に走らせることができる。


STT-MRAM世界最高の低消費電力性能を

実現した新方式の不揮発性磁性体メモリ

今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！


ストレージメモリとCPUが使うメモリが“地続き地続き地続き地続き”になる。

出所：http://pc.watch.impress.co.jp/docs/column/kaigai/20130918_615784.html?utm_source=buffer&utm_campaign=Buffer&utm_content=buffer8ffda&utm_medium=facebook


ノーマリオフコンピュータ実現へ

日本製メニーコアボード2枚で４,０９６


55

HP とカノニカルのエンジニア、とカノニカルのエンジニア、とカノニカルのエンジニア、とカノニカルのエンジニア、OpenStack 白書を公開白書を公開白書を公開白書を公開


多数のサーバを管理するオーケストラ

56

出所：

http://www.datacenterknowledge.com/archives/2014/07/10/googles-docker-container-management-project-kubernetes-gets-big-league-support/

Kubernetesの意味と読み方、たぶんわかりました！（？）・意味：ギリシャ語で「人生の道標」

・読み方：クーベルネイテス（koo-ber-nay‘-tace）

Google製製製製Dockerクラスタツールクラスタツールクラスタツールクラスタツール

多数のサーバを管理するオーケストラ多数のサーバを管理するオーケストラ多数のサーバを管理するオーケストラ多数のサーバを管理するオーケストラ

クーベルネイテスクーベルネイテスクーベルネイテスクーベルネイテス

出所：

http://qiita.com/bounscale/items/ad876e6bd256d5d58ebb


CoreOSは「Docker専用のLinux」とも言われる、軽量の

Linuxディストリビューションです。

OSと同じ名前のCoreOS社が開発をしています。

ただ、CoreOSの本質は「Docker専用OS」ということ

ではなく「クラスタ構成」や「フェイルオーバ」が、その本質。

57

出所： http://wslash.com/?p=5772

出所： http://www.atmarkit.co.jp/ait/articles/1405/16/news032.html


58

HDDだけの仮想化

SSD RAIDでの仮想化

Fusion-ioでの仮想化

４

１０～２０

３０～５０

Dockerでの仮想化

２００～


59

ご静聴ありがとうございました。

SNSでお逢いしましょうFacebook Twitter ASCII×TECHIDは sugipooh


Internet

これからのデータセンターが目指す技術(公開用）