センターSEがAmazon EFSと戯れてみた

株式会社日本オープンシステムズ石崎弘之

センターSEがAmazon EFSと

戯れてみた

Copyright (c) Japan Open Systems Corporation. All Rights Reserved.0

名前：石崎弘之(日本オープンシステムズ)所属：JAWS-UG富山・金沢

経歴：2010.04～現在システム運用

センターSE歴 6年

趣味：釣りが好きです

好きなＡＷＳサービス：ＶＰＣ

自己紹介

あじぇんだ

EFSとは

触ってみた

検証してみた

所感

Copyright (c) Japan Open Systems Corporation. All Rights Reserved.

EFSとは

2016/06/28（火）

待ちに待ったニュースが飛び込んできました


EFSとは


Amazon Elastic File system(Amazon EFS)正式サービス開始！！！！！

EFSとは


EFSとは

EFSとはAWS Summit 2015 San Franciscoで発表されてから、約1年間ずっとプレビューだった共有ファイルストレージサービス


Amazon EFS

EFSとは

EFSとは

NFSマウント可能なフルマネージドのストレージサービス※NFSv4.0に対応

容量無制限かつ実際に格納した容量分だけの従量課金

格納したファイルに合わせて自動拡張/自動縮小

数千の同時接続が可能


EFSとは

使用可能リージョン

EU（アイルランド）

米国東部（バージニア）

米国西部（オレゴン）


EFSとは

お値段

0.3ドル/GB

参考:EBS(GP2)：0.1ドル/GB

S3(std) ：0.03ドル/GB

※料金計算例

3 月の 15 日間に 100 GB のストレージを使用し、3 月の残りの 16 日間で 250 GB のストレージを使用した場合

総使用量（GB-時間）= [100 GB x 15 日間 x （24 時間/日）] + [250 GB x 16 日間 x（24 時間/日）] x（1 か月/744 時間）= 177 GB-月

ストレージ月額料金 = 177 GB-月 x 0.30 USD = 53.10 USD


EFSとは

EFSイメージ図


EFSとは

マウントターゲット

EFSをNFSするためのエンドポイント以下のDNS名を持つAZ名.File systemID.efs.region名.amazonaws.com

対象のサブネットにマウントターゲット用のENIが作成される※マウントターゲットはIPアドレスを持つ

以下のコマンドでマウント可能sudo mount -t nfs4 -o nfsvers=4.1 ¥$(curl -s http://169.254.169.254/latest/meta-data/placement/availability-zone).fs-e9db2f40.efs.us-west-2.amazonaws.com:/ 【マウントポイント】


EFSとは

性能

基本性能は100MiB(バースト込み)

ファイル名は255バイトまで

1ファイルの最大容量52TiB

インスタンス当たり128ユーザまで同時オープン可能 ※NFSv4の制限


EFSとは

バーストの仕組み

容量に応じてバースト可能な性能が変化

•1TiB以上で容量に応じて性能が上がる

•マックス1GiBまでバーストする

クレジットの溜まり方も容量で変わる

•1TiB未満で50KiB/GiB以下で溜まる

•1TiB以上で50MiB/TiB以下で溜まる


EFSとは

バーストの仕組み


容量(GiB)

ベースライン(MiB/S)

バースト性能(MiB/S)

バースト可能時間(時)

10 0.5 100 6.0

256 12.5 100 6.9

512 25.0 100 8.0

1024 50.0 100 12.0

1536 75.0 150 12.0

2048 100.0 200 12.0

3072 150.0 300 12.0

4096 200.0 400 12.0

EFSとは

セキュリティ

EFSの作成・削除・変更の権限はIAMで制御

マウントできるかどうかはセキュリティグループで制御※TCP2049で通信できればマウントできる

書き込み・読み込みはNFSで制御※一般的にUNIXの権限(chmodやchown)で制御

デフォルトはrootのみ書き込み可能※必要に応じて権限を与える※マウントしているサーバならどれでも変更可能


EFSとは

Cloudwatchのメトリクス


メトリクス内容

BurstCreditBalance バースト用クレジットの値

ClientConnections 接続数

DataReadIOBytes 読み込みのIOサイズ

DataWriteIOBytes 書き込みのIOサイズ

MetadataIOBytes メタデータのサイズ

PercentIOLimit IOの負荷

PermittedThroughput スループットの最大値(バーストできる上限)

TotalIOBytes EFSへのIOのサイズ

EFSとは

EFS制限事項


制限値

最大ファイルシステム数 10

AZ毎の最大ターゲットマウント数 1

ターゲット毎の最大セキュリティグループ数 5

ファイルシステム毎の最大タグ数 10

ファイルシステムに紐付けられるVPC 1

EFSとは

NFS v4制限事項


制限

インスタンス当たり同時に128ユーザまでしかファイルを同時にオープンできない

インスタンス当たり 32,768 ファイルまでしか同時にファイルを開けない

マウント当たり、8192 ロックまでしか獲得できない

マウント当たりユニークなファイルとプロセスの組み合わせは、256まで※1プロセスならば、256ファイル、8プロセスなら32ファイルまでのロックしか獲得できない

EFSとは

特記事項

EFSの容量はCloudWatchでは取れない※dfコマンド、APIまたはCLIでは取得可能※サンプリングは1時間毎に実施される

マウントターゲットを削除/作成することでIPアドレスを変えられる

マウントターゲットを全て削除すると別のVPCに付け替えることもできる

Windowsは現在サポートしていない

VPN越しやVPC Peering越しには利用できない

VPCのDNS解決はオンにしておく


何が良いの


EFSとは

何が良いのNFSマウントなので今まで通りに使える

EBSではできなかったボリュームの共有が可能※クラスタだって簡単に組める！

コンテンツがEFSに格納されていれば新規サーバを立ち上げてもマウントするだけでサービスインできる

などなど


EFSとは

あんなことやこんなことができる可能性が増えた


実際に触ってみた



検証用に以下の環境を作成

パブリックサブネット×2・myVPC-public-a(10.0.0.0/24)・myVPC-public-b(10.0.1.0/24)

プライベートサブネット×1・myVPC-private-a(10.0.2.0/24)

検証用インスタンス×3・public-a(10.0.0.68)・public-b(10.0.1.160)・private-a(10.0.2.175)



イメージ


myVPC-public-a

myVPC-public-b

myVPC-private-a




オレゴンからEFSを選択



EFSを作成



作成するVPCを選択



マウントターゲットを作成するAZ、サブネットを選択



セキュリティグループを選択



タグ付け



パフォーマンスモードの選択



設定の確認



出来上がり



マウントターゲットのDNS名



マウント方法



EC2からマウントしてみる



・・・？



エクサバイト！？


エクサバイト＝1,000,000,000,000,000,000バイト


エクサバイト＝1,000,000,000,000,000,000バイト


埋められるものなら埋めてみな

ちなみに

8エクサバイト*0.3/GB≒$2400,000,000≒¥264,000,000,000＝264億円

お金に余裕があれば埋めてみましょう


検証してみた


検証してみた

シナリオ

マウントターゲットのないサブネットからマウントできるの？

マウントしてる状態でマウントターゲットを削除したらどうなる？

排他制御はちゃんとかかる？


マウントターゲットのないサブネットからマウントできるの？


検証してみた

イメージ


myVPC-public-a

myVPC-public-b

myVPC-private-aこの状態にした場合マウントできるのか・・・


検証してみた


myVPC-public-a

myVPC-public-b

myVPC-private-a

できました


結論

普通にできました

マウントターゲットはIPを持っているので

VPCのルーティングで別AZのマウントターゲットを

マウントすることが可能

※ただし、AZ間の通信料がかかるかつレイテンシーも下がるのでお勧めしない


検証してみた


myVPC-public-a

myVPC-public-b

myVPC-private-a

このようにもマウントも可能※プライベートからでも利用できる

マウントしてる状態でマウントターゲットを削除したらどうなる？


検証してみた

イメージ


myVPC-public-a

myVPC-public-b

myVPC-private-aマウントターゲットを削除してみる


検証してみた

結論

マウントポイントにアクセスした時点で固まります。(当たり前ですね)

※固まった場合は、別ターミナルでsshして対象のプロセスをkillしてあげましょうumountするときは umount –l でアンマウント


対象領域にlsして固まったときのログ

排他制御はちゃんとかかる？


検証してみた

イメージ


myVPC-public-a

myVPC-public-b

myVPC-private-a

このインスタンスが編集中のファイルを別のインスタンが編集しようとしたら？


検証してみた


怒られました。

検証してみた

結論

普通に排他がかかる

※NFSv4の制限としてマウント当たり8192までしか

ロックができないので、それ以上に排他処理をかけたい場合は仕組みを考える必要がある


所感

プライベートから利用可能なフルマネージドサービスってすごい！！！

性能も特に不満がない

ちょっと。。。。高い

マウントさえできてしまえば何でもできるので運用方法はかなりしっかり考えないと怖い


さいごに


VPN越しに利用したい


EFSとは

使い方おさらい

EFSをマウントさせたいVPCを選択

EFSのマウントターゲット(EFSのエンドポイント)を作成したいAZとサブネットを選択※1AZ/1サブネット

EFSのマウントターゲットに付与するセキュリティグループを選択

EC2からマウントする


ご清聴ありがとうございました


Technology

センターSEがAmazon EFSと戯れてみた