humangas's blog

自分の振り返りを適当に書いてます。書きっぷりはそん時の気分によって変わります。

2013-12-18_AWSセミナー:クラウドファイルサーバー& 閉域ネットワーク構築セミナーに行って来た。

Storage Gatewayを利用したファイルサーバ構築と、Direct Connectを利用したプライベートネットワーク構築の話でした。


基本情報

  • 2013/12/18 14:00 - 16:30
  • Amazon Japan 本社

三行まとめ

  • Storage Gateway(SGW)で、S3をiSCSIドライブとして使える。オンプレからストレージだけ使うとかも出来る。
  • Direct Connect(DX)で、閉域網(クローズドNW=インターネットを介さない)にしてオンプレの延長のようにAWS使える。
  • Direct Connect(DX)で、専用線接続はそんな高くない。APNにより提供サービス異なる。

アジェンダ

  • AWS概要のご紹介、およびAWS Storage Gatewayを利用したファイルサーバ構築方法のご紹介
  • 東急ハンズ様で導入、AWS Storage Gatewayを使ったファイルサーバ構築の実際
  • AWS Direct Connect、およびパートナーサービスのご紹介
  • AWS Direct Connectを用いたプライベートネットワーク構築事例

AWS概要のご紹介、およびAWS Storage Gatewayを利用したファイルサーバ構築方法のご紹介

Storage Gatewayを使えば、S3をiSCSIディスクとして使えるよ(ファイルシステムとしてマウントできます)。
S3生だと、HTTPアクセスで使うのが基本です(オブジェクトストレージなので)。

AWS紹介

Amazonを支える3つのビジネス

  1. コンシューマビジネス
  2. セラー(売り手)向けビジネス(B2B)
  3. AWS(IaaS)

なぜ、Amazonが、IaaS?

  • 自分たちで使ってたモノを提供してみた

AWSの強み

  • 小売業の精神:「規模の経済」→ 薄利多売ビジネス
  • このサイクルを繰り返す: 顧客に利用してもらう→ 大量のITリソースを仕入れる→ コスト下がる→ 顧客に還元
  • 2006年サービス開始から、ずっと値下げ中(38回:2013/12/18現在)
  • 例)S3のデータ量増加→ 利用料金下がる

AWS成長し続けている

  • 2011年3月:Tokyo リージョン開設(世界で5番目のリージョン)
  • 2013/12/18時点で、世界に9個リージョンがある

AWSにおけるセキュリティの考え方

  • エンプラクラスのセキュリティ機能と第三者認定を提供
  • SAでも、データセンターどこにあるのか知らない
  • データセンターの場所分からないのに、どうやって安全を保証する?
  • → 第三者認定機関のセキュリティ認証を複数得ている

AWSのサービス

  • 30以上のサービス展開中

ファイルサーバの課題

ファイルサーバについて、運用管理者へ取ったアンケート

  • ファイルサーバの現状は?:ファイルサーバ複数運用している
  • どういう情報置いているか?:整理が難しい(増え続ける)データ
  • どれぐらいの容量で?:8TB〜30TB(時代が進むとデータ量は増えていく)
  • バックアップは?:取ってる。必須。ただ、データ量が多いのでコストかかる。
  • 災害対策は?:半分ぐらいは対策出来てない→ コストが見合わない

AWSで実現するファイルサーバ

AWSのストレージサービスの特徴は以下の通り

  • 耐久性:イレブンナイン(99.999999999%)
  • → 三箇所への複製だけでなく、自動復旧機能も持っている
  • 柔軟性:容量に制限なし、保存期間制限なし
  • → 足りなくなれば、AWSが勝手に裏で足すので
  • セキュア:複数の第三者認定の取得、地域を指定したデータ保管
  • → 同一リージョン内でデータ保管、アクセス権管理機能
  • 低コスト:初期投資不要、運用費不要、完全に従量課金
  • シンプル:キャパシティプランニング不要、ハードウェア・ソフトウェア依存からの脱却

ストレージコストの大幅な効率化

  • 物理ストレージの値段以外の調達・運用・DC保持費が結構かかる。
  • → これを気にしなくて良くなる。

AWSサービス:Storage Gateway

  • S3:高頻度アクセスを想定した安価かつ耐久性の高いオンラインストレージサービス(1GBあたり10円/月)
  • → オブジェクトストレージ:ファイルシステムとしてマウントして使うのはやりずらい。HTTPアクセスで使うのが基本
  • →→ Storage Gateway:S3をストレージディスクとして利用できるクラウドゲートウェイサービス(iSCSIストレージとしてS3を使える)
  • →→→ オンプレからS3へ繋げられる:ブロックデバイス(圧縮率高い)&暗号化されてる&キャッシュ利用するのでアクセス速い
  • →→→→ VMware、HyperVの上で動作する(CPU4コア以上、メモリ7GB以上)
  • Snapshotによる格納データのバックアップ・リストア、BCP対策も簡単に:管理コンソールから簡単操作で可能
  • オンプレ上のデータを、StorageGatewayを通じてS3をバックアップ用途として使う顧客も非常に多い。(さらに別のリージョンへ分散すれば尚堅牢=災害対策)
  • 1つのゲートウェイで最大150TBまでの大容量ストレージが構築可能(それ以上必要であれば、さらに作ればOK)

StorageGatewayの価格

  • Gateway料金(本体):125$/1ヶ月ぐらいで使える
  • ストレージ料金(保存データ量):1回フルで取ったらあとは差分しか保存されないので、バンバン増えるわけではない。
  • データ転送量金:キャッシュで取る→ 1GB/20円

具体的な環境での利用

オンプレで使う場合と、AWSで使う場合:ほぼ変わらない

オンプレ環境で使う

  • 全部オンプレ→ StorageGateway→ インターネット・VPN・専用線→ S3
  • 既存環境に追加するのは、StorageGatewayと回線だけ(影響少ない)
  • よくアクセスするデータは、オンプレ側にキャッシュされるので速い

AWSで使う

  • EC2上にStorage GW on EC2 を建てて、S3と繋ぐだけ
  • それと、AWS上のファイルサーバからマウントさせる
  • ユーザとの接続に関してはオンプレと同じで、インターネット・VPN・専用線で接続する

東急ハンズ様で導入、AWS Storage Gatewayを使ったファイルサーバ構築の実際

SGW&Direct Connectを使えば、オンプレよりむしろ速いぐらい&安いぐらいで、ファイルサーバをAWSに構築できるよ。 ただし、データ移行は慎重に。色々影響少ないところから始めて検証を重ねてからやるようにすることをオススメします。

ファイルサーバのクラウド化の背景

なぜ、クラウド化したのか?

オンプレ時代のファイルサーバへの悩み

以下の悩みを解決するため、リプレイスを検討したが、コストなどが見合わず断念。

  • 容量が足りない
  • バックアップへの不安(時間かかる&やってる最中にはリストア出来ない&バックアップ自体の仕組みも不安定)
  • 事業継続性:災害対策が不十分

そんな時に、SGW(Storage Gateway)との出会い

クラウド化の手順と方法

SGWを使うことを決めた後、以下の手順で移行を行った。
回線は、Direct Connect(1Gbps)元々あったものを利用した。

構築から運用開始までの手順

  • 業務リスクの少ないところから移行した(個人ドライブを移行することに)
  • SGWを構築する:簡単
  • バリバリ使って検証する
  • → データコピー:只管XCOPYした

SGW検証(個人ドライブのデータ移行)

  • ネットワーク越しには時間がかかる
  • 小さい単位のタスクを複数回転することで解消
  • DirectConnectがあれば速度は気にしない
  • → 読み込みでキャッシュヒットすると、オンプレより速い
  • → 読み書き速度はオンプレとほぼ変わらず(EBS OptimizedやPIOPSは使ってないけど速い)

運用開始から移行完了までの手順

  • 次は業務用データを移行した
  • → 既に移行していた環境のインスタンスUPなどを行って移行してみた

SGW検証(店舗用データ移行)

  • アクセス数増加によるパフォーマンス低下
  • データサイズも大きいので負荷かかる(CPU使用率高い)
  • インスタンスタイプUP
  • Windowsから見ると特に読み込みの負荷が高い(QueueLenghtから)
  • → キャッシュを追加
  • 監視をCloudWatchでちゃんとやっとくこと

最終構成(移行完全完了後)

まとめ

  • 十分な安定性とパフォーマンス:問題なく継続稼働している
  • バックアップレストアが安心:ファイルが確実に戻せる安心感がある
  • 納得の費用:トータルではオンプレミスより高くない(→ 単体で比較しない・運用コストなど含め)

AWS Direct Connect、およびパートナーサービスのご紹介

今日コレだけは憶えて帰って欲しいポイント:DX=Direct Connectの略称

  • AWSへは専用線・VPN接続が出来る
  • VPCを使えばワークロードはAWS上に安全に構築出来る(パブリック・プライベートサブネットで)
  • VPCへの接続にはDirect Connect を使う方法とVPNを使う方法で接続出来る(DXを使うとVPN無しで接続出来る)
  • DXは、AWS Partener Network を使う(各社サービスが異なるため必要な会社を選ぶ)

専用線接続の利点

  • AWSは、あらゆるリージョン・エッジロケーションにインターネット接続している
  • 専用線接続は経路変化なし:インターネットだとAWSと繋ぐ人(端末)との間が直繋ぎではないが、専用線は直なので速い
  • 接続方法:Amazonが公開するピアリングポイント(東京、大阪)
  • AWS Direct Connect(=DX(DC:データセンターと区別するためにDXと呼ぶ))

AWS VPC 復習

  • AWS上にプライベートネットワーク空間を構築
  • → 社内からVPN接続して閉域網でAWS利用
  • → 仮想ネットワーキング
  • オンプレとのハイブリッドが簡単に実現
  • → AWSが社内インフラの一部に見える
  • 最大16ビットのネットワーク空間作る→ その中にサブネット切る

VPNの悩み

  • AWSとのVPN接続方式:VGW(Virtual Gateway)をVPCに作って、オンプレ側のVPNルータと繋ぐ
  • インターネットに起因する問題はずっと付きまとう
  • スループットのルータは非常に高価:だいたい1Gbps出せるものは、実売で200〜300万(+保守費用)

そこで専用線接続の要望がある=AWS Direct Connect(DX)

  • 月に1万〜2万(1Gbps)、13万(10Gbps)で、専有ポートを申し込み毎に物理ポートを提供
  • → ネットワークのコスト削減
  • DXと、EC2の存在場所は全く別の場所にある:つまり冗長化してると同じ
  • 1Gbps、10Gbpsの光ファイバポートでの提供
  • 802.1qのVLAN上でBGP接続
  • VPC毎にVLANを分けて接続する
  • 東京は、エクイニクスTokyoが提供してる

オンプレミスとVPCの接続冗長化

  • DX+DX
  • DX+VPN
  • VPNVPN
  • 先にVPNでサービス作っといて、DX出来たら切替
  • → BGPを使って移行:MEDもしくはAS-PREPEND等

AWS DX サービスは色々会社により異なる

  • 相互接続ポイントにおけるコロケーション
  • 相互接続ポイント込みの専用線サービス
  • 10Mbps、100Mbpsとかもある

コロケーション提供APN

  • Equinix(分散型のDC)、cloudpack

相互接続ポイント込の専用線サービス提供APN

  • KVH、TOKAIコミュニケーションズ

広域ネットワークサービス提供APN

活用例

  • CloudHubとしてのVPC:AWSをHUBとして使うパターン(ネットワークのHUBとしての機能としてだけ使うだけでも利用価値がある)
  • ハイブリッド環境例:専用線・VPN利用することにより、AWS上のシステム側だけ触らせるなどが出来る

利用料金

  • ポート使用量とデータ転送量
  • → AWSから出て行く転送のみ課金→ データインは無料:バックアップ、ファイルサーバとして使うならデータインだけなので気にしなくていいということ
  • 1Gbps:2万円/1ヶ月、10Gbps:10-15万円/1ヶ月

AWS Direct Connectを用いたプライベートネットワーク構築事例

  • NTTPCコミュニケーションズ(親会社:NTTコミュニケーションズ
  • ダイレクト接続 for AWS のサービス提供している(Direct Connetで)
  • DXは、閉域網で接続できるのがポイント

顧客の要望で多いもの

  • 事業立ち上がり・スタートアップで多い→ ただし閉域網で
  • バックアップで使いたい
  • オンプレサーバをAWSへ移行したい

提供サービス

  • IP-VPN(専用線よりも安価)でAWSと各拠点を接続
  • クライアント→ NTTPCコミュニケーションズのIP-VPN:Master's ONE→ AWS(DX) → AWS という接続サービス
  • もちろん、IP-VPN→AWS DX間は冗長化している(専用線冗長化

料金:三種類

  • 一番安い:1Gbps:線を顧客間で共有(混むと遅くなる):6万円/月 → で、AWSまで閉域網(クローズド)で接続できる
  • 専有タイプもある