最近話題になっているハイパーコンバージドシステムをデーターセンター内にラックマウント・配線・構築を済ませ、機能検証、障害検証、パフォーマンス検証を一通り実施しました。
特に、各サーバ・ストレージ・ネットワーク機器筐体が完全に物理化されている従来のエンタープライズクラウド環境に比べて、使い勝手はどうなのか、どういう違いがあるか、その特徴とメリット・デメリットと注意点について、クラウド環境の設計・運用者の個人的な感想を交えて、ご紹介したいと思います。
また、キレイに撮影した実物の写真も多数用意しましたので、合わせてご紹介します。
HC 250 : 前面 (ふた有り)
HC 250 : 前面 (ふた無し)
ハイパーコンバージド・インフラストラクチャ。 日本語で超集約型基盤と言います。
簡単に言いますとハイパーバイザ型サーバとストレージをがっちゃんこしたものがハイパーコンバージドシステムです。
ただ、物理サーバ ＋ 物理ストレージという意味ではなく、ローカルストレージを共有ストレージとして提供する 仮想ストレージソフトウェア が物理ストレージの代わりに、仮想マシンにストレージを提供する形になります。
本来であれば、商用環境向けのクラウド環境を構築するためには、最低限、以下の機器が必要となります。
もちろん、サーバ 2台でも 3台でも構築は可能ですが、クラスタ構成で高可用性 (High Availability)、メンテナンス、故障時の縮退運転を考えると最低でも 4台で構築することが望ましいです。
これが、ハイパーコンバージドシステムになると以下のように変わります。
2U の筐体 (シャーシ) の中に ハイパーバイザ (ESXi) がインストール済み ＋ ローカルストレージを共有ストレージとして提供するための 仮想ストレージソフトウェア が導入された物理サーバが 4台分搭載されるため、極めてコンパクト・シンプルな構成になっています。
また、ブレードサーバとは違って、スイッチは内臓されないため、別途用意する必要があります。
詳細については、この後詳しく説明しますが、ハイパーコンバージドシステムを提供する日本国内主要製品とベンダー (3社) は、以下の通りです。
| ベンダー | Hyper-Converged 主要製品 |
|---|---|
| HPE | ConvergedSystem |
| EMC | VxRail |
| Nutanix | Computing Platform |
HC 250 : 背面 (XL170r Gen9 * 4ノード)
各ベンダー製品ごとに Hyper-V と KVM のサポート有り無し、重複排除・圧縮サポート有り無し、仮想環境管理は VMware vCenter でやるのか、Nutanix Prism でやるのか等。 それぞれ特徴はありますが、うちは HP ＋ VMware vSphere の組み合わせを愛用しています。
長年使っていて特に大きな障害もなく、機器交換、トラブル対応など。 サポートも充実していて、安定的に Tier 1 サービスを提供しているので、かなり信用している部分があります。
今回、試した製品は HP の Hyper Converged 250 System (以下、HC 250) ですが、2U 4ノード構成 ＋ 仮想ストレージソフトウェアで外部ストレージ無しの仮想環境を実現するという意味では、Nutanix の Computing Platform も EMC の VxRail もハイパーコンバージドシステムの大まかなコンセプトとしては HC 250 とさほど変わらないかもしれません。
以下は、各ベンダーさんの製品を検討する際に、参考にしてください。
| 項目 | HPE | EMC | Nutanix |
|---|---|---|---|
| 主要製品 | ConvergedSystem | VxRail | Computing Platform |
| ハイパーバイザ | ESXi、Hyper-V | ESXi | ESXi、Hyper-V、Acropolis |
| ストレージ仮想化技術 | HP StoreVirtual VSA | VMware Virtual SAN | Nutanix NDFS |
| ストレージ機能 | マルチハイパーバイザ | VMware 専用 | マルチハイパーバイザ |
| 物理 StoreVirtual との連携可能 | 重複排除圧縮 | 重複排除圧縮 | |
| － | クラウドバックアップ | クラウドバックアップ | |
| － | DataDomain 連携 | － | |
| その他 | ストレージレプリケーション、HDD/SSD Hybrid モデルサポート | ||
| セットアップツール | OneView InstantOn | VxRail Manager | Nutanix Configuration |
また、ちょっとした裏話で大きな声で言えないですが、昔、似たようなコンセプト・製品を発表したベンダーさんもいるのですが、Tier 1 レベルでのサービスは難しい、成績不振などの理由によりこっそり世の中から消えた製品もあります。
ここでは、HC 250 の前面・背面の各ノード構成と、背面のインターフェース詳細についてご紹介します。
以下は、HC 250 の前面 ノード構成です。
全てのディスクを共有するのではなく、1ノードが 6つのディスクを占有します。
HC 250 : 前面 各ノード (Node1 ～ Node4)
以下は、HC 250 の背面 ノード構成です。
青いやつを回して、レバーを手前に引くと各ノードの取り外しが可能です。
HC 250 : 背面 各ノード (Node1 ～ Node4)
HC 250 : 1ノード取り外し
ふたを外すとこうなります。 ちょっと強力なファンが付いてます。
HC 250 : トップ (ふた無し)
ノード丸ごと抜くとこうなります。
これが、HPE Apollo 2000 System でも採用されている HPE ProLiant XL170r Gen9 というラッキング型のサーバで、それなりに良いスペックを持ってます。
HC 250 : 1ノード取り外し (ふた有り)
HC 250 : 1ノード取り外し (ふた無し)
HC 250 : 全ノード取り外し (ふた無し)
ストレージモデルには、主に以下の 3種類が存在します。
当たり前なことですが、パフォーマンス・価格的には、ALL SSD > HDD ＋ SSD Hybrid > ALL HDD 順に高いです。
そして、ディスクの配置についてですが、先ほど言ったように少し特殊でして、シャーシ前面のディスクベイは共有ではなく、各ノードが 6スロットを占有します。
ディスクタイプについては、HDD が SAS。 SSD は、SATA です。
また、前面のディスクスロットの数は、全て 25スロットありますが、真ん中の 1スロットは、使われません。
以下は、ALL HDD モデルの例です。
ちなみに、各ノードのディスクスロット番号は、個々のディスクの左側に記載されています。
HC 250 : ALL HDD モデルのディスク配置
以下は、HDD ＋ SSD Hybrid モデルの例です。
1ノードあたり 4スロットが HDD、2スロットが SSD になります。
HC 250 : HDD ＋ SSD Hybrid モデルのディスク配置 (写真は ALL HDD)
気になるストレージの実質容量は、以下の通りです。
HDD 玉の容量が 1.2 TB、SSD 玉の容量が 480 GB の例です。
ALL HDD モデルの場合
1.2 TB * (RAID 5 : 6本 - 1本) = 1ノードあたり 6TB
6 TB * 4ノード分 = 24 TB
24 TB / Network RAID10 = 12 TB
12 TB - System Management 500 GB = 11.5 TB
実質容量 11.5 TB
HDD ＋ SSD Hybrid モデルの場合
HDD : 1.2 TB * (RAID 5 : 4本 - 1本) = 1ノードあたり 3.6TB
SSD : 480GB * 2本 / RAID1 = 1ノードあたり 480 GB (0.4 TB)
HDD + SSD = 1ノードあたり 4 TB
4 TB * 4ノード分 = 16 TB
16 TB / Network RAID10 = 8 TB
8 TB - System Management 500 GB = 7.5 TB
実質容量 7.5 TB
ストレージの実質容量は、RAID 構成と個々の HDD・SSD の容量によります。
SSD 玉の容量が 960 GB だと実質容量 8 TB になりますし、ALL SSD モデルの場合には、実質容量 18.5 TB だったりします。
また、システム管理用として 500GB が使われるため、その分も計算に入れています。
特に、HP のストレージは、RAID のデータセットをディスク間ではなく、ネットワーク上の複数のノード間で構成し、ストレージコントローラーが動作するノード全体の冗長性を確保します。
この仕組みをネットワーク RAID と言いますが、この分も実質容量計算に入れています。
背面のインタフェース詳細は、以下の通りです。
HC 250 : インターフェース詳細
クラウド環境を構築するためには、サーバ (ハードウェア・OS・ハイパーバイザ)、ネットワーク、ストレージの知識が必要です。
経験がないと少しハードルが高いですが、各ベンダーさんが提供する簡易セットアップツールが用意されているので、それを使えば、サーバとストレージに必要な IP アドレスを入力するだけで、簡単にクラウド環境を構築することができます。
ここでは詳しく取り上げないですが、HP250 の初期セットアップの開始方法だけ簡単にご紹介します。
上記の背面インターフェースを見れば分かるように、各ノードには、初期セットアップ用のポートが容易されています。
なので、全てのノードに電源を入れ、4ノードの内どれか一つのノードに作業用のパソコンをつないで、特定 IP アドレスへ接続すると内蔵されている Windows Server へログインできます。
その後、セットアップソフトウェア OneView InstantOn を実行すると以下のようにセットアップ画面が表示されるので、後は、事前に設計しておいた各サーバとストレージの IP アドレスを設定するだけで、簡単にクラウド環境を構築することが出来ます。
OneView InstantOn : Introduction (初期セットアップ画面)
ハマリポイントはありますが、迷いさえしなければ、初期セットアップが完了するまで、約 15分程度かかります。
コンパクトさは、メリットでもあるし、デメリットでもあります。
2U 4ノード構成になっているので、従来のサーバ 4台・ストレージ 4台だったのが、2U だけで済みます。
スイッチ抜きで、同じノード数で比較すると以下のようになります。
8U → 2U
先ほど説明したように、ストレージ仮想化技術を使って、ローカルディスクを共有ストレージとして提供しているので、物理ストレージは不要です。
この物理ストレージを用意しなくても良いというところがハイパーコンバージドシステムにおいて、一番のメリットではないでしょうか。
物理ストレージ要らず、極めてコンパクトで 8U から 2U へと。 ラックスペース的にもかなり節約できて良いですと。 メリットと言えばメリットですが、ハイパーコンバージドシステムならではの電力問題が出てきます。
詳細については後ほど。
クラウド環境を構築する際には、まず、設計図 (物理構成図) を描かなければなりません。
従来の 1G 環境の場合には、各ストレージとスイッチをつなぐためのポートと各 ESXi ホストとスイッチをつなぐために、Management、vMotion、FT、ストレージ用、仮想マシン用のポートを用意する必要がありました。
また、冗長化しないと行けないため、各ポートごとに線を 2本ずつ用意しなければなりません。
各 ESXi ノードとスイッチ間、各ストレージとスイッチ間の配線を全部描くと構成図が線だらけになってしまい、非常に見づらくなりますが、10G NIC を使うと構成図も描きやすいし、ラック配線もスッキリするので、作業時間を大幅に減らすことが出来ます。
ちなみに、昔は、10G SFP+ 2Port しか使えなかったのですが、最近は、ハイパーコンバージド製品のラインナップも増えてきて、1G RJ-45 4Port も使えるようになったので、10G スイッチがなくても使えるようになりました。
1G が欲しい方はベンダーさんに問い合わせして見てください。
各ベンダーごとに基準があると思いますが、昔は、最低 3ノードじゃないと構築できませんでしたが、最近は、最低 2ノードだけでも構築可能だったり、1ノード単位での購入もできるようになったので、スモールビジネス・スモールスタートには良いかもしれません。
また、個々のサーバ・ストレージ機器を一台・一台キッティングし、データセンタ内にラックマウントしないと行けなかったのが、1シャーシだけマウントして、配線すれば終わりなので非常に便利で、作業工数を大幅に減らすことができます。
やっぱり、ストレージ容量が物足りないと言うか、ストレージクラスタを足すことも出来ますが、せっかくなら、1シャーシで完結したいので、ストレージを増設するような使い方をするとハイパーコンバージドの良さが半減するかなと思います。
最近、SSD の容量も大容量化しつつありますが、値段が高いので、大量買いはちょっと無理ですし、将来、HDD の容量がもっと大きくなると少しは改善されると思いますが、ストレージ容量に関しては、もう少し様子を見たいですね。
やっぱり物理ストレージに比べると性能が落ちるのは事実ですが 、各ノードにハイエンド RAID コントローラが搭載されているので、ある程度カーバできると思います。
読み込みに関しては、そこまで心配しなくても良いかもしれませんが、ALL HDD モデルの書き込みに関しては、物理ストレージに比べると明らかに性能低下がみられます。
特に、ALL HDD と HDD ＋ SSD Hybrid モデルのパフォーマンスは明らかに差が出るので、ストレージモデル別 IOPS と Latency 結果を各ベンダーさんに問い合わせすることをオススメします。
でも結局、IOPS の要件によりますが、どうせ使うなら、ALL HDD よりは、HDD ＋ SSD Hybrid が無難です。 余裕があれば、ALL SSD って感じですね。
RAID コントローラが搭載されているため、DISK I/O 処理に CPU リソースを奪いません。 特に、HC 250 の Hybrid モデルの場合には、(厳密に Read と Write を測定したわけではありませんが) 2万 IOPS 以上出るので、そこまで心配しなくても良いと思います。 (恐らく、Write より Read の比率がかなり上回っていたのではないかと推測しています)
ちなみに、HDD ＋ SSD Hybrid モデルでパフォーマンスを測定した結果、物理の StoreVirtual (1U * 4台の 1クラスタ) に負けないくらい良い結果になりました。
ハイパーコンバージドシステムを運用する際に一番気を付けないと行けない部分ですが。
各ノードがサーバとストレージの役割を同時に果たしているため、1ノードがダウンするということは、1ストレージがダウンすることと同じです。
これだけで、従来のメンテナンス作業のリスクが 2倍高くなります。
そのため、ストレージのパッチ適用、ESXi ホストのパッチ適用のようなメインテナンス作業時には、十分気をつけないといけません。 (特に、ESXi をメンテナンスする際には要注意)
最初の構築時に ESXi ホスト、ストレージに最新のパッチを適用しておいて、突然システムが落ちるとかという危険なバグを踏まない限りパッチ適用はしないというやり方でも良いかもしれません。
電源ユニット 2個で全てのノードに電力を供給しなければならないため、100V ではなく、200V の電源ユニットが搭載されています。
シャーシに付いている電源ユニット自体が 200V なので、事前にデータセンタに連絡して、200V 電源が使えるかどうか問い合わせした方が良いです。
もし、100V しか使えない場合には、200V 電源を引っ張ってもらう必要があります。
そして、以下のような 200V 用の電源コンセントが必要です。
挿し口に注目してください。 普段サーバキッティング時に捨てがちな延長ケーブルを使うことになります。
このコンセントの線が物凄く太くて、ラック配線をキレイにまとめるのが中々難しいです。
200V タイプの電源コンセント : NEMA L6-30 (NEMA 規格接続器)
200V 電源ユニットと仮想マシンの関係をもう少し詳しく説明しますと。
仮想マシンが消費する CPU 使用率が高くなればなるほど物理 CPU の発熱量が上昇します。
それに伴い、CPU ファンの回転数も上昇し、結果的には消費電力が多くなります。
もし、電源ユニットが一個壊れた場合に、1つの電源ユニットで 4ノードを回さないと行けなくなることを考えると 200V じゃ電力が足りなくなる可能性があるため、CPU 使用率が高い仮想マシンをハイパーコンバージドシステム上で動かすのは少しリスクが高いです。
よって、仮想マシンの集約効率が悪くなります。
この問題を回避するためには、ノード数を増やせば良いですが、それに伴ってライセンス費用も発生することを理解しておく必要があります。
これも 電力と関係がありますが、1ラックに供給できる電力にも限界があるので、いくらコンパクトとは言え、2U のハイパーコンバージドシステムをラック内にギッシリ詰め込むことは不可能です。
東京都内のデータセンターが提供している 42U ラックであっても、200V のハイパーコンバージドシステムは、最大 3～4シャーシ (6U～8U) までしか搭載できません。
従来の構成だと 10G NIC を 2枚買って、1枚目の NIC と 2枚目の NIC 間の冗長を組んだり、特定サービス専用の仮想マシン群が使うための専用 NIC を足したり、ある程度柔軟性がありましたが、ハイパーコンバージドシステムはコンパクト過ぎるため、そもそもパーツ部品を増設するためのスペースが存在しません。
特定ノードのパーツ部品が一個壊れたら 1ノード丸ごと交換になります。
そのため、お客さんにサービスを提供するための商用環境・本番環境の場合には、保守の契約・更新は必須かなと思います。
購入する前に確認しておくと良いでしょう。
キーボード、モニタ用のポートの代わりに、SUV ポートが付いているため、データセンタ行くときには、SUV コネクタをお忘れなく。
準備万端で気合入れて現地行ったのに、SUV コネクタが無くて作業できませんでしたとなるとこれだけ悲しいことはないです。
空振りに終わらないように SUV コネクタは、必ず持って行きましょう。
ハイパーコンバージドシステムの良さを生かすためにも、仮想マシンのリソースだったり、IOPS だったり、収容条件を事前にはっきり決めておくと良いです。
ディスクは、基本的に消耗品扱いです。
HDD は安いので、予備物品をいっぱい用意しておいて、壊れたら即時交換で対応できますが、SSD だと割と高いので、話が変わってきます。
ディスクには、書き込み寿命というのがあって、例えば、SSD が壊れたときに、これが書き込み寿命によるものかどうか確認できないと自腹で購入するしかないです。
なので、書き込み寿命を確認するツールが用意されているか、寿命に達した場合には、交換してもらえるか、保障期間は何年かについて、ベンダーさんに事前に確認しておくと良いです。
ライトキャッシュの方式には、主に以下の 2種類があります。
昔のサーバとストレージには、ライトキャッシュとして、大体 BBWC が使われています。
この BBWC っていうのが、平均寿命が 3年で割りと短いです。 (もちろん、もっと寿命が長いバッテリもありますが)
もっと正確に言うとバッテリの寿命は、キャッシュモジュールのサイズによっても異なりますが、平均寿命は、一般的に 3年で、バッテリが壊れた場合には、交換するまで、BBWC 機能は無効になります。
バッテリーを交換する目安を教えてください。
BBWC内のバッテリーは、消耗品です。
また、HP Smartアレイ コントローラーは、この状態を検出すると、データを保護するためにライト キャッシュ機能を自動的に制限します。
常に正常にお使い頂くために、HPでは、3年ごとにバッテリーパックを交換することをお勧めします。
例えば、4台でクラスタを組んでいるストレージシステムがあるとします。
問題は、このクラスタ内の物理ストレージ 1台の BBWC が壊れたときに、クラスタ全体のパフォーマンスが低下してしまうところにあります。
ESXi ホストの BBWC バッテリが壊れた場合には、ESXi ホストのローカルストレージのパフォーマンスが低下します。
ちなみに、仮想マシンデータの収容先が外部ストレージの場合に、ESXi ホスト側の BBWC が壊れても、仮想マシンに影響を及ぼすことはありません。
ハイパーコンバージドシステムは FBWC なので、BBWC より平均寿命が長いため、BBWC に比べて少し安心感は増しますが、FBWC であれ、BBWC であれ、バッテリであることは変わらないので、寿命に達したら必ず壊れます。 油断は禁物です。
こころ辺りある方は、データセンタ行って、サーバ・ストレージのふたを開けてみてください。
こうなってたら危険です。
BBWC 膨らんでる : 壊れる前に早めに交換した方が良い
寿命間近なバッテリーの場合には、もっとひどいですが、時期がくる前に交換した方が良いです。
重量だって 35kg ありますからね。
大人二人でラックマウントしようと持ち上げたんですが、それでも重たかったので、これはちょっと危険だなーということで、ノードを全部抜き出してからラックマウントしました。
HC 250 : 全ノードを取り外した後の筐体
HC 250 : 全ノードを取り外した後の背面
ノードを取り付ける際には、下のノードから先に取り付けるとやりやすいです。
稼働中の本体 (ふた) を触ってみると分かりますが、発熱量が多いので、ちょっと熱いです。
そのため、複数台のハイパーコンバージドを一つのラック内に設置する際には、連続でくっ付けてマウントするのではなく、1U くらいのスペースを空けてからマウントした方が良さそうです。
2U 4ノードのハイパーコンバージドシステムの場合、電源ユニットが 200V なので、100V しか使えない環境では動かせません。
コンパクトな構成は良いけど、コンパクト過ぎて、GPU 搭載不可、NIC 増設不可、ストレージ容量がもっと欲しい等。色んな不満が出てくるようになりました。
この問題を解消するために出てきたのが、2U 1ノード、かつ電源ユニット 100V をサポートするハイパーコンバージドシステムです。
ただ、GPU を搭載する場合には、200V 必須なので、注意してください。
従来の仮想環境に比べて、使い勝手はほぼ同じというか、そんなに変わりませんでした。
新しい機器を買うと一定期間負荷検証・エージングを実施しているのですが、全然問題ありませんでした。
特に、運用・メンテナンスする際に 1ノードダウン ＝ 1ストレージダウン だけ注意すれば十分です。
その他、懸念点としては、4ノードが一つのシャーシ内に全て収まっているため、シャーシが丸ごと落ちるとサービス全断につながる といったところでしょうか。
それも含めて、気になる点として以下のようなことがありました。
恐らく FBWC の寿命は 4年・5年位ではないかと推測してます。
また、BBWC とか FBWC のようなライトキャッシュモジュールは、基本的にオンライン交換出来ないため、交換する際にはサーバを落とす必要があります。
なので、FBWC を交換する際に、シャーシを落とす必要があるかについては要確認です。
FBWC とか電源ユニットが壊れると BBWC と同じように、性能が低下するとは思いますが、こんな感じで気になる点があれば、どんどんベンダーさんに問い合わせてみて、不安要素を取り除くのも大事なことだと思います。
上記のようなこと (リスク) を承知した上で使うのと知らないまま使うのと全然違う話なので。。
特に、ストレージ容量と電力を考えると、リソースの大きい仮想マシンを多数収容する場合やストレージ容量を消費しがちなログサーバ類には適さないかもしれませんが、逆に、リソースが決められた仮想マシンを多数収容する場合やネットワーク仮想化 NFV 基盤として使う場合、そして今からクラウド事業を始めようとするが、クラウド環境構築のノーハウを持っていない企業、スモールビジネス・スモールスタートしたい企業にとっては、最高とは言いませんが、良い選択肢になるのではないでしょうか。
深堀すると従来の構成がいいのか、ハイパーコンバージドシステムがいいのかきっと悩まされると思いますが、安い買い物ではないので、購入する前にメリット・デメリットについては、しっかり押さえておいたほうが良いです。
従来の完全物理環境と同スペックのハイパーコンバージドシステムの価格については、同じベンダーさんの製品を使う前提であれば、そんなに変わらないと思います。
購入価格については、結局、スペックとベンダーさんによりますし、時期によって変わる可能性があるため一概には言えませんが、2016年頃のスタンダード構成だとざっくり 1,500万 ～ 2,000万。 もうちょっと高スペックがほしい場合には、3,000万あれば買えると思います。
ちなみに、Nutanix Prism は、色んな機能をサポートしているせいか、価格的には少し高い感じで、それに比べると HC 250 は、普段あまり使わない機能は除外されているので、価格は比較的に安いほうでした。
一応、ハイパーコンバージドの特徴・メリット・デメリット含めて、基本的な部分は全て書いたつもりなんですが、上記の情報をベースにして他のベンダーはどうかについて色々比較して見ると見えてくる部分があると思うので、参考資料としてご活用ください。
キャンペインをうまく利用すれば、安く手に入ったりするので、良さそうなキャンペインがあれば積極的に活用した方が良いでしょう。
HC 250 : ラックマウント済み・稼働中
以上、実機で語るハイパーコンバージドシステム・使ってみた感想 でした。
所要時間：30分以内試験環境：HPE Hyper Converged 250 System、vSphere 6関連カテゴリー：
コメント