Highlighted
yasichi
3 Argentium

VxRailの増設ノードのディスク構成について

解決策を見る

VxRailの増設ノードのHW構成は既存ノードと同様な構成が推奨と思いますが、ディスク構成が異なる場合について以下の考えは正しいでしょうか?他懸念点等ありましたらご教示ください。

 

■容量観点

・増設ノードのディスク容量が大きい場合、そのノードがダウンした場合のデータ再構成先となる他ノードは容量が小さいので空き容量に注意が必要

・増設ノードのディスク容量が小さい場合、既存ノードで空き容量が十分考慮されていれば、データ再構成のための容量は特に問題なし

 

■性能観点

・ハイブリッドの場合は、増設ノードのDisk Group内のキャパシティHDDの容量が大きい・ディスク数が多くキャッシュSSD容量の割合が既存ノードより相対的に小さくなると、そのノードのディスクIO性能は悪くなるかも。

・ディスク回転数の違いも性能に影響あり

・All Flashの場合もキャッシュSSD容量割合の変化で性能差は出てくるかもしれないが、十分速いのであまり気にしなくてもよい(要件によるかもしれませんが)

 

ラベル(3)
0 件の賞賛
1 件の受理された解決策

受理された解決策
naoyuki_kaneda
3 Cadmium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

キャパシティディスクの容量については、既存Nodeより30% ほど増減したくらいでは、実質的な影響はあまりないのかなぁと思っています。vSANはDisk 使用率(%)が30ポイント以上差が出ない限り、デフォルトではプロアクティブリバランスができないことが根拠です。

空き容量については、容量の多いNodeがDownして、Resyncが完了した後でも、Cluster全体の容量使用率が80%程度であれば問題ないと思います。vSANの1ホスト障害後~のヘルスチェックが80%を境にWarningとなることが根拠です。

性能観点においては容量観点よりもよりシビアに考えるべきである、というのが私の意見です。レガシーなRAIDコントローラーで言えば、RAIDグループ全体の性能が、RAIDグループ内の最も遅いDisk速度に律速されてしまうように、vSANを構成するCluster内のNode/Diskに性能の低いものが一つでも混じっていると、理論的にはCluster全体のパフォーマンス低下につながる可能性があります。

個々のDisk IO性能だけでなく、Cache/Capacity比率についてもパフォーマンスに影響する可能性がありますので、既存よりも少なくする、というのは避けたほうが良いと思います。

All Flashの場合、Cache DiskはWrite 100%で利用され、その意図としてはIOIの高速化というよりはSSDの摩耗速度の調整に相当するというのが私の理解です。しかしながら、WriteがかならずCacheを通過する仕様上、バックアップやデータベースのスキャンなどで大きなIOが発生し場合に、Cache Diskの容量が枯渇し、輻輳状態となる可能性もあり得ます。やはりAll FlashであってもCache/Capacity比率は既存と同等かそれ以上にしたほうが好ましいと思います。






==== 自動追記 ====
投稿内容はすべて筆者個人としての投稿であり所属団体とは無関係です

元の投稿で解決策を見る

6件の返信6
naoyuki_kaneda
3 Cadmium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

キャパシティディスクの容量については、既存Nodeより30% ほど増減したくらいでは、実質的な影響はあまりないのかなぁと思っています。vSANはDisk 使用率(%)が30ポイント以上差が出ない限り、デフォルトではプロアクティブリバランスができないことが根拠です。

空き容量については、容量の多いNodeがDownして、Resyncが完了した後でも、Cluster全体の容量使用率が80%程度であれば問題ないと思います。vSANの1ホスト障害後~のヘルスチェックが80%を境にWarningとなることが根拠です。

性能観点においては容量観点よりもよりシビアに考えるべきである、というのが私の意見です。レガシーなRAIDコントローラーで言えば、RAIDグループ全体の性能が、RAIDグループ内の最も遅いDisk速度に律速されてしまうように、vSANを構成するCluster内のNode/Diskに性能の低いものが一つでも混じっていると、理論的にはCluster全体のパフォーマンス低下につながる可能性があります。

個々のDisk IO性能だけでなく、Cache/Capacity比率についてもパフォーマンスに影響する可能性がありますので、既存よりも少なくする、というのは避けたほうが良いと思います。

All Flashの場合、Cache DiskはWrite 100%で利用され、その意図としてはIOIの高速化というよりはSSDの摩耗速度の調整に相当するというのが私の理解です。しかしながら、WriteがかならずCacheを通過する仕様上、バックアップやデータベースのスキャンなどで大きなIOが発生し場合に、Cache Diskの容量が枯渇し、輻輳状態となる可能性もあり得ます。やはりAll FlashであってもCache/Capacity比率は既存と同等かそれ以上にしたほうが好ましいと思います。






==== 自動追記 ====
投稿内容はすべて筆者個人としての投稿であり所属団体とは無関係です

元の投稿で解決策を見る

yasichi
3 Argentium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

ご回答ありがとうございます。

空き容量については、容量の多いNodeがDownして、Resyncが完了した後でも、Cluster全体の容量使用率が80%程度であれば問題ないと思います。vSANの1ホスト障害後~のヘルスチェックが80%を境にWarningとなることが根拠です。

⇒Resyncできるだけの空き容量を残しておくことを注意しないといけないですかね。そこを気にするほど違いの大きな構成にはしない方が良いのかもしれませんが。。

 


All Flashの場合、Cache DiskはWrite 100%で利用され、その意図としてはIOIの高速化というよりはSSDの摩耗速度の調整に相当するというのが私の理解です。しかしながら、WriteがかならずCacheを通過する仕様上、バックアップやデータベースのスキャンなどで大きなIOが発生し場合に、Cache Diskの容量が枯渇し、輻輳状態となる可能性もあり得ます。やはりAll FlashであってもCache/Capacity比率は既存と同等かそれ以上にしたほうが好ましいと思います。

⇒そうですね。IO処理に余裕がなければ性能に影響する可能性はありますね。やはり基本は同等構成が推奨としたいと思います。

 

0 件の賞賛
kwmt
3 Cadmium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

リバランス処理について、vSAN 6.7u3 から機能強化が入り、
従来の30%以上の容量差分が確認された後の手動でプロアクティブリバランスだったものが、
任意の差分閾値を超えたタイミングで自動でのプロアクティブリバランスを動作させる事が出来るようになりました。

また、再同期処理を高速化させるための Parallel Resync も実装され、倍までは行かないけれどもかなり処理が早くなっています。

vSAN 6.7u3 での機能強化関連のネタをいくつかブログでも出していますのでご参照ください。

http://vmwarekkhci.hatenablog.jp/entry/2019/09/26/073044

 

AF vSAN、HY vSAN それぞれの増設時に、異なるプロトコルや速度のドライブが含まれる構成は性能の差が大きいのでご注意ください。
例えば 元々 SAS SSD で組んでいたクラスタに、SATA SSD で増設すると高負荷時に SATA SSD 側が処理のボトルネックになる可能性があります。HDD も回転数が異なったりするとばらつきが出ます。

NVMe などより高速なドライブのノードに SATA ノードの追加などは非推奨です(VxRail だとできない?)。

yasichi
3 Argentium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

kwmtさん、追加情報ありがとうございます。

HDD回転数、SAS/SATAも気にしたいと思います。

 

リバランスの機能強化の件なのですが、ご案内いただいたブログに下記がありましたが、従来もディスクの80%の使用率でリバランスは自動で動く認識だったのですが、6.7U3の機能強化とは何が違うのでしょうか?

"従来のバージョンではディスクの使用率をトリガーに自動リバランスは行われませんでした。"

 

・6.5のDoc

https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.virtualsan.doc/GUID-2EC7054E-FBCC-4...

"When any capacity device in your cluster reaches 80 percent full, vSAN automatically rebalances the cluster, until the space available on all capacity devices is below the threshold."

 

 

0 件の賞賛
kwmt
3 Cadmium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

vSAN 6.7u3 からは従来の80%を超えたら強制リバランス、というリアクティブリバランスではなく、
任意の閾値を設定してプロアクティブリバランスを完全自動化できるようになった、

という事で、容量が逼迫してからリバランスされるのではなく、
事前に少しずつリバランスして均等に容量を使っていく事が自動的に動作するようになった機能強化となります。

0 件の賞賛
yasichi
3 Argentium

Re: VxRailの増設ノードのディスク構成について

解決策を見る

ありがとうございます。

 

0 件の賞賛