VNX：内部チェックポイント更新中にクライアントがCIFSサーバーから切断される

大規模なディレクトリー
Nasdirtoolは、影響を受ける本番ファイル システムに、1つのディレクトリーに50万を超えるファイルを含む複数のディレクトリーが含まれていることを確認します

nasdirtoolの出力から:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95MBサイズおよび140万ファイル
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150MBサイズおよび210万ファイル



一部のCIFSクライアントが、ソース側アレイのレプリケーションに使用される内部チェックポイントの更新中にVNX CIFSサーバーから切断されます。

他のCIFSクライアントと他の共有上のNFSクライアントは正常に動作しています。

Data MoverでCPUの利用率が高くなることがよくあります。ディレクトリーのコンテンツの大きさによっては、Data MoverのCPUの利用率が100%に達する場合があります。  


[nasadmin@VNX-CS0 tmp] $ server_stats server_2-i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read Write
% KiB/s KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10: 45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


インシデント中に取得されたネットワーク キャプチャーでは、クライアントからサーバーへのTCP通信は正常に機能しているが、CIFSサーバーがSMBプロトコル レベルで問題が発生している特定のクライアントに応答しなかったため、クライアントのタイムアウトが示されました。

レプリケーションに使用されているソース側のファイル システムには、1つのディレクトリーに50万ファイルを超えるディレクトリーが含まれています。EMC VNX OE for Fileリリース ノートに記載されているように、1つのディレクトリーに500,000ファイルを超えると、パフォーマンスの問題が発生します

Data Moverログから、問題中に次のイベントが記録されます。

2016-08-12 12:58:40: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB415 aborted (client WINCLIENT01 disconnected)
2016-08-12 12:58:49: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB034 aborted (client WINCLIENT02 disconnected)

2016-08-12 13:09:29: SMB: 6: [VDM2] quota: getFsAndLock for Thread 1SMB356 aborted (client WINCLIENT03 disconnected)
2016-08-12 13:09:29: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB358 aborted (client WINCLIENT04 disconnected)



Data Moverログには、この問題が内部レプリケーション チェックポイント更新に対応していることが示されています

このソース側アレイでのチェックポイント更新のための通常のクイックFS一時停止の例
2016-08-19 12:33:39: 26042826752: SVFS: 6:fsid:1103
08-19 12:33:39でpause()がリクエストされました: 26042826752: SVFS: 6: fsid: 1103
   
この例では、一部の操作が一時停止を遅らせています
2016-08-19 12:42:36: 26042826752: SVFS: 6:fsid:1103
でpause()が要求されました...
2016-08-19 12:45:17: 26041909248: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB396 aborted (client WINCLIENT01 disconnected)
2016-08-19 12:45:26: 26041909248: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB478 aborted (client WINCLIENT02 disconnected)
...
2016-08-19 13:00:47: 26041909248: SMB: 6: [VDM2] Quota: getFsAndLock for Thread 1SMB298 aborted (client WINCLIENT03 disconnected)
2016-08-19 13:00:52: 26042826752: SVFS: 6: fsidで一時停止:1103

上記のソース側の内部チェックポイント更新一時停止は、非正常な動作を示しています。一時停止に時間がかかった原因を確認するために強制パニックが実行され、パニック ダンプ ファイルの分析により、ファイル システムに1つのディレクトリーに数百万のファイルを含むディレクトリーが含まれていることが確認されました。

新しいサブディレクトリー構造を本番ファイル システムに配置する必要があります。問題のあるディレクトリー内のファイルは、1つのディレクトリーで500,00ファイルを超えないように、新しいディレクトリーに分散する必要があります。元の問題のあるディレクトリーは、VNX管理者が削除する必要があります。

   

ガイドライン/仕様	最大テスト値	コメント
ディレクトリーあたりのファイル数	500,000	この数を超えると、パフォーマンスの問題が発生します。