OneFS SmartQuotas is one of the principal methods for inline data reduction efficiency reporting. Quotas account for compressed files as if they consumed both shared and unshared data. From the quota side, compressed files appear no differently than regular files to standard quota policies.
Uehara Y.
Community Manager
Community Manager
•
5.1K メッセージ
0
2024年8月30日 00:03
重複排除・圧縮前のサイズで計算されます。
Dell PowerScale OneFS: Data Reduction and Storage EfficiencyというホワイトペーパーのInline data reduction and OneFS feature integrationセクションにあるTable 11にて、SmartQuotasは以下のように説明されています。
OneFS SmartQuotas is one of the principal methods for inline data reduction efficiency reporting. Quotas account for compressed files as if they consumed both shared and unshared data. From the quota side, compressed files appear no differently than regular files to standard quota policies.
また、類似機能であるSmartDedupに関しても重複排除・圧縮前のサイズで計算されます（参考：PowerScale/IsilonのSmartDedupeとSmartQuotasの関係性）。
実際の運用を考えても、もしも重複排除・圧縮後のサイズで計算してしまうと、例えば複数の社員に同じQuotaを付与した場合でも人によって利用出来る論理容量が変わってしまうことが発生してしまったり、残りの利用可能容量が正確にわからなくなってしまうなど利用者は混乱してしまいそうです。
それらの混乱を避けて、利用者に分かりやすくご利用して頂くために現在のような仕様になっていると考えられます（ストレージ管理者からみるとギリギリまで利用してもらえるような設定が出来る重複排除・圧縮「後」のサイズで計算するというメリットが考えられないわけではないですが・・・）。
keis3456
3 Apprentice
3 Apprentice
•
897 メッセージ
0
2024年8月30日 05:19
@Uehara Y. さん
Inline data reductionにおいても重複排除・圧縮前のサイズでQuotaは計算されるとのことご回答および関連資料の共有ありがとうございます。
ちなみに実機にて以下試してみたところ、保存されるデータ（テストで使用したデータ）によってQuotaの計算が異なっているような動作と感じています。
・PowerScale内の指定のフォルダに対してSmartQuotaにて1GBのハードクォータ設定
・Inline Data Reducation機能有効
上記状態にて、NFS接続したクライアントから以下テストデータを対象フォルダに保存
①dd if=/dev/zero of=1G.dummy bs=1M count=1000
上記①のコマンドにてテストデータを保存したところ、クライアント上では1000Mのファイルとして保存されましたが、PowerScale上(isi quota quotas list)ではほぼ使用量としては計算されていませんでした。ほぼゼロでした。
そのため、上記同様のコマンドを何回かファイル名を変えて実行しましたがハードクォータ
の制限に引っかからずにファイルが作成できてしまいました。
②dd if=/dev/random of=1G.dummyrandom bs=1M count=1000
次に②のコマンドにてテストデータを保存したところ、この場合クライアント上でもPowerScale上でも指定されたサイズの容量が表示され、ハードクォータで指定した
サイズを超えた後は書き込みできなくなるという想定した動作が確認できました。
上記結果から、zeroデータに対するSmartQuotaでの計算の扱いはなにか違うのかなと
考えている次第です。
Uehara Y.
Community Manager
Community Manager
•
5.1K メッセージ
0
2024年8月30日 08:53
keis3456さん
実験結果の共有ありがとうございます！
とはいえちょっと嫌な感じですね。。
inline data reductionの処理の一つにZero block removal phaseという部分があるので0だらけのファイルに対するdata reductionがかなり効くようになっていることがわかるのですが、そこでreductionされたものはQuota計算対象にならないとかいう仕様（バグ？）になってる可能性もあるのかも・・・
もしくは、インラインでZero block removal phaseを処理するだけではドライブに書き込みにいかずに、次の何かゼロではないデータが来た時点で初めて書き込みに行って、そのタイミングになってやっとQuotaの制限にひっかかるという動作をしているのかもしれません（そうだとしてもおかしな仕様ですが）。
keis3456
3 Apprentice
3 Apprentice
•
897 メッセージ
0
2024年8月31日 01:42
@Uehara Y. さん
本件、見解についてありがとうございます。
真相については正式に問い合わせてみないことにはわかりませんが、参考にさせていただきます。