【AskTheExpert】エキスパートに聞こう！OneFS8.2 の秘密！

Quotaには、Hard limit(容量制限)の他に、Soft limit(時間猶予付き容量制限)やAdvisory limit(通知専用)があります。

Hard/Soft/Advisoryにはそれぞれ個別で値を入力しますが、多くのお客様は、Soft/Advisoryの値はHardに対する割合で決められているのではないでしょうか？　そしてHardの値を増減させた場合には、Soft/Advisoryの値も手動で変更頂いているのが現状です。

ここで、今回の新機能Soft/Advisory Limitの自動割合設定を使用すると、Soft/Advisoryの値を、Hardからの割合で設定することが出来ます。

例)

Hard quotaを100GBで設定し、Softを90%、Advisoryを80%で割合設定。
⇒Soft quotaは90GBになり、Advisoryは80GBになります。

次にHard quotaを200GBに変更。
⇒Soft quotaは自動的に180GBになり、Advisoryは自動的に160GBになります。

この機能はCLIのみサポートしています。Soft/Advisoryの割合設定はCLIからのみ実施可能です。自動割合設定後に、GUIから該当Quotaの設定変更を行うと、設定内容に関わらず自動割合設定は解除されます。GUIからHardの値を変えても、Soft/Advisoryの値は変わらず、自動割合設定も解除されます。またCLIよりSoft/Advisoryを数値指定で上書きした場合も、自動割合設定は解除されます。

使いこなすのに若干のCLI知識は必要ですが、非常に便利なので、是非お使い頂きたい機能です！

サンプル：自動割合付きquota作成

# isi quota create /ifs/quota directory --percent-advisory-threshold=50 --percent-soft-threshold=80 --hard-threshold=100M
With percentage ratio defined, your advisory threshold would be 50.00M and soft threshold would be 80.00M. Do you want to proceed ?? (yes/[no]): yes

サンプル：Quotaを自動割合設定に変更する

# isi quota modify /ifs/quota directory --percent-advisory-threshold=50 --percent-soft-threshold=80
With percentage ratio defined, your advisory threshold would be 50.00M and soft threshold would be 80.00M. Do you want to proceed ?? (yes/[no]): yes

サンプル：Hard Quota値を変更する

# isi quota modify /ifs/quota directory --hard-threshold=200M
With percentage ratio defined, your advisory threshold would be 100.00M and soft threshold would be 160.00M. Do you want to proceed ?? (yes/[no]): yes

サンプル：Quota設定確認

# isi quota view /ifs/quota directory
...
    Thresholds
                   Hard Threshold: 200.00M
                    Hard Exceeded: No
               Hard Last Exceeded: -
                         Advisory: 100.00M
    Advisory Threshold Percentage: 50.00%
                Advisory Exceeded: No
           Advisory Last Exceeded: -
                   Soft Threshold: 160.00M
        Soft Threshold Percentage: 80.00% 

特定フォルダの下位フォルダに対し、自動的にQuota設定を適用する機能です。この機能はDefault Directory Quotaと呼ばれ、新Quota機能の目玉とも言える機能です！

まず以下の様なフォルダがあると仮定します。

設定の流れとしては

1. share01に、Default Directory Quota＝Hard limit 10TBを設定。
   ⇒ share01のサブフォルダ(group01,02,03)に対し、自動でHard limit 10TBが設定される。
   ⇒ 以降、share01直下に新規フォルダ(group??)を作成すると、自動でHard limit 10TBが設定される。

となります。

設定後は下記図の様になります。

QuotaはHard limitに限らず、Soft/Advisoryでの設定も出来ます。

この機能を使えば、ホームディレクトリへのQuota付与、プロジェクトフォルダへのQuota付与などを、全て自動で行うことが出来ます。自動でQuotaを付与されたフォルダはLinked Directory Quotaという扱いになり、親フォルダのDefault Directory Quotaの設定に従います。

Linkを切断すれば独自の設定値に変更出来ますので、特定ユーザーやプロジェクトに対し、個別に設定をしたい状況にも問題なく対応出来ます。またDefault Directory Quota設定前に、既にサブフォルダにQuota設定が入っている場合は、そのQuota設定は変更しません。(Linkedになりません)

更に、自身の容量を制限するDirectory Quotaと、今回のDefault Directory Quotaは、同じフォルダに対して同時に設定することが可能です。これはLinkedのDirectory Quotaに関しても言える為、Linked Directory Quotaに対して更にDefault Directory Quotaを設定することも出来ます。

例えば下記図の様に組み合わせることが出来、様々な運用に対応することが出来ます。

この場合、

• share01全体には、800TBの容量制限がかかっている。
• share01直下のフォルダには、自動で10TBの制限がかかる。
• Linkを切断しているgroup03は、自由な制限値を付けられる。今回は20TB。
• group02直下のフォルダには、自動で100GBの制限がかかる。

となります。

Default Directory Quotaの設定はCLIからのみの実行になりますが、Linked Directory QuotaのUnlink(link切断)はGUIからも実施出来ますので、Default Directory Quota設定以降はGUIでの運用が可能です。また一度Unlinkしたフォルダを再度link状態にしたい場合は、CLIから設定可能です。

一部CLI onlyにはなりますが、特定の運用負荷を劇的に下げることが出来る機能になりますので、是非ご活用下さい！

サンプル：Default Directory Quota設定

# isi quota create --path=/ifs/parent-dir --type=default-directory --hard-threshold=10M

サンプル：Default Directory Quota設定変更

# isi quota modify --path=/ifs/parent-dir --type=default-directory --advisory-threshold=6M --soft-threshold=7M --soft-grace=1D

--typeでdirectoryを指定してしまうと、意図せず通常のquota設定を変更してしまいますので、--typeの引数にはご注意下さい。

サンプル：Default Directory Quota表示

# isi quota list -v

Type              AppliesTo  Path                  Snap  Hard    Soft    Adv     Grace  Files  Physical  FSLogical  AppLogical  Over    Enforced  Container  Linked
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
directory         DEFAULT    /ifs/parent-dir        No    1.00P   -       -       -      5      10.00k    92.00      0.00        -       No        No         No
default-directory DEFAULT    /ifs/parent-dir        No    1.00G   -       -       -      0      0.00      0.00       0.00        -       No        No         -
directory         DEFAULT    /ifs/parent-dir/tree1  No    1.00G   -       -       -      1      2.00k     0.00       0.00        -       No        No         Yes
directory         DEFAULT    /ifs/parent-dir/tree2  No    1.00G   -       -       -      1      2.00k     0.00       0.00        -       No        No         Yes
directory         DEFAULT    /ifs/parent-dir/tree3  No    1.00G   -       -       -      1      2.00k     0.00       0.00        -       No        No         Yes
directory         DEFAULT    /ifs/parent-dir/tree4  No    1.00G   -       -       -      1      2.00k     0.00       0.00        -       No        No         Yes
-----------------------------------------------------------------------------------------------------------------------------------------------------------------

サンプル：Default Directory Quota削除

# isi quota delete --path=/ifs/parent-dir --type=default-directory

--typeでdirectoryを指定してしまうと、意図せず通常のquota設定を削除してしまいますので、--typeの引数にはご注意下さい。

サンプル：Default Directory Quotaからのunlink(GUIでも可能)

# isi quota modify --path=/ifs/parent-dir/tree3 --linked=no

サンプル：Default Directory Quotaへの再link

# isi quota modify --path=/ifs/parent-dir/tree3 --linked=yes

以上、Quotaの新機能のご紹介となりました。まだGUI対応出来ていないものもありますが、非常に有用な機能が揃っていますので、是非お客様の運用の一助として頂ければ幸いです！

Quota機能は、フォルダ/ユーザーの使用容量に対して制限をかける機能ですが、その際に用いる使用容量の算出方法は様々です。

Isilonでは今まで2つの算出方法を提供していましたが、8.2から3つ目の算出方法が選べる様になりました。

1. Physical size：保護(パリティ/ミラー)を含めた、物理ディスクの消費容量。
2. Filesystem Logical size：保護を除いた、物理ディスク消費容量。
3. Application Logical size：クライアントから認識されるファイルサイズ。New!!

今までIsilonをお使い頂いていたお客様の多くは、2.FS Logical 相当の設定になっていますが、一般的には3.App Logicalの方が最適なQuotaをかけられる場合が多く、使い易い設定となります。

この３つの算出方法がでどの様な違いが出るか、例を用いて比較してみましょう。
(Isilonは4ノード、保護レベルは+2d:1nとします)

Isilonは8KB単位でブロックを持ちますので、どれだけ小さいファイルでも最低8KBのデータを占有します。この為②の様に、実際は1KBなのに、ディスクは保護なしで8KB、保護ありなら24KB消費するという状況が起こります。数KBのミニファイルが沢山ある様な環境では、3.App Logicalを使う意味は非常に大きいでしょう。

また③の様に、Cloudpoolでデータの実体が既にIsilonに無い場合、ディスクの消費容量で測る1.Physicalや2.FS Logicalでは、容量消費は0になります。しかし3.App Logicalでは、実体がなくてもファイルサイズの容量が消費されていると判断します。

これは一概にどちらが良いとは言えませんが、実体が有る無いに関わらず、容量制限はファイルサイズの合計で課したいという場合は、3.App Logicalが有効です。逆に実体が移動したらその分利用者に多く使って貰いたい場合は、2.FS Logicalが良いでしょう。

この様に3.App Logicalは非常に使い勝手が良く、今後のデフォルトの選択として使っていただけます。1.Physicalや2.FS Logicalも合わせて、最適な算出方法をご利用下さい。

全く同じパス/ユーザーに対し、複数の算出方法で同時にQuotaをかけることは出来ませんが、上位フォルダのQuotaでは1.Physicalで容量を制限し、下位フォルダは3.App Logicalで制限する、といったことは可能です。

また制限は同時に出来なくても、各算出方法による使用容量は、全て同時に把握出来ます。

# isi quota list -v
Type      AppliesTo  Path      Snap  Hard   Soft  Adv  Grace  Files  Physical  FSLogical  AppLogical  Over  Enforced  Container  Linked
----------------------------------------------------------------------------------------------------------------------------------------
directory DEFAULT    /ifs/test No    50.00M -     -    -      85     90.36M    50.39M     49.98M      -     Yes       No         No
----------------------------------------------------------------------------------------------------------------------------------------
Total: 1

より柔軟になったIsilonのQuota制限方式で、お客様の運用負荷を下げることが出来れば幸いです！

大変お待たせしました。
続いては、新機能 Storage Efficiency についてです。

Isilonの分散ファイルアーキテクチャの特性として、
スモールファイルが大量に存在する環境では容量効率が低下する問題がありました。
これはPACS※１においてはシステムの特性上顕著で、以前のOneFSバージョンではPACSに対してのみSmall Files Storage Efficiencyというパッキングの機能を有効にすることができました。

それがOneFS 8.2からはPACS以外のアーカイブ用途のワークロードにも適用が可能となりました。

それによりスモールファイル処理の改善により、効率性が向上します ！

※1 PACS(Picture Archiving and Communication Systems)とは医療用画像管理システムのことです。
CR,CT,MRIといった画像撮影装置（モダリティ）で撮影した画像データをネットワークを通じて受信し、保管・管理するシステムです。

では、まずおさらいから。

Isilonのデータレイアウト：128KBに満たないデータはミラー保護となる

Isilonはサイズが小さなファイルが多いと利用効率が下がってしまいます。

Small Files Storage Efficiency機能を使ってみると。

Storage Efficiency機能(小ファイル対策機能、通称Packing)

パッキングぅすることでデータ保存の効率がグーンと上がります！

Small Files Storage Efficiency機能を使うための考慮点

・OneFS 8.2以降で実装
　　　　バージョンが低い場合は、まず8.2へのアップグレードから！
　　　　Upgradeの場合はCommit済みであることが前提です。

・SmartPools(階層化機能)のライセンスの準備
　　　　パッキングを行うのはSmartPoolsの機能で実施します。
　　　　そのため階層化を利用してなくてもSmartPoolsライセンスが必要になります。

・小さいファイルが多数のアーカイブ用途で使いましょう
　　　　パッキングしているのでアクセス頻度の多いアクティブデータは苦手です。

考慮点に注意して、アーカイブ用途で小さいファイルが多い提案の際は、
Small Files Storage Efficiency機能をご検討ください。

さて最後はCloudPoolsです。

知っている人、知らない人、Isilonを飛び越えてクラウドに関してまで誰が読んでもわかりやすく説明しますので是非チェケラ！

CloudPoolsとは？

オンプレ（Isilon）上のファイルをポリシーに沿ってクラウドに自動アーカイブする機能です。オンプレとクラウドをうまく使う、いわゆるハイブリッドクラウドを提供します。

Isilonとクラウド間の処理はAPIで行われるためゲートウェイサーバなどは必要ありません。まさに、ゆ〇の栄光の架橋ならぬ「クラウドの架橋」なんです。

使われていないデータ、70%

旧EMC時代からお客様のファイルサーバをアセスメントさせていただくことが良くあります。

ほんどのお客様のファイルサーバにおいてなんと70%が半年、1年以上アクセスの無いコールドデータなのです。「ファイルサーバは消せないゴミ箱」と私は良く言うのですが消せないコールドデータは物置に入れて貴重なオンプレのストレージを有効活用したいですよね。

どんなファイルをクラウドにアーカイブする？

アーカイブポリシーの項目は豊富です。いろいろな項目を組み合わせることが可能です。

基本的はコールドデータをアーカイブすることをおススメします。

ハイブリッドクラウドでコストを適正化

クラウドって置くのは安いけどリード（読み込み）すると従量課金が発生して月の請求額が半端ないって！てことよくありますよね。

だったらアクセスされないデータをクラウドに置いちゃえばオンプレ容量の有効活用、かつクラウドでの大容量運用により真のコスト適正化できませんか？ということなのです。

どのクラウドがおすすめ？

本音は我らDellTechnologiesが持つS3互換のECS（オンプレ）です。どのクラウドベンダーよりも安価です。何？ECS？って気になる方は調べてみてね。

今回はパブリッククラウドをメインとしてAWS S3とMicrosoft AZUREをあげます。

みなさん、S3とAZUREって機能面はおいといてコスト面でどう違うかご存知ですか？

簡単にご紹介しますね。

S3　ジオレプリケーション（地理的分散配置）が標準装備、アクセス頻度による従量課金が発生しやすい。

AZURE　ジオレプリケーションはオプション、アクセス頻度による従量課金はS3に比べると低いがS3と同じジオレプリケーション構成にするとS3より標準費用が高くなる傾向あり。

どちらが良いかまでは言及しませんが何気にこの2社のサービスのアプローチって違うんですよね。

ここまでがCloudPoolsの標準紹介（おさらい）です。
やっとここからがCloudPools 2.0の紹介です。

何が変わった、CloudPools 2.0？

CloudPoolsがリリースされて数年、国内外で豊富に導入されております。だ・か・ら、開発は進行されますよね？！この度、CloudPools 2.0として強化されました。変更点は以下となり対応するIsilon OneFSバージョンは8.2.0以降です。

• AWS署名認証バージョン4をサポート

今までは署名バージョンv2のみ対応していました。この度、v2の次のバージョンであるv4に対応しました。なお、OneFS 8.1.2はパッチにてバージョン4に対応可能です。

2018年6月末にこのv2のサポートが終了するということで激震が走りましたが、安心してください、延期されましたよ。詳しくはここで確認してね。

• CloudPoolアカウントまたはfilepoolポリシーごとのネットワーク統計の取得機能を追加

地味だけどクラウドを使う上ではどれだけのトラフィックを使用したかを確認するのは大事ですよね。今はコマンドのみ対応です。

• Amazon C2S およびAlibaba Cloudパブリッククラウドプロバイダーのサポート

Amazon C2SとAlibaba Cloudに対応です。

• スナップショット、sparse file処理、Quota、AVScanのデータサービスの統合

今回のCloudPools 2.0の目玉です！端的には「容量効率がすごく良くなったよ」ということなんです。

スナップショット連携時の効率化

スナップショットと連携しているとクラウドアーカイブ処理のファイルをスタブ化するときにスナップショットが発動して不要なブロックを取得してしまっていましたが、CloudPools 2.0ではこの不要な処理がされないよう改善されました。

CloudPools 1.0

CloudPools 2.0

sparse file処理

sparse file（空の領域）をクラウドに置かないよう改善することでクラウド上の容量を削減することができるようになりました。

Quota

SmartQuotasで紹介した「Quota - Application logical size」の導入によりファイルデータがクラウドにアーカイブされている場合でも、アプリケーションが認識する容量を表示するよう強化されました。

AVScan

ウィルススキャン時にスタブファイルをチェックすることで予期していないのにクラウドから実ファイルが戻ってきちゃうことが。。。それは困るので改善されました。

・Disabled (デフォルト), SmartLinkファイル(スタブ)はスキップします

# isi antivirus settings modify --scan-cloudpool-files=0

・Enabled, SmartLinkファイルもスキャン(＝ファイルデータはクラウドから取得されます)

# isi antivirus settings modify --scan-cloudpool-files=1

どうですか？機能拡張スゴイ！というよりかあるべき姿に成れた、というのが正しい気もしますがCloudPools 2.0は安心してハイブリッドクラウドを提供できる真の「クラウドの架橋」に成れたのではないでしょうか。

お客様の現場、上層部も納得のIsilonハイブリッドクラウドを是非( ｀・∀・´)ﾉヨロシク！

皆さん、

いかがでしたか？テンポの良い三銃士の説明で8.2のことがますます楽しく知りたくそして使いたくなりましたね！イベントはここでいったん終了させていただきますがまたすぐに会いましょう！

イベントへ訪れてくださった皆様、ありがとうございました。

また素晴らしいイベントを作り出してくれたエキスパートの皆様！ありがとうございました。