Highlighted
モデレーター
モデレーター

【Ask The Expert】Discover PowerScale

Isilonからさらに進化したPowerScale があなたのDataの可能性を解き放つ!

これからのDataの新常識をエキスパートが徹底的にお知らせします。

 

期間:10月5日から

 

エキスパートはこちら・・・

Amako.jpg

Amano, Koichi (amako 

社歴14年、サーバー、ネットワーク、ストレージ、一通りをこなし経験豊かなSEは、「心の中のリトルアマコーがIsilonと答えた」ので、1年前にIsilon担当に。

この魅力的な製品に関してはまだまだ伸びしろMAXの彼が伝えたいのは、進化したOneFS、「PowerScale」のさらなる魅力。

熱い気持ちでメタボ気味な身体も改善したいが、こっちはなかなか効果が出ない。晴れた日の朝に走る八国山のさわやかな風に乗せてひそかにサッカー王国静岡の復活も願う!

 

matsuo1.jpg

Matsuo, Kou(matsuk7)           

前回のエキスパートイベントからはや一年。光陰矢の如しとは言うけれど、チーム内ではIsilon初心者とはもう言えない位の経験と胆力を身に着けた!ストレージ屋のプライドにかけてひたすら真摯にベストオブベストなソリューションを仲間とともにお客様へ提供する毎日。そのスタンスはPowerScaleになっても変わらない。                                                                      週末は子供と力いっぱい野球して年中こんがり焼け続け、たまに来る末娘からのデートの誘いに喜びをかみしめる。その誘いがこれからもずっと来ることを願ってやまない切ない気持ちは満面の笑顔の中にしまっておくのが彼の流儀。

 

mori.jpgMori,Hiroaki ( m_h )              

チームに入ってまだ3か月。チーム内では新人かもしれないがSAN/NASの提案と導入経験なら数十年のストレージ屋。お客様の望むところと現実とのギャップを埋めてきたその底力で今回エキスパートイベントへの初参加。個性豊かな先輩方の胸を借りるつもりで全力投球!Dell Technologiesで働いているのは大好きなマクラーレンのスポンサーだからというのは嘘か誠か。子供とのプール通いをいつまでも続けたいけれどそれは相手の出方と自分の体力次第だったりして・・

 

amaken.jpgAmano, Kenji (amano_kenji)                                  

ITエンジニアとして20年『顧客にとっての医者であれ』を座右の銘に『素晴らしいシステムにしてくれてありがとう!』といわれる仕事をするために日々走り続ける。IsilonとはOneFS3.5の時代から15年、9.0にまで大きくなったか!感慨深く娘を見守る父親の気分だが、常に目まぐるしく変わる彼女の新しい魅力をその都度わかりやすく、時にはパフォーマンスも含め、みんなに伝えてきたプレゼンの魔術師としても有名。コロナのせいで大好きなF1やWECへは行けてないがその分ホビーラジコンと一緒にサーキットを駆け回り、ちょっぴりゴルフもたしなんで締めには庭の七輪で肉や魚を焼いてほろ酔い気分・・・かなりおやじ化しているけれど『人生楽しく仕事も楽しく』いつでもどこでも真摯に思いっきり望むのがアマケンの流儀。

ラベル(2)
9 返答(返信)
Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale プラットフォーム編

皆様、こんにちわ。Dell Techonologies 森です。Ask The Expertのトップバッターを務めさせていただきます。私からは2020年6月16日に発表されたPowerScaleプラットフォームの主要なポイントについてご説明させて頂きます。

 

はじめに

この度 PowerScaleが発表され、Isilonは生まれ変わりました。アイシロン・システムズ社の時代からEMCの時代を経てデル・テクノロジーズとなり20年近くIsilonを革新し続けることで名実ともに業界No.1のスケールアウト型のNASとなりました。

そして、業界No.1のスケールアウトNASと業界No.1のサーバプラットフォームを組み合わせて「PowerScale」としてIsilonをリブランドすることになりました。

day1-1.jpg

 

 

1UベースのPowerScale F200とPowerScale F600という2つのモデルをリリースしました。PowerScale F200はSAS SSDを搭載したエントリーモデルという位置付けです。PowerScale F600はIsilonとしては初めてNVMe SSDを搭載したモデルです。

day1-2.jpg

 

 

 

非常に小さいフットプリントからスモールスタートが可能です。Isilonは大容量向けというイメージをお持ちの方がいらっしゃると思いますが、PowerScale F200ではSAS SSDを4本搭載しクラスタ最小容量物理では11TBからというスモールスタートが可能になりました。また大きな特徴としてインラインデータ削減(In-line Data Reduction)機能を標準搭載し、データを圧縮してストレージの容量の効率化を高めることが可能になっております。この機能についてSuper Expertから次回以降で詳細にご説明がございますのでご期待ください!

day1-3.jpg

 

 

PowerScaleと同時にOSの新バージョンPowerScale OneFS 9.0もリリースしAmazon S3プロトコルもサポートしました。Isilonはデータ量の増加に追随して新モデルと新機能を展開してきました。近年ではデータ量の増加に加えてそれら大量のデータをクラウドサービスから分析や処理をさせる必要が出てきました。それらのシステム環境とワークロードの変化に柔軟にスケールアウトすることができるようになりました。

day1-4.jpg

 

 

位置付けについて
PowerScale F200とF600はFシリーズとなります。そうです。オールフラッシュのカテゴリのモデルです。しかもスモールスタートが可能のみならずパフォーマンスも確保しております。

day1-5.jpg

 

 特徴

  1. 3ノードから新規クラスタを構成可能です。現行Gen6では最小構成が4ノードでした。
  2. 増設は1ノード単位で可能です。現行Gen6では増設は2ノードずつでしたが、PowerScaleでは1ノードから増設が可能となっています。クラスタの最大ノード数は252ノードでGen6と同じです。
  3. 既存Gen6の現行クラスタに追加が可能です。既存Gen6クラスタと同一構成させる場合はPowerScaleを3ノード追加して頂いた後は1ノードずつ追加が可能です。すでにGen6クラスタをご利用のお客様環境にもスムーズに構成が可能になります。

既存Gen6モデルが2ノードずつ追加が必要な主な理由のひとつとしてPower Supply Unit(PSU)が1ノードにつき1つでしたので電源の冗長性を考慮して2ノードずつ追加する必要がありました。PowerScaleではPowerEdgeベースですので1ノードに2つのPSUが備わっているため1ノードずつ追加が可能になりました。


仕様について

PowerScale F200

CPUはCascade Lake 4210を利用しておりシングルソケットです。1ノードあたり4ドライブを搭載します。フロントエンドネットワークは新たに10GbEに加えて25GbEを選択することができます。既存Gen6モデルでは10GbEもしくは40GbEのどちからでしたが25GbEを選ぶことができるようになっています。

PowerScale F600

PowerScale F200との大きな違いは同じCPUですがデュアルソケットになっている点やディスクがNVMe SSDになっている点、さらにフロントエンドネットワークを100GbEまで選択可能になっているのが大きなポイントです。つまり、より高性能な構成を組むことが可能になっていることです。

day1-6.jpg

 

 

PowerEdge R640ベースなのでPowerScale F200/F600とも奥行きは約80cmです。この恩恵により奥行100cmのサーバラックにも余裕をもって搭載可能になりました。(詳細サイズ:高さ 42.8mm x 幅 482.0mm x 奥行き 808.5mm、F200/F600共通)

ラックマウントの際のラックレールはReadyRailが利用できますので工具なしで容易に取り付けられラック搭載ができます。

day1-7.jpg

 

 

Internal Dual SD Module (IDSDM)

筐体にIDSDMという呼ばれる内部デュアルSDモジュールを搭載しています。これにより、例えばOneFSのバージョンアップ中に電源断が発生した場合においても更新中のデータを格納することで対応できるになっています。

day1-8.jpg

 

 おまけ

東京三田にあるデル ソリューションセンターにPowerScale F200が6台準備されました!PowerScaleを体験しにお越しください!

day1-9.jpg

 

 

 

このように革新的に進歩したPowerScaleF200とF600は、単に小規模から始められるだけでなく、アーカイブ向け製品Aシリーズや、SSDとHDDのハイブリッド製品のHシリーズ、さらにはパブリッククラウドサービスと組み合わせることで大容量の階層化ストレージも実現できます。PowerScaleへのリブランドを機会に新たな価値をお客さまに提供可能になりました。


次回以降では新バージョンPowerScale OneFS 9.0のトピックスをご紹介したいと思います。

Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale アップグレード編

皆様、こんにちは。本日は「アップグレード」についてのご紹介です。

IT機器を導入した後に必要となるOSのアップグレードですが、PowerScaleではOneFSをアップグレードする方法を3つ用意しております。状況に合わせて使い分けていただけるようそれぞれの特長をご案内していきます。

  1. ローリングアップグレード  「順番に1ノードずつ実施する。」
  2. 同時アップグレード     「同時に全ノード実施する。」
  3. パラレルアップグレード   「順番に複数ノードを実施する。」

 

1. ローリングアップグレード

1ノードずつ順番にアップグレードする方法で、サービスを停止する必要がないため一番多く使用されている方法だと思います。
PowerScaleは複数のノードを連携させて1つシステムとして稼働しており、その中の1ノードをダウンさせても残りのノードでサービスを継続できるよう設計されています。ですので1ノードずつ順番にOneFSのアップグレードを実施していくことで、サービスを停めずに且つ1ノード分の性能減に抑えるのがこの方法の特長です。
具体的な流れは以下のとおりです。

  1. 新しいバージョンのOneFSイメージファイルを入手しておく。
  2. クラスター内の1つのノードをサービス停止する。
  3. そのノードのOneFSをアップグレードする。
  4. アップグレード完了後に再起動してから、そのノードでサービス提供を再開します。
  5. 上記プロセスを搭載している全てのノードで完了するまで順番に実施する。  Rolling_upgrade.JPG

     

 

なおこの方法では一定期間新しいOneFSバージョンを試すことができます。したうえで、新バージョンに上げるか、または現行バージョンに戻すか決めることができるのもできます。
クラスター内の一部ノードだけOneFSのアップグレードして、新バージョンを最大で10日間試していただいたうえで、残りのノードもアップグレードを実施するか、または現行バージョンに戻すか選択することができます。Rolling_upgrade_commit-rollback.JPG

 

 

2.同時アップグレード

全てのノードで同時にアップグレードを実施します。ローリングアップグレードに比べ短時間で完了するので、サービスを停止することができる状況の場合には有効な方法です。simultaneous_upgrade.JPG

 

 

3.パラレルアップグレード

最後の方法は、大規模環境向けです。「サービス停止できないからローリングアップグレードだな・・・でもうち40ノードもあるからかなり時間かかるわ。。。」そんな状況に使えます。
パラレルアップグレードはネイバーフッド毎に並列でローリングアップグレードを実施します。
いやいや・・・いきなりでてきたネイバーフッド(Neighborhood)って何だ?  ネイバーフッドは「障害の影響範囲を定めたノードの内部的なグループ(Fault Domain)」のことですが、説明が少し長くなりそうなので詳細はこちらをご参照下さい。

Gen6モデルで40ノードを例に説明すると、ネイバーフッドが4つに分かれるので、4つのグループそれぞれでローリングアップグレードを実施することで、効率的にアップグレードを進め短い時間でアップグレードする方法です。
PowerScaleは最大252ノードまで追加できる非常に高い拡張性を持っていますので、大規模構成になっても運用負荷を抑えられるようこのように、このようなオプションも用意されています。parallel_upgrade.JPG

 

 

まとめ

3つのアップグレード方法の特長をまとめると下記の通りです。

Rolling Upgrade

  • ノードを1台ずつアップグレードした後に再起動する。
  • アップグレード中のノードに接続されていたクライアントのセッションは切断されるが、SMB3 CA, NFSv4, NFSv3/Dynamic IP使用時は、他のノードにフェイルオーバーされる。
  • システム全体としてはオンラインで稼働する。
  • 一部ノードのアップグレード後に、Rollback(Upgrade前のバージョンに戻す)が可能。 ※ただしRollbackはCommit(アップグレード確定)前でないとできない。


Simultaneous(同時) Upgrade

  •  全ノードを同時にアップグレード後、全ノードを同時に再起動する。
  •  全てのクライアントからの接続は切断される。
  • クラスタのダウンタイムが発生する。


Parallel Upgrade

  • Neighborhood毎にランダムに選択されたノードを同時にアップグレードする。
  • Neighborhoodが分かれる20ノード以上の構成においてアップグレードする時間を短縮する。 ※F200/ F600 または第5世代モデルは40ノード以上の構成でNeighborhoodが分かれる。
  • システム全体としてはオンラインで稼働する。
  • パッチ、ファームウェアのアップグレードには適用されない。
  • OneFS8.2.2以降のバージョンで使用できる。

 

 

おまけ

というわけで今回はOneFSのアップグレードについてご紹介しました。今回発表となりましたOneFS9.0は、第五世代以降のIsilon製品でご使用いただけます。またOneFS各バージョンのサポート終了日(EOSL)は最新の PowerScale Product Availability Guide からご確認いただけます。新機能を使うため、またサポート終了にならないよう計画的なアップグレードの実施をご検討下さい。

Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale ヘルスチェック編

皆さん、こんばんは。3回目は「ヘルスチェック」についてご案内します。

WebUIのOverview画面やCLIの isi statusコマンドからもPowerScaleの状態を確認することができますが、
定期的にヘルスチェックを実施し状態を確認することにより、より安心して運用管理していただけます。

今回はどのようにヘルスチェックをするかについてご紹介します。

ヘルスチェックはWebUIからもCLIからも設定できますが、WebUIからの場合は、「Cluster Management」タブの HealthCheck から設定します。
そこで実施するヘルスチェック項目を選択するのですが、全部で200以上も用意されており選ぶだけでも大変です。ですのでそれらチェック項目をカテゴリ毎まとめたリストが用意されており、そのリストを指定してヘルスチェックを実施できるようになっています。あとはスケジュール設定すれば準備完了です。実施した結果をメール通知で受信したり、CloudIQのヘルススコアからご確認いただけます。
主なヘルスチェックリストの項目はこちらになります。

 

ID

Description

basic

クラスタの全体的な状態を判断するためのチェックリスト  ※クラスターの新規導入時や構成変更時にも実施される(デフォルトの設定)

cluster_capacity

プールまたはクラスターの全体的な容量の状態を判別するためのチェックリスト

log_level

ログレベルの全体的な状態を判断するためのチェックリスト

job_engine

JobEngine関連のヘルスチェック

nfs

nfsの全体的な状態を判断するためのチェックリスト

performance

一般的なパフォーマンスの問題をトラブルシューティングするためのチェックリスト

post_upgrade

アップグレード後のクラスターの状態を判断するためのチェックリスト

pre_upgrade

アップグレード前のクラスターの状態を判断するためのチェックリスト。このリストの多くの項目はtarget_versionパラメーターを使用します

smartconnect

SmartConnectの全体的な状態を判断するためのチェックリスト

smartpools

SmartPoolsの全体的な状態を判断するためのチェックリスト

smb

smbの全体的な状態を判断するためのチェックリスト

snapshot

スナップショットの全体的な状態を判断するためのチェックリスト

synciq

SyncIQの全体的な状態を判断するためのチェックリスト

  • 上記ヘルスチェックのリストは isi healthcheck checklists list コマンドから確認可
  • リスト内の各ヘルスチェック項目は isi healthcheck items list コマンドから確認可

 

ヘルスチェックの結果をメール通知する設定では、全ての結果または失敗した結果のみを通知することもできます。下記の例ではNFSのチェックリストを実施して失敗した結果だけを通知してており、1-4ノード上のNFSデーモンのステータスが確認できないということなので、NFSのサービスに支障が出ている可能性があることがわかります。

Healthcheck checklist 'nfs' run at 2020-02-21 18:35:32 - FAIL
Node 1
  nfs_daemon_start                    WARNING  70 FAILED
  * NFS daemon start information is unavailable.

Node 2
  nfs_daemon_start                    WARNING  70 FAILED
  * NFS daemon start information is unavailable.

Node 3
  nfs_daemon_start                    WARNING  70 FAILED
  * NFS daemon start information is unavailable.

Node 4
  nfs_daemon_start                    WARNING  70 FAILED
  * NFS daemon start information is unavailable.

 

また過去に実施したヘルスチェックの結果も保存しておくことができるので、エラーを検知した場合どの時点まで正常であったかを確認することができるので、トラブルシューティングにも役立ちます。デフォルト設定では過去20回分の結果が保存されます。

例) CLIからベーシックのチェックリストの実行結果の過去10回分を保存しておく設定

# isi healthcheck checklists history --history=10 --id=basic
--help     -h  -- Display help for this command.
--history      -- Number of results to keep for checklist
--id           -- Checklist name
--verbose  -v  -- Display more detailed information.

# isi healthcheck checklists view basic
         ID: basic
Description: Checklist to determine the overall health of the cluster
   Delivery:
             email: pk@dell.com
    History: 10

 

最後にヘルスチェックのパッチは毎月リリースされています。下記サイトから healthcheck をキーワードに検索していただくとダウンロードすることができます。パッチのインストールは数ステップ且つノードの再起動は必要ないので、最新のパッチを適用してヘルスチェックを実施いただくことをお薦めします。

https://www.dell.com/support/home/ja-jp/product-support/product/isilon-onefs/drivers

healthcheck_patch-dl.JPG

 

ダウンロードしたパッチをPowerScaleクラスタ内の任意のディレクトリに保存します。

(例) /ifs/data/HealthCheck_9.0.0_2020-06.tgz

そのあとファイルを解凍し pkgファイルをインストールして完了です。

#  isi upgrade patches install HealthCheck_8.1.0_2020-05.pkg
Requested install of patch HealthCheck_8.1.0_2020-05.
# isi upgrade patches list
Patch Name                Description                                           Status
-----------------------------------------------------------------------------------------
HealthCheck_8.1.0_2020-05 [8.1.0 UHC 2020-05] HealthCheck RUP                   Installed
IsiFw_Package_v10.3.3     Package Name  : IsiFw Package v10.3.3 2019-11-19 T... Installed
-----------------------------------------------------------------------------------------

 

今回はヘルスチェックの概要についてご案内させていただきました。下記サイトにも関連情報が掲載されておりますので、ヘルスチェックを導入する際にはご参照下さい。

Dell EMC Healthcheck - Isilon Info Hub
※掲載している一部情報についてはDell EMC オンラインサポートのログインアカウントが必要です。

Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale S3&DataIQ 編

皆さん こんにちは!

いかがお過ごしでしょうか。私は先日最終回だった日曜夜のドラマが気になって仕方ない日々でした。と、さておき本題に入ります!

本日は、OneFS 新機能の S3 & DataIQについてご紹介します。

 

S3対応について

ご存知のとおり、Amazon Web Services社より「Amazon Simple Storage Service(略してAmazon S3)」と呼ばれるクラウドストレージサービスが提供されています。このサービスは、元来オブジェクトストレージの機能をベースにしており、サービスを利用するためのREST APIAWS社より提供されている。このAPIを一般的に「S3 API」と呼んでいます。Amazon S3が幅広く利用されていることから、S3 APIはオブジェクトストレージ アクセスプロトコルのデファクトスタンダードとなりつつあります。

参照:AmazonS3詳細 

 

1.png

このようにOneFSは世の中のニーズに合わせて、アクセスプロトコルについても進化しています!

2.PNG

 

OneFS S3の特長

  1. マルチプロトコルに対応
  • SMB、NFSなどの他のプロトコルからも同一ファイルにアクセス可能
  1. AWS署名 V2V4の両方をサポート
  2. パス形式および仮想ホスト形式の両方をサポート
  3. マルチパート アップロードに対応
  4. アクセスIDSecret Keyの管理がWebUICLIPAPIを通して可能
  5. バケットACL、オブジェクトACLを利用したアクセス制御が可能
  6. アクセスゾーンを利用したマルチテナント対応が可能
  7. 既存のデータサービスをサポート(SnapshotIQSyncIQなど)

 

このようにOneFSが持っている既存のデータサービスも活用ができるのです。

 

S3アクセス形式

3.png4.png

上記2つのリクエスト形式に対応。

ただ、Amazonから「Amazon S3は、2020930日以降、パス形式のAPIリクエストをサポートしなくなります」と発表がありましたので、仮想ホスト形式リクエストでの対応が一般的になりますね。

 

5.png

 

では、オブジェクトストレージでないOneFSの内部ではどのような構造になっているのかというと。ディレクトリ構造になっており、オブジェクトはファイルとして扱われています。

6.png

 

アクセスコントロールについては、バケットとオブジェクトの2つのレベルでACLを設定しています。

7.png8.png

 

また、利用可能な既定のACLは以下となります。既定ACLについては以下を参照ください。

参照:既定ACL 

 

9.png

サポートするAPIについてはAWS S3全てと言いたいところですが。。。まだまだ対応中の部分もあり現在は以下についてサポートしています。

 

10.png

参照:S3 API 詳細 

 

ただ、こんな場合もOneFSで使えるデータサービスを活用できるんです!

11.PNG

12.png

足りないところはOneFSの機能もうまく活用して利用できればと思います。

 

S3を利用する際は、まだまだ、APIの作りや動きとの確認が必要なので、やはり検証などで事前確認をしましょう!

 

 

DataIQについて

皆様 DataIQをお聞きになったことはございますでしょうか。普段お使いのオフィスファイルのデータもオンプレにあるストレージや最近はクラウドにもあったり、いろいろな場所に配置されてます。そのすべてのデータを管理、整理するのはすごく困難であると思います。それぞれのベンダーごとのツールを使って確認して💦

「横串で管理できれば楽になるだろうな~。」と思っている、あなた!

そうなんです🎉 楽していいんです❣️

企業全体の非構造化データ(ファイル/オブジェクト)を可視化し一元的に管理するソフトウェア

それがDataIQです。

13日.png

 

DataIQの特長

  • あらゆる場所に存在する何十億ものファイルとオブジェクトの検出が可能
  • 複数のプラットフォームを跨いで高速検索を実行
  • 単一の画面からすべてのデータリポジトリを取得
  • サイロに閉じ込められた、もしくは孤立したデータの発見

 

DataIQについては、レジェンドからの言い伝えがあります!

どうしても詳細を知りたい?気になる方は、以下の章よりご確認ください。

IsilonianTech 第12回 データファーストを支援するソフトウェア ~DataIQ~ 

 

長々とお付き合いありがとうございました。

我どもは、お客様のITを全身全霊でお支え致します。

 

Highlighted
Anonymous
適用対象外

【Ask The Expert】Discover PowerScale In-line Data Reduction編

Ask The Expert Discover PowerScaleも2週目に突入しました。

今回はおよそ3年振りのメジャーOS発表となった「OneFS9.0」ですが、目玉機能の一つとなっている

「インラインデータ削減機能」についてのご紹介。

 

英語で書くとIn-line Data Reductionなわけですが、その頭文字を取ってIDRと略されて呼ばれています。

ちなみにインドネシアの通過もIDR(ルピア)です、関係ないですけど。

さて、一部の方々からは「待望の機能、よっ!待ってました!」という嬉しいお声を頂くのですが、今回はこのIDRの全容を明らかにしていきます。

簡単に言うとこんな感じの機能です。

 
01.png

 

ファイルをWriteする時に、ファイルを受け取ったノードがデータをぎゅぎゅっと小さくしてくれて、その後冗長データを付与してストレージデバイスに保存してくれる機能です。

そう、何も特別なことをしなくてもいいんです。特別な装置を挟まなくてもいいんです。

ななななんと!PowerScaleには無償でこの機能が付いてきちゃうんです!

 

02.png

 

それでは、一体どのような技術を用いてデータ削減を実施しているのかを詳しく解説していきましょう。

あらゆるファイルプロトコルが使えるOneFSですが、どのプロトコルを利用しても構いません、あるファイルがどこかのノードに書き込まれたとします。

ファイルを受け取ったノードは、まずOneFSのCoalescerと呼ばれるWriteキャッシュ上にデータを置きます。

通常であれば、そのままパリティ計算がなされて構成されている各ノードにデータチャンクが分散して配置される、という流れになるのですが、OneFS9.0ではこの過程(WritePathといいます)において3つのデータ削減処理工程が追加されています。

 

03.png

Coalescerから流れてきたデータは、

 

まず、データ削減として”ゼロブロックの排除”を実施します。イメージとしては、

「0000000000000000」のようなデータ配列があったら、「0が16個だよ」というような感じで縮めることができます。ゼロが取り除かれたデータは次の工程へと進みます。

 

次に、重複排除の処理を実施します。128bit CityHashアルゴリズムによって抽出されたリファレンス情報が各ノードのメモリ上に保管(これをインデックステーブルといいます)されており、同じパターンのデータブロックが過去に書き込まれていないかをチェックしていきます。もし、同じパターンのリファレンスが存在したら、そのデータは重複している(すでに保存されている同じデータパターンがある)ということで重複排除部分を取り除き、最後の工程にデータを送ります。

 

最後の工程では、データの圧縮を実施します。ここはパフォーマンスを重視していますので、やや軽めの圧縮を実施しますが、実はF810という機種ではこの部分がハードウェアチップによる圧縮を実現しており、より強めの圧縮がかかるようになっているんです。

こうして3つの工程を経たデータは、その後データ保護ポリシーに応じて冗長データが付与され、各ノードに配られるといった仕組みになっています。

ここで、ちょっと着目していただきたい点がこちら ↓

「リファレンス情報が各ノードのメモリ上に保管されており」

重複排除の工程で利用されるリファレンスは、上記の通り各ノードのメモリー上に保持されているのですが、いつリファレンスが作られるのかというと、

 

・WritePathにおいてDedupeをしている時

・データがReadされる時

 

の2つのタイミングとなっています。次の図では、Read時にどんな処理を実施しているのかを説明しています。

04.png

 

OneFSは、一度読み込まれたファイルはキャッシュ上に乗っていますが、もしキャッシュにヒットしなかった場合はストレージデバイスからデータを読み取る必要が出てきます。これら一連の流れをRead Pathと呼びますが、この時、データをReadしながらリファレンスを参照し、もし存在していないリファレンスだった場合にインデックステーブルに追加をします。

つまり、OneFSはRead PathとWrite Pathの両方の処理過程においてリファレンスを作成し、重複排除に役立てている、ということになります。

このリファレンスがどれだけ格納できるかというと、デフォルトでは搭載メモリの10%となっており、最大で16GBのインデックスデータを格納できるようにデザインされています。

 

  • sysctl efs.sfm.inline_dedupe.index_size_max_exp → Default : 34 (ie 2^34 = 16GB)
  • Sysctl efs.sfm.inline_dedupe.index_size_max_pct → Default : 10%

 

しかしながら、パフォーマンスを優先した結果、メモリ上にインデクステーブルを保持しているということは、「リブートするとクリアされてしまう」ということでもあるので、どうしても重複ブロックの取りこぼしが発生してしまうのです。特に、リブート直後はインデックステーブルにリファレンスが殆ど存在していないので、重複排除率が下がってしまいます。

 

そこで!OneFSではさらなるオプションであるSmartDedupeが用意されていますので、こちらを併用すればさらなる利用効率向上を図ることが出来るようになります。IDRとSmartDedupeの関係図がこちら。

05.png   


06.png

 

 

両方を装備してしまえば鬼に金棒!桃太郎が来ても負ける気がしない!?

(※あくまでも個人的な見解です)

 

 

 

と、ここまで新機能であるIDRを解説してきましたが、実際にどの程度の容量削減が期待できるのか?という点についてご紹介します。

あくまでも目安となりますが、アプリケーションから出力されるデータによって大きく削減率が異なります。この表によれば、利用シーンで一番多いファイルサーバ用途の場合、平均的に25%程度の削減が期待できますね。

注目すべき点は「Pre-compressed data」というところが「全然削減(Saving)できないよ」となっています。これは、JPEGデータやMovieファイル、他にはZIP圧縮されたデータなど、もともと圧縮やデータ削減がされた状態のデータのさらなる削減がほとんど期待できない、という点には注意が必要です。

07.png

 

 

期待できる削減率がわかったところで、今度は実際にOneFSの機能を使って削減率とその容量を調べてみることとします。

OneFS9.0からstatisticsコマンドが強化され、IDRに対応した出力結果が得られるようになりました。新たに実装された「data-reduction」のオプションを付けて出力させてみます。

# isi statistics data-reduction

08.png

 

こんな感じで直近5分間のWrite処理において、どの程度の容量削減が出来たのかが表示されるようになりました。

ゼロブロックを取り除いた容量、重複排除した容量、圧縮できた容量、さらには各データ削減技術を使った結果比率まで!非常に細かく知ることが出来るようになったので、いわゆる”投資対効果”が見える化されたとも言えるのではないかと思います。

statisticsにとどまらず、「容量の管理」という観点から管理者には、さ・ら・に 便利なレポート拡張が行われています。

 

Quota Reportの拡張

実際に容量制限を掛けているQuotaエントリーに対して、その中に入っているデータがどれだけデータ削減がされているのかがわかるようになっています。なぜこれが嬉しいのか?

「実際に利用されているフォルダ内のデータが、どれだけストレージ容量に与えるインパクトがあるのか」がわかるのです。

以下の例では1.35TBの論理容量に対して、0.87(13%)のデータ削減が行われていることを示しています。

# isi quota quotas list

09.png

 

例えば、300GBの容量制限をしたフォルダを作ったとします。

実際に中に入っているファイルがどれだけのデータ容量が削減されたかを知ることが出来るので、例えば30%削減されているようなフォルダだったら、実際にはストレージ容量は200GBしか消費していませんので、

 

「もっとこのフォルダ利用者には容量を増やしてあげても問題は無いだろう」

 

という運用判断も出来てしまうのです。

と、ここまで新機能であるIDRを紹介してきましたが、メーカーらしく「とてもおすすめ!」という内容となっておりますのでぜひご利用ください。

 

・・・最後に一つだけ

 

このIDR機能、実は利用できるPowerScaleノードの機種が限られているのです。

10.png

この4機種に限りご利用頂ける機能となっております(注:2020/10 執筆時点)。

 

「えー!!バージョンアップしたら使えるんじゃないの?

じゃあ該当機種以外は利用できないの?」

 

11.png

 

こんな時は今お使いの非対応機種に、対応しているPowerScaleシリーズのノードを増設してみてください。すると、対応機種からデータをWriteすればちゃんとIDRが有効に働きます。そして、非対応のノードからもデータ削減処理がされたファイルがちゃんと読めるんです!

 

12.png

 

投資保護の観点から、こういったところにも配慮がなされていますのでご安心ください。

13.png

 

ということで、今回はOneFS9.0の新機能「IDR」についてのご紹介でした。

まだまだAsk The Expertは続きますので、皆さんお楽しみに!  

天野(献)

Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale IPMI編

皆様、こんにちは。10月に入り早いものでもう中旬衣替えも過ぎ、秋の装いが目につくようになりました。早いもので今年も残り3か月となりました。 これから年末に向けていろいろと慌ただしいことと思います。年末年始といえば法定停電などのイベントを控えてるお客様も多いかと思います。今回はそのような際にも役立つの機能のご紹介です。

3年振りのメジャーOS発表となった「OneFS9.0」の新機能のひとつに、Intelligent Platform Management Interface(以下「IPMI」と称する)の正式サポートがあります。IPMIを使用すると、Serial over LAN(以下「SOL」と称する)を介して専用の1GbE portからリモート電源制御が可能になります。IMPIによる管理により、RS-232シリアルポートやPDUラックパワーコントローラーを必要とせずに、PowerScaleおよびIsilon Gen6ノードに対して電源管理機能を提供します。

01 (1).png

ここからは、OneFS9.0のPowerScale F200を前提にIPMI設定から試験までの実施例をご紹介していきます

設定の流れは下記です。

  1. IPMIネットワークのStatc/DHCPの設定
  2. IPMI用のIPアドレス設定
  3. Power-ControlとSOLの有効化
  4. IPMI用のユーザ設定
  5. BIOSからシリアルポートの設定
  6. 設定反映のための再起動

それでは順番にご紹介していきます。

1. IPMIネットワークのStatc/DHCPの設定

IPMIネットワークをStatcで設定してみます。

 

 

 

#isi ipmi settings modify --enabled=True --allocation-type=static
You are about to modify the global remote IPMI settings. Are you sure? (yes/[no]): yes

#isi ipmi network view
        Enabled: Yes
Allocation Type: static

 

 

 

 

★工場出荷時の状態ではIPMIは無効になっています。

 

2. IPMI用のIPアドレス設定

3ノードありますのでIPレンジを10.6.17.141~143の3つのIPを設定してみます。

 

 

 

#isi ipmi network modify --gateway=10.6.17.254 --prefixlen=24 --ranges=10.6.17.141-143
You are about to modify the remote IPMI network settings. Are you sure? (yes/[no]): yes

#isi ipmi network view
  Gateway: 10.6.17.254
Prefixlen: 24
IP Ranges: 10.6.17.141-10.6.17.143

#isi ipmi nodes list
Lnn  IP Addr     Remote Ipmi Capable 
-------------------------------------
1    10.6.17.143 Yes                 
2    10.6.17.141 Yes                 
3    10.6.17.142 Yes                 
-------------------------------------
Total: 3

 

 

★IP Rangeの若番から順番に若番nodeに割り当たると思いきやバラバラに割り当てられます。

★IPMI用のネットワークポートはVLANが利用できません。

★業務NWやバックアップNWとは別のセグメントを利用ください。

 

3. Power-ControlとSOLの有効化

[Power-Control]と[SOL]を有効にします。

 

 

 

#isi ipmi features modify Power-Control --enabled=True
You are about to modify the setting for this feature. Are you sure? (yes/[no]): yes
#isi ipmi features modify SOL --enabled=True
You are about to modify the setting for this feature. Are you sure? (yes/[no]): yes

#isi ipmi features list
ID            Feature Description           Enabled 
----------------------------------------------------
Power-Control Remote power control commands Yes     
SOL           Serial over Lan functionality Yes     
----------------------------------------------------
Total: 2

 

 

 

4. IPMI用のユーザ設定

IPMI用のユーザ名をipmiuserで作成してみます。

 

 

 

#isi ipmi user modify --username=ipmiuser --set-password
password:
confirm:
This will modify the remote IPMI user. Are you sure? (yes/[no]): yes

 

 

★ユーザー名の長さは最大16文字で、パスワードは17〜20文字です。

★すべてのノードに対して単一のユーザー名とパスワードを適用してください。

 

5. BIOSからシリアルポートの設定

iDRACへログインして、[Configuration]-[BIOS Settings]-[Serial Communication]から、"Serial Port Address"と"External Serial Connector"を編集して"Apply"をします。

02.png

 画面一番下までスクロールし"At Next Reboot"をクリックします。

03.png

[iDRAC Setting]-[Connectivity]-[Serial]から、"iDRAC Serial"を"Disable"にして、"Apply"をします。

04.png

[iDRAC Settings]-[Users]-[Local Users]から、IPMI用ユーザ(今回はipmiuser)の設定が下記になていることを確認します。

05.png

 

 

 "State" → "Enabled"、"IPI LAN Privilege" → "Operator"、"Serial Over Lan" → "Enable"

 

6. 設定反映のための再起動

ノードをリブートして、BIOS設定を反映します。iDRACホーム画面の右下に仮想コンソールがありますのでそこからノードに接続し再起動が可能です。

06.png

 

 

 

これで一通りの設定は終わりです。続いて試験方法をご紹介します。

操作用PCからSOLを有効にするコマンドを実行します。

 

 

 

ipmitool -I lanplus -H [Node IP] -U [Username] -L OPERATOR -P [password] sol activate

 

 

★SOLを有効化すると、物理できなシリアルは無効化されます。

★「deactivate」コマンドオプションを使用いただくとSOLセッションが終了後、再び有効になります。

 

下記のコマンドで5種類のPower commandsを試して動作を確認します。

 

 

ipmitool -I lanplus -H [Node IP] -U [Username] -L OPERATOR -P [password] power [command]

Power commands: status(ステータスの確認), on(電源オン), off(電源オフ), cycle(コールドブート), reset(ウォームブート)

 

 

★Windows IPMItoolのご紹介

https://www.dell.com/support/home/ja-jp/drivers/driversdetails?driverid=jwkt1

 

ざっとですが、IPMIの設定から試験方法についてご紹介させていただきました。例えばIPMIを使用してメンテナンスや停電後に各ノードまたはクラスター全体の電源をリモートからオンにすることができます。更にはPowerScale F200/F600からiDRACが利用可能になっております。IPMIの利用と合わせてご活用ください。

Ask The Expert ~Discover PowerScale~はまだまだ続きます!ご期待ください!

 

■参考リンク

https://dl.dell.com/content/docu98786_PowerScale-OneFS-9-0-0-0-CLI-Admin-guide.pdf

https://www.dellemc.com/resources/en-us/asset/white-papers/products/storage/h16463-isilon-advanced-n...

https://www.dellemc.com/en-us/collaterals/unauth/white-papers/products/storage/h16857-wp-onefs-best-...

 

Highlighted
2 Bronze

【Ask The Expert】Discover PowerScale ハードウェア番外編

はい~。皆様、いかがお過ごしでしょうか。

先日は法定点検の際に活躍するIPMIの説明があったと思います。本日は、小ネタではありますが、データセンターでのLED監視などにお役に立つ情報をお伝えしたいと思います。

PowerScaleのバックエンドスイッチの監視は、OneFSで検知するので特に監視は不要であることは皆さんご存知と思います。ただ、データセンターのサービスによっては、LED監視も行っているケースもあり、合わせてLEDも見てもらおうとのニーズもあると思います。

本日は、Z9100とCelestica D4040のLED情報について紹介させて頂きます。

 

Z9100

14.PNG15.PNG16.PNG

FANやPowwerSupplyは分かりやすいと思いますが、各LEDごとにステータス確認ができますので、ご活用ください。

 

CelesticaD4040

17.PNG18.PNG

Celestica スイッチの情報が少なく、困っておられる方も多いと思いますが、こちらご参考にしていただければ幸いです。

今後ともPowerScaleをよろしくお願いいたします。

 

 

Highlighted
Anonymous
適用対象外

【Ask The Expert】Discover PowerScale 奥深いReadキャッシュの世界編

今回は、Ask The Expert恒例の!「ほとんど知られていないマニアックチューニング」を公開しちゃいます。

OneFSのEducationサービスでも教えてくれない!ほとんどのユーザには役に立つかわからない!

小さすぎて文字が見えない!という声が聞こえてきそうな、そんな知られざるチューニングの世界をご紹介します。

c01.png

 

OneFSには様々なキャッシュ機構を装備していますが、そんな中でもお馴染みなのが、L1、L2、L3といったReadキャッシュ。完全なるファイルの形をしているL1、ファイルのデータブロックのL2、そして、ノードに搭載されているSSDを広大なReadキャッシュエリアとして利用できるL3といった、3つのReadキャッシュが用意されています。

c02.png

 

L1キャッシュはL2キャッシュからデータを持ってくるため、とにかく高速にキャッシュを生成できるんです。HDDなどのストレージデバイス(除くL3)からL1キャッシュを作ることはありません。

L2キャッシュは自分が持っていないキャッシュをHDDなどのストレージデバイスからどんどん先読みしながら蓄えていきます。

 

「じゃあ、L3キャッシュはどこからデータを読み取るの?」

 

ここで、L3キャッシュの生成方法を教えちゃいます。L2と同じでデータブロックを持っているので、「HDDなどのストレージデバイスからデータを読み取っている」と思われるかもしれませんが、実は違います!

c03.png

 

LRUアルゴリズムによって「もっとも古くて使われていないL2にあるキャッシュブロック」がはじき出されてL3キャッシュに移動されているのです。つまり、L2キャッシュはパージされるのではなくL3キャッシュという形に変えて残存しているのです。L3用に利用しているSSDは、HDDからデータを読み込まないのでディスクアクセスを少なくすることが出来るため、結果としてConcurrentパフォーマンスの安定にも貢献しています。

とまぁ、ここまでがお馴染みのキャッシュの話なのですが、終盤に差し掛かった今回のAsk The Expert、ここからはマニアックなあなたのために「Filename Prefetch」という超積極的なReadキャッシュをご紹介します。

 

いったいどんな時に使うのか?

今回紹介するFilename Prefetchキャッシュは、その名の通り
「ファイル名による積極的な先読みキャッシュ」となっており、連番ファイル環境において特に力を発揮します。

例えば医療などで利用されるMRI画像のファイル、1000枚で構成されたMRI検査画像をモニターに一斉に表示したい時、「ファイル内の」データブロックに対してのキャッシュ先読みは効果が限定的になります。しかし「ファイル自体」を次々と先読みをしてしまえば、このようなアプリケーションには大きな効果が期待できます。

同様の例で言えば、連番ファイルで構成された映像データも同じです。1秒間24フレームや30フレームといった映像データの場合、連番書き出しされたデータは1秒間に24ファイルや30ファイルといったファイル数を次々と読み込まなければなりません。

 

このようなワークロードのデータは、ファイル名がfile0001,file0002,file0003…というようにファイル名が連番になっていますので、Filename Prefetchを有効にすれば効果が期待できます。

 

c04.png

 

 

では、設定方法教えちゃいます!

裏技的な機能なので、SSHコンソールでのみ設定できるようになっています。まずはちょっとテストしてみる、ということでsysctlコマンドを使ってやってみましょう。OneFSでは、もともとアクセスパターンとしてConcurrent、Streaming、Randomの3つのモードが用意されていますが、その他にもカスタムで5つ好きなアクセスパターンチューニングを設定することができるようになっています。

c05.png

↑ 実はこの3つだけじゃない!!

 

今回はそのうちのCustom1を使って設定する例です。

 

1.まずCustom1において、Filename prefetchを有効化

PowerScale-1# sysctl isi.access.custom1.fnprefetch.fn_enabled=1

 

2.特定のディレクトリに設定を反映。この例では/ifs/DPXディレクトリに対して設定を有効化

PowerScale-1# isi set -a custom1 /ifs/DPX

 

設定自体はこれだけなのですが、WebUIのFileSystemExplorerでI/O Optimizationのセクションを見てみると、ちょっとした変化が。

c06.png

 

では、どれだけ効果があるのか? 4K高精細で収録された連番ファイルの映像データを読み込んだ結果がこのグラフです。「映像データにはStreamingが定番セッティング」といっていた性能を軽く超えているのがわかります。

c07.png

 

もし効果が認められたら、sysctl設定を確定させるために以下のコマンドにて設定を保存させましょう。

PowerScale-1# isi_sysctl_cluster isi.access.custom1.fnprefetch.fn_enabled=1

Value set successfully

 

ということで、冒頭で触れたように一部のユーザにはかなり高い効果を発揮するマニアックなキャッシュセッティングですが、奥深いOneFSの世界をちょっとだけでも垣間見ることができたのでは無いでしょうか?

天野(献)

Highlighted
モデレーター
モデレーター

Re: 【Ask The Expert】Discover PowerScale 奥深いReadキャッシュの世界編

イベントに参加してくださった皆様、

新しいPowerScaleの魅力を満喫していただけましたか?

これからもっと進化するPowerScaleをもっともっと深リしていきましょう!

 

ありがとうございました。

 

0 件の賞賛