IsilonianTech 第12回データファーストを支援するソフトウェア～DataIQ～

祝！PowerScale！！
しばらく間を空けてしまいましたが、皆様いかがお過ごしでしょうか？
私はワークスタイルの変革を実感している今日このごろです。今回は先日PowerScaleのリリースと同時に発表となりましたDataIQをご紹介します。（DataIQの概要ビデオはこちら）

DataIQは2018年の夏にDell Technologiesが買収したClarityNow（Data Management機能）とInsight360（PowerScaleのStorage Monitoring機能）を1つに統合した製品となります。実はDataIQとしてはClarityNowをご利用になられているユーザ様向けに以前からリリースしておりましたが、晴れて一般向けとして2020年7月リリースいたしました。（厳密には2020年7月リリースのDataIQはversion 2.0となります。version 1.0はData Management機能のみご提供しておりました。）
# なお、IsilonはPowerScaleにリブランドされましたが、本ブログの名前については現時点ではIsilonianTechのままにしておきます。

DataIQ誕生の背景としましては現在のインフラの在り方が関係しております。昨今企業はオンプレミスやパブリッククラウドを必要に応じて使い分けている状況ですが、選定理由はサービスやコスト、俊敏性、ツールなど様々だと思われます。

大抵はコンピューティングリソースとデータは近い場所に置くことになりますが、中には一連のワークロードでもオンプレミスとパブリッククラウドを組み合わせたハイブリッドな環境を利用されている事もあると思います。ハイブリッドなインフラは良いとこ取りができる点でメリットが大きいですが、各所に存在する全データを可視化出来ずデータの所在を把握できなくなるのも実情です。また、データをどこに配置するのがシステムやコスト的にベストなのかという問題やデータを分散して配置した際にはデータ移動が課題となります。

コンピュータが利用され、この四半世紀では企業の資産価値は無形資産が多いというのが事実で、企業に存在するデータは最も価値のある資産の1つとなっています。現に調査会社のレポートでは、今後4年の間に世界のGDPの半分以上がDX（デジタルトランスフォーメーション）を実践している企業による製品やサービスから生み出されると予測しています。データがサイロ化されているとデータ利活用や分析においても遅れを取ることになりますので、インフラ選定の際にデータに主軸をおいて考える必要があると同時に、適材適所に配置して素早く簡単に必要なデータに辿り着ける仕組みが必要です。

DataIQはデータファーストを支援するソフトウェアとして誕生いたしました。DataIQをご利用いただくことによって、ストレージ上にあるファイルのメタデータを取得し企業内もしくはワークロードのデータ全体を可視化することが可能です。そして可視化されたファイルに対してファイル分析を行い重複チェックや移動、削除などのアクションを行うことが可能です。

データ管理（Data Management）機能
冒頭でDataIQは2つの製品が基になっているとお伝えしましたがメインはデータ管理（Data Management）機能となります。トップページにはBrowse画面（スクリーンショット1）が表示されます。左側上段のVolumesにはNASやオブジェクトストレージを登録することにより1つの画面で企業の非構造化データを可視化でき、ディレクトリ構造やファイルのメタデータとともに、JPEGやbitmap、GIFなどの静止画ファイルやMP4、MOV、AVI、WMVなどの動画ファイル（約25種類）については詳細な属性情報（フォーマットや圧縮モード、録画時間、ビットレートなど）も取得可能です。

また、右上の検索ウィンドウからストレージ全体や特定ディレクトリ配下など範囲を指定してのファイル名検索が可能です。ディレクトリやファイル名のリストの左にあるフラグにチェックを入れるとチェックしたファイルを後で纏めて確認ができます。なお、ファイル名検索の結果やフラグ付けしたファイルは、総容量を表示したり重複チェックのアクションを実行することもできます。

<スクリーンショット1: Data ManagementのBrowse画面>

画面右側ではメタデータを表示したり各種アクションを行うことができます。下記スクリーンショットのようにVolumesに登録されたストレージ全体もしくは単体、ディレクトリ単位で総容量やファイル数、ディレクトリ数などのMetadataを確認することができます。

また、Actionsではファイルやディレクトリに対しての操作（ファイルパスのコピーやファイル移動、削除など）を行うことができます。これらのアクションはプラグインを追加することによって増やすことができ将来的に拡充される予定です。

現時点で提供済みのプラグインは下記の4つとなります。

Analyze（スクリーンショット2）では各ストレージ容量を分析するのに役立ちます。予めTagやFile type class（ファイルの拡張子によるカテゴリ分別）を定義しておくことにより条件をフィルタすることができます。例えば各ストレージ毎に、どのようなカテゴリのファイルが多いかなどを確認することが可能です。

<スクリーンショット2: ファイルタイプによる分析>

PowerScale監視（Storage Monitoring）機能
次に、PowerScaleを監視するための機能（Storage Monitoring）をご紹介します。Storage Monitoringでは以下のダッシュボードを用意しております。

ダッシュボード	概要
Cluster Summary	監視対象のクラスタの概要を表示
Client and User Dashboard	オペレーションレート、スループット、およびレイテンシ別に上位Nクライアントを表示
Capacity Dashboard	上位N層とノードプールを、time_to_fullと容量の増加率別に表示
Capacity Forecast	ストレージの将来の容量トレンドを表示
Dedupe Dashboard	すべてのクラスターの重複排除、圧縮効率を表示
DR/Data Protection Dashboard	災害復旧とデータ保護を表示
Filesystem Dashboard	操作アクティビティ別に上位ディレクトリを表示
Hardware Dashboard	保留中の操作数、レイテンシ、アクティビティ、ネットワークスループット、プロトコルオペレーション、およびディスクアクティビティ別に上位N個のディスクを表示
Network Dashboard	上位N個のプロトコルをスループット、遅延、パケット率、エラー率別に表示
Protocol Dashboard	すべてのクラスタのプロトコル操作率、待ち時間、およびスループットを表示

いくつかダッシュボードをご紹介していきます。Cluster Summaryでは、すべてのクラスタのステータスや総容量、空き容量、性能の概要を確認できます。クラスタ名をクリックするとCluster detailsに遷移して容量の内訳や、発生しているイベントに対しての詳細を確認することができます。

<スクリーンショット3: クラスタ概要>

Client and User Dashboardでは、クラスタに対して負荷をかけている上位10クライアントの性能情報(Throughput、ops、
Latencyなど)や、ユーザ毎の容量増加率やクォータ情報などを確認することができます。

<スクリーンショット4: クライアント性能情報>

Hardware Dashboardではノード毎の性能情報(CPU、Throughput、Protocol ops)やドライブの性能情報(Latency、Activity、ops、Pending Disk operations、IOPS）などが確認できます。

<スクリーンショット5: クラスタやノード毎の性能情報>

Storage Monitoringの機能はInsightIQと比べてイベント監視やSyncIQやICAPの状態監視などが新たに追加されていますが、現時点ではレポート機能やファイルシステム分析などInsightIQで実現している機能が全て実装されているわけではないのでご注意ください。

その他（各種情報、注意制限など）
いくつかお役立ち情報や制限事項をお伝えします。DataIQのライセンスに関してはPowerScaleやECSでご利用になる場合は無償ですが3rd Partyのストレージのデータを管理する場合は有償となります。なお、最新のDataIQ v2ではインストール直後1年間評価用ライセンスが有効になっております。

DataIQはDellTechnologiesのサポートサイトからダウンロードが可能です。インストール用のファイルはInsightIQと同様OVAもしくはLinuxの実行形式での提供となります。システム要件は、CPUは最低4CPU、メモリは最低32GB必要で、それ以外にData Managementのメタデータ格納用にSSD 250GB、OS領域用としてHDDもしくはSSDが250GB必要となります。（お試しでDataIQを動かす場合は、/mnt/ssdというディレクトリを切ることによってSSDが用意できない環境でもインストーラーを騙すことは出来ますが本番利用の場合は上記のスペックをご用意ください。）

オブジェクトストレージは現在のところDellEMC ECS、Amazon S3、Google GCSに対応していますがオブジェクト間のデータ移動については未サポートとなります。また、オブジェクトストレージを利用する場合DataIQプラグインにつきましては未対応の機能がありますのでご注意ください。

最後に、DataIQはマイクロサービスアーキテクチャを採用していますので今後の拡張性や柔軟性を備えております。リリース間もない製品のため荒削りな部分は否めないですが、今後さらなる機能拡張や改善を予定されておりますのでご期待ください！

バックナンバー

IsilonianTech 第1回 Isilonとオープンソース～REX-Ray編～

IsilonianTech 第2回 Isilonとオープンソース～OpenStack Manila編～

IsilonianTech 第3回 Isilonとオープンソース～Isilon Data Insights Connector～

IsilonianTech 第4回 Software Defined Storage ～IsilonSD Edge～

IsilonianTech 第5回 Isilonとオープンソース～Isilon-POSH～

IsilonianTech 第6回 Isilonとオープンソース～Elastic Stack編～

IsilonianTech 第7回 Isilonとデータアナリティクス～Cloudera編～

IsilonianTech 第8回 Elastic Cloud Storage (ECS) ～ECS Community Edition～

IsilonianTech 第9回 ISILON + ECS = UNLIMITED ～Isilon CloudPools～