2 Bronze

Live OpticsでのNASアセスメント

ソリューションへジャンプ

複数営業所に点在するbuffalo等のコンシューマーNASでlive opticsを使用したいと考えています。

下記数点お伺いしたい点があります。

1) live opticsが対応していないメーカーのNASなどがあるか

2) 各拠点ごとにlive opticsに必要なアプリケーションをインストールし、アセスメントをする必要があるのでしょうか

3) もし、1拠点から各拠点のアセスメントを行うときのネットワーク帯域負荷はどの程度になりますでしょうか

4) dossierでの分析する時間を選択するとき、どの程度の時間稼働させておけばよいかの指標などありますでしょうか?各拠点30TB程度想定です

5) live opticsをインストールするPCの最低スペック等はあるか。また、稼働させている間、PCで業務ができるか

以上、確認いただけますと幸いでございます。

0 件の賞賛
1 解決策

受理された解決策
モデレーター
モデレーター

Re: Live OpticsでのNASアセスメント

ソリューションへジャンプ

1) live opticsが対応していないメーカーのNASなどがあるか

dossierを利用する場合は、NASがCIFS/SMB、もしくはNFSに準拠していれば対応ができるはずです。

 

 

2) 各拠点ごとにlive opticsに必要なアプリケーションをインストールし、アセスメントをする必要があるのでしょうか

もしも各拠点にあるNASにアクセスできる端末があれば、その端末にだけ「LiveOpticsDossier.exe」という実行ファイル(Windows端末の場合)を入れればアセスメントをすることが可能です。
各拠点のNASには各拠点にある端末からしかアクセスが出来ないということであれば、各拠点の端末のそれぞれに実行ファイルを入れる必要があります。

 

 

 

3) もし、1拠点から各拠点のアセスメントを行うときのネットワーク帯域負荷はどの程度になりますでしょうか

利用する端末のスペック等により変化する部分だと思いますが、一例としては1つのNAS(IOデータ製)の情報をスキャンしている際にWindowsのタスクマネージャーを確認すると、LiveOpticsDossierは1Mbps前後の帯域を利用していました。

 

 

 

4) dossierでの分析する時間を選択するとき、どの程度の時間稼働させておけばよいかの指標などありますでしょうか?各拠点30TB程度想定です

Dossierの説明ページには以下のように、大きなファイルシステムからのデータ収集には数時間かかるとあります。

 

Collection
Once the paths to folders have been selected, Dossier will begin walking the file system trees for the target folders. This process will likely take up to several hours for large file systems.

 

私が実際にIOデータ製のNASを利用して確認してみたところ、約880Gの容量、約35万のファイル数で大体15分かかりました。また、同じ条件で圧縮可能率の予測のために、「Test files for compressibility」を選択し、デフォルト値の全体の5%のファイルを利用して予測を行ったところ、23分かかりました。
(重複排除の確認項目「De-Duplication Scan」の項目もありますが、これはdossierが端末のメモリを4G程度使うということや、時間も更にかかりそうなので試していません・・・)

 

また、データ収集は複数セッションでパラレルに行っているようで、最初はかなりのスピードでスキャンが行われますが、最後の方になるとかなり進捗が遅くなります。
そのために、例えば1Gで15分かかった場合、30Gではその30倍かかるということにはならないと思います(その半分以下の時間で終わるのではないかと思いますが、これはやってみないと確実なことは言えないです・・・)

 

 

 

5) live opticsをインストールするPCの最低スペック等はあるか。また、稼働させている間、PCで業務ができるか

PCの最低スペックについては言及はありません。サポートされているOSが以下の通りなので、それらがストレスなく動く環境であれば特に問題はないでしょう。

 

Image

実際に私が自分の端末(Win10 i5 16GMemory)で一つのファイルシステムを確認している状況では、CPU使用率が2%弱、メモリ使用量が50MB程度とかなり負荷は低く、他の業務を行っても全く問題はありませんでした。

元の投稿で解決策を見る

4 返答(返信)
モデレーター
モデレーター

Re: Live OpticsでのNASアセスメント

ソリューションへジャンプ

1) live opticsが対応していないメーカーのNASなどがあるか

dossierを利用する場合は、NASがCIFS/SMB、もしくはNFSに準拠していれば対応ができるはずです。

 

 

2) 各拠点ごとにlive opticsに必要なアプリケーションをインストールし、アセスメントをする必要があるのでしょうか

もしも各拠点にあるNASにアクセスできる端末があれば、その端末にだけ「LiveOpticsDossier.exe」という実行ファイル(Windows端末の場合)を入れればアセスメントをすることが可能です。
各拠点のNASには各拠点にある端末からしかアクセスが出来ないということであれば、各拠点の端末のそれぞれに実行ファイルを入れる必要があります。

 

 

 

3) もし、1拠点から各拠点のアセスメントを行うときのネットワーク帯域負荷はどの程度になりますでしょうか

利用する端末のスペック等により変化する部分だと思いますが、一例としては1つのNAS(IOデータ製)の情報をスキャンしている際にWindowsのタスクマネージャーを確認すると、LiveOpticsDossierは1Mbps前後の帯域を利用していました。

 

 

 

4) dossierでの分析する時間を選択するとき、どの程度の時間稼働させておけばよいかの指標などありますでしょうか?各拠点30TB程度想定です

Dossierの説明ページには以下のように、大きなファイルシステムからのデータ収集には数時間かかるとあります。

 

Collection
Once the paths to folders have been selected, Dossier will begin walking the file system trees for the target folders. This process will likely take up to several hours for large file systems.

 

私が実際にIOデータ製のNASを利用して確認してみたところ、約880Gの容量、約35万のファイル数で大体15分かかりました。また、同じ条件で圧縮可能率の予測のために、「Test files for compressibility」を選択し、デフォルト値の全体の5%のファイルを利用して予測を行ったところ、23分かかりました。
(重複排除の確認項目「De-Duplication Scan」の項目もありますが、これはdossierが端末のメモリを4G程度使うということや、時間も更にかかりそうなので試していません・・・)

 

また、データ収集は複数セッションでパラレルに行っているようで、最初はかなりのスピードでスキャンが行われますが、最後の方になるとかなり進捗が遅くなります。
そのために、例えば1Gで15分かかった場合、30Gではその30倍かかるということにはならないと思います(その半分以下の時間で終わるのではないかと思いますが、これはやってみないと確実なことは言えないです・・・)

 

 

 

5) live opticsをインストールするPCの最低スペック等はあるか。また、稼働させている間、PCで業務ができるか

PCの最低スペックについては言及はありません。サポートされているOSが以下の通りなので、それらがストレスなく動く環境であれば特に問題はないでしょう。

 

Image

実際に私が自分の端末(Win10 i5 16GMemory)で一つのファイルシステムを確認している状況では、CPU使用率が2%弱、メモリ使用量が50MB程度とかなり負荷は低く、他の業務を行っても全く問題はありませんでした。

元の投稿で解決策を見る

2 Bronze

Re: Live OpticsでのNASアセスメント

ソリューションへジャンプ

ご回答ありがとうございます!

>デフォルト値の全体の5%のファイルを利用して予測を行ったところ、23分かかりました。

こちらに関しまして、私のPC内16GBのフォルダに対して、100%かつ重複排除スキャンにチェックをしてアセスメントしてみた結果、約20分程度かかりました..

圧縮率スキャンに関して、スキャンする割合はより大きいほうがより精緻な値が出るという認識で間違いないでしょうか。ただ、デフォルトで5%ということもあり案外変わらないものなのでしょうか..

0 件の賞賛
4 Tellurium

Re: Live OpticsでのNASアセスメント

ソリューションへジャンプ

A-1) 

File としてではなく、ストレージとしてサポートされているものはエンタープライズ向けのラインナップのみとなっております ( https://support.liveoptics.com/hc/en-us/sections/360012122453-Storage ) が、
File として Dossier を使うのであれば、対象の NAS ファイルシステムをマウントしている端末に Dossier を仕込めば分析に問題はないです。

A-2)

Dossier は 20 Path まで 1つの Collector でスキャンできますので、「各拠点のレポートをまとめたい」場合は 1つの Dossier で各拠点のファイルシステムをスキャンして、「拠点毎に別のレポートにしたい」場合は拠点毎に Dossier を仕込むのが良いかと思います。後は拠点間の通信帯域にもよります。

A-3)

NAS 側の IO 性能、Dossier を動かすクライアントの性能、スキャンするファイルのサイズや数によって必要な帯域は大きく変わってきますが、Dossier 側で同時に何スレッドを動かすかを Scan Options で設定できます。
実際の環境で少容量の Path で負荷を実測し、必要に応じてスレッド数を変更するのが良いかと思います。

後は日中時間等はスキャン速度を落とす事が出来るので、Scanning Window の設定を使うのも有効かと思います (その分スキャン時間はかかります)

A-4)

「分析する時間」というのはもしかしたら上記の Scanning Window の事でしょうか?基本的には対象のファイルはすべてスキャンする形となります。
また、Scan Options では圧縮率や重複排除率を算出するためのサンプル取得の割合を指定する事が出来ます。圧縮・重複排除のスキャンの割合を増やすとその分トラフィックの増加と Dossier 端末の負荷が高まります。

要する時間は A-3) にある様に、環境によって大きく異なります。

A-5) 

Dossier 端末のスペックは特に明記されていませんが、重複排除の分析など行う場合は 4GB 以上のメモリ割り当てが必要になります。

また、稼働中の PC でスキャンを実施して影響を最小限に抑える場合は A-3) に記した Scanning Window の設定をする事で負荷を抑えられます。

https://support.liveoptics.com/hc/en-us/sections/360010996694-Dossier 

モデレーター
モデレーター

Re: Live OpticsでのNASアセスメント

ソリューションへジャンプ

圧縮率スキャンに関して、スキャンする割合はより大きいほうがより精緻な値が出るという認識で間違いないでしょうか。ただ、デフォルトで5%ということもあり案外変わらないものなのでしょうか..

スキャンする割合が大きいほうが精緻な値が出るはずです。ただ、例えば保存されているファイルの種類の分散が一様であるような場合では5%などでもかなり正確な値が出ると思います。
(つまりデータの種類のバラツキによって、適度なサンプリングの数字(%)が決まると思いますが、複数部門で同じNASを利用しているような場合にはそれを予測するのは結構難しい気がしますね。。)