smartsyncに関して

uchiyさん

 

smartsyncにはまだ実機で確認出来ておらず、ドキュメントを読んで勉強している状況なのですが、コンセプトとして重要なことは

 

1) これまでのSyncIQを含めた多くのレプリケーションで実施してきた（Replication開始時に）スナップショットを取るという動作と、Replicationのコピー処理を分離した
（Replicationでどのデータをコピーするかを決めるためのスナップショット作成を「データセット作成ポリシー」で実施し、Replicatinのコピー処理を「コピーポリシー」で実施）

 

2) データセット（≒Replication用のスナップショット）はユニークなIDを持ち、もしもソースとターゲットで同じデータセットIDを持っている場合にはその情報をベースとして差分コピーを実施することが出来る

 

という2点であるように見受けられます。

 

その上で頂戴したご質問に回答していくと

 

質問1
　smartsyncは、CREATIONポリシーで作成したデータセットを、
　COPYポリシーや、REPEAT_COPYポリシーでソースからターゲットにコピーする
　機能であると認識していますが、正しいでしょうか？

はい。正しいです。

 

 

質問2
　--copy-source-base-pathが、データセットの設定に相当するのでしょうか？
　同じPathのデータセットが複数存在している場合、最新のデータセットが
　COPYポリシーや、REPEAT_COPYポリシーで使用されるのでしょうか？

はい。その通りです。
同じパスに対して以前にデータセットが作成されているはずなので、その中で最新のデータセットを利用してReplicationが組まれるのでしょう。

 

それでは何故古いデータセットも残す必要があるのかというと、それはおそらく自分がターゲットとなる際に、ソース側と同じデータセット（ID）を持っていれば差分同期を行うことが出来るからだと思います。
現状ではフェイルオーバー/フェイルバックがサポートされていないのでイメージが沸きにくいのですが、フェイルバックが出来るようになると過去のデータセットを保持しておくことは必要になることが分かる気がします。

 

 

質問3
　COPYポリシーとREPEAT_COPYポリシーの違いは、以下の認識でよいでしょうか？
　COPYポリシー　　　　：データセットのデータを1回だけコピーするポリシー
　　　　　　　　　　　　ポリシーを実行する度にフルコピーを実施する
　REPEAT_COPYポリシー ：データセットのデータを繰り返しコピーするポリシー
　　　　　　　　　　　　1回目はフルコピーを実施するが、2回目以降は、差分コピーを実施する。

COPYポリシーでもREPEAT_COPYポリシーでもソースとターゲットで同じデータセットを持っている場合には最初からフルコピーではなく差分コピーになるはずです。
それ以外はご認識の通りです。

 

 

質問4
　PowerScale上で現時点の最新のデータをsmartsyncでソースからターゲットに
　コピーしたい場合、
　”REPEAT_COPYポリシーを実行する前には、CREATIONポリシーを必ず実行する必要がある”
　という認識でよいでしょうか？

過去にRepliation対象ディレクトリ/ファイルに対してデータセットを作成していれば必須ではないはずです。
もしもデータセットを一度も作成していなければ作成は必須です。

 

 

質問5
　EXPIRATIONポリシーは、有効期限切れとなったデータセットをDELETEするポリシーですが、
　CREATIONポリシー内のDataset Reserveパラメータが2であれば、
　有効期限切れとなったデータセットであっても、最新のデータッセットを最低2個を残すという認識で
　よいでしょうか？
　CREATIONポリシー内のDataset Reserveパラメータが1であれば、
　有効期限切れとなったデータセットであっても、最新のデータッセットのみを残すという認識で
　よいでしょうか？

はい。その通りだと思います。

 

もし不要となったデータセットを全て削除したい場合は、どのようにすればよいのでしょうか？

以下シンタックスを持っているisi dm plicies deleteコマンドが使えそうです。

 

isi dm policies delete
 [{--force | -f]
 [{--help | -h}]
 [{--verbose | -v}]

Uehara Y.さん

返答ありがとうございます。追加の確認したいことがあります。

もし分かれば、返答をお願いします。

質問6
　質問2の回答で、
　”現状ではフェイルオーバー/フェイルバックがサポートされていない”
　と書かれていますが、OneFS管理ガイドや、他のドキュメントに記載がありましたでしょうか？
　こちらで気づかなかったため、確認させてください。

　フェイルオーバは、COPYやREPEAT_COPYに当たると思いますが、
　COPYしたファイルを、smartsyncを利用して、フェイルバックが出来ないという認識でしょうか？

質問7
　Pushでコピーしたファイルを、Pullで戻せば、フェイルオーバ/フェイルバックができると思ってたのですが、
　実際に検証を行ってみると、PushでソースクラスタからターゲットクラスタにCOPYしたファイルは、
　ターゲットクラスラスタ側でread-onlyとなっており、そのファイルをsmartsyncのコマンドで、
　操作することはできませんでした。

　また、ターゲットクラスタ側での操作も、readonlyのため、書き込みや削除ができませんでした。

　これは、'--copy-create-dataset-on-targetのパラメータをtrueにしたためと考えています。
　falseにするとターゲット側のファイルの読み書き可能になると考えているのですが、
　これは正しいですか？

　また、--copy-create-dataset-on-targetのパラメータをtrueにするメリット・デメリット
　--copy-create-dataset-on-targetのパラメータをfalseにするメリット・デメリット
　を教えてください。

　フェイルオーバー/フェイルバックの件を絡めて考えると、
　trueにすれば、ファイルはreadonlyとなるが、差分コピーが可能となる。
　falseにすれば、ファイルは読み書き可能となるが、差分コピーが不可能となる。
　ような気がしています。

質問8
　上記--copy-create-dataset-on-targetのパラメータをtrueでコピーした場合、
　ターゲットクラスラスタ側ではファイルがreadonlyになるのですが、
　これを、読み書き可能に変更することはできるのでしょうか？

質問9
　質問5のデータセットの削除に関して。
　コマンドisi dm policies delete は、ポリシーの削除ですね。
　CREATIONポリシーを削除しても、ポリシーによって作成されたデータセットは、
　連動して削除されることはありませんでした。ずっと残ったままでした。（検証結果です）

　データセット用のコマンドとしては、以下のものがあります。
　　isi dm datasets
　このコマンドには、 として、listとviewしか存在しません。
　このため、作成済みデータセットの削除は、出来ないのではないかと考えています。

　この認識は正しいですか？

　※ただ、Dellエンジニア用コマンドではデータセットを削除する方法はありそうですが。

　※データセットのスナップショットを削除すれば、データセットも削除できるかなと考え
　　実行してみましたが、データセットがエラーとなって、残り続けるだけでした。
　　たぶん、このあともゴミとなって残り続けるのでしょう。
　　検証機での検証であるため、最終的にreimageすれば良いだけですが。
　
質問10
　smartsyncはどの様な用途に利用する想定で追加された機能なのでしょうか？

　smartsync機能のメリットは、PowerScaleへのファイルコピーだけではなく、
　Cloud(S3(ECS、AWS)、azure)へのコピーが可能であるというところだと思います。
　現時点で、smartsyncによるコピーは出来ますが、コピーバックが出来ないため、
　単純に、一方通行のバックアップ機能と考えてよいのでしょうか？

　コピーバックに関しては、readは可能なので、手動でファイルを戻すことは可能でした。

質問11
　まるわかり資料とか作成されないのですかね？

Uehara Y.さん

Caveats（補足説明）セクションに確かに書かれていますね。

Configration以降のページの確認は、あまり行っていませんでした。このため、見逃してしまったようです。

 

改めて資料を全部確認したいと思います。

 

今できる機能と、将来追加されるであろう機能を分けて、検証する必要がありそうです。

ありがとうございました。

 

今できることで、わからない点があれば、また質問するかもしれません。

よろしくお願いします。