Avamar：ボリューム メモリーの使用による「Fatal signal 11 segmentation fault」でNDMPバックアップが失敗する

バックアップ失敗の兆候

Avamar NDMPバックアップでセグメンテーション フォールトが発生すると、次の現象が発生します(信号11)。

• バックアップ ジョブが中止され、次のような致命的なエラー メッセージが表示されます。

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• ログ エントリーには、次のように、異常に大きなデータセットが処理されていることが示されます。

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• メモリー消費量が多く、単一のバックアップ ストリームでRAM/SWAPが15 GBを超えることがよくあります。
• 多数のNDMPストリームがアクティブであり(クライアントあたり最大8つ)、それぞれが2 GB以上のメモリーを使用している可能性があります。
• 複数の大規模なバックアップが同時に実行され、システム全体の負荷が増加する可能性があります。
• 影響を受けるボリュームには、何百万ものファイルとディレクトリーが含まれています(たとえば、5.1 TBのデータをカバーする24 Mのディレクトリーに3 Mのファイルがあるなど)。
• 少量のデータ(1.9 GBなど)しか変更されていない場合でも、バックアップ プロセスはNASからすべてのファイルを送信して処理しようとします。

致命的なシグナルをトリガーした根本的な要因 11.

シグナル 11 (セグメンテーション フォールト) は、プロセスが割り当てられていないメモリにアクセスしたときに生成されます。Avamar NDMPバックアップ中に、次の条件がこのイベントを直接引き起こしました。

• 複数の大規模なNDMPバックアップが同時に実行されていました。
• 1つのバックアップで処理された3,050,352個のファイルと2,419,299個のディレクトリー、合計で5.1 TBのデータがありましたが、変更されたデータはわずか1.9 GBでした。
• 各NDMPストリームは、≥2 GBのメモリーを消費します。クライアントには最大8つのストリーム が許可されており、複数のクライアントが同時にアクティブになっていたため、総メモリー需要が高くなりました。
• バックアップ プロセスでは、クラッシュ前に約15 GBのRAM/SWAPが使用されていました。
• Avamarでは、クライアントあたりのストリーム数は制限されますが、ストリームの合計数にグローバル制限は適用されません。これにより、メモリー使用量の合計が使用可能なリソースを超えることが可能になります。

これらのメモリ集約的な状態により、avtarプロセスでセグメンテーション違反が発生し、ログに次のように記録されます。

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

信号11(区分化障害)が原因で発生するAvamar NDMPバックアップ障害の修正

手順1 - 現在のバックアップ負荷を評価します。

Avamar AdministratorコンソールまたはCLIを使用して、大規模なNDMPバックアップを生成するボリュームを特定します。

アクティブなNDMPジョブとそのリソース使用率を一覧表示します。

$ avtar -listjobs -type ndmp

 手順2 - 同時ボリューム バックアップの削減。

• RAM/SWAPの過剰な消費を避けるために、同時にバックアップされるボリュームの数を制限します。
• Avamar Administratorで、バックアップ スケジュールを編集し、重複するウィンドウの選択を解除します。

手順3 - 大容量のボリュームを小さなサブボリュームに分割する

• 300万を超えるファイルまたは5 TBを超えるデータを持つボリュームを特定します(例を参照)。
• ディレクトリー ツリーの1つ下のレベルに論理サブボリュームを作成します。
• Avamarで各サブボリュームを個別のNDMPクライアントとして構成します。
  •  Example: サブディレクトリの新しいNDMPクライアントの作成

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 手順4 - NDMPストリーム設定を調整します。

• NASでサポートされている場合は、クライアントあたりのNDMPストリームの最大数を増やします。
• NAS NDMP構成では、可能な場合はストリーム制限をデフォルトの4から8に増やします。

ステップ5 - ストリームあたりのファイル数を制限する

• バックアップ ポリシーを作成するときは、各ストリームのメモリー フットプリントを2 GB未満に保つために、「ストリームあたりのファイル数」のしきい値を低く設定します。
• この値を調整するには、Avamar Administrator→ポリシー→詳細設定 を使用します。

手順6 - バックアップ中のメモリ使用量の監視

• バックアップの実行中に、Avamar ServerのRAMとスワップの消費量を監視します。
• 使用率が使用可能なメモリーの合計(15 GBジョブで12 GB未満など)を十分に下回っていることを確認します。
  • リアルタイム メモリー モニタリング

$ top -b -n 1 | grep avtar

 手順7 - 修正を検証する

• 前回失敗したバックアップを再度実行します。
• ログに Fatal signal 11 」メッセージの一般的な原因を列挙する。
• バックアップが正常に完了し、報告されたデータ サイズが期待値と一致していることを確認します。
  •  最新のバックアップ ログにエラーがないか確認します

$ tail -n 50 /var/log/avtar/backup.log