Avamar: NetApp의 NDMP 백업이 높은 메모리 사용량으로 인해 치명적인 신호 실패 11

백업 실패 증상

avtar가 이전 백업에서 inode.dir.map을 읽으려고 하면 초기화 단계에서 NetApp 볼륨 백업이 실패합니다. 백업은 Fatal signal 11과 함께 종료됩니다.

NetApp은 파일 이름 대신 inode를 사용하여 데이터 스트림의 파일을 문서화합니다. 파일 수가 많으면 기본적으로 inode 맵이 저장되므로 초기 관리 프로세스에 메모리가 부족할 수 있습니다.

이 오류는 일반적으로 예약된 백업 중에 발생합니다. 일반적으로 수동 백업이 성공합니다.

예: 두 개의 볼륨이 백업됩니다. 예약된 백업 중에 더 큰 볼륨(>200TB)이 성공합니다. 볼륨이 작을수록(~21TB) 예약된 백업에 실패합니다. 수동으로 실행하면 성공합니다.

Avamar 문서에는 2억 개의 파일 제한이 언급되어 있습니다. 이 예제에는 480M 파일이 있습니다.

관련 로그 메시지

2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157

Avtar 로그 메시지

log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11

문제의 근본 원인

이 문제는 inode 맵이 맵에 할당된 메모리보다 크기 때문에 발생합니다.

메모리로 읽히면 할당된 메모리 경계를 지나 기록하여 Signal 11 치명적인 오류 메시지가 발생합니다.

이 문제는 백업의 inode 수가 많아 inode 맵에 예약된 메모리 세그먼트를 오버런하기 때문에 발생합니다.

로그의 오류 메시지(예: "Fatal signal 11" 및 "uapp::handlefatal: 치명적인 신호 11"은 메모리 오버런으로 인해 프로그램에 치명적인 오류가 발생했음을 나타냅니다.

2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11

inode 맵 스토리지에 디스크를 사용하도록 Avtar를 구성합니다.

해결 방법은 inode 맵을 메모리가 아닌 디스크 파일에 저장하는 것입니다. 이렇게 하면 inode 맵을 읽을 때 avtar에 메모리가 아닌 디스크에 저장하도록 지시합니다. 이렇게 하면 SIG-11 메모리 문제가 제거됩니다.

inode 맵 스토리지에 디스크를 사용하도록 avtar를 구성하도록 stream-disk-buffer 플래그를 설정하는 방법에는 두 가지가 있습니다.

방법 1: Avamar Administrator 인터페이스 사용

클라이언트 데이터 세트로 이동하여 On-Demand Backup Options 대화 상자를 열고 More Options를 클릭합니다. Backup Command-Line Options 대화 상자가 표시됩니다. More(자세히)를 클릭합니다. Enter Attribute에 [avtar]stream-disk-buffer를 입력하고 Enter Attribute Value 필드에서 true를 선택합니다. 추가 아이콘을 클릭하여 속성을 추가합니다.

방법 2: avtar.cmd 사용

UNIX 텍스트 편집기를 사용하여 /usr/local/avamar/var/CLIENT_NAME의 NAS 클라이언트 var 디렉토리에서 파일 avtar.cmd 생성합니다. 파일이 있는 경우 기존 파일을 편집합니다. 파일의 한 줄에 다음 플래그를 입력합니다.

--stream-disk-buffer

해결 방법 확인

stream-disk-buffer 플래그를 설정한 후 avndmp.log 및 avtar 로그 파일에서 inode 맵 스토리지와 관련된 오류가 있는지 확인하여 문제가 성공적으로 해결되었는지 확인합니다.