Avamar: 볼륨 메모리 사용으로 인한 치명적 신호 11 세그멘테이션 오류가 발생하며 NDMP 백업이 실패함

백업 장애 표시

Avamar NDMP 백업에 세그멘테이션 장애가 발생하면 다음과 같은 증상이 나타납니다(신호 11).

• 다음과 유사한 치명적 오류 메시지와 함께 백업 작업이 중단됩니다.

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• 로그 항목은 다음과 같이 처리 중인 비정상적으로 큰 데이터 세트를 표시합니다.

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• 단일 백업 스트림에 대해 15GB의 RAM/스왑을 초과하는 높은 메모리 사용량이 보고됩니다.
• 수많은 NDMP 스트림이 활성 상태이며(클라이언트당 최대 8개), 각 NDMP 스트림은 잠재적으로 2GB 이상의 메모리를 사용합니다.
• 여러 개의 대용량 백업이 동시에 실행되어 전체 시스템 로드가 증가할 수 있습니다.
• 영향을 받는 볼륨에는 수백만 개의 파일 및 디렉터리가 포함되어 있습니다(예: 5.1TB의 데이터를 포함하는 2.4M 디렉터리의 3M 파일).
• 소량의 데이터(예: 1.9GB)만 변경된 경우에도 백업 프로세스는 처리를 위해 NAS에서 모든 파일을 전송하려고 시도합니다.

치명적 신호를 유발한 근본적인 요인 11.

신호 11(분할 오류)은 프로세스가 할당되지 않은 메모리에 액세스할 때 생성됩니다. Avamar NDMP 백업 중에 이 이벤트가 직접적으로 발생한 직접적인 원인은 다음과 같습니다.

• 여러 개의 대규모 NDMP 백업이 동시에 실행 중입니다.
• 한 백업은 3,050,352개의 파일과 2,419,299개의 디렉토리를 처리하여 총 5.1TB의 데이터를 처리했지만 변경된 데이터는 1.9GB에 불과했습니다.
• 각 NDMP 스트림은 2GB ≥ 메모리를 사용할 수 있습니다. 클라이언트에는 최대 8개의 스트림 이 허용되고 여러 클라이언트가 동시에 활성화되어 총 메모리 수요가 높아졌습니다.
• 백업 프로세스는 충돌 전에 약 15GB의 RAM/스왑을 사용했습니다.
• Avamar는 클라이언트당 스트림 수를 제한하지만 총 스트림 수에 전역 제한을 적용하지는 않습니다. 이렇게 하면 결합된 메모리 사용량이 사용 가능한 리소스를 초과할 수 있습니다.

이러한 메모리 집약적 조건으로 인해 avtar 프로세스에 다음과 같이 기록된 세분화 오류가 발생했습니다.

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

신호 11(세그멘테이션 장애)로 인한 Avamar NDMP 백업 장애 수정

1단계 - 현재 백업 로드를 평가합니다.

Avamar Administrator 콘솔 또는 CLI를 사용하여 대규모 NDMP 백업을 생성하는 볼륨을 식별합니다.

활성 NDMP 작업 및 해당 리소스 사용량을 나열합니다.

$ avtar -listjobs -type ndmp

 2단계 - 동시 볼륨 백업을 줄입니다.

• 과도한 RAM/SWAP 사용을 방지하기 위해 동시에 백업되는 볼륨 수를 제한합니다.
• Avamar Administrator에서 백업 스케줄을 편집하고 겹치는 창을 선택 취소합니다.

3단계 - 큰 볼륨을 더 작은 하위 볼륨으로 분할Step 3 - Split Large Volumes into Smaller Sub-Volumes

• 파일이 300만 개를 초과하거나 5TB를 초과하는 데이터가 있는 볼륨을 식별합니다(예시 참조).
• 디렉토리 트리에서 한 수준 아래에 논리적 하위 볼륨을 생성합니다.
• Avamar에서 각 하위 볼륨을 별도의 NDMP 클라이언트로 구성합니다.
  •  예: 하위 디렉토리에 대한 새 NDMP 클라이언트 생성

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 4단계 - NDMP 스트림 설정을 조정합니다.

• NAS에서 NDMP 스트림을 지원하는 경우 클라이언트당 최대 NDMP 스트림 수를 늘립니다.
• NAS NDMP 구성에서 가능한 경우 스트림 제한을 기본값인 4에서 8로 높입니다.

5단계 - 스트림당 파일 제한

• 백업 정책을 만들 때 "스트림당 파일 수" 임계값을 낮게 설정하여 각 스트림의 메모리 공간을 2GB 미만으로 유지합니다.
• Avamar Administrator → Policies → Advanced Settings 를 사용하여 이 값을 조정합니다.

6단계 - 백업 중 메모리 사용량 모니터링

• 백업이 실행되는 동안 Avamar Server의 RAM 및 스왑 사용량을 확인합니다.
• 사용량이 사용 가능한 총 메모리보다 훨씬 낮게 유지되도록 합니다(예: 15GB 작업의 경우 12GB 미만).
  • 실시간 메모리 모니터링

$ top -b -n 1 | grep avtar

 7단계 - 수정 사항 확인

• 이전에 실패한 백업을 다시 실행합니다.
• 로그에 더 이상 Fatal signal 11 나열
• 백업이 성공적으로 완료되고 보고된 데이터 크기가 예상과 일치하는지 확인합니다.
  •  최신 백업 로그에서 오류를 확인합니다.

$ tail -n 50 /var/log/avtar/backup.log