NVP-vProxy: data01이 가득 찼을 때 '패닉 발생 런타임 오류'와 함께 백업이 실패함

특정 vProxy 어플라이언스에서 VM 백업이 간헐적으로 실패합니다. NetWorker 워크플로 로그에 500 오류와 함께 패닉 런타임 메시지가 표시됩니다.

MM/DD/YYYY HH:MM:SS [VM_NAME]: Unable to start backup on vProxy '[VPROXY_NAME]': Received an HTTP code: 500, libCURL message: "", vProxy message: "Error received from vProxy ="-500: Panic occurred: runtime error: invalid memory address or nil pointer dereference". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions", body: "{"Config":{"SessionId":"","LogTag":"@(#) Build number: 288","IdleTimeout":300,"LogLevel":"TRACE","AcceptedLanguage":"en","TransportModeRequested":"hotadd","Parallelism":1,"UseCbt":true,"AutoEnableCbt":true,"AutoRepairCbt":true,"VimServerRef":{"HostName":"[VCENTER_NAME]","UserName":"S001891","UserPassword":"****","TcpPort":0},"VmSpec":{"Name":"[VM_NAME]","VmMoref":"vm-152712","VirtualDisks":[{"Label":"Hard disk 1","Key":2000}],"CustomFieldName":"Last EMC vProxy Backup","CustomFieldValue":"Backup Server=[NSR_NAME], Policy=[POLICY_NAME], Workflow=[WORKFLOW_NAME], Action=[ACTION_NAME], JobId=490597"},"SnapshotSpec":{"Name":"NetWorker Backup Snapshot","Description":"Snapshot is created as part of protecting this VM by EMC NetWorker VProxy.","Quiesce":false,"DumpMemory":false,"RemoveAll":false,"Consolidate":false},"TargetSpec":{"DeviceType":"DataDomain","HostName":"[DATADOMAIN_NAME]","UserName":"boostadmin","UserPassword":"****","BackupMode":"VSS","BackupPath":"[NSR_NAME]/[DEVICE_NAME]//[NSR_NAME]/[DEVICE_NAME]/05/47/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4","PreviousBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/75/82/7f12c16b-00000006-2720fcc2-5b20fcc2-40eae9f4-822ca7d4","CurrentBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/active/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4"}}}".

OPER는 /data01 vProxy 어플라이언스의 파일 시스템에 100% 활용도가 표시됩니다.

myvproxy:/data01/runtime/logs # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 17G 2.7G 14G 18% /
devtmpfs 3.9G 8.0K 3.9G 1% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 8.8M 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda4 17G 2.7G 14G 18% /.snapshots
/dev/sda4 17G 2.7G 14G 18% /var/crash
/dev/sda4 17G 2.7G 14G 18% /var/tmp
/dev/sda4 17G 2.7G 14G 18% /usr/local
/dev/sda4 17G 2.7G 14G 18% /var/spool
/dev/sda4 17G 2.7G 14G 18% /var/lib/pgsql
/dev/sda4 17G 2.7G 14G 18% /var/opt
/dev/sda4 17G 2.7G 14G 18% /var/lib/mailman
/dev/sda4 17G 2.7G 14G 18% /var/lib/named
/dev/sda4 17G 2.7G 14G 18% /srv
/dev/sda4 17G 2.7G 14G 18% /opt
/dev/sda4 17G 2.7G 14G 18% /home
/dev/sda4 17G 2.7G 14G 18% /tmp
/dev/sda4 17G 2.7G 14G 18% /var/log
/dev/sdb1 82G 82G 20K 100% /data01
/dev/sda2 95M 73M 18M 81% /boot
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/x86_64-efi
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/i386-pc
/dev/sdb2 16G 33M 16G 1% /data01/logs

이 공간은 백업 세션 로그에 사용됩니다. /opt/emc/vproxy/runtime/logs/. 이러한 로그는 /data01 복구할 수 없습니다. 다른 vProxy 어플라이언스의 다른 VM은 계속해서 성공적으로 백업됩니다.

OPER는 /data01 vProxy 어플라이언스의 파일 시스템은 백업 세션 로그를 /opt/emc/vproxy/runtime/. 기본 로그 보존 기간은 1개월입니다. 백업 작업이 많은 환경에서는 세션 로그가 다음에서 사용 가능한 모든 공간을 차지할 수 있습니다. /data01.

파티션이 100%에 도달하면 vProxy가 새 세션 로그 파일을 생성할 수 없습니다. 백업 프로세스가 로그 쓰기에 실패하면 nil 포인터 역참조가 발생합니다. 이로 인해 HTTP 상태 코드 500과 함께 패닉 런타임 오류가 발생합니다.

옵션 1 - vProxy 어플라이언스 재배포

PPDM 또는 NetWorker 콘솔에서 vProxy 어플라이언스를 재배포합니다. 재배포는 모든 기존 로그를 지우고 /data01 복구할 수 없습니다.

옵션 2 - 수동으로 공간 재확보

즉시 재배포할 수 없는 경우:

1. SSH를 통해 vProxy에 다음으로 로그인합니다. admin. 로 전환 root:

   sudo su - root

2. 공간을 재확보하기 위해 이전의 재활용된 세션 로그 삭제:

   find /opt/emc/vproxy/runtime/logs/recycle/ -type f -mtime +14 -delete

3. 공간이 재확보되었는지 확인합니다.

   df -h /data01

4. 영향을 받는 VM에 대한 백업을 재시도합니다.

Prevent Recurrence - 로그 정리 Cron 작업 구성

/data01이 다시 100%에 도달하지 않도록 하려면 예약된 정리 작업을 만듭니다.

1. SSH를 통해 vProxy에 다음으로 로그인합니다. admin. 로 전환 root:

   sudo su - root

2. 에 대한 crontab 항목을 만듭니다. root 사용자:

   crontab -e

3. 매일 오전 6시에 14일 이상 지난 세션 로그를 삭제하려면 다음 줄을 추가합니다.

   0 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

4. 파일을 저장하고 종료합니다. 을 확인합니다. cron 작업

   crontab -l

Dell 지원 팀에 문의

만약 /data01 정리를 구현한 후에도 계속 빠르게 채워지면 Dell 지원 부서에 추가 조사를 문의하십시오. 다음 KB 문서를 참조하십시오.

다음에서 로그를 삭제하여 vProxy의 /data01 마운트 지점에서 공간을 재확보할 수 있습니다. /data01/runtime/logs/recycle/

다음은 14일이 지난 로그를 삭제하는 cron 작업을 생성하는 절차의 예입니다.

• SSH를 통해 vProxy에 admin으로 로그인한 다음 루트로 전환합니다. sudo su - root
• 다음을 사용하여 루트 사용자에 대한 crontab 작업을 생성합니다. crontab -e
• 텍스트 편집기에서 다음 줄을 삽입하여 매일 오전 6시에 14일 이상 지난 세션 로그를 삭제합니다.

* 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

• 다음을 사용하여 새 루트 사용자 cron 작업의 내용을 봅니다. crontab -l
• 파일 시스템이 100%에 도달하지 않도록 로그 보존 일수를 수정할 수 있습니다.