NVP-vProxy: los respaldos fallan con "error de tiempo de ejecución producido por el pánico" cuando data01 está lleno

Los respaldos de VM fallan de forma intermitente en un dispositivo vProxy específico. El registro del flujo de trabajo de NetWorker muestra un error 500 con un mensaje de tiempo de ejecución de estado de alarma:

MM/DD/YYYY HH:MM:SS [VM_NAME]: Unable to start backup on vProxy '[VPROXY_NAME]': Received an HTTP code: 500, libCURL message: "", vProxy message: "Error received from vProxy ="-500: Panic occurred: runtime error: invalid memory address or nil pointer dereference". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions", body: "{"Config":{"SessionId":"","LogTag":"@(#) Build number: 288","IdleTimeout":300,"LogLevel":"TRACE","AcceptedLanguage":"en","TransportModeRequested":"hotadd","Parallelism":1,"UseCbt":true,"AutoEnableCbt":true,"AutoRepairCbt":true,"VimServerRef":{"HostName":"[VCENTER_NAME]","UserName":"S001891","UserPassword":"****","TcpPort":0},"VmSpec":{"Name":"[VM_NAME]","VmMoref":"vm-152712","VirtualDisks":[{"Label":"Hard disk 1","Key":2000}],"CustomFieldName":"Last EMC vProxy Backup","CustomFieldValue":"Backup Server=[NSR_NAME], Policy=[POLICY_NAME], Workflow=[WORKFLOW_NAME], Action=[ACTION_NAME], JobId=490597"},"SnapshotSpec":{"Name":"NetWorker Backup Snapshot","Description":"Snapshot is created as part of protecting this VM by EMC NetWorker VProxy.","Quiesce":false,"DumpMemory":false,"RemoveAll":false,"Consolidate":false},"TargetSpec":{"DeviceType":"DataDomain","HostName":"[DATADOMAIN_NAME]","UserName":"boostadmin","UserPassword":"****","BackupMode":"VSS","BackupPath":"[NSR_NAME]/[DEVICE_NAME]//[NSR_NAME]/[DEVICE_NAME]/05/47/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4","PreviousBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/75/82/7f12c16b-00000006-2720fcc2-5b20fcc2-40eae9f4-822ca7d4","CurrentBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/active/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4"}}}".

El archivo /data01 El sistema de archivos en el dispositivo vProxy muestra una utilización del 100 %:

myvproxy:/data01/runtime/logs # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 17G 2.7G 14G 18% /
devtmpfs 3.9G 8.0K 3.9G 1% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 8.8M 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda4 17G 2.7G 14G 18% /.snapshots
/dev/sda4 17G 2.7G 14G 18% /var/crash
/dev/sda4 17G 2.7G 14G 18% /var/tmp
/dev/sda4 17G 2.7G 14G 18% /usr/local
/dev/sda4 17G 2.7G 14G 18% /var/spool
/dev/sda4 17G 2.7G 14G 18% /var/lib/pgsql
/dev/sda4 17G 2.7G 14G 18% /var/opt
/dev/sda4 17G 2.7G 14G 18% /var/lib/mailman
/dev/sda4 17G 2.7G 14G 18% /var/lib/named
/dev/sda4 17G 2.7G 14G 18% /srv
/dev/sda4 17G 2.7G 14G 18% /opt
/dev/sda4 17G 2.7G 14G 18% /home
/dev/sda4 17G 2.7G 14G 18% /tmp
/dev/sda4 17G 2.7G 14G 18% /var/log
/dev/sdb1 82G 82G 20K 100% /data01
/dev/sda2 95M 73M 18M 81% /boot
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/x86_64-efi
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/i386-pc
/dev/sdb2 16G 33M 16G 1% /data01/logs

El espacio es consumido por los registros de la sesión de respaldo en /opt/emc/vproxy/runtime/logs/. Estos registros residen en el /data01 FAT32. Otras VM en diferentes dispositivos vProxy continuarán respaldándose correctamente.

El archivo /data01 El sistema de archivos en el dispositivo vProxy almacena registros de sesiones de respaldo en /opt/emc/vproxy/runtime/. La retención predeterminada de registros es de un mes. En ambientes con alta actividad de respaldo, los registros de sesión pueden consumir todo el espacio disponible en /data01.

Cuando la partición alcanza el 100 %, el vProxy no puede crear nuevos archivos de registro de sesión. El proceso de respaldo detecta una desreferencia de puntero nulo cuando no puede escribir el registro. Esto desencadena un error de tiempo de ejecución de pánico con el código de estado HTTP 500.

Opción 1: vuelva a implementar el dispositivo vProxy

Vuelva a implementar el dispositivo vProxy desde la consola de NetWorker o PPDM. La reimplementación borra todos los registros existentes y restaura el /data01 FAT32.

Opción 2: Recuperación manual del espacio

Si la reimplementación no es posible de inmediato:

1. Inicie sesión en ACM usando SSH como el admin. Cambiar a root:

   sudo su - root

2. Elimine los registros de sesión reciclados antiguos para recuperar espacio:

   find /opt/emc/vproxy/runtime/logs/recycle/ -type f -mtime +14 -delete

3. Verifique que el espacio se haya recuperado:

   df -h /data01

4. Vuelva a intentar el respaldo de las VM afectadas.

Evitar recurrencia: configurar un trabajo cron de limpieza de registros

Para evitar que /data01 vuelva a alcanzar el 100 %, cree un trabajo de limpieza programado:

1. Inicie sesión en ACM usando SSH como el admin. Cambiar a root:

   sudo su - root

2. Cree una entrada crontab para el archivo root Usuario:

   crontab -e

3. Agregue la siguiente línea para eliminar registros de sesión de más de 14 días todos los días a las 6 a. m.:

   0 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

4. Guarde el archivo y salga de él. Verifique lo siguiente: cron Trabajos

   crontab -l

Comunicarse con el soporte de Dell

Si /data01 continúa llenándose rápidamente después de implementar la limpieza, comuníquese con el soporte de Dell para realizar una investigación más detallada. Consulte este artículo de la base de conocimientos:

Para recuperar espacio en el punto de montaje /data01 del vProxy, elimine los registros de: /data01/runtime/logs/recycle/

Este es un procedimiento de ejemplo para crear un trabajo cron que elimine los registros que tienen 14 días de antigüedad:

• Inicie sesión como administrador en el vProxy a través de SSH y, a continuación, cambie a root: sudo su - root
• Cree un trabajo crontab para el usuario raíz con: crontab -e
• En el editor de texto, inserte la siguiente línea para eliminar los registros de sesión de más de 14 días todos los días a las 6 a. m.:

* 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

• Vea el contenido del nuevo trabajo cron de usuario raíz con: crontab -l
• La cantidad de días que se conservarán los registros se puede modificar para evitar que el sistema de archivos alcance el 100 %.