NVP-vProxy: Back-ups mislukken met 'panic occurred runtime error' wanneer data01 vol is

VM-back-ups mislukken af en toe op een specifiek vProxy-apparaat. Het NetWorker-workflowlogboek bevat een 500-fout met een panic runtime-bericht:

MM/DD/YYYY HH:MM:SS [VM_NAME]: Unable to start backup on vProxy '[VPROXY_NAME]': Received an HTTP code: 500, libCURL message: "", vProxy message: "Error received from vProxy ="-500: Panic occurred: runtime error: invalid memory address or nil pointer dereference". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions", body: "{"Config":{"SessionId":"","LogTag":"@(#) Build number: 288","IdleTimeout":300,"LogLevel":"TRACE","AcceptedLanguage":"en","TransportModeRequested":"hotadd","Parallelism":1,"UseCbt":true,"AutoEnableCbt":true,"AutoRepairCbt":true,"VimServerRef":{"HostName":"[VCENTER_NAME]","UserName":"S001891","UserPassword":"****","TcpPort":0},"VmSpec":{"Name":"[VM_NAME]","VmMoref":"vm-152712","VirtualDisks":[{"Label":"Hard disk 1","Key":2000}],"CustomFieldName":"Last EMC vProxy Backup","CustomFieldValue":"Backup Server=[NSR_NAME], Policy=[POLICY_NAME], Workflow=[WORKFLOW_NAME], Action=[ACTION_NAME], JobId=490597"},"SnapshotSpec":{"Name":"NetWorker Backup Snapshot","Description":"Snapshot is created as part of protecting this VM by EMC NetWorker VProxy.","Quiesce":false,"DumpMemory":false,"RemoveAll":false,"Consolidate":false},"TargetSpec":{"DeviceType":"DataDomain","HostName":"[DATADOMAIN_NAME]","UserName":"boostadmin","UserPassword":"****","BackupMode":"VSS","BackupPath":"[NSR_NAME]/[DEVICE_NAME]//[NSR_NAME]/[DEVICE_NAME]/05/47/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4","PreviousBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/75/82/7f12c16b-00000006-2720fcc2-5b20fcc2-40eae9f4-822ca7d4","CurrentBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/active/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4"}}}".

De toetsen /data01 bestandssysteem op de vProxy Appliance toont 100% gebruik:

myvproxy:/data01/runtime/logs # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 17G 2.7G 14G 18% /
devtmpfs 3.9G 8.0K 3.9G 1% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 8.8M 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda4 17G 2.7G 14G 18% /.snapshots
/dev/sda4 17G 2.7G 14G 18% /var/crash
/dev/sda4 17G 2.7G 14G 18% /var/tmp
/dev/sda4 17G 2.7G 14G 18% /usr/local
/dev/sda4 17G 2.7G 14G 18% /var/spool
/dev/sda4 17G 2.7G 14G 18% /var/lib/pgsql
/dev/sda4 17G 2.7G 14G 18% /var/opt
/dev/sda4 17G 2.7G 14G 18% /var/lib/mailman
/dev/sda4 17G 2.7G 14G 18% /var/lib/named
/dev/sda4 17G 2.7G 14G 18% /srv
/dev/sda4 17G 2.7G 14G 18% /opt
/dev/sda4 17G 2.7G 14G 18% /home
/dev/sda4 17G 2.7G 14G 18% /tmp
/dev/sda4 17G 2.7G 14G 18% /var/log
/dev/sdb1 82G 82G 20K 100% /data01
/dev/sda2 95M 73M 18M 81% /boot
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/x86_64-efi
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/i386-pc
/dev/sdb2 16G 33M 16G 1% /data01/logs

De ruimte wordt gebruikt door back-upsessielogboeken in /opt/emc/vproxy/runtime/logs/. Deze logs bevinden zich op de /data01 Partities Van andere VM's op verschillende vProxy-apparaten wordt nog steeds een back-up gemaakt.

De toetsen /data01 bestandssysteem op het vProxy-apparaat slaat back-upsessielogboeken op in /opt/emc/vproxy/runtime/. De standaard logboekretentie is één maand. In omgevingen met veel back-upactiviteit kunnen de sessielogboeken alle beschikbare ruimte op /data01.

Wanneer de partitie 100% bereikt, kan de vProxy geen nieuwe sessielogboekbestanden maken. Het back-upproces ondervindt een dereferentie van nul aanwijzers wanneer het niet lukt om het logboek te schrijven. Dit veroorzaakt een panic runtime-fout met HTTP-statuscode 500.

Optie 1: het vProxy-apparaat opnieuw implementeren

Implementeer het vProxy-apparaat opnieuw vanuit de PPDM- of NetWorker-console. Bij herimplementatie worden alle bestaande logboeken gewist en de /data01 Partities

Optie 2 — Handmatig ruimte vrijmaken

Als herplaatsing niet onmiddellijk mogelijk is:

1. Meld u aan bij de vProxy via SSH als admin. Overschakelen naar root:

   sudo su - root

2. Verwijder oude gerecyclede sessielogboeken om ruimte vrij te maken:

   find /opt/emc/vproxy/runtime/logs/recycle/ -type f -mtime +14 -delete

3. Controleren of ruimte is vrijgemaakt:

   df -h /data01

4. Probeer de back-up voor de getroffen VM's opnieuw uit te voeren.

Herhaling voorkomen - Configureer een Cron-taak voor het opschonen van logboeken

Als u wilt voorkomen dat /data01 opnieuw 100% bereikt, maakt u een geplande opschoontaak:

1. Meld u aan bij de vProxy via SSH als admin. Overschakelen naar root:

   sudo su - root

2. Maak een crontab-item voor de root Gebruiker:

   crontab -e

3. Voeg de volgende regel toe om elke dag om 6 uur 's ochtends sessielogboeken ouder dan 14 dagen te verwijderen:

   0 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

4. Sla de editor op en sluit deze af. Controleer de cron Taken

   crontab -l

Neem contact op met Dell Support

Als de /data01 blijft snel vol na het implementeren van het opschonen, neem contact op met Dell Support voor verder onderzoek. Raadpleeg dit KB-artikel.

Ruimte kan worden vrijgemaakt op het /data01-koppelpunt van de vProxy door logboeken te verwijderen van: /data01/runtime/logs/recycle/

Hier volgt een voorbeeldprocedure voor het maken van een cron-taak die de logboeken verwijdert die 14 dagen oud zijn:

• Meld u aan bij de vProxy via SSH als admin en schakel vervolgens over naar root: sudo su - root
• Maak een crontab-taak voor de rootgebruiker met: crontab -e
• Voeg in de teksteditor elke dag om 6 uur 's ochtends de volgende regel in om de sessielogboeken ouder dan 14 dagen te verwijderen:

* 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete

• Bekijk de inhoud van de nieuwe rootgebruiker cron-taak met: crontab -l
• Het aantal dagen dat logboeken moeten worden bewaard, kan worden gewijzigd om te voorkomen dat het bestandssysteem 100% bereikt.