NVP-vProxy: veri01 dolduğunda yedeklemeler "panik meydana geldi çalışma zamanı hatası" ile başarısız oluyor
Summary: NetWorker VMware Protection (NVP) vProxy yedeklemeleri, vProxy cihazındaki /data01 bölümü %100 kapasiteye ulaştığında "-500: Panic occurred: runtime error" hatasıyla başarısız oluyor. /data01 bölümü, yedekleme oturumu günlüklerini varsayılan olarak bir aylık saklama süresiyle depolar. Bölüm dolduğunda vProxy oturum günlüklerini yazamaz ve yedekleme işlemi panikler. ...
Symptoms
VM yedeklemeleri belirli bir vProxy cihazında zaman zaman başarısız oluyor. NetWorker iş akışı günlüğünde panik çalışma zamanı mesajıyla birlikte 500 hatası gösteriliyor:
MM/DD/YYYY HH:MM:SS [VM_NAME]: Unable to start backup on vProxy '[VPROXY_NAME]': Received an HTTP code: 500, libCURL message: "", vProxy message: "Error received from vProxy ="-500: Panic occurred: runtime error: invalid memory address or nil pointer dereference". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions", body: "{"Config":{"SessionId":"","LogTag":"@(#) Build number: 288","IdleTimeout":300,"LogLevel":"TRACE","AcceptedLanguage":"en","TransportModeRequested":"hotadd","Parallelism":1,"UseCbt":true,"AutoEnableCbt":true,"AutoRepairCbt":true,"VimServerRef":{"HostName":"[VCENTER_NAME]","UserName":"S001891","UserPassword":"****","TcpPort":0},"VmSpec":{"Name":"[VM_NAME]","VmMoref":"vm-152712","VirtualDisks":[{"Label":"Hard disk 1","Key":2000}],"CustomFieldName":"Last EMC vProxy Backup","CustomFieldValue":"Backup Server=[NSR_NAME], Policy=[POLICY_NAME], Workflow=[WORKFLOW_NAME], Action=[ACTION_NAME], JobId=490597"},"SnapshotSpec":{"Name":"NetWorker Backup Snapshot","Description":"Snapshot is created as part of protecting this VM by EMC NetWorker VProxy.","Quiesce":false,"DumpMemory":false,"RemoveAll":false,"Consolidate":false},"TargetSpec":{"DeviceType":"DataDomain","HostName":"[DATADOMAIN_NAME]","UserName":"boostadmin","UserPassword":"****","BackupMode":"VSS","BackupPath":"[NSR_NAME]/[DEVICE_NAME]//[NSR_NAME]/[DEVICE_NAME]/05/47/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4","PreviousBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/75/82/7f12c16b-00000006-2720fcc2-5b20fcc2-40eae9f4-822ca7d4","CurrentBackupPath":"/[NSR_NAME]/[DEVICE_NAME]/active/e03a0faf-00000006-9122ca5e-5b22ca5e-5380e9f4-822ca7d4"}}}".
Trafik /data01 vProxy cihazındaki dosya sistemi %100 kullanım gösteriyor:
myvproxy:/data01/runtime/logs # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 17G 2.7G 14G 18% /
devtmpfs 3.9G 8.0K 3.9G 1% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 8.8M 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda4 17G 2.7G 14G 18% /.snapshots
/dev/sda4 17G 2.7G 14G 18% /var/crash
/dev/sda4 17G 2.7G 14G 18% /var/tmp
/dev/sda4 17G 2.7G 14G 18% /usr/local
/dev/sda4 17G 2.7G 14G 18% /var/spool
/dev/sda4 17G 2.7G 14G 18% /var/lib/pgsql
/dev/sda4 17G 2.7G 14G 18% /var/opt
/dev/sda4 17G 2.7G 14G 18% /var/lib/mailman
/dev/sda4 17G 2.7G 14G 18% /var/lib/named
/dev/sda4 17G 2.7G 14G 18% /srv
/dev/sda4 17G 2.7G 14G 18% /opt
/dev/sda4 17G 2.7G 14G 18% /home
/dev/sda4 17G 2.7G 14G 18% /tmp
/dev/sda4 17G 2.7G 14G 18% /var/log
/dev/sdb1 82G 82G 20K 100% /data01
/dev/sda2 95M 73M 18M 81% /boot
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/x86_64-efi
/dev/sda4 17G 2.7G 14G 18% /boot/grub2/i386-pc
/dev/sdb2 16G 33M 16G 1% /data01/logs
Alan, içindeki yedekleme oturumu günlükleri tarafından tüketilir. /opt/emc/vproxy/runtime/logs/. Bu günlükler /data01 bölünmesine kurtaramazsınız. Farklı vProxy cihazlarındaki diğer VM'ler başarıyla yedeklenmeye devam eder.
Cause
Trafik /data01 vProxy cihazındaki dosya sistemi, yedekleme oturumu günlüklerini /opt/emc/vproxy/runtime/. Varsayılan günlük saklama süresi bir aydır. Yüksek yedekleme etkinliğine sahip ortamlarda oturum günlükleri, mevcut alanın tamamını /data01.
Bölüm %100'e ulaştığında vProxy yeni oturum günlüğü dosyaları oluşturamaz. Yedekleme işlemi, günlüğü yazamadığında sıfır işaretçi referansıyla karşılaşır. Bu, HTTP durum kodu 500 olan bir panik çalışma zamanı hatasını tetikler.
Resolution
1. Seçenek — vProxy cihazını yeniden dağıtma
PPDM veya NetWorker konsolundan vProxy cihazını yeniden dağıtın. Yeniden dağıtım, mevcut tüm günlükleri temizler ve /data01 bölünmesine kurtaramazsınız.
2. Seçenek — Manuel Olarak Alan Geri Kazanımı
Yeniden dağıtım hemen mümkün değilse:
- SSH üzerinden vProxy'de şu biçimde oturum açın:
admin. Değiştir:root:sudo su - root - Yer kazanmak için eski geri dönüştürülmüş oturum günlüklerini silin:
find /opt/emc/vproxy/runtime/logs/recycle/ -type f -mtime +14 -delete - Alanın geri kazanıldığını doğrulayın:
df -h /data01 - Etkilenen VM'ler için yedeklemeyi yeniden deneyin.
Tekrarlamayı Önle — Günlük temizleme cron işi yapılandırma
/data01'in tekrar %100'e ulaşmasını önlemek için zamanlanmış bir temizleme işi oluşturun:
- SSH üzerinden vProxy'de şu biçimde oturum açın:
admin. Değiştir:root:sudo su - root - Şunun için bir crontab girişi oluşturun:
rootUsercrontab -e - 14 günden eski oturum günlüklerini her gün 06.00'da silmek için aşağıdaki satırı ekleyin:
0 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete - Kaydedin ve BIOS'tan çıkın. Doğrulayın:
cronjobcrontab -l
cron İşin yeniden oluşturulması gerekir.
Dell Destek ile İletişim Kurun
if /data01 temizleme işlemi uygulandıktan sonra hızla dolmaya devam ediyorsa daha fazla araştırma için Dell Destek ekibiyle iletişime geçin. Şu KB makalesine bakın:
Additional Information
Aşağıdaki adresten günlükler silinerek vProxy'nin /data01 bağlantı noktasında alan geri kazanılabilir: /data01/runtime/logs/recycle/
14 günlük günlükleri silen bir cron işi oluşturmak için örnek bir prosedür aşağıda verilmiştir:
- SSH üzerinden vProxy'de yönetici olarak oturum açın ve kök kullanıcıya geçin:
sudo su - root - Şu komutla kök kullanıcı için bir crontab işi oluşturun:
crontab -e - 14 günden eski oturum günlüklerini her gün saat 06.00'da silmek için metin düzenleyicide aşağıdaki satırı ekleyin:
* 6 * * * find /opt/emc/vproxy/runtime/logs/recycle/vbackupd -type f -mtime +14 -delete
- Yeni kök kullanıcı cron işinin içeriğini şu komutla görüntüleyin:
crontab -l - Günlüklerin tutulacağı gün sayısı, dosya sisteminin %100 e ulaşmasını engelleyecek şekilde değiştirilebilir.