NVP vProxy: VMware-näkymää ei päivitetä ja kaikki virtuaalikoneiden varmuuskopioinnit epäonnistuvat

• VMware vCenterit lisätään NetWorker-palvelimeen NetWorker VMware Protection vProxy-varmuuskopiointia varten.
• NetWorker Management Console>Protection>VMware View -välilehti ei päivity:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Automatisoitu nsrvim vCenter-varastokyselyyn käytetty prosessi epäonnistuu. NetWorker-palvelimen daemon.log ilmoittaa:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Virtuaalikoneiden (VM) varmuuskopioinnit vCenteristä epäonnistuvat, ja varmuuskopiointi-istunnon lokissa näkyy samanlainen virheilmoitus:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker-palvelin voi saavuttaa vCenter-palvelimen portin 443:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Kuvatut virheet ja oireet voivat olla yhdenmukaisia tai ilmaantua ajoittain.

Näyttöön tulee virhe, joka ilmaisee, että toiminto on keskeytynyt tai aikakatkaistu. Aikakatkaisu on kuitenkin 3 600 s (1 tunti) ja virhe ilmenee ennen 1 tunnin kynnyksen ylittymistä. Prosessi keskeytyy.

• Verkon reititys- tai palomuuriongelma.
• vCenter-palvelin sulkee yhteyden, ennen kuin nsrvim Inventointiprosessi on valmis.

Tapaus 1: Palomuuriin on määritetty mukautuva sääntö, joka sallii NetWorker-palvelimen muodostaa yhteyden vCenteriin over 443, mutta sulkee yhteyden, kun NetWorker nsrvim prosessi on vCenterin inventointi.

Tapaus 2: vCenter-palvelin lähettää FIN-segmentin nsrvim sovellus PDU. 

NetWorker-palvelimen nsrvim Tätä prosessia käytetään VMware-resurssien kyselyyn vCenter-palvelimissa. Tämä prosessi suoritetaan NetWorker-palvelimessa oletusarvoisesti 15 minuutin välein aina, kun NMC:n VMware-näkymässä tehdään "päivitys" tai kun VM-suojaustyö alkaa.

Verkon tai palomuurin järjestelmänvalvojan on tarkistettava, estävätkö palomuurisäännöt yhteydet NetWorker-palvelimen ja vCenter-palvelimen portin 443 kautta. Jos sääntöjä on määritetty, poista ne tilapäisesti käytöstä, jotta näet, onko ongelma korjattu NetWorkerissa. Jos sääntöjen poistaminen sallii VMware View'n päivityksen ja VMware-varmuuskopioinnin valmistumisen, palomuuriin tai reitityssääntöihin on tehtävä muutoksia, jotta NetWorker-palvelimen ja vCenterin väliset yhteydet eivät katkea.

Tarvittavat portit ja verkon topologiakaaviot on kuvattu NetWorker VMware Integration Guide -oppaassa, joka on saatavilla Dell-tuen NetWorker-tukisivustolta

.Verkonvalvoja voi myös käyttää pakettien sieppaustyökaluja (tcpdump, Wireshark) NetWorker-palvelimelta ja vCenteristä. Kun ongelma toistuu, tarkista pakettisieppauksista, sulkeeko vCenter-palvelin varastoistunnon.

Windows: https://www.wireshark.org/
Linux NetWorker-palvelin ja vCenter-palvelin: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Esimerkki komennosta:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup -vaihtoehto ilmaisee, että komentoa suoritetaan taustalla, kunnes pid lopetetaan kill komento.
• -i Määrittää liittymän, voit käyttää anytai määritä järjestelmän verkkoliittymän nimi, kuten eth0.
• -s 0 määrittää kuvan pituudeksi 65535 (koko kehys tallennetaan).
• -C 500 -vaihtoehto määrittää tiedoston kooksi 500 000 000 tavua.
• -w -vaihtoehto ilmaisee tulostetiedoston sijainnin. Näkyvä tulostiedosto luodaan automaattisesti järjestelmän isäntänimellä ja VVVV-KK-PP jolla se suoritettiin. .pcap-tiedosto voidaan analysoida Wiresharkissa.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Virheestä ilmoitetaan NetWorker-palvelimen daemon.raw.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Poista käytöstä nsrdispd Tee virheenkorjaus ja pysäytä tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 -versiossa ja sitä uudemmissa versioissa varmuuskopioinnin järjestelmänvalvoja voi muuttaa nsrvim väli. Oletusväli on 15 minuuttia; Tätä voidaan kuitenkin pidentää mihin tahansa enintään 60 minuutin välein. Tämä ominaisuus on kuvattu NVP vProxyssa: NetWorker nsrvim -prosessi suoritetaan 15 minuutin välein, mikä aiheuttaa vCenter Serverin suuren kuormituksen ja mahdollisesti vxd:n käyttökatkon.