Avamar: VMware-imageherstel mislukt "Time-out on wait for spawned restore metadata"

VMware image herstelt naar nieuwe virtuele machine of imageherstel naar nieuwe schijf mislukt met de volgende fout:
 

avvcbimage Error <0000>: [IMG0011] Timeout on wait for spawned restore metadata avtar process to complete

Bij het herstellen naar een nieuwe VM of schijf moet de normale herstelworkflow een "mini-herstel" uitvoeren van de VM-configuratiebestanden van de door de gebruiker geselecteerde back-up. Deze bestanden worden aangeduid als .vmx- en .vmdk-descriptorbestanden.

Zodra de data zijn hersteld, neemt de proxy de herstelde VM-configuratie en bouwt een nieuwe virtuele VM-schijf. Vervolgens kan de image van de virtuele schijf worden hersteld. De mini-hersteltaak genaamd "metadataherstel" heeft een standaard time-out van 5 minuten. Aangezien het vmx-herstel klein is (meestal ~15 kb), duurt het slechts enkele seconden om dit te herstellen.   

Waar dit gedrag echter optreedt in het herstellogboek dat we zien: 

1. 2017-04-14 12:50:21 avvcbimage Info : Process 4486 (/usr/local/avamarclient/bin/avtar) for workorder MOD-1492174248297#99 started
2. 2017-04-14 12:55:21 avvcbimage Error : [IMG0011] Timeout on wait for spawned restore metadata avtar process to complete
3. 2017-04-14 12:59:51 avvcbimage Info : Process 4486 (/usr/local/avamarclient/bin/avtar) finished (code 0: success)

De logboekberichten laten zien dat de totale benodigde tijd 9 minuten en 30 seconden was, maar uiteindelijk slaagde het metadataherstel. De hersteltaak voor de image is echter mislukt omdat de standaardtijd van het subproces van 5 minuten of 300 s is overschreden.

Het Data Domain is geconfigureerd met een interfacegroep (ifgroup) die de ddboost-client (avtar) vertelt om verbinding te maken met een interface. Deze interface wordt geblokkeerd tussen de client (proxy)

Controleer dd-instellingen vanaf de Data Domain-opdrachtregel of webpagina. 
Voorbeeldinstellingen: 

sysadmin@ddve# Ifgroup Show Config
Group-name   Status    Interfaces
----------   -------   ----------
default      enabled   192.168.69.80
----------   -------   ----------

sysadmin@ddve  net show config
ethV0     Link encap:Ethernet  HWaddr 00:50:56:98:A6:66
          inet addr:10.240.196.80  Bcast:10.240.196.255  Mask:255.255.255.0


ethV1     Link encap:Ethernet  HWaddr 00:50:56:98:56:8F
          inet addr:192.168.69.80  Bcast:192.168.69.255  Mask:255.255.255.0

In the example above the default Ifgroup  setting will cause the client to initially connect to primary/management interface of 10.240.196.80 but will see the ifgroup settings and try to connect with 192.168.69.80.

RPC has a default time-out value of 180 seconds but the client will try multiple times (3 in this case) which would add up to a total of 540 seconds or 9.5 mins.  After trying three times the connection will fallback to 10.240.196.80 but by this time the image restore job would have timed out.   

From the proxy run this series of commands to confirm the issue replacing the IP addresses as appropriate: 

1. rpcinfo -p 192.168.69.80 (command stops responding for 3 min) 
2. rpcinfo -p <data domain fully qualified  hostname> 
3. rpcinfo -p 10.120.24.49   

Oplossing: 
Open de verbinding tussen client en Data Domain ifgroup-interfaces.
Een andere optie is om de ifgroup uit te schakelen.

Alternatieve tijdelijke oplossing:
Verhoog de time-outwaarde voor het subproces, bijvoorbeeld tot 10 minuten (600 s). Hierdoor kan het herstel worden voltooid.  
Voeg hiervoor een parameter toe --subprocesstimeoutsecs=600 naar de avvcbimageAll.cmd bestand, bevindt zich in /usr/local/avamarclient/var/ op de proxy

Zie voor meer informatie over het bewerken van het avvcmimage.cmd bestand 

• Avamar: Logboeken verzamelen voor het oplossen van problemen met de back-up van Avamar VMware images-

Gerelateerd artikel: Avamar - VMware Image herstellen is mislukt met fatale foutmelding 'GetDiskAssigned Failed' (mogelijk moet u zich aanmelden bij Dell Support)