Avamar onderhoudstaken mislukken met "MSG_ERR_DISKFULL" vanwege de capaciteit van het besturingssysteem voor datapartitie >89%

Plotselinge en grote hoeveelheden verandering in de data waarvan een Avamar-client een back-up heeft gemaakt, kunnen een negatief effect hebben op het systeem. Als er op een bepaald moment te veel data worden toegevoegd of verwijderd uit de Avamar, kan de capaciteit van het besturingssysteem pieken waardoor onderhoud mislukt met MSG_ERR_DISKFULL.

Checkpoints volgen wijzigingen op Avamar, zodat Avamar, als een rollback nodig is, kan worden geretourneerd naar dat moment in de tijd. Wanneer een grote hoeveelheid data wordt toegevoegd of verwijderd, wordt het controlepunt groter en verbruikt het extra ruimte in het besturingssysteem.

Let hieronder op hoe onderhoudsactiviteiten (garbage collection en checkpoints) mislukken met MSG_ERR_DISKFULL.

status.dpn
Wed Jul 27 17:58:15 IST 2016  [XX.XXX.XX.XX] Wed Jul 27 12:28:15 2016 UTC (Initialized Thu Sep 25 01:15:04 2014 UTC)
Node   IP Address     Version   State   Runlevel  Srvr+Root+User Dis Suspend Load UsedMB Errlen  %Full   Percent Full and Stripe Status by Disk
0.0    XX.XXX.XX.XX   7.0.2-43  ONLINE fullaccess mhpu+0hpu+0000   1  true   0.46 6984 12272277  64.1%  64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:447) 64%(onl:444) 64%(onl:444) 64%(onl:446) 64%(onl:444) 64%(onl:446)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable

All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0000)
System-Status: ok
Access-Status: admin


Checkpoint failed with result MSG_ERR_DISKFULL : cp.20160726183227 started Wed Jul 27 00:02:57 2016 ended Wed Jul 27 00:02:57 2016, completed 0 of 5335 stripes
Last GC: finished Wed Jul 27 15:09:55 2016 after 00m 30s >> recovered 0.00 KB (MSG_ERR_DISKFULL)
Last hfscheck: finished Mon May 23 00:25:47 2016 after 23m 13s >> checked 1359 of 1359 stripes (OK)

Maintenance windows scheduler capacity profile is active.
  WARNING: Scheduler is STOPPED.
  Next backup window start time: Thu Jul 28 10:00:00 2016 IST
  Next maintenance window start time: Thu Jul 28 00:00:00 2016 IST

De Avamar server heeft een zeer hoge gebruikerscapaciteit en een hoge capaciteit van het besturingssysteem.

mccli server show-prop

admin@avamar:~/>: mccli server show-prop
0,23000,CLI command completed successfully.
Attribute                                    Value
-------------------------------------------- ----------------------------
State                                        Suspended
Active sessions                              0
Total capacity                               11.6 TB
Capacity used                                11.6 TB
Server utilization                           98.9%
Bytes protected (client pre-comp size)       3.1 TB
Bytes protected quota (client pre-comp size) Not configured
License expiration                           Never
Time since Server initialization             3088 days 17h:48m
Last checkpoint                              2023-03-02 16:06:05 BRT
Last validated checkpoint                    2023-03-02 16:00:42 BRT
System Name                                  AVAMAR.XXX.XXX
System ID                                    1234567890@00:1E:67:75:C8:AD
HFSAddr                                      10.123.123.123
HFSPort                                      27000
IP address                                   10.123.123.123
Number of nodes                              3
Nodes Online                                 0
Nodes Offline                                0
Nodes Read-only                              3
Nodes Timed-out                              0
admin@avamar:~/>:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="96.9"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
admin@avamar:~/>:

Als de Avamar server een multinode is, kan de volgende opdracht helpen bij het identificeren van de hoge capaciteit van het besturingssysteem per knooppunt:

 

avmaint nodelist | egrep 'nodetag|fs-percent-full'

admin@avamar:~/>: avmaint nodelist | egrep 'nodetag|fs-percent-full'
      nodetag="0.2"
        fs-percent-full="96.7"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
      nodetag="0.1"
        fs-percent-full="96.9"
        fs-percent-full="96.4"
        fs-percent-full="96.8"
      nodetag="0.0"
        fs-percent-full="96.3"
        fs-percent-full="96.8"
        fs-percent-full="96.7"
admin@avamar:~/>:

capacity.sh

  DATE     AVAMAR NEW     #BU    DDR NEW     #BU    SCANNED       REMOVED     MINS PASS AVAMAR NET      CHG RATE
========== ============= ==== ============= ==== ============= =============  ==== ==== ============= ==========
2015-09-04    1770185 mb  367   36590255 mb 4414  427354917 mb   -1155011 mb   179   36     615174 mb      8.98%
2015-09-05    1799386 mb  366   35834788 mb 4384  424229450 mb    -967906 mb   158   36     831480 mb      8.87%
2015-09-06    1641614 mb  366   36339601 mb 4387  422918309 mb    -715952 mb    95   36     925662 mb      8.98%
2015-09-07    1482274 mb  368   36021600 mb 4382  422096834 mb   -1369565 mb   182   35     112708 mb      8.89%
2015-09-08    1476971 mb  376   35466632 mb 4379  418749502 mb    -882663 mb   120   36     594307 mb      8.82%
2015-09-09    2338688 mb  377   36564862 mb 4408  426949173 mb    -521711 mb   102   36    1816976 mb      9.11%
2015-09-10    1830728 mb  482   36776445 mb 4303  423650873 mb    -369845 mb    80   36    1460882 mb      9.11%
2015-09-11   10323736 mb  478   33010286 mb 4416  435953105 mb   -1016271 mb   159   34    9307465 mb      9.94%
2015-09-12    8773933 mb  473   32431241 mb 4399  442013401 mb    -167120 mb    64   35    8606813 mb      9.32%
2015-09-13    8834627 mb  485   31265504 mb 4378  434459112 mb    -186507 mb    60   35    8648119 mb      9.23%
2015-09-14    8605313 mb  479   31150950 mb 4391  434117515 mb     -32753 mb    41   35    8572559 mb      9.16%
2015-09-15   10727441 mb  478   32164212 mb 4393  435520200 mb     -58643 mb    53   36   10668797 mb      9.85%
2015-09-16   10133770 mb  477   31557436 mb 4396  432462001 mb     -55780 mb    43   36   10077989 mb      9.64%
2015-09-17    9941271 mb  477   30824614 mb 4419  434292081 mb     -68284 mb    53   35    9872986 mb      9.39%
2015-09-18   10147447 mb  416   24608011 mb 3237  319673822 mb    -577890 mb   124   35    9569557 mb     10.87%
================================================================================================================
14 DAY AVG   5988492 mb  431   33373763 mb 4312  422296020 mb    -543060 mb   101   35    5445432 mb      9.32%
30 DAY AVG   3622366 mb  403   36648167 mb 4353  427001356 mb   -1326697 mb   150   34    2295669 mb      9.43%
60 DAY AVG   3047161 mb  392   34199043 mb 4323  417800256 mb   -1489983 mb   159   34    1557178 mb      8.91%

Controleer of checkpointretentie is ingesteld op de standaardwaarden.

avmaint config --ava | grep -i "cpmostrecent\|cphfschecked"
cpmostrecent="2"
cphfschecked="1"

Schakel async crunching uit, zodat de capaciteit van het besturingssysteem niet blijft groeien tijdens het probleemoplossingsproces.

avmaint config --ava asynccrunching=false
admin@avamar:~/>: avmaint config --ava asynccrunching=false
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<gsanconfig asynccrunching="true"/>
admin@avamar:~/>:

Controleer de huidige status van de capaciteit van het besturingssysteem:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="90.9"
        fs-percent-full="91.0"
        fs-percent-full="91.2"
admin@avamar:~/>:

De uitvoer van deze opdracht bepaalt de volgende acties:

Scenario 1 besturingssysteemcapaciteit is hoger dan 89% maar lager dan 96%.

Checkpoints zijn nog steeds voltooid. De capaciteit van het besturingssysteem wordt verlaagd wanneer Avamar de volgende onderhoudscyclus doorloopt.

Scenario #2 besturingssysteemcapaciteit is boven 96% maar onder 98%.

Controleer of de checkpoint-retentie is ingesteld op de juiste waarden zoals beschreven in scenario 1. Als op de checkpoints de juiste bewaarperiode is ingesteld, opent u een case met support.

Scenario 3 besturingssysteemcapaciteit is hoger dan 98%.

Open een case met support. 

Zie voor meer informatie over problemen met de capaciteit van het Avamar-besturingssysteem: Avamar: Capaciteitsbeheerconcepten en -training

Voor Avamar-onderhoudsactiviteiten is een bepaalde hoeveelheid vrije ruimte van het besturingssysteem nodig om uit te voeren zoals wordt weergegeven in het onderstaande diagram.

Gegeven standaardinstellingen, als de capaciteit van het besturingssysteem is

• >89% = garbage> collection kan niet starten
• >96% ==> checkpoints worden uitgevoerd

 

100%   "---------------------" <-- 100% Data partition capacity
       " CP cannot run >96%  "
       "                     "   
       " GC cannot run >89%  "
89%    "---------------------"  
       " Reserved for        "
       " checkpoint          "
       " overhead            "
       "                     "
65%    "---------------------" <-- 100% User Capacity
       " Commonality         "     Can be monitored
       " factored data       "     from the Admin
       " & RAIN parity       "     GUI.
       " data                "    
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
0%     "---------------------"