Avamar-underhållsuppgifter misslyckas med "MSG_ERR_DISKFULL" på grund av datapartitionens operativsystemskapacitet >89 %

Plötsliga och stora mängder förändring i data som säkerhetskopieras av en Avamar-klient kan påverka systemet negativt. Om för mycket data läggs till eller tas bort från Avamar vid en given tidpunkt kan operativsystemets kapacitet öka vilket gör att underhållet misslyckas med MSG_ERR_DISKFULL.

Kontrollpunkter spårar ändringar i Avamar så att Avamar kan returneras till den tidpunkten om en avveckling behövs. När en stor mängd data läggs till eller tas bort blir kontrollpunkten större och förbrukar extra utrymme i operativsystemet.

Observera nedan hur underhållsaktiviteter (skräpinsamling och kontrollpunkter) misslyckas med MSG_ERR_DISKFULL.

status.dpn
Wed Jul 27 17:58:15 IST 2016  [XX.XXX.XX.XX] Wed Jul 27 12:28:15 2016 UTC (Initialized Thu Sep 25 01:15:04 2014 UTC)
Node   IP Address     Version   State   Runlevel  Srvr+Root+User Dis Suspend Load UsedMB Errlen  %Full   Percent Full and Stripe Status by Disk
0.0    XX.XXX.XX.XX   7.0.2-43  ONLINE fullaccess mhpu+0hpu+0000   1  true   0.46 6984 12272277  64.1%  64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:447) 64%(onl:444) 64%(onl:444) 64%(onl:446) 64%(onl:444) 64%(onl:446)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable

All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0000)
System-Status: ok
Access-Status: admin


Checkpoint failed with result MSG_ERR_DISKFULL : cp.20160726183227 started Wed Jul 27 00:02:57 2016 ended Wed Jul 27 00:02:57 2016, completed 0 of 5335 stripes
Last GC: finished Wed Jul 27 15:09:55 2016 after 00m 30s >> recovered 0.00 KB (MSG_ERR_DISKFULL)
Last hfscheck: finished Mon May 23 00:25:47 2016 after 23m 13s >> checked 1359 of 1359 stripes (OK)

Maintenance windows scheduler capacity profile is active.
  WARNING: Scheduler is STOPPED.
  Next backup window start time: Thu Jul 28 10:00:00 2016 IST
  Next maintenance window start time: Thu Jul 28 00:00:00 2016 IST

Avamar-servern har mycket hög användarkapacitet och hög operativsystemskapacitet.

mccli server show-prop

admin@avamar:~/>: mccli server show-prop
0,23000,CLI command completed successfully.
Attribute                                    Value
-------------------------------------------- ----------------------------
State                                        Suspended
Active sessions                              0
Total capacity                               11.6 TB
Capacity used                                11.6 TB
Server utilization                           98.9%
Bytes protected (client pre-comp size)       3.1 TB
Bytes protected quota (client pre-comp size) Not configured
License expiration                           Never
Time since Server initialization             3088 days 17h:48m
Last checkpoint                              2023-03-02 16:06:05 BRT
Last validated checkpoint                    2023-03-02 16:00:42 BRT
System Name                                  AVAMAR.XXX.XXX
System ID                                    1234567890@00:1E:67:75:C8:AD
HFSAddr                                      10.123.123.123
HFSPort                                      27000
IP address                                   10.123.123.123
Number of nodes                              3
Nodes Online                                 0
Nodes Offline                                0
Nodes Read-only                              3
Nodes Timed-out                              0
admin@avamar:~/>:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="96.9"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
admin@avamar:~/>:

Om Avamar-servern är en multinod kan följande kommando hjälpa till att identifiera det höga operativsystemets kapacitet per nod:

 

avmaint nodelist | egrep 'nodetag|fs-percent-full'

admin@avamar:~/>: avmaint nodelist | egrep 'nodetag|fs-percent-full'
      nodetag="0.2"
        fs-percent-full="96.7"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
      nodetag="0.1"
        fs-percent-full="96.9"
        fs-percent-full="96.4"
        fs-percent-full="96.8"
      nodetag="0.0"
        fs-percent-full="96.3"
        fs-percent-full="96.8"
        fs-percent-full="96.7"
admin@avamar:~/>:

capacity.sh

  DATE     AVAMAR NEW     #BU    DDR NEW     #BU    SCANNED       REMOVED     MINS PASS AVAMAR NET      CHG RATE
========== ============= ==== ============= ==== ============= =============  ==== ==== ============= ==========
2015-09-04    1770185 mb  367   36590255 mb 4414  427354917 mb   -1155011 mb   179   36     615174 mb      8.98%
2015-09-05    1799386 mb  366   35834788 mb 4384  424229450 mb    -967906 mb   158   36     831480 mb      8.87%
2015-09-06    1641614 mb  366   36339601 mb 4387  422918309 mb    -715952 mb    95   36     925662 mb      8.98%
2015-09-07    1482274 mb  368   36021600 mb 4382  422096834 mb   -1369565 mb   182   35     112708 mb      8.89%
2015-09-08    1476971 mb  376   35466632 mb 4379  418749502 mb    -882663 mb   120   36     594307 mb      8.82%
2015-09-09    2338688 mb  377   36564862 mb 4408  426949173 mb    -521711 mb   102   36    1816976 mb      9.11%
2015-09-10    1830728 mb  482   36776445 mb 4303  423650873 mb    -369845 mb    80   36    1460882 mb      9.11%
2015-09-11   10323736 mb  478   33010286 mb 4416  435953105 mb   -1016271 mb   159   34    9307465 mb      9.94%
2015-09-12    8773933 mb  473   32431241 mb 4399  442013401 mb    -167120 mb    64   35    8606813 mb      9.32%
2015-09-13    8834627 mb  485   31265504 mb 4378  434459112 mb    -186507 mb    60   35    8648119 mb      9.23%
2015-09-14    8605313 mb  479   31150950 mb 4391  434117515 mb     -32753 mb    41   35    8572559 mb      9.16%
2015-09-15   10727441 mb  478   32164212 mb 4393  435520200 mb     -58643 mb    53   36   10668797 mb      9.85%
2015-09-16   10133770 mb  477   31557436 mb 4396  432462001 mb     -55780 mb    43   36   10077989 mb      9.64%
2015-09-17    9941271 mb  477   30824614 mb 4419  434292081 mb     -68284 mb    53   35    9872986 mb      9.39%
2015-09-18   10147447 mb  416   24608011 mb 3237  319673822 mb    -577890 mb   124   35    9569557 mb     10.87%
================================================================================================================
14 DAY AVG   5988492 mb  431   33373763 mb 4312  422296020 mb    -543060 mb   101   35    5445432 mb      9.32%
30 DAY AVG   3622366 mb  403   36648167 mb 4353  427001356 mb   -1326697 mb   150   34    2295669 mb      9.43%
60 DAY AVG   3047161 mb  392   34199043 mb 4323  417800256 mb   -1489983 mb   159   34    1557178 mb      8.91%

Kontrollera att kvarhållande av kontrollpunkt är inställt på standardvärdena.

avmaint config --ava | grep -i "cpmostrecent\|cphfschecked"
cpmostrecent="2"
cphfschecked="1"

Avaktivera asynkron funktion så att operativsystemets kapacitet inte fortsätter att växa under felsökningsprocessen.

avmaint config --ava asynccrunching=false
admin@avamar:~/>: avmaint config --ava asynccrunching=false
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<gsanconfig asynccrunching="true"/>
admin@avamar:~/>:

Kontrollera aktuell status för operativsystemets kapacitet:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="90.9"
        fs-percent-full="91.0"
        fs-percent-full="91.2"
admin@avamar:~/>:

Resultatet av det här kommandot fastställer vilka åtgärder som ska vidtas härnäst:

Scenario nr 1 , operativsystemskapaciteten är över 89 % men under 96 %.

Kontrollpunkterna är fortfarande slutförda. Operativsystemets kapacitet sänks när Avamar går igenom nästa underhållscykel.

Scenario nr 2 , operativsystemskapaciteten är över 96 % men under 98 %.

Kontrollera att kvarhållandet av kontrollstationen är inställt på rätt värden enligt vad som anges i scenario 1. Om kontrollstationerna har rätt lagringsuppsättning öppnar du ett ärende hos supporten.

Scenario nr 3 : operativsystemets kapacitet är över 98 %.

Öppna ett ärende hos supporten. 

Mer information om problem med Avamar-operativsystemskapacitet finns i: Avamar: Koncept och utbildning för

kapacitetshanteringFör underhåll av Avamar krävs en viss mängd ledigt operativsystemsutrymme för att köras enligt bilden i diagrammet nedan.

Om operativsystemets kapacitet är angiven som standardinställningar

• >89 % ==> skräpinsamling kan inte starta
• >96 % ==> kontrollpunkter körs

 

100%   "---------------------" <-- 100% Data partition capacity
       " CP cannot run >96%  "
       "                     "   
       " GC cannot run >89%  "
89%    "---------------------"  
       " Reserved for        "
       " checkpoint          "
       " overhead            "
       "                     "
65%    "---------------------" <-- 100% User Capacity
       " Commonality         "     Can be monitored
       " factored data       "     from the Admin
       " & RAIN parity       "     GUI.
       " data                "    
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
0%     "---------------------"