Avamarin ylläpitotehtävät epäonnistuvat MSG_ERR_DISKFULL vuoksi, koska tieto-osioi käyttöjärjestelmän kapasiteetti >89 %

Yhtäkkiset ja suuret muutokset Avamar-asiakkaan varmuuskopioimissa tiedoissa voivat vaikuttaa järjestelmään negatiivisesti. Jos Avamariin lisätään tai poistetaan kerralla liikaa tietoja, käyttöjärjestelmän kapasiteetti voi kasvaa, jolloin ylläpito epäonnistuu MSG_ERR_DISKFULL vuoksi.

Tarkistuspisteet seuraavat Avamarissa tehtyjä muutoksia, jotta Avamar voidaan palauttaa kyseiseen ajankohtaan, jos palautus on tarpeen. Kun suuri määrä tietoja lisätään tai poistetaan, tarkistuspiste kasvaa suuremmaksi ja kuluttaa ylimääräistä tilaa käyttöjärjestelmässä.

Huomaa alta, miten ylläpitotoiminnot (roskienkeruu ja tarkistuspisteet) epäonnistuvat MSG_ERR_DISKFULL jälkeen.

status.dpn
Wed Jul 27 17:58:15 IST 2016  [XX.XXX.XX.XX] Wed Jul 27 12:28:15 2016 UTC (Initialized Thu Sep 25 01:15:04 2014 UTC)
Node   IP Address     Version   State   Runlevel  Srvr+Root+User Dis Suspend Load UsedMB Errlen  %Full   Percent Full and Stripe Status by Disk
0.0    XX.XXX.XX.XX   7.0.2-43  ONLINE fullaccess mhpu+0hpu+0000   1  true   0.46 6984 12272277  64.1%  64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:447) 64%(onl:444) 64%(onl:444) 64%(onl:446) 64%(onl:444) 64%(onl:446)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable

All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0000)
System-Status: ok
Access-Status: admin


Checkpoint failed with result MSG_ERR_DISKFULL : cp.20160726183227 started Wed Jul 27 00:02:57 2016 ended Wed Jul 27 00:02:57 2016, completed 0 of 5335 stripes
Last GC: finished Wed Jul 27 15:09:55 2016 after 00m 30s >> recovered 0.00 KB (MSG_ERR_DISKFULL)
Last hfscheck: finished Mon May 23 00:25:47 2016 after 23m 13s >> checked 1359 of 1359 stripes (OK)

Maintenance windows scheduler capacity profile is active.
  WARNING: Scheduler is STOPPED.
  Next backup window start time: Thu Jul 28 10:00:00 2016 IST
  Next maintenance window start time: Thu Jul 28 00:00:00 2016 IST

Avamar-palvelimen käyttäjäkapasiteetti ja käyttöjärjestelmäkapasiteetti ovat erittäin suuret.

mccli server show-prop

admin@avamar:~/>: mccli server show-prop
0,23000,CLI command completed successfully.
Attribute                                    Value
-------------------------------------------- ----------------------------
State                                        Suspended
Active sessions                              0
Total capacity                               11.6 TB
Capacity used                                11.6 TB
Server utilization                           98.9%
Bytes protected (client pre-comp size)       3.1 TB
Bytes protected quota (client pre-comp size) Not configured
License expiration                           Never
Time since Server initialization             3088 days 17h:48m
Last checkpoint                              2023-03-02 16:06:05 BRT
Last validated checkpoint                    2023-03-02 16:00:42 BRT
System Name                                  AVAMAR.XXX.XXX
System ID                                    1234567890@00:1E:67:75:C8:AD
HFSAddr                                      10.123.123.123
HFSPort                                      27000
IP address                                   10.123.123.123
Number of nodes                              3
Nodes Online                                 0
Nodes Offline                                0
Nodes Read-only                              3
Nodes Timed-out                              0
admin@avamar:~/>:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="96.9"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
admin@avamar:~/>:

Jos Avamar-palvelin on moninodeinen, seuraava komento voi auttaa tunnistamaan solmukohtaisen käyttöjärjestelmän suuren kapasiteetin:

 

avmaint nodelist | egrep 'nodetag|fs-percent-full'

admin@avamar:~/>: avmaint nodelist | egrep 'nodetag|fs-percent-full'
      nodetag="0.2"
        fs-percent-full="96.7"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
      nodetag="0.1"
        fs-percent-full="96.9"
        fs-percent-full="96.4"
        fs-percent-full="96.8"
      nodetag="0.0"
        fs-percent-full="96.3"
        fs-percent-full="96.8"
        fs-percent-full="96.7"
admin@avamar:~/>:

capacity.sh

  DATE     AVAMAR NEW     #BU    DDR NEW     #BU    SCANNED       REMOVED     MINS PASS AVAMAR NET      CHG RATE
========== ============= ==== ============= ==== ============= =============  ==== ==== ============= ==========
2015-09-04    1770185 mb  367   36590255 mb 4414  427354917 mb   -1155011 mb   179   36     615174 mb      8.98%
2015-09-05    1799386 mb  366   35834788 mb 4384  424229450 mb    -967906 mb   158   36     831480 mb      8.87%
2015-09-06    1641614 mb  366   36339601 mb 4387  422918309 mb    -715952 mb    95   36     925662 mb      8.98%
2015-09-07    1482274 mb  368   36021600 mb 4382  422096834 mb   -1369565 mb   182   35     112708 mb      8.89%
2015-09-08    1476971 mb  376   35466632 mb 4379  418749502 mb    -882663 mb   120   36     594307 mb      8.82%
2015-09-09    2338688 mb  377   36564862 mb 4408  426949173 mb    -521711 mb   102   36    1816976 mb      9.11%
2015-09-10    1830728 mb  482   36776445 mb 4303  423650873 mb    -369845 mb    80   36    1460882 mb      9.11%
2015-09-11   10323736 mb  478   33010286 mb 4416  435953105 mb   -1016271 mb   159   34    9307465 mb      9.94%
2015-09-12    8773933 mb  473   32431241 mb 4399  442013401 mb    -167120 mb    64   35    8606813 mb      9.32%
2015-09-13    8834627 mb  485   31265504 mb 4378  434459112 mb    -186507 mb    60   35    8648119 mb      9.23%
2015-09-14    8605313 mb  479   31150950 mb 4391  434117515 mb     -32753 mb    41   35    8572559 mb      9.16%
2015-09-15   10727441 mb  478   32164212 mb 4393  435520200 mb     -58643 mb    53   36   10668797 mb      9.85%
2015-09-16   10133770 mb  477   31557436 mb 4396  432462001 mb     -55780 mb    43   36   10077989 mb      9.64%
2015-09-17    9941271 mb  477   30824614 mb 4419  434292081 mb     -68284 mb    53   35    9872986 mb      9.39%
2015-09-18   10147447 mb  416   24608011 mb 3237  319673822 mb    -577890 mb   124   35    9569557 mb     10.87%
================================================================================================================
14 DAY AVG   5988492 mb  431   33373763 mb 4312  422296020 mb    -543060 mb   101   35    5445432 mb      9.32%
30 DAY AVG   3622366 mb  403   36648167 mb 4353  427001356 mb   -1326697 mb   150   34    2295669 mb      9.43%
60 DAY AVG   3047161 mb  392   34199043 mb 4323  417800256 mb   -1489983 mb   159   34    1557178 mb      8.91%

Varmista, että tarkistuspisteen säilytys on asetettu oletusarvoihin.

avmaint config --ava | grep -i "cpmostrecent\|cphfschecked"
cpmostrecent="2"
cphfschecked="1"

Poista asynkroninen skaalaus käytöstä, jotta käyttöjärjestelmän kapasiteetti ei kasva vianmäärityksen aikana.

avmaint config --ava asynccrunching=false
admin@avamar:~/>: avmaint config --ava asynccrunching=false
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<gsanconfig asynccrunching="true"/>
admin@avamar:~/>:

Tarkista käyttöjärjestelmän kapasiteetin nykyinen tila:

avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="90.9"
        fs-percent-full="91.0"
        fs-percent-full="91.2"
admin@avamar:~/>:

Tämän komennon tulos määrittää seuraavat toimet:

Skenaarion 1 käyttöjärjestelmän kapasiteetti on yli 89 % mutta alle 96 %.

Tarkistuspisteet ovat edelleen valmiita. Käyttöjärjestelmän kapasiteetti pienene, kun Avamar tekee seuraavan ylläpitojakson.

Skenaariossa 2 käyttöjärjestelmän kapasiteetti on yli 96 % mutta alle 98 %.

Varmista, että tarkistuspisteen säilytystä koskevat checkpoint retention -arvot ovat oikeat (katso skenaario 1). Jos tarkistuspisteissä on oikea säilytyspaikka, avaa tukipyyntö.

Skenaarion 3 käyttöjärjestelmän kapasiteetti on yli 98 %.

Avaa tukipyyntö. 

Lisätietoja Avamar-käyttöjärjestelmän kapasiteettiongelmista on seuraavassa artikkelissa: Avamar: Kapasiteetin hallinnan käsitteet ja koulutus

Avamarin ylläpitotoimet edellyttävät tiettyä määrää vapaata käyttöjärjestelmätilaa, kuten alla olevassa kaaviossa on kuvattu.

Oletusasetukset, jos käyttöjärjestelmän kapasiteetti on

• >89 % ==> roskienkeruu ei käynnisty
• >96 % ==> tarkistuspisteiden suoritus

 

100%   "---------------------" <-- 100% Data partition capacity
       " CP cannot run >96%  "
       "                     "   
       " GC cannot run >89%  "
89%    "---------------------"  
       " Reserved for        "
       " checkpoint          "
       " overhead            "
       "                     "
65%    "---------------------" <-- 100% User Capacity
       " Commonality         "     Can be monitored
       " factored data       "     from the Admin
       " & RAIN parity       "     GUI.
       " data                "    
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
       "                     "
0%     "---------------------"