由于数据分区操作系统容量>89%,Avamar 维护任务因“MSG_ERR_DISKFULL”而失败

Summary: 操作系统容量超出建议的限制,导致维护任务失败。这是由于备份客户端的更改数量过多导致的。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Avamar Client 备份的数据突然发生大量更改,可能会对系统产生负面影响。如果在任何给定时间添加或从 Avamar 中删除过多数据,操作系统容量可能会激增,导致维护失败,并导致MSG_ERR_DISKFULL。

检查点跟踪 Avamar 上的更改,以便在需要回滚时,可以将 Avamar 返回到该时间点。添加或删除大量数据时,检查点会变大,并占用操作系统中的额外空间。

请注意,维护活动(垃圾数据收集和检查点)如何在MSG_ERR_DISKFULL时失败。
status.dpn
Wed Jul 27 17:58:15 IST 2016  [XX.XXX.XX.XX] Wed Jul 27 12:28:15 2016 UTC (Initialized Thu Sep 25 01:15:04 2014 UTC)
Node   IP Address     Version   State   Runlevel  Srvr+Root+User Dis Suspend Load UsedMB Errlen  %Full   Percent Full and Stripe Status by Disk
0.0    XX.XXX.XX.XX   7.0.2-43  ONLINE fullaccess mhpu+0hpu+0000   1  true   0.46 6984 12272277  64.1%  64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:445) 64%(onl:443) 64%(onl:444) 64%(onl:447) 64%(onl:444) 64%(onl:444) 64%(onl:446) 64%(onl:444) 64%(onl:446)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable

All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0000)
System-Status: ok
Access-Status: admin


Checkpoint failed with result MSG_ERR_DISKFULL : cp.20160726183227 started Wed Jul 27 00:02:57 2016 ended Wed Jul 27 00:02:57 2016, completed 0 of 5335 stripes
Last GC: finished Wed Jul 27 15:09:55 2016 after 00m 30s >> recovered 0.00 KB (MSG_ERR_DISKFULL)
Last hfscheck: finished Mon May 23 00:25:47 2016 after 23m 13s >> checked 1359 of 1359 stripes (OK)

Maintenance windows scheduler capacity profile is active.
  WARNING: Scheduler is STOPPED.
  Next backup window start time: Thu Jul 28 10:00:00 2016 IST
  Next maintenance window start time: Thu Jul 28 00:00:00 2016 IST


Avamar Server 具有非常高的用户容量和高操作系统容量。

mccli server show-prop

admin@avamar:~/>: mccli server show-prop
0,23000,CLI command completed successfully.
Attribute                                    Value
-------------------------------------------- ----------------------------
State                                        Suspended
Active sessions                              0
Total capacity                               11.6 TB
Capacity used                                11.6 TB
Server utilization                           98.9%
Bytes protected (client pre-comp size)       3.1 TB
Bytes protected quota (client pre-comp size) Not configured
License expiration                           Never
Time since Server initialization             3088 days 17h:48m
Last checkpoint                              2023-03-02 16:06:05 BRT
Last validated checkpoint                    2023-03-02 16:00:42 BRT
System Name                                  AVAMAR.XXX.XXX
System ID                                    1234567890@00:1E:67:75:C8:AD
HFSAddr                                      10.123.123.123
HFSPort                                      27000
IP address                                   10.123.123.123
Number of nodes                              3
Nodes Online                                 0
Nodes Offline                                0
Nodes Read-only                              3
Nodes Timed-out                              0
admin@avamar:~/>:
avmaint nodelist | grep fs-percent-full | sort | tail -3

admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
        fs-percent-full="96.9"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
admin@avamar:~/>:


如果 Avamar Server 是多节点,以下命令可帮助确定每个节点的高操作系统容量:

 
avmaint nodelist | egrep 'nodetag|fs-percent-full'

admin@avamar:~/>: avmaint nodelist | egrep 'nodetag|fs-percent-full'
      nodetag="0.2"
        fs-percent-full="96.7"
        fs-percent-full="96.9"
        fs-percent-full="96.9"
      nodetag="0.1"
        fs-percent-full="96.9"
        fs-percent-full="96.4"
        fs-percent-full="96.8"
      nodetag="0.0"
        fs-percent-full="96.3"
        fs-percent-full="96.8"
        fs-percent-full="96.7"
admin@avamar:~/>:

Cause

每日更改率太高,Avamar 网格无法跟上。一天内发生大量数据更改可能会导致操作系统容量突然激增。更改意味着大量接收新数据和快速删除旧数据。应该尽可能地将更改逐步引入 Avamar。系统越满,更改的数据峰值的影响就越大。

容量sh 工具有助于跟踪网格上的更改率。

有关如何使用容量的信息sh 脚本,查看以下文章。
    文章编号000060149:Avamar:如何使用 capacity.sh 脚本管理 Avamar 系统

    上的容量例子:
    capacity.sh
    
      DATE     AVAMAR NEW     #BU    DDR NEW     #BU    SCANNED       REMOVED     MINS PASS AVAMAR NET      CHG RATE
    ========== ============= ==== ============= ==== ============= =============  ==== ==== ============= ==========
    2015-09-04    1770185 mb  367   36590255 mb 4414  427354917 mb   -1155011 mb   179   36     615174 mb      8.98%
    2015-09-05    1799386 mb  366   35834788 mb 4384  424229450 mb    -967906 mb   158   36     831480 mb      8.87%
    2015-09-06    1641614 mb  366   36339601 mb 4387  422918309 mb    -715952 mb    95   36     925662 mb      8.98%
    2015-09-07    1482274 mb  368   36021600 mb 4382  422096834 mb   -1369565 mb   182   35     112708 mb      8.89%
    2015-09-08    1476971 mb  376   35466632 mb 4379  418749502 mb    -882663 mb   120   36     594307 mb      8.82%
    2015-09-09    2338688 mb  377   36564862 mb 4408  426949173 mb    -521711 mb   102   36    1816976 mb      9.11%
    2015-09-10    1830728 mb  482   36776445 mb 4303  423650873 mb    -369845 mb    80   36    1460882 mb      9.11%
    2015-09-11   10323736 mb  478   33010286 mb 4416  435953105 mb   -1016271 mb   159   34    9307465 mb      9.94%
    2015-09-12    8773933 mb  473   32431241 mb 4399  442013401 mb    -167120 mb    64   35    8606813 mb      9.32%
    2015-09-13    8834627 mb  485   31265504 mb 4378  434459112 mb    -186507 mb    60   35    8648119 mb      9.23%
    2015-09-14    8605313 mb  479   31150950 mb 4391  434117515 mb     -32753 mb    41   35    8572559 mb      9.16%
    2015-09-15   10727441 mb  478   32164212 mb 4393  435520200 mb     -58643 mb    53   36   10668797 mb      9.85%
    2015-09-16   10133770 mb  477   31557436 mb 4396  432462001 mb     -55780 mb    43   36   10077989 mb      9.64%
    2015-09-17    9941271 mb  477   30824614 mb 4419  434292081 mb     -68284 mb    53   35    9872986 mb      9.39%
    2015-09-18   10147447 mb  416   24608011 mb 3237  319673822 mb    -577890 mb   124   35    9569557 mb     10.87%
    ================================================================================================================
    14 DAY AVG   5988492 mb  431   33373763 mb 4312  422296020 mb    -543060 mb   101   35    5445432 mb      9.32%
    30 DAY AVG   3622366 mb  403   36648167 mb 4353  427001356 mb   -1326697 mb   150   34    2295669 mb      9.43%
    60 DAY AVG   3047161 mb  392   34199043 mb 4323  417800256 mb   -1489983 mb   159   34    1557178 mb      8.91%
    

    Resolution

    验证检查点保留是否已设置为默认值。
    avmaint config --ava | grep -i "cpmostrecent\|cphfschecked"
    cpmostrecent="2"
    cphfschecked="1"

    禁用异步处理,以便在故障排除过程中操作系统容量不会继续增长。

    avmaint config --ava asynccrunching=false
    admin@avamar:~/>: avmaint config --ava asynccrunching=false
    <?xml version="1.0" encoding="UTF-8" standalone="yes"?>
    <gsanconfig asynccrunching="true"/>
    admin@avamar:~/>:

    检查操作系统容量的当前状态:

    avmaint nodelist | grep fs-percent-full | sort | tail -3
    
    admin@avamar:~/>: avmaint nodelist | grep fs-percent-full | sort | tail -3
            fs-percent-full="90.9"
            fs-percent-full="91.0"
            fs-percent-full="91.2"
    admin@avamar:~/>:
    此命令的输出将确定下一步操作:

    场景 1 操作系统容量高于 89%,但低于 96%。

    检查点仍然完成。当 Avamar 经历下一个维护周期时,操作系统容量会降低。

    场景 2 操作系统容量高于 96%,但低于 98%。

    确认检查点保留已设置为场景 1 中所述的正确值。如果检查点具有正确的保留集,请打开一个支持案例。

    情景 3 操作系统容量超过 98%。

    向支持人员创建案例。 

    Additional Information

    有关 Avamar 操作系统容量问题的更多信息,请参阅:Avamar:容量管理概念和培训

    Avamar 维护活动需要一定数量的可用操作系统空间才能运行,如下图所示。

    给定默认设置(如果操作系统容量为)
    • >89% => 垃圾数据收集将无法启动
    • >96% => 检查点运行
     
    100%   "---------------------" <-- 100% Data partition capacity
           " CP cannot run >96%  "
           "                     "   
           " GC cannot run >89%  "
    89%    "---------------------"  
           " Reserved for        "
           " checkpoint          "
           " overhead            "
           "                     "
    65%    "---------------------" <-- 100% User Capacity
           " Commonality         "     Can be monitored
           " factored data       "     from the Admin
           " & RAIN parity       "     GUI.
           " data                "    
           "                     "
           "                     "
           "                     "
           "                     "
           "                     "
           "                     "
           "                     "
    0%     "---------------------"
    

     

    Affected Products

    Avamar

    Products

    Avamar, Avamar Server
    Article Properties
    Article Number: 000040861
    Article Type: Solution
    Last Modified: 15 May 2025
    Version:  28
    Find answers to your questions from other Dell users
    Support Services
    Check if your device is covered by Support Services.