Avamar: Kontrol noktası, Data Domain kapasite sorunları nedeniyle sonuç MSG_ERR_DDR_ERROR başarısız oluyor

Hem zamanlanmış hem de manuel kontrol noktaları MSG_ERR_DDR_ERROR ile başarısız oluyor.

Örneğin:

status.dpn

Mon Aug 19 13:33:53 WEST 2019  [AV-XXX] Mon Aug 19 12:33:53 2019 UTC (Initialized Wed Feb 11 12:42:51 2015 UTC)
Node   IP Address     Version   State   Runlevel  Srvr+Root+User Dis Suspend Load UsedMB Errlen  %Full   Percent Full and Stripe Status by Disk
0.0     10.xxx.x.xx  19.1.0-38  ONLINE fullaccess mhpu+0hpu+0hpu   1 false   0.3 0 31802 52675327  11.8%  12%(onl:4148) 11%(onl:4133) 11%(onl:4135) 11%(onl:4140)  11%(onl:4138) 11%(onl:4147)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable

System ID: XXXXXXXX@00:1E:67:87:C4:6B

All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0hpu)
System-Status: ok
Access-Status: full

Checkpoint failed with result MSG_ERR_DDR_ERROR : cp.20190819054530 started Mon Aug 19 06:45:31 2019 ended Mon Aug 19 06:58:24 2019, completed 24840 of 24841 stripes
Last GC: finished Mon Aug 19 05:21:35 2019 after 20m 58s >> recovered 71.89 MB (MSG_ERR_DDR_ERROR)
Last hfscheck failed with result MSG_ERR_DDR_ERROR : started Mon Aug 19 05:34:23

Data Domain günlüğü (/usr/local/avamar/var/ddrmaintlogs/ddrmaint.log) bir "I/O error":

grep -i Error /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log|grep -v -i "Error not set"

Aug 19 05:15:50 av-XXX ddrmaint.bin[49665]: Error: <4710>Datadomain garbage collect operation failed.
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Warning: Calling DDR_CREATE_SNAPSHOT returned result code:5009 message:I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: cp-create::execute_create_checkpoint - Failed to create checkpoint for avamar-XXXXXXX to snapshot cp.20190819042140 on ddXXX, DDR result code: 5009, desc: I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: <4760>Datadomain checkpoint create operation failed.

Data Domain (DD) alanı kapasiteye ulaştı.

Bu, aşağıdakiler yapılarak doğrulanabilir:

1. Data Domain'e bağlanın. Avamar'ı kullanın: Gerektiğinde referans olarak bir Data Domain Sistemine Erişme.

2. Herhangi bir uyarı olup olmadığını kontrol edin:

alerts show current

Id      Post Time                  Severity   Class        Object          Message
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
p0-87   Fri Aug 16 21:55:33 2019   CRITICAL   Filesystem   FilesysType=2   EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
There is 1 active alert.

3. Şunu çalıştırın: "df" komuttan:

df

Active Tier:
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   --------   ---------   ----   --------------
/data: pre-comp           -       15.1           -      -                -
/data: post-comp    30731.1    30608.8       122.3   100%             13.1
/ddvar                 49.1        8.7        37.9    19%                -
/ddvar/core           158.3        0.1       150.2     0%                -
----------------   --------   --------   ---------   ----   --------------
 * Estimated based on last cleaning of 2019/07/15 06:04:40.

Cloud Tier
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB
----------------   --------   --------   ---------   ----   -------------
/data: pre-comp           -       19.0           -      -               -
/data: post-comp   33487.7*       20.4     33467.4     0%             0.0
----------------   --------   --------   ---------   ----   -------------
* Post-comp size is based on CLOUDTIER-CAPACITY license and might not be same as the cloud storage.

Total:
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB
----------------   --------   --------   ---------   ----   -------------
/data: pre-comp           -       34.1           -      -               -
/data: post-comp    33829.9       36.4     33793.4     0%             0.0
/ddvar                 49.1        8.7        37.9    19%               -
/ddvar/core           158.3        0.1       150.2     0%               -
----------------   --------   --------   ---------   ----   -------------

1. Data Domain de:

a. Dosya sistemi temizleme durumunu kontrol edin:

filesys clean status 

Örnek çıktılar:

Cleaning is not running:

Cleaning finished at 2019/08/19 21:37:46

Cleaning is running:

Cleaning started at 2019/08/19 06:00:02: phase 3 of 6 (pre-enumeration)
  1.6% complete,     0 GiB free; time: phase  1:26:05, total  1:48:11

b. Temizleme işlemi devam ediyorsa, işlemin tamamlanmasını bekleyin ve ardından df komutunu kullanarak kapasiteyi kontrol edin.

c. Temizleme işlemi çalışmıyorsa dosya sistemi temizleme zamanlamasını kontrol edin:

filesys clean show schedule

Örnek çıktı:

Filesystem cleaning is scheduled to run "Tue" at "0700".

d. Gerekirse, manuel bir dosya sistemi temizleme işlemi başlatın ve "fileysys clean watch" komutunu aşağıdaki çıktıda gösterildiği gibi çalıştırın.

filesys clean start

Cleaning started.  Use 'filesys clean watch' to monitor progress.

2. Avamar'da:

a. Data Domain deki kapasite sorunları çözüldükten sonra manuel bir kontrol noktası gerçekleştirin:

mccli checkpoint create --override_maintenance_scheduler

b. Tamamlanana kadar işlemi izleyin ve başarılı olduğunu doğrulayın.

c. Tüm Avamar bakım görevlerinin (kontrol noktası, kontrol noktası doğrulama, (hfscheck) ve çöp toplama işlemi başarıyla tamamlandı.