Data Domain. Запланированная очистка не запускается, и появляется сообщение ПРЕДУПРЕЖДЕНИЕ «EVT-GC-00002: Не удается запустить запланированную очистку файловой системы»

Выполнение очистки Data Domain (чистка памяти, GC) запланировано на определенные дни и время. В DDOS 6.0.x и более поздних версиях, когда существует такое расписание и по какой-либо причине процесс очистки не может быть запущен, это замечает демон мониторинга системы и в конечном итоге вызывает оповещение, подобное следующему:

# alerts show current
# alerts show current
Id      Post Time                  Severity   Class         Object       Message
-----   ------------------------   --------   -----------   ---------    -----------------------------------------------------------------------------------------
m0-11   Tue Jun 27 16:32:03 2017   WARNING    Filesystem                 EVT-GC-00002: Unable to start scheduled file system cleaning on Tue Jun 27 16:04:00 2017.
-----   ------------------------   --------   -----------   ---------    -----------------------------------------------------------------------------------------

 

Кроме того, отправляется оповещение ASUP со следующими сведениями:

Hostname: dd-6800
Location: Lab4_Row_M System
SerialNo: APMxxxxxxxxxxxxxx
Chassis SerialNo: FCxxxxxxxxxxxxxxx
ModelNo: DD6800
Version: 6.0.0.1
Time: Tue Jun 27 16:15:02 2017
Alert Id: m0-11
Event Id: EVT-GC-00002
Event Message: Unable to start scheduled file system cleaning on Tue Jun 27 16:04:00 2017.
Event Description: Cleaning has not started as scheduled. Space for deleted files will not be reclaimed until cleaning completes. This may impact the ability to backup.
Recommended Action: Determine the reason why cleaning did not start. Manually start cleaning if free space needs to be reclaimed before the next scheduled cleaning.
If problem persists, contact your contracted support provider or visit us online at https://support.emc.com. 

 

Оповещение лишь информирует о наличии запланированного процесса очистки, который не удалось запустить в то время, когда он должен был начаться. Этому может быть положено несколько причин, большинство из которых не являются признаком какой-либо проблемы. Ниже перечислены причины, по которым может быть инициировано это оповещение.

• DD GC уже работал в то время, когда должен был начаться запланированный процесс очистки. Поскольку в любой момент времени может быть запущен только один процесс GC, и попытка одного из них не приведет к вытеснению запущенной сборки мусора, запланированный процесс был пропущен, поэтому появилось оповещение
• Действия, несовместимые с GC, такие как, например, выполнение перемещения данных (FMIG) с активного на архивный уровень хранилища или выполнение очистки Cloud Tier в момент начала GC активного уровня
• Предыдущее изменение системного часового пояса могло привести к тому, что внутренний демон "cron", отвечающий за запланированные задачи, по-прежнему будет выполняться в старом часовом поясе, а не в новом, поэтому, в зависимости от предыдущего и текущего часовых поясов, DD GC может быть запущен на несколько часов раньше или позже, чем ожидалось, что приведет к появлению оповещения о пропущенной сборке мусора. Можно проверить статью базы знаний Data Domain: Как изменить дату/время и/или часовой пояс в Data Domain Restorer (DDR) для получения дополнительной информации об изменениях часового пояса в DD
• Внутри системы очистка DD запускается отправкой задания во внутреннюю демоническую программу «sms» для команды «filesys clean start». Если «sms» не отвечает или файловая система не отвечает на «sms» вовремя, сборщик мусора не запустится и будет пропущен. Возможно, вы захотите проверить журнал «sms.info» на наличие совпадающих записей, подобных этой, которые указывают на то, что была предпринята попытка очистки, но не удалось запустить задание:

28.02 12:00:26.495 (TID 0xa79c040): Выполненная работа: 3278752 для работы: sms_filesys_clean_start, продолжительность: 25067 мс, состояние: Файловая система не отвечает.

• То же самое, что и выше, но из-за "Скачка назад во времени" служба крона не синхронизирована с новым набором
  времени Мы можем найти что-то вроде того, что показано ниже, на ASUP:

config.snmp.trapinfo.17 = Файловая система отключена из-за критического состояния. EVT-OBJ::Enclosure=1 EVT-INFO::Cause=Системное время перескочило назад
config.snmp.trapinfo.19 = Не удается запустить запланированную очистку файловой системы вт 15 ноября 2022 г., 06:00:00.

• Если файловая система не работает, не отвечает, или в это время выполнялось переключение высокой доступности при отказе, или DD перезагружался или не работал, сборка мусора также могла быть пропущена

Еще одна причина, которую мы наблюдали в прошлом, хотя и очень редко, для пропуска GC, заключается в некоторой непоследовательности в чистом расписании в реестре. Например, и реестр, и интерфейс командной строки показывают, что запуск GC запланирован на воскресенье в 06:00 утра по местному времени:

# reg show collection.1.expunge.schedule
collection.1.expunge.schedule.days = Sun
collection.1.expunge.schedule.time = 0600

# filesys clean show config
Filesystem Cleaning Configuration
---------------------------------
        50 Percent Throttle
Filesystem cleaning is scheduled to run "Sun" at "0600".

 

Однако другой раздел реестра (collection.1.crontab.expunge), используемый планировщиком процессов «crontab» для запуска настроенных заданий, неправильный, например:

# reg show collection.1.crontab.expunge
collection.1.crontab.expunge = 00 6 * * 2 root /ddr/bin/ddsh -s filesys clean start nowait scheduled

 

Приведенный выше раздел реестра указывает, что запланированная очистка должна быть начата в 06:00 утра по местному времени по вторникам (2 в пятой спецификации задания «crontab»), а не по воскресеньям (0).

Вы можете сбросить оповещение в любое время, но это не устранит основную проблему и не приведет к немедленному запуску очистки. В зависимости от причины пропущенного цикла сборки мусора подход будет отличаться, и в данной статье базы знаний мы не будем углубляться в него. Для получения помощи ознакомьтесь со статьями базы знаний DELL EMC DataDomain или, если нет, обратитесь к своему поставщику услуг поддержки, с которым у вас заключен договор.


В случае с 'Time Backward jump' мы можем просто перепроверить, соответствует ли reg-конфигурация расписанию 'filesys clean', и перезапустить cron-сервис
:* Примечание. Команде требуется консоль в режиме bash на случай, если вы откроете новый SR для получения помощи от службы поддержки Data Domain.

1 | double-check job configuration
#  filesys clean show schedule
Filesystem cleaning is scheduled to run "Wed" at "1600".

# reg show collection.1.crontab.expunge
collection.1.crontab.expunge = 0 16 * * 3  root /ddr/bin/ddsh -s filesys clean start nowait scheduled

2 | set a new schedule if needed
# filesys clean set schedule Wed 1600

3 | Restart the cron service [you can use one of them]
# /etc/init.d/crond restart
or
# systemctl restart crond.service

 

Для проблемы только с несогласованными записями реестра исправление заключается в принудительной установке правильного расписания очистки из интерфейса командной строки или CLI. Таким образом, продолжая пример, администратор должен установить чистое расписание на воскресенье в 06:00 утра, даже если «filesys clean show schedule» уже сообщает, что это так:

# filesys clean show schedule
Filesystem cleaning is scheduled to run "Sun" at "0600".

# filesys clean set schedule Sun 0600
Filesystem cleaning is scheduled to run "Sun" at "0600".

# filesys clean show schedule
Filesystem cleaning is scheduled to run "Sun" at "0600".

 

После этого убедитесь, что раздел реестра, указывающий на очистку, которая должна быть запланирована на неправильный день, был обновлен:

# reg show collection.1.crontab.expunge
collection.1.crontab.expunge = 0 6 * * 0 root /ddr/bin/ddsh -s filesys clean start nowait scheduled