ECS: xDoctor: RAP081: Symptom Code: 2048. Все серверы NTP НЕ подходят для синхронизации

На всех узлах в стойке ECS должен быть запущен демон NTP, а настроенные серверы NTP должны поддерживать синхронизацию времени. В противном случае это может привести к проблемам с приемом данных интерфейса.

Вышеуказанные симптомы остаются в качестве ПРЕДУПРЕЖДЕНИЯ, если они не появляются в течение 24 часов.
Через 24 часа, если это сохраняется, серьезность будет повышена до ERROR и появится сообщение RAP081.

Это означает, что на каждом узле, указанном в поле «Extra», не удается синхронизироваться с NTP-сервером.

Верификация:
1. Получите список серверов NTP на каждом из перечисленных узлов:

Команда:

# getrackinfo -r | grep NTP

Пример.

admin@node1:~> getrackinfo -r | grep NTP
NTPServer = xxx.xxx.xxx.xxx

2. Для каждого NTP-сервера, перечисленного в шаге 1, проверьте, способен ли он синхронизировать время.

Команда:

# sudo ntpdate -p 2 -d <NTP IP Address / NTP FQDN>

или

# sudo ntpdate -p 2 -d 'getrackinfo -r | grep NTP |grep -oP "(?:[0-9]{1,3}\.) {3} [0-9] {1,3}"'

Пример (с возможностью синхронизации времени):

admin@node1:~> sudo ntpdate -p 2 -d xxx.xxx.xxx.xxx
22 фев 13:47:48 ntpdate[110901]: ntpdate 4.2.8p11@1.3728-o Чт Июн 14 09:26:52 UTC 2018 (1)
Ищем IP-адрес> NTP хоста <и IP-адрес> NTP службы NTP<
изменен на <имя>
хоста NTP найден хост : <NTP host>
name transmit(<NTP IP Address>)
receive(<NTP IP Address>)
transmit (<NTP IP Address>)
receive(<NTP IP Address>)<
server NTP Address>, порт 123
stratum 2, точность -24, leap 00, trust 000
refid [<NTP IP Address>], задержка 0.02615, дисперсия 0.00003
передано 2, в фильтре 2
контрольное время:    e01a7b0d.af9e6616 Пт, 22 фев 2019 г. 13:43:41.686
метка времени источника: e01a7c06.748e0c65 пт, фев 22 2019 г. 13:47:50.455
метка времени передачи:  e01a7c06.7478b000 Пт, 22 фев 2019 13:47:50.454
задержка фильтра:  0,02635 0,02615 0,00000 0,00000
0,00000 0,00000 0,00000 0,00000
Смещение фильтра: 0,000043 -0,00002 0,000000 0,000000
0,000000 0,000000 0,000000 0,000000
задержка 0,02615, дисперсия 0,00003
смещение -0,000022

22 февраля 13:47:50 ntpdate[110901]: настройка смещения IP-адреса> NTP сервера <-0.000022 сек

Пример. (не поддерживает синхронизацию времени вывода)

admin@node1:~> sudo ntpdate -p 2 -d xxx.xxx.xxx.xxx
22 фев 13:47:48 ntpdate[110901]: ntpdate 4.2.8p11@1.3728-o Чт Июн 14 09:26:52 UTC 2018 (1)
Ищем IP-адрес> NTP хоста <и IP-адрес> NTP службы NTP<
изменен на <имя>
хоста NTP найден хост : <NTP host>
name transmit(<IP-адрес> NTP)
transmit(<IP-адрес> NTP)
transmit (<IP-адрес> NTP)
IP-адрес> NTP сервера<, порт 123
stratum 2, точность -24, leap 00, trust 000
refid [<IP-адрес> NTP], задержка 0,02615, дисперсия 0,00003
передано 2, в фильтре 2
контрольное время:    e01a7b0d.af9e6616 Пт, 22 фев 2019 г. 13:43:41.686
метка времени источника: e01a7c06.748e0c65 пт, фев 22 2019 г. 13:47:50.455
метка времени передачи:  e01a7c06.7478b000 Пт, 22 фев 2019 13:47:50.454
задержка фильтра:  0,02635 0,02615 0,00000 0,00000
0,00000 0,00000 0,00000 0,00000
Смещение фильтра: 0,000043 -0,00002 0,000000 0,000000
0,000000 0,000000 0,000000 0,000000
задержка 0,02615, дисперсия 0,00003
смещение -0,000022

22 фев 13:47:50 ntpdate[112232]: не найдено сервера, подходящего для синхронизации

3. Добавьте полностью определенное доменное имя в раздел NTP в результатах команды getrackinfo -r.

Команда:

# sudo setrackinfo -a NTPServer < NTP FQDN >

4. Проверьте разделение сети и статические маршруты, так как NTP, отправленный из интерфейса управления по маршрутизации на основе политик, может вызвать проблему.

Команда:

Пример.

Команда:

# sudo ntpq -c as

Пример. (Ниже мы видим один сервер NTP, который недоступен, а другой заблокирован, вероятно, из-за ACL)

admin@node1:~> sudo ntpq -c as
ind assid status conf reach auth condition last_event cnt
===========================================================
1 56633 8011 да нет отклонить мобилизовать 1

6. Проверьте, не происходит ли сдвиг даты в NTP. 

Команда:

# viprexec "date +%s" 2>&1 | grep "^15"

Пример.

admin@node1:~>viprexec "date +%s" 2>&1 | grep "^15"
1554470147
1554470111
1554470096
1554470142
1554470144
1554470109
1554470124
1554470140

7. Проверьте состояние сервиса ntpd и перезапустите его. (Даже если состояние «Установлено и работает», выполните перезагрузку.) 
Примечание. Сервис ntpd.service не оказывает влияния на работу.

Команда:

# viprexec systemctl status ntpd.service | grep Active:

Пример.

admin@node1:~> viprexec systemctl status ntpd.service | grep Active:
   Активно: активно (работает) с Вт 2019-08-06 02:49:06 UTC; 1 день 18ч назад
Активно: активно (работает) с Вт 2019-08-06 02:49:07 UTC; 1 день 18ч назад
Активно: активно (работает) с Ср 2019-08-07 20:13:27 UTC; 58мин назад
Активно: активно (работает) с Вт 2019-08-06 02:49:06 UTC; 1 день 18ч назад
Активно: активно (работает) с Вт 2019-08-06 02:49:07 UTC; 1 день 18ч назад
Активно: активно (работает) с Вт 2019-08-06 02:49:07 UTC; 1 день 18ч назад
Активно: активен (работает) с втр 2019-08-06 02:49:07 UTC; 1 день 18 часов назад
Активно: активно (работает) с Вт 2019-08-06 02:49:07 UTC; 1 день 18 часов назад

Команда: 

# viprexec systemctl restart ntpd.service

Пример.

admin@node1:~> viprexec systemctl restart ntpd.service
Выходные данные с хоста: 192.168.219.8
Выходные данные с хоста : 192.168.219.7
Выходные данные с хоста : 192.168.219.6
Выходные данные с хоста : 192.168.219.4
Выходные данные с хоста : 192.168.219.3
Выходные данные с хоста: 192.168.219.2
Выходные данные с хоста : 192.168.219.5
Выходные данные с хоста : 192.168.219.1

8. Проверьте файл md5sum ntp.conf на всех узлах.

Команда:

# viprexec "sudo md5sum /etc/ntp.conf"

Пример.

admin@node1:~> viprexec "sudo md5sum /etc/ntp.conf"

Выходные данные с хоста : 192.168.219.2
741F0abb12AC82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.5
741F0abb12ac82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.4
741F0abb12AC82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.1
7da6eb8009abc18ed1875f1f15ade72a /etc/ntp.conf

Выходные данные с хоста : 192.168.219.3
741F0abb12AC82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.8
741F0abb12AC82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.6
741F0abb12AC82A21F150004BD407334 /etc/ntp.conf

Выходные данные с хоста : 192.168.219.7
741F0abb12ac82A21F150004BD407334 /etc/ntp.conf

Примечание. Это может быть связано с наличием общедоступного интерфейса и интерфейса управления, а также с тем, что все узлы настроены на выход из публичного доступа в соответствии с последней предоставленной конфигурацией. В более старых версиях ECS PBR может зависать, когда один узел действителен, а остальные узлы, по-видимому, находятся за межсетевым экраном.

9. Добавьте 123 к ns_mgmt в результатах getrackinfo -r, а затем проверьте, начал ли NTP передачу и прием данных.

Команда:

# sudo setrackinfo -a ns_mgmt 123

Пример.

admin@node1:~>sudo setrackinfo -a ns_mgmt 123

Если ошибка не будет устранена, верните порт 123 в публичный интерфейс и снова проверьте синхронизацию.

Команда:

# sudo setrackinfo -d ns_mgmt 123

Пример.

admin@node1:~> sudo setrackinfo -d ns_mgmt 123

Проверяйте состояние синхронизации NTP после выполнения каждого из указанных выше действий.

Резолюция:
Это означает, что настроенный сервер не является сервером NTP или не работает должным образом. Для решения проблемы с NTP необходимо привлечь сетевую группу заказчика.