Метро-кластер: Сбор журналов из узла Metro

Инструкции по выполнению следующих задач:

1. Какие журналы необходимы для отладки проблем с метро-кластером?
2. Как собрать данные collect-diagnostics в кластере метро-кластера?
3. Как проверить существующие пакеты для сбора данных диагностики на серверах управления.
4. Как отменить и очистить текущую диагностику сбора данных в узле Metro?

A. Какие журналы необходимы для отладки проблем с метро-кластером?

1. Команда, необходимая для сбора журналов в узле Metro, называется «collect-diagnostics», и ее можно выполнить с любого узла (*1) в программе настройки узла Metro. При выполнении этой команды на одном директоре кластера метро-кластера должны быть получены все данные от всех директоров и всех узлов кластера. НЕ выполняйте эту команду на нескольких узлах одновременно.

   *1 ПРИМЕЧАНИЕ: Выполните команду «collect-diagnostics» только из одного директора только в одном кластере в конфигурации Metro и дождитесь полного завершения, прежде чем собирать компакт-диски из другого директора или однорангового кластера, если это необходимо.

2. Команда «collect-diagnostics» создает сжатый файл журнала tar.gz, содержащий файлы конфигурации и журналов. Файл сбора данных диагностики помещается в каталог /diag/collect-diagnostics-out/ на узле, откуда он запущен. После завершения команды скопируйте файл с узла посредством приложения WINSCP или аналогичной утилиты для протокола SCP, после чего его можно передать в службу поддержки для анализа. Дополнительные сведения об использовании этой команды см. в разделе Б ниже.

   Примечания.

   • Если команда «collect-diagnostics» выполняется без параметров, создаются два файла: базовый и расширенный. Это может занять довольно много времени в масштабируемых системах.
   • Для поддержки узла Metro обычно требуется только файл Base, однако в некоторых случаях, из-за проблем с производительностью, может потребоваться и расширенный файл.
   • Стандартные параметры, которые могут быть запрошены при выполнении collect-diagnostics:
     • »--noextended": При выборе этого параметра расширенные диагностические данные не выполняются.
     • »--last-logs": Этот параметр захватывает журналы за определенное количество часов или дней.
   • Для получения дополнительных сведений о команде введите «collect-diagnostics -h»

   Вот примеры того, как выглядят эти два имени файла, дата и время, показанные как YYYY-MM-DD-HH.MM.SS, относятся к дате и времени их сбора:

   • Базовый файл: <Serial number>-c1-diag-YYYY-MM-DD-HH.MM.SS.tar.gz
   • Расширенный файл: <Serial number>-c1-diag-ext-YYYY-MM-DD-HH.MM.SS.tar.gz

3. Проблемы с производительностью сложны и требуют сбора большого количества конкретной информации. В итоге мы разработали анкету по производительности и просим наших заказчиков заполнить ее для оптимизации этого процесса. Анкету можно найти в приложении к настоящей статье базы знаний в конце раздела вложений.

4. При некоторых типах проблем производительности полезно создать дополнительный журнал под названием «fe_perf_stats». Эти журналы создаются непрерывно, но не собираются процедурой сбора данных диагностики. Чтобы записать этот журнал, перейдите по cd (change directory) в /var/log/VPlex/ cli на узле каждого кластера и выполните команду «tar cvzf fe-perf-stats.tar.gz fe_perf_stats*», чтобы сжать данные файлов в tar-файл. Подключитесь к узлу с помощью WINSCP или аналогичной утилиты SCP и перейдите к /var/log/VPlex/cli. Скопируйте файл fe-perf-stats.tar.gz в систему. Загрузите TAR-файл вместе с одним или несколькими файлами collect-диагностики по запросу службы поддержки в сервисную заявку или отправьте вам по ftp-ссылке в сервисную заявку и по электронной почте.

5. В дополнение к сбору данных диагностики может быть полезно собрать следующую информацию.

   • Открытое ведение журнала для сеанса PuTTY,
   • Затем выполните следующие команды:
   • Затем соберите журнал Putty и загрузите его в свою систему,
   • Затем прикрепите журнал PuTTY, collect-diagnostics и любые другие данные, запрошенные в SR.

   Следующие команды необходимо выполнить из командной строки VPlexcli.

   1. cluster status
   2. ll clusters/**/storage-views/* --full
   3. ll ~ports
   4. show-use-hierarchy /clusters/**/virtual-volumes/*
   5. ll ~system-volumes
   6. ls -t /clusters/*/directors/*::serial-number (эта команда выводит список всех DST для каждого узла)
   7. ls -t /clusters/**/director-*/::hostname (Отображаются имена хостов — это IP-адреса, это ожидаемо)

B. Как собрать данные collect-diagnostics в кластере метро-кластера?

1. Создайте сеанс SSH в командной строке узла директор Linux, например service@director-1-1-a, затем войдите в vplexcli.

   Пример вывода:

   login as: service
   Keyboard-interactive authentication prompts from server:
   | Password:
   End of keyboard-interactive prompts from server
   Last login: <date and timestamp data> from x.x.x.x
   service@director-1-1-a:~>
   service@director-1-1-a:~> vplexcli
   Trying ::1...
   Connected to localhost.
   Escape character is '^]'.
   
   VPlexcli:/>

2. Чтобы запустить сбор данных диагностики, в командной строке vplexcli выполните команду «collect-diagnostics» с указанными параметрами, как показано в примере ниже.

   Пример вывода:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2024-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2024-02-09 19:55:13 UTC: No cluster-witness server found. 
   2024-02-09 19:55:13 UTC: Free space = 88G 
   2024-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

В. Проверка существующих пакетов сбора и диагностики в директоре/узле.

1. Когда команда collect-diagnostics завершится и вернется в запрос vplexcli, подключитесь к директору, с которого вы выполнили команду, с помощью winscp [или аналогичной утилиты SCP] и перейдите в папку /diag/collect-diagnostics-out/

2. Определите один или несколько файлов журнала с правильной меткой времени и загрузите их на локальную рабочую станцию.

Г. Как отменить текущий сбор данных диагностики

1. Если вы все еще находитесь в сеансе PuTTY, в котором был запущен сбор данных диагностики, вы должны видеть потоковый вывод команды collect-diagnostics, показывающий, что сбор данных диагностики все еще запущен.

   Пример вывода:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 19:55:13 UTC: No cluster-witness server found. 
   2022-02-09 19:55:13 UTC: Free space = 88G 
   2022-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

2. Откройте дублирующий сеанс PuTTY и при помощи служебной учетной записи войдите в директор, где был запущен сбор данных диагностики.

   Пример вывода:

   login as: service 
   Using keyboard-interactive authentication. 
   Password: 
   Last login: <date and time stamp data> from x.x.x.x 
   service@director-1-1-b:~>

3. Войдя в директор, перезапустите консоль управления с помощью следующей команды, чтобы отменить выполняемую диагностику сбора.

   Пример вывода:

   service@director-1-1-b:~> sudo systemctl restart VPlexManagementConsole.service

4. Оглядываясь назад на первый сеанс PuTTY, в котором была запущена диагностика сбора, при перезапуске консоли управления вы должны увидеть отчет collect-diagnostics следующего в качестве последнего записанного вывода:

   "Connection closed by foreign host."

   Пример вывода (проверьте последнюю строку вывода):

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 20:02:03 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 20:02:04 UTC: No cluster-witness server found. 
   2022-02-09 20:02:04 UTC: Free space = 88G 
   2022-02-09 20:02:04 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..                               ERROR 
   Executing SMS log collection ..                               Connection closed by foreign host. <<<

5. Как только сбор и диагностика остановлена, шаг 3 выше, вернитесь ко второму сеансу PuTTY и перейдите в каталог /diag, затем выполните команду 'll ', и вы увидите несколько дополнительных каталогов.

   • collect-diagnostics-tmp
   • collect-diagnostics-jobs
   • collect-diagnostics-tmp-ext*
     * если бы не был отключен сбор дополнительных файлов

   Пример вывода:

   service@director-1-1-b:/diag> ll 
   total 32 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-tmp-ext
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-jobs 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwxr-xr-x 3 service groupSvc  4096 Feb  9 20:02 collect-diagnostics-tmp 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

6. Если заглянуть внутрь каждого из этих каталогов, то можно увидеть файлы с датой и временем запуска отмененного сбора-диагностики. Эти файлы занимают место в разделе /diag и должны быть удалены.

7. Чтобы удалить/удалить файлы из каталога /diag, введите «rm -r collect-diagnostics-jobs» и «rm -r collect-diagnostics-tmp», затем снова введите «ll», чтобы убедиться, что каталоги удалены.

   Пример вывода:

   service@director-1-1-b:/diag> rm -r collect-diagnostics-jobs 
   service@director-1-1-b:/diag> rm -r collect-diagnostics-tmp 
   
   service@director-1-1-b:/diag> ll 
   total 24 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

8. Если каталог «collect-diagnostics-tmp-ext» все же существует, удалите его, выполнив команду «rm -r collect-diagnostics-tmp-ext»

   Примечание. Расширенный файл обычно используется для расследования сбоев узлов. Если в настоящее время выполняется исследование сбоя узла и служба поддержки не собрала все необходимые журналы, обратитесь в службу поддержки перед очисткой каталога collect-diagnostics-tmp-ext, поскольку такая очистка может привести к удалению необходимых и важных файлов.