Węzeł metro: Zbieranie dzienników z węzła metro

Procedury wykonywania następujących zadań:

1. Jakie dzienniki są wymagane do debugowania problemów z węzłem metro?
2. Jak przechwycić diagnostykę zbiorczą w klastrze węzła metro?
3. Sprawdzanie poprawności istniejących pakietów collect-diagnostics na serwerach zarządzających.
4. Jak anulować i wyczyścić trwającą diagnostykę zbiorczą w węźle metro?

A. Jakie dzienniki są wymagane do debugowania problemów z węzłem metro?

1. Polecenie wymagane do zebrania dzienników z węzła metro nosi nazwę "collect-diagnostics" i można je uruchomić z dowolnego węzła (*1) w konfiguracji węzła metro. Uruchomienie tego polecenia na jednym module director klastra węzła metro powinno zawierać wszystkie dane ze wszystkich modułów director, ze wszystkich węzłów klastra. NIE NALEŻY uruchamiać tego polecenia na więcej niż jednym węźle w danym czasie.

   *1 UWAGA: Uruchom polecenie "collect-diagnostics" tylko z jednego modułu director, tylko w jednym klastrze w konfiguracji Metro i poczekaj na pełne zakończenie przed pobraniem dysków CD z innego modułu director lub z klastra równorzędnego, jeśli jest to konieczne.

2. Polecenie „collect-diagnostics” tworzy skompresowany plik dziennika tar.gz zawierający pliki konfiguracyjne i dziennika. Plik collect-diagnostics (CD) jest umieszczany w katalogu /diag/collect-diagnostics-out/ w węźle, z którego polecenie zostało uruchomione. Po zakończeniu wykonywania polecenia użyj WINSCP lub równoważnego narzędzia SCP, aby skopiować plik z węzła, a następnie możesz go przekazać do działu wsparcia do analizy. Więcej informacji na temat korzystania z tego polecenia znajduje się w części B poniżej.

   Uwagi:

   • Jeśli polecenie „collect-diagnostics” jest uruchamiane bez żadnych opcji, są generowane dwa pliki — plik bazowy i plik rozszerzony. W systemach skalowanych może to zająć dość dużo czasu.
   • Obsługa węzła Metro zazwyczaj wymaga tylko pliku podstawowego, jednak w niektórych okolicznościach ze względu na problemy z wydajnością może być również wymagany plik rozszerzony.
   • Standardowe opcje, o użycie których podczas uruchamiania polecenia collect-diagnostics zespół może poprosić, to:
     • ”--noextended": Ta opcja powoduje pominięcie kolekcji rozszerzonej diagnostyki.
     • ”--last-logs": Ta opcja przechwytuje dzienniki wstecz x liczby godzin lub dni.
   • Aby uzyskać więcej informacji na temat polecenia, możesz wpisać "collect-diagnostics -h"

   Oto przykłady tego, jak wyglądają te dwie nazwy plików, data i godzina, pokazana jako YYYY-MM-DD-HH.MM.SS, pochodzi z daty i godziny, kiedy zostały zebrane:

   • Plik podstawowy: <Serial number>-c1-diag-YYYY-MM-DD-HH.MM.SS.tar.gz
   • Plik rozszerzony: <Serial number>-c1-diag-ext-YYYY-MM-DD-HH.MM.SS.tar.gz

3. Problemy z wydajnością są złożone i wymagają zebrania wielu szczegółowych informacji. W związku z tym udostępniamy kwestionariusz wydajności, o wypełnienie którego klienci są proszeni, aby przyspieszyć ten proces. Kwestionariusz znajduje się w załączniku na końcu tego artykułu bazy wiedzy.

4. W przypadku niektórych rodzajów problemów z wydajnością pomocne jest przechwycenie dodatkowego dziennika o nazwie "fe_perf_stats". Dzienniki są generowane w sposób ciągły, ale nie są przechwytywane przez polecenie collect-diagnostics. Aby przechwycić ten dziennik, należy przechwycić katalog zmienny (zmień katalog ) na / var/log/VPlex/cli na węźle z każdego klastra i uruchomić polecenie "tar cvzf fe-perf-stats.tar.gz fe_perf_stats*", aby skompresować dane plików do pliku tar. Połącz się z węzłem za pomocą WINS lub równoważnego narzędzia SCP i przejdź do /var/log/VPlex/cli. Skopiuj plik "fe-perf-stats.tar.gz" do systemu. Prześlij plik tar wraz z co najmniej jednym plikiem diagnostyki zbierania, jeśli zażąda tego dział pomocy technicznej, do zgłoszenia serwisowego lub na łącze ftp podane w zgłoszeniu serwisowym i w wiadomości e-mail.

5. Oprócz danych polecenia collect-diagnostics pomocne może być zebranie następujących informacji:

   • Otwórz logowanie dla sesji putty,
   • Następnie uruchom poniższe polecenia,
   • Następnie zbierz dziennik Putty i pobierz go do swojego systemu,
   • Następnie dołącz do zgłoszenia serwisowego dziennik programu PuTTY, dane diagnostyczne collect i wszelkie inne wymagane dane.

   Poniższe polecenia należy uruchomić z poziomu wiersza poleceń konsoli VPlexcli.

   1. cluster status
   2. ll clusters/**/storage-views/* --full
   3. ll ~ports
   4. show-use-hierarchy /clusters/**/virtual-volumes/*
   5. ll ~system-volumes
   6. ls -t /clusters/*/directors/*::serial-number (to polecenie wyświetla listę wszystkich DST dla każdego węzła)
   7. ls -t /clusters/**/director-*/::hostname (wyświetlane nazwy hostów to adresy IP, czego można się spodziewać)

B. Jak przechwycić diagnostykę zbiorczą w klastrze węzła metro?

1. Ustanów sesję SSH w wierszu polecenia systemu Linux węzła director, na przykład service@director-1-1-a, a następnie zaloguj się do vplexcli.

   Przykładowe dane wyjściowe:

   login as: service
   Keyboard-interactive authentication prompts from server:
   | Password:
   End of keyboard-interactive prompts from server
   Last login: <date and timestamp data> from x.x.x.x
   service@director-1-1-a:~>
   service@director-1-1-a:~> vplexcli
   Trying ::1...
   Connected to localhost.
   Escape character is '^]'.
   
   VPlexcli:/>

2. Aby uruchomić polecenie collect-diagnostics, z poziomu wiersza polecenia konsoli VPlexcli wykonaj polecenie „collect-diagnostics” ze wskazanymi opcjami, jak pokazano w poniższym przykładzie.

   Przykładowe dane wyjściowe:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2024-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2024-02-09 19:55:13 UTC: No cluster-witness server found. 
   2024-02-09 19:55:13 UTC: Free space = 88G 
   2024-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

C. Jak sprawdzić poprawność istniejących pakietów diagnostyki zbierania danych w module director/węźle.

1. Po zakończeniu polecenia collect-diagnostics i powrocie do wiersza poleceń vplexcli połącz się z modułem director, z którego uruchomiono polecenie, używając winscp [lub równoważnego narzędzia SCP] i przejdź do folderu /diag/collect-diagnostics-out/

2. Zidentyfikuj jeden lub więcej plików dziennika z prawidłowym sygnaturą czasową i pobierz je na lokalną stację roboczą.

D. Jak anulować trwającą diagnostykę zbiorczą

1. Jeśli masz nadal ustanowioną sesję w PuTTY, w której uruchomiono polecenie collect-diagnostics, to powinien być widoczny strumień danych wyjściowych polecenia collect-diagnostics, co oznacza, że polecenie nadal działa.

   Przykładowe dane wyjściowe:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 19:55:13 UTC: No cluster-witness server found. 
   2022-02-09 19:55:13 UTC: Free space = 88G 
   2022-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

2. Otwórz zduplikowaną sesję PuTTY i zaloguj się do modułu director, w którym uruchomiono polecenie collect-diagnostics, przy użyciu konta usługi.

   Przykładowe dane wyjściowe:

   login as: service 
   Using keyboard-interactive authentication. 
   Password: 
   Last login: <date and time stamp data> from x.x.x.x 
   service@director-1-1-b:~>

3. Po uruchomieniu modułu director uruchom ponownie konsolę zarządzania, używając następującego polecenia, aby anulować uruchomioną diagnostykę zbierania.

   Przykładowe dane wyjściowe:

   service@director-1-1-b:~> sudo systemctl restart VPlexManagementConsole.service

4. Patrząc wstecz na pierwszą sesję programu PuTTY, w której uruchomiono diagnostykę zbierania, po ponownym uruchomieniu konsoli zarządzania powinien zostać wyświetlony raport collect-diagnostics jako ostatni odnotowany wynik:

   "Connection closed by foreign host."

   Przykładowe dane wyjściowe (sprawdź ostatni wiersz danych wyjściowych):

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 20:02:03 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 20:02:04 UTC: No cluster-witness server found. 
   2022-02-09 20:02:04 UTC: Free space = 88G 
   2022-02-09 20:02:04 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..                               ERROR 
   Executing SMS log collection ..                               Connection closed by foreign host. <<<

5. Gdy widać, że collect-diagnostics zostało zatrzymane, krok 3 powyżej, wróć do drugiej sesji PuTTY i "cd" do katalogu /diag, a następnie uruchom "ll" i powinieneś zobaczyć kilka dodatkowych katalogów.

   • collect-diagnostics-tmp
   • collect-diagnostics-jobs
   • collect-diagnostics-tmp-ext*
     *jeśli pliki rozszerzone nie zostały pominięte

   Przykładowe dane wyjściowe:

   service@director-1-1-b:/diag> ll 
   total 32 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-tmp-ext
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-jobs 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwxr-xr-x 3 service groupSvc  4096 Feb  9 20:02 collect-diagnostics-tmp 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

6. Jeśli zajrzysz do każdego z tych katalogów, zobaczysz pliki z datą i godziną rozpoczęcia anulowanej diagnostyki zbierania. Pliki te zajmują miejsce na partycji /diag i powinny zostać usunięte.

7. Aby usunąć/usunąć pliki z katalogu /diag, wpisz "rm -r collect-diagnostics-jobs" i "rm -r collect-diagnostics-tmp", a następnie ponownie wprowadź "ll", aby upewnić się, że katalogi zostały usunięte lub usunięte.

   Przykładowe dane wyjściowe:

   service@director-1-1-b:/diag> rm -r collect-diagnostics-jobs 
   service@director-1-1-b:/diag> rm -r collect-diagnostics-tmp 
   
   service@director-1-1-b:/diag> ll 
   total 24 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

8. Jeśli katalog „collect-diagnostics-tmp-ext” istnieje, usuń go, uruchamiając polecenie „rm -r collect-diagnostics-tmp-ext”.

   Uwaga: Plik rozszerzony jest zwykle używany do badania awarii węzłów. Jeśli trwa badanie dotyczące awarii węzła, a zespół wsparcia nie przechwycił wszystkich niezbędnych dzienników, przed rozpoczęciem czyszczenia katalogu collect-diagnostics-tmp-ext należy skontaktować się z zespołem wsparcia, ponieważ czyszczenie może spowodować usunięcie niezbędnych plików głównych.