PowerScale (Isilon): Underordnad eller överordnad isi_hangdump-process körs inte på en eller flera noder. (Gen5, Gen6, Gen6.5)
Shrnutí: Den här artikeln ger en översikt över hur du löser problem med isi_hangdump meddelanden som massutskick i /var/log/messages. Sammanfattning: Underordnad eller överordnad isi_hangdump-process körs inte på en eller flera noder. För att isi_hangdump ska fungera korrekt måste både den överordnade och den underordnade processen köras. ...
Příznaky
Flera noder rapporterar ping-timeout, möjligen till en specifik nod.
OBSERVERA: Detta gäller inte för RBM-pingtimeouts
Problematisk nod visar symptom på en kontinuerlig isi_hangdump slinga.
Större isi_hangdumps inträffar ungefär samma tid varje timme.
Det kan också vara orsaken till prestandaproblem.
Liknande meddelanden i /var/log/messages:
2021-04-04T01:30:50-04:00 CLUSTER-24 isi_hangdump: Utlöser klusteromfattande hangdump2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: TIDSGRÄNS FÖR UTELÅSNING 1617514250 UTC2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: Hängdump efter 752602 sekunder: Ping-timeout2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: SLUT PÅ DUMPEN PÅ 1617514250 UTC2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: Initierar hangdump på 26 noder...
2021-04-04T01:31:09-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump (Ping timeout)
2021-04-04T01:32:09-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump (Ping timeout)
2021-04-04T01:35:12-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump (Ping timeout)
2021-04-04T01:36:13-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump (Ping timeout)
2021-04-04T01:52:27-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump (Ping timeout)
2021-04-04T01:53:28-04:00 CLUSTER-24 isi_hangdump: Hoppar över begärd dump (ping-timeout)
Nod 2 utlöser hangdumpen och skillnaden är en timme
2020-08-20T00:53:48-07:00 CLUSTER-2 isi_hangdump: Utlöser klusteromfattande hängdump
2020-08-20T01:53:49-07:00 ISI_HANGDUMP FÖR KLUSTER 2: Utlöser klusteromfattande hangdump-
2020-08-20T02:53:49-07:00 ISI_HANGDUMP FÖR KLUSTER 2: Utlöser klusteromfattande hängdump
Eller
Endast nod 24 utlöser hangdumps och frekvensen är en timme:
CLUSTER-24# isi_for_array "grep -i triggering /var/log/messages | grep 2021-04"
CLUSTER-24:2021-04-01T00:30:12-04:00 CLUSTER-24 isi_hangdump: Utlöser klusteromfattande hängdump
CLUSTER-24:2021-04-01T01:30:12-04:00 CLUSTER-24 isi_hangdump: Utlöser klusteromfattande hangdump-
CLUSTER-24:2021-04-01T02:30:12-04:00 CLUSTER-24 isi_hangdump: Utlöser klusteromfattande hängdump
Antalet isi_hangdump kan vara 4 eller 1.Förväntat antal isi_hangdump processer ska vara 2. Så här ser du hur många isi_hangdump-processer som körs på varje nod:
# isi_for_array -s "ps awux | grep '[h]angdump'"
Lösningen är att starta om isi_hangdump service och kontrollera antalet isi_hangdump processer.
Om det inte är två startar du om själva noden.
Příčina
Řešení
För närvarande är lösningen att köra "isi_hangdump restart" (som i exemplet nedan).
Om det misslyckas får du panik genom att starta om noden för att få kärnorna och starta om isi_hangdump processen.
CLUSTER-1# ps -auwx | grep -i isi_hangdump
root 1015 0.0 0.6 437876 38928 - S 25Mar21 0:057.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
1016 0.0 0.5 398676 32200 – S 25Mar21 20:05.60 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32228 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
CLUSTER-1# isi_hangdump restartCLUSTER
-1# ps -auwx | grep -i isi_hangdump
root 32253 3.9 0.6 398808 35976 - S 20:41 0:00.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump restartroot
1016 0.0 0.5 398676 32200 – S 25Mar21 20:05.61 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32260 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
In the meantime, teknikerna arbetar på en lösning på hela tiden.