PowerScale (Isilon): Underordnet eller overordnet isi_hangdump proces, der ikke kører på en enkelt eller flere noder. (Gen5, Gen6, Gen6.5)
Shrnutí: Denne artikel indeholder en oversigt over, hvordan du løser problemer med isi_hangdump meddelelser om spam i /var/log/messages. Opsummering: Underordnet eller overordnet isi_hangdump proces, der ikke kører på en enkelt eller flere noder. For at isi_hangdump fungerer korrekt, skal både overordnet og underordnet proces køre. ...
Příznaky
Flere noder rapporterer ping-timeouts, muligvis til én bestemt node.
BEMÆRK: Dette er ikke for RBM ping-timeouts
Den problematiske node viser symptomer på en kontinuerlig isi_hangdump sløjfe.
Større isi_hangdumps forekommer stort set samme tid hver time.
Dette kan også give problemer med ydeevnen.
Lignende meddelelser i /var/log/messages:
2021-04-04T01:30:50-04:00 CLUSTER-24 isi_hangdump: Udløser en klyngebred hangdump2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: LOCK TIMEOUT AT 1617514250 UTC2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: Hangdump efter 752602 sekunder: Ping timeout2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: SLUT PÅ DUMP VED 1617514250 UTC2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: Starter hangdump på 26 noder...
2021-04-04T01:31:09-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump(Ping timeout)
2021-04-04T01:32:09-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump(Ping timeout)
2021-04-04T01:35:12-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump(Ping timeout)
2021-04-04T01:36:13-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump(Ping timeout)
2021-04-04T01:52:27-04:00 CLUSTER-24 isi_hangdump: Skipping requested dump(Ping timeout)
2021-04-04T01:53:28-04:00 CLUSTER-24 isi_hangdump: Springer anmodning om dumpning over (ping-timeout)
Node 2 udløser hangdump, og forskellen er en time
2020-08-20T00:53:48-07:00 CLUSTER-2 isi_hangdump: Udløser klyngens hangdump i hele klyngen
2020-08-20T01:53:49-07:00 KLYNGE 2-isi_hangdump: Udløser klyngebrede hangdump
2020-08-20T02:53:49-07:00 KLYNGE 2-isi_hangdump: Udløser klyngens hangdump i hele klyngen
Eller
Det er kun node 24, der udløser hangdumps, og frekvensen er en time:
CLUSTER-24# isi_for_array "grep -i triggering /var/log/messages | grep 2021-04"
CLUSTER-24:2021-04-01T00:30:12-04:00 CLUSTER-24 isi_hangdump: Udløser klyngens hangdump i hele klyngen
KLYNGE-24:2021-04-01T01:30:12-04:00 CLUSTER-24 isi_hangdump: Udløser klyngens hangdump
KLYNGE-24:2021-04-01T02:30:12-04:00 CLUSTER-24 isi_hangdump: Udløser klyngens hangdump i hele klyngen
Antallet af isi_hangdump processer kan være 4 eller 1.Det forventede antal isi_hangdump processer bør være 2. Sådan kan du se, hvor mange isi_hangdump processer der kører på hver node:
# isi_for_array -s "ps awux | grep '[h]angdump'"
Løsningen er at genstarte isi_hangdump tjeneste og kontrollere for antallet af isi_hangdump processer.
Hvis den ikke er 2, skal du genstarte selve noden.
Příčina
Řešení
I øjeblikket er løsningen at køre "isi_hangdump genstart" (som vist i eksemplet nedenfor).
Hvis det mislykkes, skal du gå i panik og genstarte noden for at hente kernerne og genstarte isi_hangdump proces.
KLYNGE-1# ps -auwx | grep -i isi_hangdump
root 1015 0.0 0.6 437876 38928 - S 25Mar21 0:57.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
1016 0.0 0.5 398676 32200 – S 25Mar21 20:05.60 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32228 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
CLUSTER-1# isi_hangdump restartCLUSTER
-1# ps -auwx | grep -i isi_hangdump
root 32253 3.9 0.6 398808 35976 - S 20:41 0:00.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump restartroot
1016 0.0 0.5 398676 32200 - S 25Mar21 20:05.61 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32260 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
I mellemtiden, teknikerne arbejder på en løsning på fuld tid.