PowerScale (Isilon): Underordnet eller overordnet isi_hangdump prosess som ikke kjører på én eller flere noder. (Gen5, 6. generasjon, 6.5 generasjon)
Shrnutí: Denne artikkelen inneholder en oversikt over hvordan du løser problemer med isi_hangdump meldinger som spammer i /var/log/messages. Sammendrag: Underordnet eller overordnet isi_hangdump prosess som ikke kjører på én eller flere noder. For at isi_hangdump skal fungere på riktig måte, må både overordnet og underordnet prosess kjøres. ...
Příznaky
Flere noder rapporterer tidsavbrudd for ping, muligens til én bestemt node.
MERK: Dette er ikke for RBM ping-tidsavbrudd
Problematisk node viser symptomer på en kontinuerlig isi_hangdump sløyfe.
Store isi_hangdumps forekommer omtrent samme tid hver time.
Dette kan også være årsaken til ytelsesproblemer.
Lignende meldinger i /var/log/messages:
2021-04-04T01:30:50-04:00 CLUSTER-24 isi_hangdump: Utløse klyngeomfattende hangdump2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: TIDSAVBRUDD FOR LÅS PÅ 1617514250 UTC2021-04-04T01
:30:50-04:00 CLUSTER-24 isi_hangdump: Hangdump etter 752602 sekunder: Ping timeout2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: SLUTT PÅ DUMP PÅ 1617514250 UTC2021-04-04T01
:31:00-04:00 CLUSTER-24 isi_hangdump: Starter hangdump på 26 noder ...
2021-04-04T01:31:09-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (Ping-tidsavbrudd)
2021-04-04T01:32:09-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (Ping-tidsavbrudd)
2021-04-04T01:35:12-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (Ping-tidsavbrudd)
2021-04-04T01:36:13-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (Ping-tidsavbrudd)
2021-04-04T01:52:27-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (Ping-tidsavbrudd)
2021-04-04T01:53:28-04:00 CLUSTER-24 isi_hangdump: Hoppe over forespurt dump (ping-tidsavbrudd)
Node 2 utløser hangdump, og forskjellen er én time
2020-08-20T00:53:48-07:00 CLUSTER-2 isi_hangdump: Utløse klyngeomfattende hangdump
2020-08-20T01:53:49-07:00 CLUSTER-2-isi_hangdump: Utløse klyngeomfattende hangdump < – én times forskjell mellom hangdumpene: 1:53 og 0:53
2020-08-20T02:53:49-07:00 CLUSTER-2-isi_hangdump: Utløse klyngeomfattende hangdump
Eller
Bare noden 24 utløser hangdumpene, og frekvensen er én time:
CLUSTER-24# isi_for_array "grep -i triggering /var/log/messages | grep 2021-04"
CLUSTER-24:2021-04-01T00:30:12-04:00 CLUSTER-24 isi_hangdump: Utløse klyngeomfattende hangdump
CLUSTER-24:2021-04-01T01:30:12-04:00 CLUSTER-24 isi_hangdump: Utløse klyngeomfattende hangdump < – 01:30:12 og 00:30:12: én times forskjell fra forrige instan
CLUSTER-24:2021-04-01T02:30:12-04:00 CLUSTER-24 isi_hangdump: Utløse klyngeomfattende hangdump
Antallet isi_hangdump prosesser kan være 4 eller 1.Det forventede antallet isi_hangdump prosesser bør være 2. Slik ser du hvor mange isi_hangdump prosesser som kjører på hver node:
# isi_for_array -s "ps awux | grep '[h]angdump'»
Løsningen er å starte isi_hangdump tjenesten på nytt og se etter antall isi_hangdump prosesser.
Hvis den ikke er 2, starter du noden på nytt.
Příčina
Řešení
For øyeblikket er løsningen å kjøre «isi_hangdump restart» (som vist i eksemplet nedenfor).
Hvis dette mislykkes, starter du noden på nytt for å få kjernene, og starter isi_hangdump prosessen på nytt.
CLUSTER-1# ps -auwx | grep -i isi_hangdump
root 1015 0.0 0.6 437876 38928 – S 25Mar21 0:57.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
1016 0.0 0.5 398676 32200 – S 25Mar21 20:05.60 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32228 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
CLUSTER-1# isi_hangdump restartCLUSTER
-1# ps -auwx | grep -i isi_hangdump
root 32253 3.9 0.6 398808 35976 – S 20:41 0:00.01 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump restartroot
1016 0.0 0.5 398676 32200 – S 25Mar21 20:05.61 /usr/libexec/isilon/isi_hangdump /usr/bin/isi_hangdump startroot
32260 0.0 0.0 12344 2616 0 S+ 20:41 0:00.00 grep -i isi_hangdump
I mellomtiden, teknisk avdeling arbeider med en løsning på full tid.