Connectrix Cisco Switchar startas om på grund av oplanerad PDU-aktivitet

I varje switch går tre PSU ner men de är inte samma nummer:
Switch 1 -> PSU 1, 4, 5 saknas eller stängs av.
Omkopplare 2 –> PSU 1, 3, 5 saknas eller är avstängda.

Cisco-dokument:
https://www.cisco.com/c/en/us/td/docs/dcn/mds9000/hw/9700/cisco-mds-9700-switching-module-installation-guide.pdf

PSU 1, 2, 5 och 6 samt bälte A och PSU 3, 4, 7, 8

Ingen av dessa har nätaggregaten anslutna enligt ovan. I det här fallet, eftersom det är PS-redundant läge:
Exempel: Följande är tidslinjen för switchar:

Switch 1
2023 Dec  2 16:05:56  PSUs 1, 4 and 5 go down and switch seems to reload.

Switch initializes on 3 PSUs
2023 Dec  2 16:07:19 PSU 2 comes up
2023 Dec  2 16:07:19 PSU 3 comes up
2023 Dec  2 16:07:19 PSU 6 comes up (Switch initializes just fine on 3 PSUs)

2023 Dec  2 16:23:07 PSU 1 comes up
2023 Dec  2 16:23:09 PSU 4 comes up
2023 Dec  2 16:23:12 PSU 5 comes up (all 6 PSUs are up)

2023 Dec  2 16:27:01  PSU 2 goes down
2023 Dec  2 16:27:03  PSU 3 goes down
2023 Dec  2 16:27:06  PSU 6 goes down (switch stays up with just 3 PSUs)

2023 Dec  2 16:52:07 PSU 2 comes up
2023 Dec  2 16:52:09 PSU 3 comes up
2023 Dec  2 16:52:12 PSU 6 comes up (all 6 PSUs are up)

Switch 2:
2023 Dec  2 16:06:00 PSUs 1, 3 and 5 go down and switch seems to reload.

Switch initializes on 3 PSUs
2023 Dec  2 16:07:21 PSU 2 comes up
2023 Dec  2 16:07:21 PSU 4 comes up
2023 Dec  2 16:07:21 PSU 6 comes up (Switch initializes just fine on 3 PSUs)

2023 Dec  2 16:23:07 PSU 1 comes up
2023 Dec  2 16:23:09 PSU 3 comes up
2023 Dec  2 16:23:12 PSU 5 comes up (all 6 PSUs are up)

2023 Dec  2 16:27:01 PSU 2 goes down
2023 Dec  2 16:27:03 PSU 4 goes down
2023 Dec  2 16:27:06 PSU 2 goes down (switch stays up with just 3 PSUs)

2023 Dec  2 16:52:07 PSU 2 comes up
2023 Dec  2 16:52:09 PSU 4 comes up
2023 Dec  2 16:52:12 PSU 6 comes up (all 6 PSUs are up)


2023 Dec  2 16:05:56 Switch 1 %PLATFORM-2-PS_ABSENT: Power supply 1 is absent/shutdown, ps-redundancy might be affected
2023 Dec  2 16:05:56 Switch 1 %PLATFORM-2-PS_ABSENT: Power supply 4 is absent/shutdown, ps-redundancy might be affected
2023 Dec  2 16:05:56 Switch 1 %PLATFORM-2-PS_ABSENT: Power supply 5 is absent/shutdown, ps-redundancy might be affected
2023 Dec  2 16:05:57 Switch 1 %USBHSD-2-MOUNT: logflash: online 
2023 Dec  2 16:05:59 Switch 1 %DAEMON-3-SYSTEM_MSG: sendto(10.0.0.0): Network is unreachable - ntpd[6294]
2023 Dec  2 16:06:00 Switch 1 %USER-3-SYSTEM_MSG: pdslib_initialize: If the client is  already intialized    - pm
2023 Dec  2 16:06:15 Switch 1 %USER-3-SYSTEM_MSG: pdslib_initialize: If the client is  already intialized    - stp
2023 Dec  2 16:06:15 Switch 1 %DAEMON-3-SYSTEM_MSG: sendto(10.0.0.0): Network is unreachable - ntpd[6294]
2023 Dec  2 16:06:26 Switch 1 %IM-5-IM_MGMT_INTF_STATE: mgmt0 is DOWN
2023 Dec  2 16:06:31 Switch 1 %DAEMON-3-SYSTEM_MSG: sendto(10.0.0.0): Network is unreachable - ntpd[6294]
2023 Dec  2 16:06:49 Switch 1 %DAEMON-3-SYSTEM_MSG: sendto(10.0.0.0): Network is unreachable - ntpd[6294]
2023 Dec  2 16:06:49 Switch 1 device_test: oper speed(10),oper duplex(1) 
2023 Dec  2 16:07:01 Switch 1 %IM-5-IM_MGMT_INTF_STATE: mgmt0 is UP

När switcharna lästes in igen kom de upp igen med endast tre nätaggregat (PSU) aktiva. Senare, när de tre nätaggregaten slutade fungera igen, fortsatte switchen att fungera och laddades inte om.
Tydligen kan switchen fungera tillfredsställande med tre nätaggregat. Men efter att de tre nätaggregaten slutade fungera inträffade ett tillfälligt strömavbrott på de andra tre nätaggregaten, vilket ledde till att switchen laddades om.

Det är också värt att notera att varje strömförsörjning har några larmbitar eller flaggor. Dessa registrerar händelser, till exempel strömavbrott i enskilda nätaggregat.
Om alla strömförsörjningsenheter förlorar ström samtidigt rensas dessa bitar efter en kort tid.

I det här fallet är de alla noll:

PS 1
-----
...
  alm_bits  0: 0: 0: 0: 0
PS 2
-----
...
  alm_bits  0: 0: 0: 0: 0
PS 3
-----
...
  alm_bits  0: 0: 0: 0: 0
PS 4
-----
...
  alm_bits  0: 0: 0: 0: 0
PS 5
-----
...
  alm_bits  0: 0: 0: 0: 0
PS 6
-----
...
  alm_bits  0: 0: 0: 0: 0

Ett labbtest utfördes med nätaggregat i 1-6. Nätsladdar ur PSU 1, 4 och 5 (som hände på switchar) och omkopplaren stannade upp bra.

Som nämnts inträffade i båda switcharna där varje switch förlorade 3 PSU:er och switchen stannade också uppe.

Det ser ut som att 3 nätaggregat misslyckades på varje switch och sedan var det ett nytt, tillfälligt avbrott på de andra 3 nätaggregaten. Det gjorde att switcharna helt misslyckades på grund av ingen ström.

Under felsökningen observerade användaren att de alm_bits-värdena var nollor: '0: 0: 0: 0: 0' Dessa bitar indikerar status för olika larm relaterade till nätaggregaten (PSU) i nätverksswitchen. När alla nätaggregat förlorar ström samtidigt rensas dessa larmbitar.

Låt oss utforska konsekvenserna av detta beteende.

Grundorsaksanalys:

1. Sammankopplade nätaggregat:
   I nätverksswitchen får varje nätaggregat ström från de andra. Den här sammankopplingen säkerställer redundans och feltolerans.
   När alla nätaggregat förlorar ström återställs larmbitarna till noll. Denna händelse tyder på ett fullständigt strömavbrott som påverkar alla sex PSU:er, även om det bara är tillfälligt.
2. Tillfälligt strömavbrott:
   Grundorsaken ligger i det tillfälliga strömavbrott som alla strömförsörjningsenheter upplever.
   Switchen fortsatte att fungera med endast tre aktiva nätaggregat, men den samtidiga strömförlusten utlöste återställningen av larmbiten.

Larmbitsregister:
Inuti switchen finns olika register som spårar PSU-status. Dessa inkluderar bitar som indikerar strömavbrott, återställning och andra fel.
Tyvärr har Cisco inte offentligt dokumenterat dessa interna bitvärden.
Men när alla nätaggregat förlorar ström rensas larmbitarna.

Åtgärder och rekommendationer:

• Övervakning och redundans:
• Fortsätt övervaka PSU-hälsa och larm.
• Se till att minst ett nätaggregat upprätthåller strömmen för att förhindra samtidiga strömavbrott.
• Kom ihåg att det är viktigt för nätverkets tillförlitlighet att förstå PSU-beteendet och upprätthålla anslutningsredundansen för strömfördelningsenheten (PDU).