PowerFlex SDC logging I/O-fouten na verlies van connectiviteit op een enkele NIC

Scenario
PowerFlex gebruikt meerdere verbindingen voor elke component (bijvoorbeeld 2 verbindingen met SDS-IP-rol "Allen" of vier verbindingen - 2 voor "SDS-only" en 2 voor "SDC-only").

Het probleem doet zich voor wanneer één verbinding wordt verbroken (dat wil zeggen na het opnieuw opstarten van één switch, het afsluiten van één NIC, enz.).

Er is geen DU (DATA_FAILED capaciteit) in het hele systeem.

Symptomen
SDC meldt dat de verbinding met één (of meerdere) SDS is verbroken ondanks dat er meerdere verbindingen zijn geconfigureerd:

 <6>2021-09-20T06:52:29.617016+00:00 sdc001 kernel: [5965962.215707] bond-glance: link status down for backup interface eth4.2223, disabling it in 1000 ms
<6>2021-09-20T06:52:29.628748+00:00 sdc001 kernel: [5965962.227665] bond-glance: link status down for backup interface eth4.2223, disabling it in 1000 ms
<3>2021-09-20T06:52:29.628773+00:00 sdc001 kernel: [5965962.227668] bond-glance: invalid new link 1 on slave eth4.2223
<6>2021-09-20T06:52:30.638572+00:00 sdc001 kernel: [5965963.239669] bond-nfs: link status definitely down for interface eth4.2226, disabling it
<6>2021-09-20T06:52:30.662562+00:00 sdc001 kernel: [5965963.263771] bond-migration: link status definitely down for interface eth4.2222, disabling it
<6>2021-09-20T06:52:30.662585+00:00 sdc001 kernel: [5965963.263774] bond-migration: making interface eth5.2222 the new active one
<6>2021-09-20T06:52:30.670568+00:00 sdc001 kernel: [5965963.271749] bond-glance: link status definitely down for interface eth4.2223, disabling it
<3>2021-09-20T06:52:32.600563+00:00 sdc001 kernel: [5965965.175504] ScaleIO netCon_IsKaNeeded:3761 :CON 00000000515dfcb3 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.600587+00:00 sdc001 kernel: [5965965.186972] ScaleIO netCon_IsKaNeeded:3761 :CON 0000000030837167 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.646130+00:00 sdc001 kernel: [5965965.251039] ScaleIO netCon_IsKaNeeded:3761 :CON 00000000c6b7b707 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.657522+00:00 sdc001 kernel: [5965965.251092] [5786457902] Disconnected from SDS with ID 2b16b44c00000001  < ======================================================= unexpected
(...)
<3>2021-09-20T06:52:52.894622+00:00 sdc001: [5965985.494552] ScaleIO mapVolIO_ReportIOErrorIfNeeded:491 :[23145851856] IO-ERROR Type WRITE. comb: 24280000 0332. offsetInComb 1464872. SizeInLB 16. SDS_ID 2b16b44c00000001. Comb Gen 2c3f. Head Gen 2f1c. StartLB c793228.
<3>2021-09-20T06:52:52.894624+00:00 sdc001: [5965985.494555] ScaleIO mapVolIO_ReportIOErrorIfNeeded:512 :Vol ID 0x587d75290000000b. Last vol network error status NOT_CONN(4) Reason (ERROR) RC (ERROR) Retry count (20) chan (2)

Impact

 I/O-fouten zijn teruggestuurd naar de applicatie.

Dit soort fouten komen voort uit een of andere verkeerde netwerkconfiguratie - een van de NIC's op een van de componenten (SDS of SDC) kan in een verkeerd VLAN worden geplaatst, helemaal niet worden weergegeven, het verkeerde IP-adres is toegewezen, enz. 

In dit specifieke geval was een van de NIC's op de SDS "2b16b44c00000001" toegewezen aan een verkeerde VLAN, dus in feite vond de SDC-SDS-communicatie plaats via een enkele NIC - toen deze verbinding werd verbroken, kon de SDC niet langer met deze SDS praten. Aangezien er IP-rollen in gebruik waren, bleef deze SDS verbonden met de MDM en andere SDS via "SDS-only" NIC's, dus de MDM had geen reden om de data opnieuw op te bouwen.

Zorg ervoor dat alle componenten zijn verbonden zoals verwacht: gebruik de opdrachten netstat en/of scli (de exacte opdrachten zijn afhankelijk van de PowerFlex-versie) om de verbinding te controleren.