PowerFlex SDC:n I/O-lokiin kirjaamisen virheet, kun yhteys katkeaa yhdestä verkkokortista

Skenaario
PowerFlex käyttää useita yhteyksiä kullekin komponentille (esimerkiksi 2 yhteyttä, joiden SDS:n IP-rooli on Kaikki tai neljä yhteyttä – 2 vain SDS:lle ja 2 vain SDC:lle).

Ongelma ilmenee, kun yksittäinen yhteys katkeaa (eli yhden kytkimen uudelleenkäynnistyksen, yhden verkkokortin sammuttamisen jne.).

Koko järjestelmässä ei ole köyhdytettyä uraania (DATA_FAILED kapasiteettia).

Oireet
SDC ilmoittaa yhteyden katkeamisesta yhteen (tai useampaan) SDS:ään, vaikka useita yhteyksiä on määritetty:

 <6>2021-09-20T06:52:29.617016+00:00 sdc001 kernel: [5965962.215707] bond-glance: link status down for backup interface eth4.2223, disabling it in 1000 ms
<6>2021-09-20T06:52:29.628748+00:00 sdc001 kernel: [5965962.227665] bond-glance: link status down for backup interface eth4.2223, disabling it in 1000 ms
<3>2021-09-20T06:52:29.628773+00:00 sdc001 kernel: [5965962.227668] bond-glance: invalid new link 1 on slave eth4.2223
<6>2021-09-20T06:52:30.638572+00:00 sdc001 kernel: [5965963.239669] bond-nfs: link status definitely down for interface eth4.2226, disabling it
<6>2021-09-20T06:52:30.662562+00:00 sdc001 kernel: [5965963.263771] bond-migration: link status definitely down for interface eth4.2222, disabling it
<6>2021-09-20T06:52:30.662585+00:00 sdc001 kernel: [5965963.263774] bond-migration: making interface eth5.2222 the new active one
<6>2021-09-20T06:52:30.670568+00:00 sdc001 kernel: [5965963.271749] bond-glance: link status definitely down for interface eth4.2223, disabling it
<3>2021-09-20T06:52:32.600563+00:00 sdc001 kernel: [5965965.175504] ScaleIO netCon_IsKaNeeded:3761 :CON 00000000515dfcb3 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.600587+00:00 sdc001 kernel: [5965965.186972] ScaleIO netCon_IsKaNeeded:3761 :CON 0000000030837167 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.646130+00:00 sdc001 kernel: [5965965.251039] ScaleIO netCon_IsKaNeeded:3761 :CON 00000000c6b7b707 didn't receive message for 30 iterations.  Marking as down
<3>2021-09-20T06:52:32.657522+00:00 sdc001 kernel: [5965965.251092] [5786457902] Disconnected from SDS with ID 2b16b44c00000001  < ======================================================= unexpected
(...)
<3>2021-09-20T06:52:52.894622+00:00 sdc001: [5965985.494552] ScaleIO mapVolIO_ReportIOErrorIfNeeded:491 :[23145851856] IO-ERROR Type WRITE. comb: 24280000 0332. offsetInComb 1464872. SizeInLB 16. SDS_ID 2b16b44c00000001. Comb Gen 2c3f. Head Gen 2f1c. StartLB c793228.
<3>2021-09-20T06:52:52.894624+00:00 sdc001: [5965985.494555] ScaleIO mapVolIO_ReportIOErrorIfNeeded:512 :Vol ID 0x587d75290000000b. Last vol network error status NOT_CONN(4) Reason (ERROR) RC (ERROR) Retry count (20) chan (2)

Vaikutus

 Sovellukseen palautetut I/O-virheet.

Tällaiset virheet johtuvat jonkinlaisesta verkon virheellisestä määrityksestä - yksi minkä tahansa komponentin (SDS tai SDC) verkkokorteista voidaan laittaa väärään VLAN-verkkoon, sitä ei tuoda lainkaan esiin, väärä IP on määritetty jne. 

Tässä nimenomaisessa tapauksessa yksi käyttöturvallisuustiedotteen "2b16b44c00000001" verkkokorteista oli määritetty väärään VLAN-verkkoon, joten käytännössä SDC-SDS-tiedonsiirto tapahtui yhden verkkokortin kautta - kun tämä yhteys katkesi, SDC ei voinut enää puhua tämän käyttöturvallisuustiedotteen kanssa. Koska IP-roolit olivat käytössä, tämä SDS pysyi yhteydessä MDM:ään ja muihin SDS:iin "vain SDS-verkkokorttien" kautta, joten MDM:llä ei ollut syytä koota tietoja uudelleen.

Varmista, että kaikki komponentit on yhdistetty odotetulla tavalla - tarkista yhteys netstat- ja/tai scli-komennoilla (tarkat komennot määräytyvät PowerFlex-version mukaan).