PowerFlex: Tietojen eheysongelmat päivitettäessä käyttöjärjestelmää päivittämättä DasCachea

Tilanne

• DasCache on määritetty oikein (komennolla /dev/disk-by-id).
• SDS oli huoltotilassa ennen käyttöjärjestelmän päivittämistä yum-komennolla. Käyttöjärjestelmän päivityksen jälkeen käytettiin poistumista SDS-ylläpitotilasta, ja pian sen jälkeen sovellus alkaa raportoida tietojen epäjohdonmukaisuudesta (DI).
• Tässä nimenomaisessa tapauksessa kaksi SDS-käyttöjärjestelmää päivitettiin, mutta myös yksi SDS-käyttöjärjestelmän päivitys saattaa laukaista ongelman.

Huomautus: SDS-käyttöjärjestelmän päivityksen jälkeen DasCache-palvelu ei käynnistynyt jostain syystä (vielä tutkittavana), SDS-palvelu käynnistyi onnistuneesti ilman DasCachea, vaikka sen piti epäonnistua levylaitteissa / SDS: ssä ja palvelun ei pitäisi käynnistyä tietojen suojaamiseksi.

 

Oireet

Ennen käyttöjärjestelmän päivitystä SDS DasCache -versio oli:

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Käyttöjärjestelmä on siirtynyt huoltotilaan ja päivittänyt käyttöjärjestelmän:

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

SDS-käyttöjärjestelmän päivitys RH 7.2:sta RH 7.6:een tehtiin käyttämällä yum-päivitystä:
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

SDS-palvelin käynnistettiin uudelleen, mutta DasCache-palvelu ei käynnistynyt:

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

Käyttöjärjestelmän päivityksen jälkeen SDS DasCache -versio oli edelleen samassa versiossa, koska DasCachea ei päivitetty:
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Huomautus: Jostain tuntemattomasta syystä (vielä tutkittavana) SDS-palvelu käynnistyi onnistuneesti, vaikka sen olisi pitänyt epäonnistua SDS/levylaitteissa. Tästä eteenpäin, kun SDS poistuu huoltotilasta, on raportoitava DI.

SDS poistuu huoltotilasta:
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

Pian SDS:n huoltotilasta poistumisen jälkeen sovellus (tässä tapauksessa VMwaren tietosäilöt ja virtuaalikoneet) alkaa raportoida DI:stä:

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

Vaikutus

DI/DL
 

Pääsyy

Kun DasCachea käytetään PowerFlexin kanssa, levylaitteet altistetaan SDS: lle vielä yhdellä kerroksella, jolloin SDS lukee / kirjoittaa DasCacheen, ja myöhemmin tiedot huuhdellaan levylaitteille.

Suunnitellusti, kun DasCache-palvelu ei käynnisty, SDS epäonnistuu levylaitteissa suojaamaan levylaitteiden tietoja, jolloin SDS EI voi käyttää levylaitteita suoraan.  

Tässä tapauksessa SDS-käyttöjärjestelmä päivitettiin, mutta DasCache-pakettia ei päivitetty, mikä johti SDS-palvelun käynnistymiseen onnistuneesti ja DasCachen ohittamiseen, kun SDS luki / kirjoitti tietoja suoraan levyltä, tiedoissa oli aukko, koska DasCache ei ole tyhjentänyt kaikkia tietoja levylaitteisiin, mikä johti lopulta DI: hen.

Huomautus: Syytä, miksi SDS-palvelu voisi käynnistyä onnistuneesti, tutkitaan edelleen. 
 

Kiertotapa

Ongelmaan ei voi kiertää ongelmaa, jos SDS on jo poistumassa huoltotilasta ja DasCache-palvelu on vikatilassa.

Jos käyttöjärjestelmä päivitettiin ja käyttöturvallisuustiedote on edelleen ylläpitotilassa, DI:n voi välttää kahdella tavalla:

• 1. Käynnistä vanhasta ytimestä (tässä tapauksessa versiosta 3.10.0-327)
  2. Päivitä DasCache vastaamaan ytimen versiota ja käynnistä SDS-palvelu uudelleen seuraavasti: KB 000195110

Versiot, joita ongelma koskee

Kaikki PowerFlex-versiot
 

Korjattu versiossa

N/A - tutkinta vielä kesken