PowerFlex: Problémy s integritou dat při upgradu operačního systému bez upgradu DasCache

Scénář

• DasCache je správně nakonfigurována (pomocí /dev/disk-by-id).
• Před použitím příkazu yum k upgradu operačního systému byl SDS v režimu údržby. Po upgradu operačního systému byl použit režim údržby ukončení SDS a krátce poté začne aplikace hlásit nekonzistenci dat (DI).
• V tomto konkrétním případě byly upgradovány dva operační systémy SDS, problém však může vyvolat i jeden upgrade operačního systému SDS.

Poznámka: Po upgradu operačního systému SDS se nepodařilo spustit službu DasCache, z nějakého důvodu (stále se vyšetřuje) se služba SDS úspěšně spustila bez DasCache, i když se předpokládalo, že selže disková zařízení/SDS a služba by se neměla spustit, aby byla data chráněna.

 

Příznaky

Před upgradem operačního systému byla verze SDS DasCache:

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Disk SDS přešel do režimu údržby kvůli upgradu operačního systému:

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

Upgrade operačního systému SDS z verze RH 7.2 na RH 7.6 byl proveden pomocí nástroje yum update:
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

Server SDS byl restartován, ale nepodařilo se spustit službu DasCache:

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

Po aktualizaci operačního systému byla verze DasCache úložiště SDS stále ve stejné verzi, protože služba DasCache nebyla upgradována:
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Poznámka: Z nějakého neznámého důvodu (stále se prověřuje) se služba SDS úspěšně spustila, i když by měla selhat u SDS nebo diskových zařízení. Jakmile od této chvíle ukončí SDS režim údržby, měl by být DI nahlášen.

Ukončení režimu údržby SDS:
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

Krátce po ukončení režimu údržby SDS začne aplikace (v tomto případě se jednalo o datová úložiště a virtuální počítače VMware) hlásit DI:

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

Důsledky

DI/DL
 

Hlavní příčina

Při použití DasCache s PowerFlex jsou disková zařízení vystavena SDS s jednou další vrstvou, takže SDS čte/zapisuje do DasCache a později jsou data vyprázdněna do diskových zařízení.

Pokud se nepodaří spustit službu DasCache, disk SDS selže na discích, aby ochránil data na diskových zařízeních, takže disk SDS NEBUDE mít přímý přístup k diskovým zařízením.  

V tomto případě byl upgradován operační systém SDS, ale balíček DasCache nebyl upgradován, což vedlo k úspěšnému spuštění služby SDS a obcházení DasCache, jakmile SDS četl/zapisoval data přímo z disku, došlo k chybě v datech, protože DasCache nevyprázdnil všechna data do diskových zařízení, což nakonec vedlo k DI.

Poznámka: Důvod, proč se služba SDS mohla úspěšně spustit, se stále vyšetřuje. 
 

Zástupné řešení

Neexistuje žádné zástupné řešení problému, pokud SDS již ukončí režim údržby a služba DasCache je ve stavu selhání.

V případě, že byl operační systém upgradován a SDS je stále v režimu údržby, existují dvě možnosti, jak se vyhnout DI:

• 1. Zavedení ze starého jádra (v tomto případě verze 3.10.0-327)
  2. Proveďte upgrade služby DasCache tak, aby odpovídala verzi jádra, a restartujte službu SDS, jak je popsáno v následujícím postupu v článku znalostní 000195110

Dotčené verze

Všechny verze PowerFlex
 

Opraveno ve verzi

N/A - stále se vyšetřuje