PowerFlex: Problemy z integralnością danych podczas aktualizacji systemu operacyjnego bez aktualizacji DasCache

Scenariusz

• DasCache jest skonfigurowany poprawnie (przy użyciu /dev/disk-by-id).
• Przed użyciem polecenia yum w celu uaktualnienia systemu operacyjnego serwer SDS był w trybie konserwacji. Po uaktualnieniu systemu operacyjnego użyto trybu konserwacji SDS, a wkrótce potem aplikacja zacznie raportować niespójność danych (DI).
• W tym konkretnym przypadku uaktualniono dwa systemy operacyjne SDS, jednak pojedyncze uaktualnienie systemu operacyjnego SDS może również wywołać problem.

Uwaga: Po uaktualnieniu systemu operacyjnego SDS nie udało się uruchomić usługi DasCache z jakiegoś powodu (wciąż w trakcie badania), usługa SDS została uruchomiona pomyślnie bez DasCache, chociaż miała spowodować awarię urządzeń dyskowych/SDS, a usługa powinna się nie uruchomić w celu ochrony danych.

 

Objawy

Przed uaktualnieniem systemu operacyjnego wersja SDS DasCache wyglądała następująco:

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

SDS wszedł w tryb serwisowy w celu uaktualnienia systemu operacyjnego:

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

Uaktualnienie systemu operacyjnego SDS z RH 7.2 do RH 7.6 odbyło się przy użyciu yum update:
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

Serwer SDS został ponownie uruchomiony, ale usługa DasCache nie została uruchomiona:

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

Po uaktualnieniu systemu operacyjnego wersja DasCache SDS była nadal w tej samej wersji, ponieważ pamięć DasCache nie została uaktualniona:
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Uwaga: Z jakiegoś nieznanego powodu (wciąż badanego) usługa SDS została uruchomiona pomyślnie, chociaż powinna była zawieść urządzenia SDS/dyskowe. Od tego momentu, gdy SDS wyjdzie z trybu konserwacji, powinien być zgłaszany DI.

Wyjdź z trybu konserwacji SDS:
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

Krótko po wyjściu z trybu konserwacji SDS aplikacja (w tym przypadku magazyny danych VMware i maszyny wirtualne) zaczęła raportować DI:

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

Wpływ

DI/DL
 

Główny powód

Gdy pamięć DasCache jest używana z PowerFlex, urządzenia dyskowe są narażone na SDS z jeszcze jedną warstwą, w ten sposób SDS odczytuje/zapisuje dane w DasCache, a następnie dane są opróżniane na urządzenia dyskowe.

Z założenia, gdy usługa DasCache nie uruchamia się, SDS zawodzi urządzenia dyskowe w celu ochrony danych na urządzeniach dyskowych, w ten sposób SDS NIE będzie mógł uzyskać bezpośredniego dostępu do urządzeń dyskowych.  

W tym przypadku system operacyjny SDS został uaktualniony, jednak pakiet DasCache nie został uaktualniony, co spowodowało pomyślne uruchomienie usługi SDS i pominięcie DasCache, gdy SDS odczytywał/zapisywał dane bezpośrednio z dysku, występowała luka w danych, ponieważ DasCache nie opróżnił wszystkich danych do urządzeń dyskowych, co ostatecznie doprowadziło do DI.

Uwaga: Przyczyna pomyślnego uruchomienia usługi SDS jest nadal badana. 
 

Obejście problemu

Nie ma obejścia tego problemu, jeśli serwer SDS wychodzi już z trybu konserwacji, a usługa DasCache jest w stanie awarii.

W przypadku, gdy system operacyjny został uaktualniony, a SDS nadal jest w trybie konserwacji, istnieją dwie opcje uniknięcia DI:

• 1. Uruchom ze starego jądra (w tym przypadku wersji 3.10.0-327)
  2. Uaktualnij pamięć DasCache w celu dopasowania do wersji jądra i uruchom ponownie usługę SDS zgodnie z opisem w poniższej procedurze KB 000195110

Wersje, których dotyczy problem

Wszystkie wersje PowerFlex
 

Naprawiono w wersji

Nie dotyczy — nadal w trakcie dochodzenia