Технологія PowerFlex: Проблеми з цілісністю даних при оновленні ОС без оновлення DasCache

Сценарій

• DasCache налаштований належним чином (за допомогою /dev/disk-by-id).
• SDS перебував у режимі обслуговування перед використанням команди yum для оновлення ОС. Після оновлення ОС використовувався режим обслуговування SDS exex, і незабаром після цього програма починає повідомляти про неузгодженість даних (DI).
• У цьому конкретному випадку було оновлено дві SDS OS, однак одне оновлення SDS OS також може спричинити проблему.

Примітка: Після оновлення SDS OS службу DasCache не вдалося запустити, з якоїсь причини (все ще розслідується), служба SDS успішно запустилася без DasCache, хоча передбачалося вийти з ладу дискових пристроїв/SDS і служба повинна не запускатися з метою захисту даних.

 

Симптоми

До оновлення ОС версія SDS DasCache була:

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

SDS перейшла в режим обслуговування для оновлення ОС:

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

Оновлення SDS OS з RH 7.2 до RH 7.6 було виконано за допомогою оновлення yum:
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

SDS сервер був перезавантажений, але служба DasCache не змогла запуститися:

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

Після оновлення ОС версія SDS DasCache все ще була на тій же версії, як і DasCache не оновлювалася:
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Примітка: З невідомої причини (все ще розслідується) служба SDS успішно запустилася, хоча вона повинна була вийти з ладу SDS/дискових пристроїв. З цього моменту, як тільки SDS виходить з режиму технічного обслуговування, слід повідомляти про DI.

Режим обслуговування виходу з SDS:
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

Незабаром після виходу з режиму обслуговування SDS додаток (в даному випадку це були сховища даних VMware і віртуальні машини) починає звітувати про DI:

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

Вплив

ДІ/ДЛ
 

Першопричина

Коли DasCache використовується з PowerFlex, дискові пристрої піддаються впливу SDS з ще одним шаром, таким чином SDS читається/записується в DasCache, а потім дані скидаються на дискові пристрої.

За задумом, коли служба DasCache не запускається, SDS не дозволяє дисковим пристроям захистити дані на дискових пристроях, таким чином, SDS НЕ зможе отримати доступ до дискових пристроїв безпосередньо.  

У цьому випадку ОС SDS була оновлена, однак пакет DasCache не був оновлений, що призвело до успішного запуску служби SDS і в обхід DasCache, як тільки SDS зчитувала/записувала дані безпосередньо з диска, виникла прогалина в даних, оскільки DasCache не скинув усі дані на дискові пристрої, що в кінцевому підсумку призвело до DI.

Примітка: Причина, через яку служба SDS могла успішно запуститися, все ще з'ясовується. 
 

Спосіб вирішення проблеми

Немає можливості обійти проблему, якщо SDS вже виходить з режиму обслуговування, а служба DasCache перебуває в стані збою.

У разі, якщо ОС була оновлена, а SDS все ще знаходиться в режимі обслуговування, є два варіанти уникнути DI:

• 1. Завантаження зі старого ядра (в даному випадку версії 3.10.0-327)
  2. Оновіть DasCache, щоб він відповідав версії ядра, і перезапустіть службу SDS, як описано в наступній процедурі KB 000195110

Версії, на які це вплинуло

Усі версії PowerFlex
 

Виправлено у версії

Н/Д - все ще під слідством