PowerFlex: DasCache를 업그레이드하지 않고 OS를 업그레이드할 때의 데이터 무결성 문제

시나리오

• DasCache가 올바르게 구성되었습니다(/dev/disk-by-id 사용).
• yum 명령을 사용하여 OS를 업그레이드하기 전에 SDS가 유지 보수 모드였습니다. OS 업그레이드 후 SDS 유지 보수 모드를 종료하고 잠시 후 애플리케이션이 DI(Data Inconsistency)에 대해 보고하기 시작합니다.
• 이 예에서는 두 개의 SDS OS가 업그레이드되었지만 단일 SDS OS 업그레이드도 문제를 트리거할 수 있습니다.

참고: SDS OS 업그레이드 후 DasCache 서비스를 시작하지 못했습니다. 어떤 이유로(아직 조사 중) SDS 서비스는 디스크 디바이스/SDS에 장애가 발생하고 데이터를 보호하기 위해 서비스를 시작하지 못해야 하지만 DasCache 없이 SDS 서비스가 시작되었습니다.

 

증상

OS 업그레이드 전 SDS DasCache 버전은 다음과 같습니다.

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

OS를 업그레이드하기 위해 SDS가 유지 보수 모드로 전환되었습니다.

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

RH 7.2에서 RH 7.6으로의 SDS OS 업그레이드는 yum update를 사용하여 수행되었습니다.
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

SDS 서버가 재부팅되었지만 DasCache 서비스를 시작하지 못했습니다.

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

OS 업그레이드 후에도 DasCache가 업그레이드되지 않았기 때문에 SDS DasCache 버전이 여전히 동일한 버전이었습니다.
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

참고: SDS/디스크 디바이스에 장애가 발생했지만 알 수 없는 이유(아직 조사 중)로 인해 SDS 서비스가 시작되었습니다. 이 시점부터 SDS가 유지 보수 모드를 종료하면 DI를 보고해야 합니다.

SDS가 유지 보수 모드를 종료합니다.
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

SDS가 유지 보수 모드를 종료한 직후 애플리케이션(이 경우 VMware 데이터 저장소 및 VM)이 DI에 대해 보고하기 시작합니다.

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

영향

디/DL
 

근본 원인

DasCache를 PowerFlex와 함께 사용할 경우 디스크 디바이스는 계층이 하나 더 있는 SDS에 노출됩니다. 이렇게 하면 SDS가 DasCache에 읽기/쓰기를 수행하고 나중에 데이터가 디스크 디바이스로 플러시됩니다.

설계상 DasCache 서비스가 시작되지 않으면 SDS가 디스크 디바이스의 데이터를 보호하기 위해 디스크 디바이스에 장애를 일으키므로 SDS가 디스크 디바이스에 직접 액세스할 수 없습니다.  

이 경우 SDS OS가 업그레이드되었지만 DasCache 패키지가 업그레이드되지 않아 SDS 서비스가 성공적으로 시작되고 DasCache를 우회합니다. SDS가 디스크에서 직접 데이터를 읽고 쓰면 DasCache가 모든 데이터를 디스크 디바이스로 플러시하지 않았기 때문에 데이터에 간격이 발생하여 결국 DI로 이어집니다.

참고: SDS 서비스를 성공적으로 시작할 수 있는 이유는 아직 조사 중입니다. 
 

해결 방법

SDS가 이미 유지 보수 모드를 종료했고 DasCache 서비스가 실패 상태인 경우 이 문제에 대한 해결 방법이 없습니다.

OS가 업그레이드되었지만 SDS가 여전히 유지 보수 모드인 경우 DI를 방지하는 두 가지 옵션이 있습니다.

• 1. 이전 커널에서 부팅(이 경우 버전 3.10.0-327)
  2. 다음 절차 KB 000195110에 설명된 대로 커널 버전과 일치하도록 DasCache를 업그레이드하고 SDS 서비스를 재시작합니다.

영향을 받는 버전

모든 PowerFlex 버전
 

수정된 버전

해당 없음 - 아직 조사 중