PowerFlex: DasCache i Yükseltmeden İşletim Sistemini Yükseltirken Veri Bütünlüğü Sorunları

Senaryo

• DasCache düzgün bir şekilde yapılandırılmıştır (/dev/disk-by-id kullanılarak).
• SDS, işletim sistemini yükseltmek için yum komutunu kullanmadan önce bakım modundaydı. İşletim sistemi yükseltmesinden sonra SDS bakım modundan çıktı ve kısa bir süre sonra uygulama veri tutarsızlığı (DI) hakkında rapor oluşturmaya başladı.
• Bu örnekte iki SDS işletim sistemi yükseltilmiştir ancak tek bir SDS işletim sistemi yükseltmesi de sorunu tetikleyebilir.

Not: SDS işletim sistemi yükseltmesinden sonra, DasCache hizmeti başlatılamadı, herhangi bir nedenle (hala araştırılıyor), SDS hizmeti DasCache olmadan başarıyla başlatıldı, ancak disk aygıtlarının/SDS'nin başarısız olması gerekiyordu ve verileri korumak için hizmetin başlatılamaması gerekiyordu.

 

Belirtiler

İşletim sistemi yükseltmesinden önce SDS DasCache sürümü şu şekildeydi:

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

SDS, işletim sistemini yükseltmek için bakım moduna girdi:

6457 2021-04-28 09:19:09.196 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command enter_maintenance_mode received, User: 'admin'. [10252559] SDS: ID: 82c410860000000d;

SDS işletim sisteminin RH 7.2'den RH 7.6 ya yükseltmesi yum update kullanılarak gerçekleştirildi:
 

Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: libgcc-4.8.5-36.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: redhat-release-server-7.6-4.el7.x86_64
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Installed: 1:grub2-common-2.02-0.76.el7.noarch
Apr 28 10:28:16 redhat-cust-1 yum[351251]: Updated: setup-2.8.71-10.el7.noarch
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: filesystem-3.2-25.el7.x86_64
Apr 28 10:28:17 redhat-cust-1 yum[351251]: Updated: 32:bind-license-9.9.4-72.el7.noarch
Apr 28 10:28:18 redhat-cust-1 yum[351251]: Installed: 1:grub2-pc-modules-2.02-0.76.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: tzdata-2018e-3.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: kbd-misc-1.15.5-15.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:quota-nls-4.01-17.el7.noarch
Apr 28 10:28:19 redhat-cust-1 yum[351251]: Updated: 1:emacs-filesystem-24.3-22.el7.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: ncurses-base-5.9-14.20130511.el7_4.noarch
Apr 28 10:28:20 redhat-cust-1 yum[351251]: Updated: nss-softokn-freebl-3.36.0-5.el7_5.x86_64
Apr 28 10:28:24 redhat-cust-1 yum[351251]: Updated: glibc-common-2.17-260.el7.x86_64

SDS sunucusu yeniden başlatıldı ancak DasCache hizmeti başlatılamadı:

Apr 28 10:47:04 [localhost] fio.init: Starting Fio devices: Failed
Apr 28 10:47:04 [localhost] systemd: fio.service: main process exited, code=exited, status=4/NOPERMISSION
Apr 28 10:47:04 [localhost] systemd: Failed to start Block Driver Interface to Flashsoft Cache.
Apr 28 10:47:04 [localhost] systemd: Unit fio.service entered failed state.
Apr 28 10:47:04 [localhost] systemd: fio.service failed.

[root@Node]# fscli -l
Starting fio service failed

İşletim sistemi yükseltmesinden sonra DasCache yükseltilmediğinden SDS DasCache sürümü hala aynı sürümdeydi:
 

fiop-1.5.14.rel-R3_9_Win_Linux.41_3.10.0_327.el7.x86_64.x86_6

Not: Bilinmeyen bir nedenle (hala araştırılıyor) SDS hizmeti, SDS/disk aygıtlarının başarısız olması gerektiği halde başarıyla başlatıldı. Bu noktadan sonra, SDS bakım modundan çıktığında bir DI bildirilmelidir.

SDS çıkış bakım modu:
 

6507 2021-04-28 10:01:54.700 MDM_CLI_CONF_COMMAND_RECEIVED INFO Command exit_maintenance_mode received, User: 'admin'. [10303510] SDS: ID: 82c410860000000d;
6508 2021-04-28 10:01:54.740 CLI_COMMAND_SUCCEEDED INFO Command exit_maintenance_mode succeeded. [10303510] 
6509 2021-04-28 10:04:00.111 SDS_MAINTENANCE_MODE_ENDED INFO SDS 10.1.150.50-RedHat (ID 82c410860000000d) has exited maintenance mode. 

SDS bakım modundan çıktıktan kısa bir süre sonra uygulama (bu örnekte VMware veri depoları ve VM'ler) DI hakkında rapor vermeye başlar:

2021-04-29T04:12:37.697Z cpu12:982259)WARNING: Res3: 4232: Volume 5e6bb636-01b03ca0-5350-246e96905870 ("DS_SQL_PD2PB_01") might be damaged on the disk. Resource cluster metadata corruption has been detected.

Etki

DI/DL
 

Temel Neden

DasCache PowerFlex ile kullanıldığında, disk aygıtları bir katmanla daha SDS'ye maruz kalır, bu şekilde SDS DasCache'i okur/yazar ve daha sonra veriler disk aygıtlarına boşaltılır.

Tasarım gereği, DasCache hizmeti başlatılamadığında, SDS, disk aygıtlarındaki verileri korumak için disk aygıtlarını başarısızlığa uğratır, bu şekilde SDS, disk aygıtlarına doğrudan erişemez.  

Bu durumda, SDS işletim sistemi yükseltildi, ancak DasCache paketi yükseltilmedi, SDS hizmetinin başarıyla başlatılmasına ve DasCache'in atlanmasına neden oldu, SDS verileri doğrudan diskten okuduğunda/yazdığında, DasCache tüm verileri disk aygıtlarına boşaltmadığı için verilerde bir boşluk vardı ve sonunda DI'ye yol açtı.

Not: SDS hizmetinin başarılı bir şekilde başlatılabilmesinin nedeni hala araştırılmaktadır. 
 

Geçici Çözüm

SDS zaten bakım modundan çıktıysa ve DasCache hizmeti başarısız durumdaysa sorun için geçici bir çözüm yoktur.

İşletim sistemi yükseltilmişse ve SDS hala bakım modundaysa DI'den kaçınmak için iki seçenek vardır:

• 1. Eski çekirdekten önyükleme yapın (bu durumda, sürüm 3.10.0-327)
  2. KB 000195110 yordamında açıklandığı gibi, DasCache'i çekirdek sürümüyle eşleşecek şekilde yükseltin ve SDS hizmetini yeniden başlatın.

Etkilenen Sürümler

Tüm PowerFlex sürümleri
 

Düzeltildiği Sürüm

Yok - hala araştırılıyor