PowerFlex SDS Sunucusu Soğuk Önyüklemesinden Sonra Birçok Sabit Okuma Hatası

Senaryo

Orta düzeyde parçacıklı bir depolama havuzu kullanan ve kalıcı sağlama toplamı özelliği etkinleştirilmiş PowerFlex Sistemi. 

2 TB'den büyük cihazlar.

Tek bir SDS sunucusu beklenmedik şekilde bir güç döngüsü (soğuk önyükleme) yaşar.

İki veya daha fazla SDS sunucusu beklenmedik şekilde bir güç döngüsü (soğuk önyükleme) yaşar.

Belirtiler

MDM olay günlükleri birçok sabit okuma hatası bildirir:

2023-12-05 12:01:42.634000:0031658:SCANNER_NEW_FIXED_ERRORS__INFO   INFO     SDS <name> encountered one or more read errors on device /dev/disk/by-id/scsi-<id>, and they were all fixed (Found: 29443, Fixed: 29443)
...

SDS izleme günlükleri sağlama toplamı uyuşmazlıklarını gösteriyor:

2023/12/05 12:01:39.643280 7ff09dd3ddb0:mosT10Dif_VerifyContT10DIFBuffer:00381: (T10DIF) DIF Verification Failed: blk=0, blkSize=8, pData=0x7fedddbff000, pDif=0x7ff09dd38820, computed_guard=b5c2, DIF_guard=58e1, difGranularity=8  
2023/12/05 12:01:39.643288 7ff09dd3ddb0:mgPhyDevPersChksm_IO_ReadValidate:03647: data Validation (state: PROTECTED) failed, devId 0xddd77b550046000e, combId 4716801282c6, combOffsetInLbs 16609280, dataOffsetInLbs 4306157568, dataSizeInLbs 2048, chksmRelativeOffsetBytes 1075099648, chksmSizeBytes 512, rc IO_ERR_PERS_CHECKSUM_MISMATCH (Pers. Checksum)
2023/12/05 12:01:39.643298 7ff09dd3ddb0:mgStorageRegion_ReadSync:03646: Reading tooth data failed: IO_ERR_PERS_CHECKSUM_MISMATCH. combId:4716801282c6,vTree:0xda6ddd6400000022,offsetVol:0x374ba9000,offsetInComb:16609280,sizeInLbs:2048,phyToothIdx:2101592,srcToothIdx:inv,dstToothIdx:inv New:(0,0) Requested:(37,1) volId:0  
2023/12/05 12:01:39.643372 7ff09dd3ddb0:mgPhyDev_IncreaseInaccessibleCapacity:06587: PDE - devId ddd77b550046000e toothIndex 2101592 Increased inaccessible capacity to 1 
2023/12/05 12:01:39.643383 7ff09dd3ddb0:raidComb_ReportCorruptionIfShould:19441: PDE - Comb 4716801282c6 Reported CORRUPT integrity result SUCCESS combId:4716801282c6,vTree:0xda6ddd6400000022,offsetVol:0x374ba9000,offsetInComb:16609280,sizeInLbs:2048,phyToothIdx:2101592,srcToothIdx:inv,dstToothIdx:inv New:(0,0) Requested:(37,1) volId:0 
2023/12/05 12:01:39.643390 7ff09dd3ddb0:ioh_NewRequest:10209: Check for scan error on comb 4716801282c6 - Done rc is IO_ERR_PERS_CHECKSUM_MISMATCH (Lba 16609280 2048) (0 ms) 
2023/12/05 12:01:39.647175 7ff098be4db0:storageRegion_PostIntegrityCorrection:04647: PDE - Clearing corruption in comb 4716801282c6 offsetInComb 16609280 extentSize 2048 after raidComb_WriteCombLocal combId:4716801282c6,vTree:0xda6ddd6400000022,offsetVol:0x374ba9000,offsetInComb:16609280,sizeInLbs:2048,phyToothIdx:2101592,srcToothIdx:inv,dstToothIdx:inv New:(0,0) Requested:(37,1) volId:0
2023/12/05 12:01:39.647259 7ff098be4db0:mgPhyDev_DecreaseInaccessibleCapacity:06604: PDE - devId ddd77b550046000e toothIndex 2101592 Decreased inaccessible capacity to 0 
2023/12/05 12:01:39.647350 7ff098be4db0:ioh_NewRequest:09688: comb:4716801282c6,vTree:0x0,offsetVol:0xffffffffffffffff,offsetTooth:0x0, Succeeded to fix comb 4716801282c6, offset 16609280, by its primary

Birden fazla SDS'de soğuk önyükleme yapılırsa kapasite erişilemiyor olarak görülebilir. Bu, query_all şuradan görülebilir:

Number of devices with inaccessible capacity: 367

Etki: 

Yansıtılmış kopya tarafından düzeltilen sabit okuma hatalarını gösteren MDM uyarıları.
MDM olay günlükleri, düzeltilen okuma hatalarıyla ilgili olaylarla dolar.

Bir SDS sunucusuna soğuk önyükleme yapıldıktan sonra, 2 TB'den büyük aygıtlarda kalıcı sağlama toplamlarının tam olarak yeniden oluşturulmasını önleyen bir yazılım kodu sorunu vardır. Arka plan tarayıcı (BGS) özelliği, eksik sağlama toplamı nedeniyle verilerin birincil ve ikincil kopyaları arasındaki tutarsızlıkları algılar ve bunları sabit okuma hataları olarak işaretler. Veri bütünlüğü veya kaybı riski olmadığını unutmamak önemlidir. BGS işlevi, sağlama toplamlarını düzelterek tanımlanan farklılıkları otomatik olarak düzeltir. Sonuç olarak, gözlemlenen sabit okuma hataları, veri bütünlüğünün bozulmadan kalması güvencesiyle bu sürecin bir yan ürünüdür.

Bu olaylar ve uyarılar güvenli bir şekilde göz ardı edilebilir. BGS tüm cihazlardan geçtiğinde olaylar ve uyarılar sonunda ortadan kalkacaktır. 
MDM uyarıları ve olayları sorunluysa soğuk önyükleme uygulanan SDS sistemden kaldırılıp tekrar eklenebilir.
 

Birden fazla SDS'de bir soğuk önyükleme yaşanırsa ve erişilemez bir kapasite görülürse, kalıcı sağlama geçici olarak devre dışı bırakılmalıdır.

Kalıcı sağlama özelliğini devre dışı bırakmak için önce BGS'nin devre dışı bırakılması gerekir:

1) Birincil MDM sunucusuna bağlanın.

2) BGS'yi devre dışı bırakın:

scli --disable_background_device_scanner --protection_domain_name <pd> --storage_pool_name <sp>

3) Kalıcı sağlama toplamını devre dışı bırakın:

scli --disable_persistent_checksum --protection_domain_name <pd> --storage_pool_name <sp>

Erişilemeyen alanlar artmayı bırakmalı ve azalmaya başlamalıdır. Bu biraz zaman alabilir. Bazen, etkilenen her aygıt için test_inaccessible_capoacity SCLI komutunu gerçekleştirmek bu işlemi hızlandırmaya yardımcı olabilir.

4) Yukarıdaki işlemlerden erişilemeyen alanlar azalmıyorsa, PDE ile işaretlenen SDS'leri İBB'ye yerleştirin ve SDS hizmetini yeniden başlatın. 

Erişilemeyen kapasitenin tamamı gittikten sonra kalıcı sağlama ve BGS'yi etkinleştirin.

1) Kalıcı sağlama toplamını etkinleştirin:

scli --enable_persistent_checksum --protection_domain_name <pd> --storage_pool_name <sp>

Tüm veriler için tüm sağlama toplamlarının yeniden oluşturulması gerektiğinden bu işlem uzun zaman alabilir. Bunun için ilerleme, SCLI query_all komutu kullanılarak izlenebilir. Kalıcı sağlamalar hesaplanıp korunduktan sonra BGS etkinleştirilebilir.

2) BGS'yi etkinleştirin:

scli --enable_background_device_scanner --protection_domain_name <pd> --storage_pool_name <sp>

Etkilenen Sürümler

PowerFlex 3.x
PowerFlex 4.x

Düzeltildiği Sürüm

PowerFlex 3.6.3
PowerFlex 4.5.2