PowerFlex 3.X: İşletim Sistemi Diskine Yavaş Yazma İşlemleri Birden Çok MDM Sorununa Neden Olabilir.
Summary: İşletim sistemi diskine yavaş yazma işlemleri birden fazla MDM sorununa neden olabilir.
Symptoms
Bir MDM'de yavaş bir işletim sistemi diskinin sonucu olarak çok sayıda senaryo ortaya çıkabilir.
ScaleIO 3.0'da MDM mekanizması, ciddi derecede yavaş işletim sistemi disk sorunlarının daha iyi ele alınması için daha sağlam hale getirilmiştir. (10+ saniye gecikme)
MDM'ler, yazma işlemi çok uzun süren işletim sistemi disklerinde çalışırken aşağıdaki belirtiler görülebilir:
-
SDS'nin bakıma alınması, Ana MDM'nin bağlantısının kesilmesine neden olur.
-
Yeniden oluşturma olayı, Ana MDM'nin ve muhtemelen bağımlı MDM'lerin bağlantısının kesilmesine neden olur.
-
MDM geçişi çalışmıyor; İkincil MDM'ler Ana MDM sorumluluklarını devralamaz ve bu nedenle hiçbir MDM ana MDM değildir.
-
scli --query_cluster" çıktısı, bağımlı MDM'lerin ara sıra senkronize edilmediğini gösteriyor.
-
SDC, IO hataları yazıyor.
Tüm senaryolarda, MDM trc günlüklerinde "Harden çok uzun sürdü" görülür:
08/12 03:36:42.336327 0x7f64207f4eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1360 ms 08/12 03:36:44.811987 0x7f6420668eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1840 ms 08/12 03:36:46.463661 0x7f642072eeb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 2210 ms
Etki
Sağlamlaştırma eşiğini aşan MDM depo yazma işlemleri, MDM'nin eşitlenmediği anlamına gelir.
Bu, MDM kümesinin eşzamanlanmadığı ve MDM işlemlerinin yeniden başlatıldığı anlamına gelir.
MDM'ler yeterince hızlı/tekrar tekrar yeniden başlatılırsa, tekrarlanan yük devretmeler meydana geldikten sonra MDM kümelemesi kapatıldığında olduğu gibi tam veri kullanılamama senaryoları (kullanılabilir ana MDM olmadığında).
Cause
Ana MDM'nin veri bloklarının durumunda değişiklik yapması gerektiğinde, bu durum değişikliklerini MDM depo dosyasına yazması ve ardından bu değişiklikleri İkincil MDM'lerle eşzamanlaması gerekir. Bu yazmalar tamamlandığında MDM, SDS'lere değişikliklerin tamamlandığını bildirir ve SDC'lere yalnızca birincil kopyadan yazma G/Ç'leri sunabilirler (yeniden oluşturma tamamlanana kadar). Ana MDM'nin değişiklikleri yerel depoya yazması 500 milisaniyeden (1/2 saniye) uzun sürerse, MDM trc günlüklerinde "Sağlamlaştırma çok uzun sürdü" mesajları gösterilir. Bu, MDM'nin SDS isteklerine yeterince hızlı yanıt verememesine neden olur ve SDC'lerde GÇ hatalarına neden olabilir. MDM, GÇ depoya 500 milisaniyeden daha kısa sürede yazana kadar veya küme içinde bir MDM anahtarı sahipliği gerçekleştiğinde 10 saniye sonra MDM bu durumda kalır.
Resolution
Çözüm, işletim sistemi disk gecikme sorununu çözmektir.
Bunun nedeni şunlar olabilir:
-
RAID yeniden oluşturma (14G Hazır Düğümlerde RAID1'de 2x m.2 SATA sürücülü BOSS kartları bulunur)
-
Disk yıpranması/yaşlandırması
-
İşletim sistemi disklerinin yanlış boyutlandırılması/seçilmesi (HDD, yavaş/ucuz SSD vb. genellikle yalnızca yazılım yapılandırmalarında)
-
İşletim sistemi disk denetleyicisindeki/disk bellenimindeki hatalar
-
Disk arızası/tahmini arıza durumu
-
Ancak en yaygın neden, işletim sistemi diskindeki yabancı GÇ yüküdür.
Her durumda, işletim sistemi diskinin performansını izlemek/profilini çıkarmak gerekir.
Disk gecikmesi sar veya iostat ile izlenebilir.
En kolay/evrensel olarak kullanılabilen araç iostat'tır.
Sürücüyü yüklemek için ilgili düğümde
iostat -xtN 1
Ayrıca milisaniye cinsinden bildirilen bekleme sürelerine de dikkat edin.
Tüm sürümler etkilenecektir.