PowerScale: İş motoru veritabanı kilitlendi veya art arda uzun bekleme süresi bildiriyor

İşler birden çok kez bekleme durumuna geçiyor.

Veritabanı güncelleştirmelerinin tamamlanması uzun sürüyor.

İçinde isi_job_d.log ve messages.log, uzun bekleme süreleri, veritabanı kilitleri ve olası iş koordinatörü atlama düğümleri hakkında sık sık mesajlar görülür.

Belirti 1:
isi_job_d.log Başarılı bir güncelleme için uzun bir bekleme bildiriyor:

isi_job_d[45179]: Reports database update (job state) succeeded but took 11272 ms

2. Belirti:
isi_job_d.log Rapor Veritabanı Kilitli:

isi_job_d[97274]: Failed to update Jobs (state): database is locked

3. Belirti: 
İş koordinatörü sık sık düğümler arasında geçiş yapar:

2018-05-02T02:00:48Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[31517]: Becoming job engine coordinator
2018-05-02T02:11:26Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[36865]: Becoming job engine coordinator
2018-05-02T02:25:39Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[37310]: Becoming job engine coordinator
2018-05-02T02:36:25Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77098]: Becoming job engine coordinator
2018-05-02T02:38:24Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77167]: Becoming job engine coordinator
2018-05-02T02:43:33Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[32917]: Becoming job engine coordinator
2018-05-02T02:59:58Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33518]: Becoming job engine coordinator
2018-05-02T03:02:44Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33782]: Becoming job engine coordinator
2018-05-02T03:08:02Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33969]: Becoming job engine coordinator

1. İş motoru raporları veritabanı (reports.db), çok sayıda güncelleştirme oluşturan uzun süre çalışan bir iş nedeniyle sürekli olarak güncelleştirilir.
2. Dosyada yapılan her güncelleştirme küme genelinde altı kez yapılır. Koruma seviyesini düşürmek, görünüşe göre güncelleştirmeleri daha hızlı hale getiriyor.
3. Duraklatılan süreye bağlı olarak isi_papi_d, koordinatörün veritabanına yazma (günlüğe kaydetme) sırasında zaman aşımına uğradığını görmeyi beklersiniz. Ayrıca başarılı olabilir ancak yazma işleminin istenenden daha uzun sürdüğünü günlüğe kaydederek isi_job_d.log her iki durumda da.

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
8x        8     6x concurrency off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,17,484528026624:512>, <26,31,924241684480:512>, <27,31,145164204544:512>, <28,30,2451893562880:512>, <29,29,6440579584:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,17,484528026624:512, 26,31,924241684480:512, 27,31,145164204544:512, 28,30,2451893562880:512, 29,29,6440579584:512 ]
*************************************************
...
*  Protection Policy:  8x
*  Target Protection:  6x                  <-- six times protection

Dell mühendislik ekibi bu sorunu araştırmaktadır. Daha fazla bilgi geldikçe bu makale güncelleştirilecektir.

Bu soruna geçici bir çözüm sağlamak amacıyla, iş raporları veritabanının koruma düzeyini aşağıdaki gibi değiştirmek için aşağıdaki komutu çalıştırın:

1. Çalışan tüm işleri duraklatın. Şu komutla çalışan iş olmadığını doğrulayın:

isi job status

2. İş motorunu devre dışı bırakın ve doğrulayın isi_job_d tüm düğümlerde ölüdür:

isi services -a isi_job_d disable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

3. Koruma düzeyini değiştirme reports.db 3x rastgele erişim düzenine:

isi set -r -g reprotect -a random -p 3x -F /ifs/.ifsvar/modules/jobengine/reports.db

4. Aşağıdaki komutun başka bir çalıştırması reports.db Değişti:

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
3x       3      3x random off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,31,924241684480:512>, <29,16,157594713088:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,31,924241684480:512, 29,16,157594713088:512 ]
*************************************************
*...
*  Protection Policy:  3x
*  Target Protection:  3x

5. İş motorunu etkinleştirin:

isi services -a isi_job_d enable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

6. İşleri devam ettirin. Şuradaki mesajlar isi_job_d.log azalmalıdır.

Yukarıdakiler yeniden şeritlenmelidir reports.db hemen 3 kata. Ancak bazı kullanıcılar SmartPools işlerini "varsayılan" yerine "tüm" dosyalarda çalışacak şekilde yapılandırabilir.

• Tam günlükte:

[xus25@elvis 2021-09-24-003]$ cat local/isi_storagepool_settings
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

• Canlı bir kümede

steven-8220-1# isi storagepool settings view
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

'Otomatik yönet' seçeneği tümü olarak ayarlandığında bir sonraki SmartPools işi yeniden şeritlenebilir reports.db 6x veya 8x aynaya geri dönün.
Bunu önlemek için 'Automatically Manage Protection' öğesini 'files_at_default' olarak ayarlamanızı öneririz.

'files_at_default' olarak ayarlandığında, SmartPools işleri manuel olarak yönetilen dosyaları atlar, bu da reports.db belirttiğimiz koruma seviyesi ne olursa olsun.

Bu konu hakkında ilginizi çekebilecek bazı önerilen kaynakları burada bulabilirsiniz:

• PowerScale: IOCA Küme Analiz Aracını Çalıştırma 
• Isilon: PowerScale: OneFS: Performans sorunlarını giderme