PowerScale: 작업 엔진 데이터베이스가 잠겨 있거나 승계 대기 시간이 긴 것으로 보고됩니다.

작업이 여러 번 대기 상태로 전환됩니다.

데이터베이스 업데이트를 완료하는 데 시간이 오래 걸립니다.

안에 isi_job_d.log 및 messages.log, 긴 대기 시간, 데이터베이스 잠금 및 작업 코디네이터 점프 노드에 대한 메시지가 자주 표시됩니다.

증상 1:
isi_job_d.log 성공적인 업데이트에 대한 긴 대기 시간을 보고합니다.

isi_job_d[45179]: Reports database update (job state) succeeded but took 11272 ms

증상 2:
isi_job_d.log 보고서 데이터베이스가 잠겨 있습니다.

isi_job_d[97274]: Failed to update Jobs (state): database is locked

증상 3: 
작업 코디네이터가 노드를 자주 전환합니다.

2018-05-02T02:00:48Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[31517]: Becoming job engine coordinator
2018-05-02T02:11:26Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[36865]: Becoming job engine coordinator
2018-05-02T02:25:39Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[37310]: Becoming job engine coordinator
2018-05-02T02:36:25Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77098]: Becoming job engine coordinator
2018-05-02T02:38:24Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77167]: Becoming job engine coordinator
2018-05-02T02:43:33Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[32917]: Becoming job engine coordinator
2018-05-02T02:59:58Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33518]: Becoming job engine coordinator
2018-05-02T03:02:44Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33782]: Becoming job engine coordinator
2018-05-02T03:08:02Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33969]: Becoming job engine coordinator

1. 작업 엔진 보고서 데이터베이스(reports.db)는 많은 업데이트를 생성하는 장기 실행 작업으로 인해 지속적으로 업데이트됩니다.
2. 파일에 대한 모든 업데이트는 클러스터 전체에서 6번 수행됩니다. 보호 수준을 낮추면 업데이트가 더 빨라집니다.
3. 일시 중지된 시간에 따라 isi_papi_d, 데이터베이스에 대한 쓰기(로깅)에서 코디네이터 시간 초과가 표시될 것으로 예상합니다. 성공할 수도 있지만 쓰기가 원하는 것보다 오래 걸렸다는 로그를 기록하고 isi_job_d.log 두 경우 모두.

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
8x        8     6x concurrency off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,17,484528026624:512>, <26,31,924241684480:512>, <27,31,145164204544:512>, <28,30,2451893562880:512>, <29,29,6440579584:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,17,484528026624:512, 26,31,924241684480:512, 27,31,145164204544:512, 28,30,2451893562880:512, 29,29,6440579584:512 ]
*************************************************
...
*  Protection Policy:  8x
*  Target Protection:  6x                  <-- six times protection

Dell 엔지니어링 팀에서 이 문제를 조사하고 있습니다. 이 문서는 추가 정보가 제공되면 업데이트됩니다.

이 문제를 해결하려면 다음 명령을 실행하여 다음과 같이 작업 보고서 데이터베이스의 보호 수준을 변경합니다.

1. 실행 중인 작업을 일시 중지합니다. 다음 명령으로 실행 중인 작업이 없는지 확인합니다.

isi job status

2. 작업 엔진을 비활성화하고 확인합니다. isi_job_d 모든 노드에서 작동하지 않음:

isi services -a isi_job_d disable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

3. 의 보호 수준 변경 reports.db 3x 랜덤 액세스 레이아웃:

isi set -r -g reprotect -a random -p 3x -F /ifs/.ifsvar/modules/jobengine/reports.db

4. 아래 명령을 다시 실행하면 reports.db 변경되었습니다 :

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
3x       3      3x random off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,31,924241684480:512>, <29,16,157594713088:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,31,924241684480:512, 29,16,157594713088:512 ]
*************************************************
*...
*  Protection Policy:  3x
*  Target Protection:  3x

5. 작업 엔진을 활성화합니다.

isi services -a isi_job_d enable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

6. 작업을 재개합니다. 의 메시지 isi_job_d.log 줄여야 합니다.

위의 내용은 다시 스트라이핑해야 합니다. reports.db 즉시 3배로. 그러나 일부 사용자는 SmartPools 작업이 'default' 대신 'all' 파일에 대해 작동하도록 구성할 수 있습니다.

• 전체 로그에서:

[xus25@elvis 2021-09-24-003]$ cat local/isi_storagepool_settings
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

• 라이브 클러스터에서

steven-8220-1# isi storagepool settings view
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

automatically manage를 all 로 설정하면 다음 SmartPools 작업이 다시 스트라이핑될 수 있습니다 reports.db 6x 또는 8x 미러로 돌아갑니다.
이를 방지하려면 '보호 자동 관리'를 'files_at_default'로 설정하는 것이 좋습니다.

이 옵션을 'files_at_default'로 설정하면 SmartPools 작업이 수동으로 관리되는 파일을 건너뛰므로 해당 파일은 reports.db 우리가 지정한 보호 수준과 함께라면 말이죠.

다음은 이 주제와 관련하여 사용자가 관심을 가질 몇 가지 권장 리소스입니다.

• PowerScale: IOCA Cluster Analysis 툴 실행 방법 
• Isilon: PowerScale: OneFS: 성능 문제 해결