PowerFlex 3.x: 기능 drl_IsClean 시 SDS 서비스 계속 패닉 발생

다음 스택 추적으로 인해 SDS 서비스에 지속적으로 패닉이 발생합니다.

/opt/emc/scaleio/sds/logs/exp.0

2024/07/22 21:54:33.819866 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/bm/drl.c, line 1238, function drl_IsClean, PID 17253.Panic Expression !(offsetInLbs < pDrl->protectedOffsetInLbs) PANIC_ID_tgt_1497349762194.
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(mosDbg_PanicPrepare+0x13a) [0x93ab8a]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(drl_IsClean+0x5e) [0x9346ae]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(mgPhyDev_IsDrlGroupClean+0x4b) [0x93476b]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(mgPhyComb_ReadIntegrityBits+0x130) [0x906040]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(mgStorageRegion_ReadRegionIntegrity+0xb4) [0x906224]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(storageRegion_ReadDirtyRegion+0xad) [0x740f4d]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(raidComb_ReadDrl+0x7d) [0x74105d]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(ioh_ReadCombDrl+0x758) [0x5eb368]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(ioh_NewRequest+0x2084) [0x5fb4a4]
/opt/emc/scaleio/sds/bin/sds-3.6.400.107(contNet_RecvIORequest+0x2c4) [0x601534]

영향 

다른 SDS가 다음 상태 중 하나로 분리되는 경우 사용자 데이터 가용성 손실이 발생할 수 있습니다.

• IMM(Instant Maintenance Mode)
• 오류 상태
• 진행 중인 재구축 중

큰 디바이스 오프셋으로 인해 SDS 서비스 패닉이 발생합니다.

수정:

• PowerFlex 3.6.5 이상(지원 종료)
• PowerFlex 4.5 이상

해결 방법:

옵션 1:

• • scli 명령줄 또는 프레젠테이션 서버 UI에서 IMM에 SDS 노드를 입력합니다.
    • SDS 노드가 IMM에 들어갈 수 없는 경우 스크립트를 실행하여 SDS 데몬을 중지합니다 /opt/emc/scaleio/sds/bin/delete_service.sh에 관한 자세한 내용을 참조하십시오.

      Take necessary precautions to prevent the cluster from entering a Data Unavailability (DU) state. Before stopping the SDS daemon, verify that no Rebuild is in progress.
      If you're unsure about the DU state, consult L2 or an SME.

  • SDS가 IMM에 배치되면 SDS 서비스를 중지합니다. 

    /opt/emc/scaleio/sds/bin/delete_service.sh

  • SDS에서 공유 메모리(CloudLink 공유 메모리 포함)를 제거합니다. 
    • 다음 명령으로 생성된 파일을 임시 디렉토리로 이동합니다

      ls -l /dev/shm | egrep -i *EMC_sds*
      ls -l /dev/shm | egrep emc_scaleio_*

       
  • SDS 서비스를 시작합니다

    /opt/emc/scaleio/sds/bin/create_service.sh

•  
  • scli 또는 프레젠테이션 서버 UI를 사용하여 IMM에서 SDS를 종료합니다. 재구축이 시작될 것으로 예상됩니다. SDS가 IMM에 없는 경우 다음 단계로 이동합니다 
     
  • 다음 명령의 출력을 확인하여 SDS가 연결되어 있는지 확인합니다.

    scli --query_all_sds

옵션 2: 

• 시스템이 데이터 장애 상태가 아니고 사용 가능한 용량 또는 예비 용량이 충분한 경우 PowerFlex 클러스터에서 SDS 노드를 제거합니다. 균형 재조정이 완료되면 모든 SDS 디바이스와 함께 SDS 노드를 다시 추가합니다.

중요하다:
BGS(Background Scanner) 및 PDE(Partial Device Error)로 인해 문제가 재발할 수 있습니다. 가능한 경우 BGS를 비활성화하거나 "보고서 전용" 모드에서 BGS를 사용합니다.
영구 체크섬은 문제를 트리거하지 않아야 합니다. 그러나 체크섬이 일치하지 않는 경우 약간의 재구축이 시작되어 문제가 다시 발생할 수 있습니다. 가능하면 영구 체크섬을 비활성화합니다.