PowerFlex 3.X: OS 디스크에 대한 쓰기 속도가 느리면 여러 MDM 문제가 발생할 수 있습니다.

MDM의 운영 체제 디스크 속도가 느려지면 다양한 시나리오가 나타날 수 있습니다.

쓰는 데 시간이 너무 오래 걸리는 OS 디스크에서 MDM을 실행하는 경우 다음과 같은 증상이 나타날 수 있습니다.

• SDS를 유지 보수에 투입하면 마스터 MDM의 연결이 끊어집니다.

• 재구축 이벤트로 인해 마스터 MDM과 슬레이브 MDM의 연결이 끊어질 수 있습니다.

• MDM 전환이 작동하지 않습니다. 슬레이브 MDM은 마스터 MDM의 책임을 넘겨받을 수 없으므로 어떤 MDM도 마스터가 될 수 없습니다.

• "scli --query_cluster" 출력에 슬레이브 MDM이 가끔 동기화되지 않는 것으로 표시됩니다.

• SDC가 IO 오류를 씁니다.

모든 시나리오에서 MDM trc 로그에 "Harden took too long"이 표시됩니다.

08/12 03:36:42.336327 0x7f64207f4eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1360 ms
08/12 03:36:44.811987 0x7f6420668eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1840 ms
08/12 03:36:46.463661 0x7f642072eeb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 2210 ms

영향

MDM 리포지토리 쓰기가 강화 임계값을 초과하면 MDM이 동기화되지 않습니다.
즉, MDM 클러스터가 동기화되지 않고 MDM 프로세스가 재시작됩니다. 
MDM이 충분히 빠르게/반복적으로 재시작되는 경우 페일오버가 반복적으로 발생한 후 MDM 클러스터가 다운되는 경우와 같이 데이터를 사용할 수 없는 시나리오(사용 가능한 마스터 MDM이 없는 경우)를 완료합니다. 

마스터 MDM이 데이터 블록의 상태를 변경해야 하는 경우 이러한 상태 변경 사항을 MDM 저장소 파일에 기록한 다음 해당 변경 사항을 슬레이브 MDM에 동기화해야 합니다. 쓰기가 완료되면 MDM이 SDS에 변경 사항이 완료되었음을 알리고 SDS는 (재구축이 완료될 때까지) 주 복제본에서만 SDS에 쓰기 IO를 처리할 수 있습니다. 마스터 MDM이 로컬 저장소에 변경 사항을 기록하는 데 500밀리초(1/2초) 이상 걸리면 MDM trc 로그에 "Harden took too time" 메시지가 표시됩니다. 이로 인해 MDM이 SDSes 요청에 신속하게 응답하지 못하고 SDC에서 IO 오류가 발생할 수 있습니다. MDM은 IO가 500밀리초 이내에 리포지토리에 쓸 수 있을 때까지 또는 클러스터 내에서 MDM 스위치 소유권이 발생하는 10초 후에 이 상태를 유지합니다. 

해결 방법은 OS 디스크 대기 시간 문제를 해결하는 것입니다.  

다음과 같은 이유 때문일 수 있습니다.

• RAID 재구축(14G Ready Node에는 RAID1에 2개의 m.2 SATA 드라이브가 있는 BOSS 카드가 있음)

• 디스크 마모/수명

• OS 디스크의 부적절한 사이징/선택(HDD, 느린/저렴한 SSD 등, 일반적으로 소프트웨어 전용 구성에만 해당)

• OS 디스크 컨트롤러/디스크 펌웨어의 버그

• 디스크 장애/예측 장애 상태 

• 그러나 가장 일반적인 원인은 OS 디스크의 불필요한 IO 로드입니다. 

어쨌든 OS 디스크의 성능을 모니터링/프로파일링해야 합니다.

디스크 대기 시간은 sar 또는 iostat로 모니터링할 수 있습니다. 

가장 쉽거나 가장 보편적으로 사용 가능한 도구는 iostat 입니다. 

Windows 업그레이드를 실행하라는 프롬프트에 아래 내용이 표시될 때까지 

iostat -xtN 1

그리고 밀리초 단위로 보고되는 대기 시간을 관찰합니다. 

모든 버전이 영향을 받습니다.