VPLEX: 백엔드 성능 문제로 인한 VPlex 분산 디바이스의 심각한 쓰기 레이턴시

호스트에 심각한 쓰기 레이턴시가 발생하여 성능 DU가 발생할 수 있습니다.

VPlex 측에서 상태가 0x2a 또는 0x8a인 호스트 중단(stdf/10 이벤트) 스트림이 있을 수 있습니다. 즉, 호스트가 쓰기 IOs:

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: fcp ITLQ의 stdf/10 scsi tmf [작업 중단] [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 휴면QCnt 0 활성화QCnt 0 상태 2a00000000000605:400ac800000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: fcp ITLQ의 stdf/10 scsi tmf [작업 중단] : [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 휴면QCnt 0 활성화QCnt 0 상태 2a00000000000605:400ac800000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: fcp ITLQ의 stdf/10 scsi tmf [작업 중단] : [10:00:00:00:C9:C9:AB:DC(0x10000000c9c9abdc) A0-FC00(0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 휴면QCnt 0 활성화QCnt 0 상태 2a00000000000605:400ac80000002


영향을 받는 호스트에 제공된 가상 볼륨에 해당하는 스토리지 볼륨에 대한 백엔드 시간 초과 스트림(SCSI/140 이벤트):
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>2019/01/10 19:39:09.68: scsi/140 scsi 명령 0x7ec67ce41278 시간 초과, opcode 0x2a luid VPD83T3:60000000000000000000000000000000000000000000000000000 Nexus x FCP I 0xc0014487873b8800 t 0x5006016c47e02548 0x000f000000000000 firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304764:<4>2019/01/10 19:39:09.68: scsi/140 SCSI 명령 0x7ec67b9c99f0 시간 초과, opcode 0x2a luid VPD83T3:600 0x5006016d47e02548 0xc0014487873b8900 VPD83T3 0x2a 0x7ec67f032f90 304765<> 20181019000922 0x5006016c47e02548 0x004f000000000000 firmware.log 0xc0014487873b8800 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 0x000f0000000000

영향을 받는 스토리지 볼륨에서 성능 저하 이벤트(amf/249 이벤트)도 관찰할 수 있습니다.

128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 amf sop_xxxx 성능이 저하되었습니다. 평균 쓰기 I/O 레이턴시가 0.0밀리초에서 216.197밀리초로 증가하여 허용 가능한 제한인 200밀리초를 초과합니다.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 amf sop_xxxx 성능이 저하되었습니다. 평균 쓰기 I/O 레이턴시가 0.0밀리초에서 216.197밀리초로 증가하여 허용 가능한 제한인 200밀리초를 초과합니다.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 amf sop_xxxx 성능이 저하되었습니다. 평균 쓰기 I/O 레이턴시가 0.0밀리초에서 216.197밀리초로 증가하여 허용 가능한 제한인 200밀리초를 초과합니다.


성능이 좋지 않은 저장소 볼륨에 RAID-1 미러 구간을 구축하면 전체 RAID-1 장치의 성능이 저하되고 이 장치를 사용하는 응용 프로그램에 대한 I/O 대기 시간이 증가할 수 있습니다. 이는 쓰기 I/O가 양쪽 구간에서 확인된 후에만 작성되기 때문입니다(그 중 하나는 성능이 좋지 않은 구간)

이는 VPLEX에 백엔드 시간 초과 스트림이 표시되는 백엔드 어레이 또는 백엔드 패브릭 문제 때문일 수 있습니다.

미러 분리 기능을 활성화하면 성능이 좋지 않은 디바이스를 격리하고 I/O가 처리되지 않으므로 레이턴시가 긴 문제를 완화할 수 있습니다. 이렇게 하면 백엔드 문제가 해결될 때까지 애플리케이션을 복구할 수 있습니다.

VPlexcli:/>device mirror-isolation enable

VPlexcli:/>device mirror-isolation show
Cluster Enabled Auto unisolation Isolation Interval Unisolation Interval
--------- ------- ---------------- ------------------ --------------------
cluster-1 true true 60 14400
cluster-2 true true 60 14400


이 기능은 성능이 낮은 RAID-1 구간을 자동으로 [I/O 수행 중지]합니다. 클러스터별로 활성화됩니다. 

프로:

1.  문제 발생 직후[일반적으로 몇 분 이내에] 성능이 저하된 다리를 찾아낼 수 있는 자동 기능
2.  디바이스가 격리되지 않으면 자동으로 재구축이 수행되고 디바이스 구간이 격리된 동안 발생한 변경 사항만 재구축됩니다. 일반적으로 다시 동기화하는 데 몇 분 밖에 걸리지 않습니다
3. 이 기능은 쉽고 빠르게 활성화 및 비활성화할 수 있습니다 

죄수:

1. 디바이스 구간이 격리되는 동안 최상위 디바이스에는 더 이상 이중화가 없습니다.
2. 디바이스 구간이 분리되면 VPLEX는 4시간 동안 구간 분리를 확인하지 않습니다. 이렇게 하면 간헐적인 성능 문제가 간헐적으로 성능에 영향을 미치는 상황이 방지됩니다.

미러 분리 기능에 대한 자세한 내용은 VPLEX 관리 가이드를 참조하십시오.

미러 분리를 사용하면 성능 문제만 완화되므로 성능에 미치는 영향이 중지됩니다. 그러나 성능 저하의 근본 원인에 대해서는 추가 조사가 필요합니다. 백엔드 어레이 및 백엔드 패브릭 팀이 이 문제를 더 자세히 조사해야 합니다.

참고:
KB 530520, "VPLEX: 패브릭 또는 어레이 컨트롤러의 단일 구성 요소 장애로 인해 VPLEX를 통해 스토리지에 액세스하는 호스트에서 성능 DU가 지속될 수 있습니다."

이 콘텐츠는 다음과 같은 기타 언어로 번역되어 있습니다. 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/AR-EG_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB530258.pdf