VMware용 PowerPath/VE가 부팅 시 (모든) VPLEX LUN을 요청할 수 없음

환경:
운영 체제: VMware ESXi 6.0.0 업데이트 2(빌드-3620759, 빌드-4192238)
EMC SW: PowerPath/VE for VMware vSphere 6.0
EMC SW: PowerPath/VE for VMware vSphere 6.0 SP1
EMC SW: PowerPath/VE for VMware vSphere 6.1
Server: HP ProLiant BL460c Gen9
호스트 버스 어댑터: Emulex Corporation Emulex OneConnect OCe14000, FCoE 이니시에이터: 650FLB CNA
HBA 드라이버: lpfc 11.1.145.18-1OEM.600.0.0.2768847 EMU VMware 인증 2016-12-04
제품: VPLEX(5410, 5520)

vmkernel.log에서

2017-05-16T08:06:50.035Z cpu21:33912)ScsiClaimrule: 1165: The current claimrules indicate that path vmhba0:C0:T0:L1 should be claimed by plugin PowerPath.
2017-05-16T08:06:50.035Z cpu21:33912)ScsiClaimrule: 1169: Path vmhba0:C0:T6:L1 which appears to refer to the same physical media as path vmhba0:C0:T0:L1 is already claimed by plugin NMP.
2017-05-16T08:06:50.035Z cpu21:33912)ScsiClaimrule: 1171: If neither of these paths is being masked by ESX, this condition indicates a problem with the claimrules.
2017-05-16T08:06:50.035Z cpu21:33912)WARNING: ScsiPath: 608: Path vmhba0:C0:T0:L1 claims to be a VVol PE but has a version of 4 (expected 5 or higher). Not treating it as a PE.
2017-05-16T08:06:50.036Z cpu21:33912)ScsiPath: 5549: Plugin 'NMP' claimed path 'vmhba0:C0:T0:L1'

부팅 프로세스 중에 문제가 있는 디바이스에 대한 조회 명령이 실패했습니다.

이 경우 호스트 공급업체는 두 서버에서 FLB 650에서 FLB 630으로 두 개의 HBA 카드를 교체했습니다.
서버 재부팅 후 문제가 발견되지 않습니다. PowerPath/VE가 디바이스를 올바르게 관리하고 있습니다.

HBA의 모델은 localcli_storage-core-adapter-list.txt 출력에서 찾을 수 있습니다.
서버 제조업체 및 모델은 esxcfg-info_-a.txt.FRAG-00000.txt에서 확인할 수 있습니다.
VMware 버전은 vmware_-vl.txt에서 확인할 수 있습니다.
어레이 및 펌웨어 모델은 localcli_storage-core-device-list.txt에서 확인할 수 있습니다.

이 문제를 적절히 해결하기 위해 엔지니어링 특수 빌드가 사용되었습니다.

PowerPath는 SCSI 문의 명령을 사용하여 경로를 요청합니다. 엔지니어링 테스트 패키지 로그에서 조회 명령이 처음에 HOST_RETRY(0x12) 또는 HOST_NO_CONNECT(0x1) 오류로 실패했음을 확인할 수 있습니다. 그러나 나중에 ESXi가 디바이스를 다시 제공했을 때 PowerPath가 디바이스를 할당하는 데 성공했습니다(엔지니어링 빌드가 없으면 이 두 번째 시퀀스가 표시되지 않음).

HOST_RETRY 오류에 대한 대응으로 PowerPath는 내부 0.1초 만에 조회 명령을 여러 번 재시도했습니다. 그러나 로그에서 볼 수 있듯이 호스트 어댑터가 명령에 실패했습니다.

시작 문의 실패

2016-12-14T11:53:51.561Z cpu24:33396)PowerPath:Claiming path vmhba0:C0:T1:L0
2016-12-14T11:53:51.561Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:51.663Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:51.765Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:51.867Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:51.969Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:56.772Z cpu46:33491)ALERT: PowerPath:MpxRecognize failed. Path vmhba0:C0:T1:L0 not claimed

마지막에 조회가 성공했고 PowerPath가 디바이스를 요청함 - 이 순서는 일반 GA 빌드에서는 발생하지 않습니다.

2016-12-14T11:54:08.542Z cpu12:34080)PowerPath:Claiming path vmhba0:C0:T1:L0
2016-12-14T11:54:08.545Z cpu12:34080)PowerPath:Path Claim: Successfully claimed path vmhba0:C0:T1:L0

동시에 lpfc 드라이버가 링크 다운 및 업, 포트 검색 메시지 지연 등을 보고하는 것을 볼 수 있습니다.

2016-12-14T11:53:46.586Z cpu30:33490)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3271: 0:1305 Link Down Event x5 received Data: x5 x20 x800220 x0
2016-12-14T11:53:46.704Z cpu4:33493)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3271: 1:1305 Link Down Event x5 received Data: x5 x20 x800220 x0
2016-12-14T11:53:49.334Z cpu30:33490)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3247: 0:1303 Link Up Event x6 received Data: x6 x0 x5 x0 x0
2016-12-14T11:53:52.337Z cpu25:33493)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3247: 1:1303 Link Up Event x6 received Data: x6 x0 x5 x0 x0
2016-12-14T11:53:52.452Z cpu25:33493)WARNING: lpfc: lpfc_sli4_async_fip_evt:5702: 1:2546 New FCF event, evt_tag:x7, index:x0
2016-12-14T11:53:52.479Z cpu24:33396)PowerPath:PowerPlatformScsiIoErrorIsRetryable: cmd=0x12 Failed H: 0xc S: 0x0 P: 0x0 Path=vmhba0:C0:T1:L0
2016-12-14T11:53:52.505Z cpu25:33493)WARNING: lpfc: lpfc_do_scr_ns_plogi:8098: 1:3334 Delay fc port discovery for 10 seconds

경로를 요청하려면 조회가 성공해야 합니다. 하지만 부팅 프로세스 중 호스트 어댑터 오류로 인해 조회가 실패하고 PowerPath가 디바이스를 요청하지 않습니다.

이는 PowerPath 문제가 아닙니다.

호스트 부팅 중 0xc(Host Retry), 0x1(No CONNECT) 오류와 같은 일시적 장애의 원인에 대해서는 VMware/어댑터 공급업체에 문의하는 것이 좋습니다.
이러한 어댑터 관련 일시적인 오류가 해결되면 PowerPath에서 디바이스를 요청하는 데 문제가 없어야 합니다.