VPLEX：由于后端性能问题，VPlex 分布式设备上的写入延迟严重 (000530258)

​版本：3​

​文章类型：中断修复​

​目标受众：级别 30 = 客户​

​上次发布时间：2019 年 2 月 25 日（星期一），17:27:23 GMT​

​总结：​

​本文讨论在 VPLEX RAID-1 设备上出现后端性能问题期间​

​ 使用镜像隔离功能。​

​问题：​

​主机遇到严重写入延迟，这可能会导致性能 DU。​

​在 VPlex 端，可能存在主机中止（stdf/10 事件）流，状态为 0x2a 或 0x8a。这意味着主机在中止写入 IO：​

​128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002​
​128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002​
​128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002​


​针对与提供给受影响主机的虚拟卷对应的存储卷的后端超时（scsi/140 事件）流：​
​ ​

​firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67ce41278 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x000f000000000000​

​firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304764:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67b9c99f0 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x004f000000000000​

​firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304765:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67f032f90 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8900 t 0x5006016d47e02548 0x000f0000000000​

​还可以针对受影响存储卷观察到性能下降事件（amf/249 事件）。​

​128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.​
​128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.​
​128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.​


​在性能不佳的存储卷上构建的 RAID-1 镜像分支可能会降低整个 RAID-1 设备的性能，并增强使用此设备的应用程序的 I/O 延迟。这是由于写入 I/O 仅在两个分支上（其中一个是性能不佳的分支）都进行确认之后才写入​

​ ​

​ ​

​原因：​

​这可能是由于导致 VPLEX 上出现后端超时流的任何后端阵列或后端结构问题。​

​ ​

​解决方案：​

​启用镜像隔离功能会缓解高延迟问题，因为它会隔离性能不佳的设备并停止对它处理 I/O。这应使应用程序可以恢复，直到解决后端问题。​

​VPlexcli:/> ​​device mirror-isolation enable​

​VPlexcli:/> ​​device mirror-isolation show​
​ Cluster Enabled Auto unisolation Isolation Interval Unisolation Interval​
​ --------- ------- ---------------- ------------------ --------------------​
​ cluster-1 true true 60 14400​
​ cluster-2 true true 60 14400​


​此功能会自动隔离性能不佳的 RAID-1 分支 [停止对其执行 I/O]。会按每个群集启用此功能。 ​

​优点：​

​1. 自动功能可以在问题发生之后快速隔离性能不佳的分支 [通常在几分钟内]​

​2. 当设备成为取消隔离状态时，重建会自动进行，并且只重建在设备分支隔离期间发生的更改。这通常只需几分钟即可重新同步​

​3. 该功能可以轻松快速地进行启用和禁用 ​

​缺点：​

​1. 当设备分支隔离时，顶层设备不再具有冗余​

​2. 设备分支隔离后，VPLEX 不会在 4 小时内进行检查以取消隔离分支。[这可避免间歇性性能问题导致间歇性性能影响的情况]​

​有关镜像隔离功能的更多详细信息，请参阅《VPLEX 管理员指南》。​

​使用镜像隔离只会缓解性能问题，从而停止性能影响。但是，需要进一步调查性能下降的根本原因。应接洽后端阵列和后端结构团队以进一步调查此问题。​

​注意：​
​另请参阅知识库文章 530520“​​VPLEX：结构或阵列控制器中的单一组件故障可能会在通过 VPLEX 访问存储的主机上导致持续性能 DU​​”​

​ ​

​主要产品：​

​VPLEX 系列​

​ ​

​产品：​

​VPLEX for All Flash、VPLEX GeoSynchrony、VPLEX GeoSynchrony 6.1、VPLEX GeoSynchrony 6.1 Patch 1、VPLEX GeoSynchrony 6.0 Patch 1、VPLEX GeoSynchrony 6.0 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 4、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 5、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 6、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 7、VPLEX GeoSynchrony 5.5 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 3、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 4、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 4、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 3、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.4 Service Pack 1、VPLEX Local、VPLEX Metro、VPLEX Series、VPLEX VS2、VPLEX VS6​