VPLEX：由于后端性能问题，VPlex 分布式设备上的写入延迟严重 (000530258)

版本：3

文章类型：中断修复

目标受众：级别 30 = 客户

上次发布时间：2019 年 2 月 25 日（星期一），17:27:23 GMT

总结：

本文讨论在 VPLEX RAID-1 设备上出现后端性能问题期间

 使用镜像隔离功能。

问题：

主机遇到严重写入延迟，这可能会导致性能 DU。

在 VPlex 端，可能存在主机中止（stdf/10 事件）流，状态为 0x2a 或 0x8a。这意味着主机在中止写入 IO：

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002


针对与提供给受影响主机的虚拟卷对应的存储卷的后端超时（scsi/140 事件）流：
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67ce41278 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x000f000000000000

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304764:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67b9c99f0 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x004f000000000000

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304765:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67f032f90 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8900 t 0x5006016d47e02548 0x000f0000000000

还可以针对受影响存储卷观察到性能下降事件（amf/249 事件）。

128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.


在性能不佳的存储卷上构建的 RAID-1 镜像分支可能会降低整个 RAID-1 设备的性能，并增强使用此设备的应用程序的 I/O 延迟。这是由于写入 I/O 仅在两个分支上（其中一个是性能不佳的分支）都进行确认之后才写入

 

原因：

这可能是由于导致 VPLEX 上出现后端超时流的任何后端阵列或后端结构问题。

解决方案：

启用镜像隔离功能会缓解高延迟问题，因为它会隔离性能不佳的设备并停止对它处理 I/O。这应使应用程序可以恢复，直到解决后端问题。

VPlexcli:/> device mirror-isolation enable

VPlexcli:/> device mirror-isolation show
  Cluster    Enabled  Auto unisolation  Isolation Interval  Unisolation Interval
  ---------  -------  ----------------  ------------------  --------------------
  cluster-1  true     true              60                  14400
  cluster-2  true     true              60                  14400


此功能会自动隔离性能不佳的 RAID-1 分支 [停止对其执行 I/O]。会按每个群集启用此功能。 

优点：

1.      自动功能可以在问题发生之后快速隔离性能不佳的分支 [通常在几分钟内]

2.      当设备成为取消隔离状态时，重建会自动进行，并且只重建在设备分支隔离期间发生的更改。这通常只需几分钟即可重新同步

3.     该功能可以轻松快速地进行启用和禁用 

缺点：

1.     当设备分支隔离时，顶层设备不再具有冗余

2.     设备分支隔离后，VPLEX 不会在 4 小时内进行检查以取消隔离分支。[这可避免间歇性性能问题导致间歇性性能影响的情况]

有关镜像隔离功能的更多详细信息，请参阅《VPLEX 管理员指南》。

使用镜像隔离只会缓解性能问题，从而停止性能影响。但是，需要进一步调查性能下降的根本原因。应接洽后端阵列和后端结构团队以进一步调查此问题。

注意：
另请参阅知识库文章 530520“VPLEX：结构或阵列控制器中的单一组件故障可能会在通过 VPLEX 访问存储的主机上导致持续性能 DU”

主要产品：

VPLEX 系列

产品：

VPLEX for All Flash、VPLEX GeoSynchrony、VPLEX GeoSynchrony 6.1、VPLEX GeoSynchrony 6.1 Patch 1、VPLEX GeoSynchrony 6.0 Patch 1、VPLEX GeoSynchrony 6.0 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 4、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 5、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 6、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 7、VPLEX GeoSynchrony 5.5 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 3、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 4、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 4、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 3、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.4 Service Pack 1、VPLEX Local、VPLEX Metro、VPLEX Series、VPLEX VS2、VPLEX VS6