VPLEX:由于后端性能问题,VPlex 分布式设备上的写入延迟严重 (000530258)

无评分
MOD
MOD

VPLEX:由于后端性能问题,VPlex 分布式设备上的写入延迟严重 (000530258)

知识库文章:000530258


VPLEX:由于后端性能问题,VPlex 分布式设备上的写入延迟严重 (000530258)

主要产品:VPLEX 系列

产品:VPLEX for All Flash、VPLEX GeoSynchrony、VPLEX GeoSynchrony 6.1、VPLEX GeoSynchrony 6.1 Patch 1、VPLEX GeoSynchrony 6.0 Patch 1、VPLEX GeoSynchrony 6.0 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 1



版本:3

文章类型:中断修复

目标受众:级别 30 = 客户

上次发布时间:2019 年 2 月 25 日(星期一),17:27:23 GMT

 

总结:

本文讨论在 VPLEX RAID-1 设备上出现后端性能问题期间

 使用镜像隔离功能。

 

问题:

主机遇到严重写入延迟,这可能会导致性能 DU。

在 VPlex 端,可能存在主机中止(stdf/10 事件)流,状态为 0x2a 或 0x8a。这意味着主机在中止写入 IO:

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 Scsi Tmf [Abort Task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002


针对与提供给受影响主机的虚拟卷对应的存储卷的后端超时(scsi/140 事件)流:
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67ce41278 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x000f000000000000

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304764:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67b9c99f0 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x004f000000000000

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304765:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67f032f90 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000 nexus x fcp i 0xc0014487873b8900 t 0x5006016d47e02548 0x000f0000000000



还可以针对受影响存储卷观察到性能下降事件(amf/249 事件)。

128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 Amf sop_xxxx performance has degraded. Average write I/O latency increased from 0.0 milliseconds to 216.197 milliseconds, which is above the acceptable limit of 200 milliseconds.


在性能不佳的存储卷上构建的 RAID-1 镜像分支可能会降低整个 RAID-1 设备的性能,并增强使用此设备的应用程序的 I/O 延迟。这是由于写入 I/O 仅在两个分支上(其中一个是性能不佳的分支)都进行确认之后才写入

 

 

原因:

这可能是由于导致 VPLEX 上出现后端超时流的任何后端阵列或后端结构问题。

 

解决方案:

启用镜像隔离功能会缓解高延迟问题,因为它会隔离性能不佳的设备并停止对它处理 I/O。这应使应用程序可以恢复,直到解决后端问题。

VPlexcli:/> device mirror-isolation enable

VPlexcli:/> device mirror-isolation show
  Cluster    Enabled  Auto unisolation  Isolation Interval  Unisolation Interval
  ---------  -------  ----------------  ------------------  --------------------
  cluster-1  true     true              60                  14400
  cluster-2  true     true              60                  14400


此功能会自动隔离性能不佳的 RAID-1 分支 [停止对其执行 I/O]。会按每个群集启用此功能。 

优点:

1.      自动功能可以在问题发生之后快速隔离性能不佳的分支 [通常在几分钟内]

2.      当设备成为取消隔离状态时,重建会自动进行,并且只重建在设备分支隔离期间发生的更改。这通常只需几分钟即可重新同步

3.     该功能可以轻松快速地进行启用和禁用 

缺点:

1.     当设备分支隔离时,顶层设备不再具有冗余

2.     设备分支隔离后,VPLEX 不会在 4 小时内进行检查以取消隔离分支。[这可避免间歇性性能问题导致间歇性性能影响的情况]



有关镜像隔离功能的更多详细信息,请参阅《VPLEX 管理员指南》。

使用镜像隔离只会缓解性能问题,从而停止性能影响。但是,需要进一步调查性能下降的根本原因。应接洽后端阵列和后端结构团队以进一步调查此问题。

注意:
另请参阅知识库文章 530520“VPLEX:结构或阵列控制器中的单一组件故障可能会在通过 VPLEX 访问存储的主机上导致持续性能 DU

 

主要产品:

VPLEX 系列

 

产品:

VPLEX for All Flash、VPLEX GeoSynchrony、VPLEX GeoSynchrony 6.1、VPLEX GeoSynchrony 6.1 Patch 1、VPLEX GeoSynchrony 6.0 Patch 1、VPLEX GeoSynchrony 6.0 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 1、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 2、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 4、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 5、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 6、VPLEX GeoSynchrony 6.0 Service Pack 1 Patch 7、VPLEX GeoSynchrony 5.5 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 1 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 1、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 2、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 3、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 4、VPLEX GeoSynchrony 5.5 Service Pack 2 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 5、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 4、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 3、VPLEX GeoSynchrony 5.4 Service Pack 1 Patch 1、VPLEX GeoSynchrony 5.4 Service Pack 1、VPLEX Local、VPLEX Metro、VPLEX Series、VPLEX VS2、VPLEX VS6

 

版本历史
修订号
1 / 1
上次更新时间:
‎10-05-2020 08:52 PM
更新依据:
 
贡献者