VPLEX: Ernstige schrijflatentie op gedistribueerde VPlex-apparaten als gevolg van back-endprestatieproblemen

Hosts ondervinden ernstige schrijflatentie die een prestatie-DU kan veroorzaken.

Van de VPlex-kant kan er een stroom van host-aborts (stdf/10-gebeurtenissen) zijn met een status van 0x2a of 0x8a. This means that the hosts are abortting write IOs:

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 scsi tmf [abort task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 scsi tmf [abort task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>2019/01/10 19:39:09.68: stdf/10 scsi tmf [abort task] on fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac800000002


Stroom van back-end time-outs (scsi/140 gebeurtenissen) tegen het storagevolume dat overeenkomt met het virtuele volume dat aan de getroffen hosts wordt gepresenteerd:
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67ce41278 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x000f000000000000 firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304764:<4>2019/01/10 19:39:09.09.; 68: scsi/140 Scsi command 0x7ec67b9c99f0 timeout, opcode 0x2a luid VPD83T3:60000000000000000000000000000000000000000 nexus x fcp i 0xc0014487873b8800 t 0x5006016c47e02548 0x004f000000000000 firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304765:<4>2019/01/10 19:39:09.68: scsi/140 Scsi command 0x7ec67f032f90 timeout, opcode 0x2a luid VPD83T3:6000000000000000000000000000000000000000 nexus x fcp i 0xc0014487873b8900 t 0x5006016d47e02548 0x000f0000000000

Er kunnen ook prestatieverminderingsgebeurtenissen worden waargenomen (amf/249-gebeurtenissen) voor de getroffen storagevolumes.

128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 AMF sop_xxxx performance has verslechterd. De gemiddelde I/O-latentie voor schrijven is verhoogd van 0,0 milliseconden naar 216,197 milliseconden, wat boven de aanvaardbare limiet van 200 milliseconden ligt.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 AMF sop_xxxx performance has verslechterd. De gemiddelde I/O-latentie voor schrijven is verhoogd van 0,0 milliseconden naar 216,197 milliseconden, wat boven de aanvaardbare limiet van 200 milliseconden ligt.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>2019/01/10 19:39:09.6: amf/249 AMF sop_xxxx performance has verslechterd. De gemiddelde I/O-latentie voor schrijven is verhoogd van 0,0 milliseconden naar 216,197 milliseconden, wat boven de aanvaardbare limiet van 200 milliseconden ligt.


Een RAID-1 mirror leg op een slecht presterend storagevolume kan de prestaties van het hele RAID-1 apparaat verlagen en de I/O-latentie verhogen voor de applicaties die dit apparaat gebruiken. Dit komt door het feit dat de schrijf-I/O's pas worden geschreven nadat ze op beide benen zijn erkend (een daarvan is de slecht presterende poot)

Dit kan te wijten zijn aan een back-end-array- of back-endfabric-probleem dat ervoor zorgt dat een stroom backend-time-outs op de VPLEX te zien is.

Het inschakelen van de spiegelisolatiefunctie zou het probleem met hoge latentie verminderen, omdat het slecht presterende apparaat zou worden geïsoleerd en I/O's niet meer op het apparaat zouden worden verwerkt. Dit zou de applicaties in staat moeten stellen te herstellen totdat de backend-problemen zijn opgelost.

VPlexcli:/>mirror-isolatie van apparaat inschakelen

VPlexcli:/>mirror-isolatie van apparaat weergeven
Cluster ingeschakeld Automatische unisolatie Isolatie-interval Isolatie-interval
--------- ------- ---------------- ------------------ --------------------
cluster-1 true true 60 14400 cluster-2 true true 60 14400



Deze functie isoleert automatisch slecht presterende RAID-1-legs [stop met I/O's doen]. Dit wordt per cluster ingeschakeld. 

Pros:

1.  Automatische functionaliteit die slecht presterende benen snel kan isoleren nadat het probleem zich voordoet [meestal binnen een paar minuten]
2.  Wanneer een apparaat niet meer geïsoleerd is, wordt het opnieuw opbouwen automatisch uitgevoerd en worden alleen de wijzigingen opnieuw opgebouwd die zijn opgetreden tijdens het isoleren van het apparaat leg. Dit duurt meestal maar een paar minuten om opnieuw te synchroniseren
3. De functie kan eenvoudig en snel worden in- en uitgeschakeld 

Tegens:

1. Hoewel een apparaatpoot geïsoleerd is, heeft het apparaat op het hoogste niveau geen redundantie meer
2. Zodra een apparaatpoot is geïsoleerd, controleert VPLEX niet om de isolatie van het been gedurende 4 uur te de-isoleren [dit voorkomt de situatie waarin onregelmatige prestatieproblemen intermitterende prestatie-impact veroorzaken]

Raadpleeg de VPLEX beheerdershandleiding voor meer informatie over de functie voor spiegelisolatie.

Het gebruik van spiegelisolatie lost alleen de prestatieproblemen op, waardoor de impact op de prestaties wordt gestopt. De hoofdoorzaak voor de prestatievermindering moet echter verder worden onderzocht. De back-end array- en backend fabric-teams moeten worden ingeschakeld om dit verder te onderzoeken.

OPMERKING:
Verwijs ook naar KB 530520, "VPLEX: Storingen van één component in de fabric of arraycontrollers kunnen leiden tot continue prestatie-DU op hosts die toegang hebben tot storage via VPLEX"

Deze inhoud is vertaald naar andere talen: 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/AR-EG_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB530258.pdf