VPLEX: Starke Schreiblatenz auf verteilten VPlex-Geräten aufgrund von Back-end-Performanceproblemen

Auf Hosts treten starke Schreiblatenzen auf, die zu einer Nichtverfügbarkeit von Performancedaten führen können.

Auf der VPlex-Seite kann es einen Stream von Hostabbrüchen (stdf/10-Ereignisse) mit dem Status 0x2a oder 0x8a geben. Das bedeutet, dass die Hosts Schreib-IOs abbrechen:

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 Scsi Tmf [Aufgabe abbrechen] auf fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 scsi tmf [Aufgabe abbrechen] auf fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 scsi tmf [Aufgabe abbrechen] auf fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] vol dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a000000000000605:400ac80000002


Stream von Back-end-Timeouts (scsi/140-Ereignisse) für das Speicher-Volume, das dem virtuellen Volume entspricht, das den betroffenen Hosts präsentiert wird:
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>10.01.2019 19:39:09.68: scsi/140 SCSI-Befehl 0x7ec67ce41278 Timeout, Opcode 0x2a luid VPD83T3:6000 304764<> 20181019000922 0x5006016c47e02548 0x000f000000000000 firmware.log 0xc0014487873b8800 000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000002019/01/10 19:39:09.68: scsi/140 SCSI-Befehl 0x7ec67b9c99f0 Timeout, Opcode 0x2a Luid VPD83T3:6000000000000000000000000000000000 Nexus x FCP i 0xc0014487873b8800 t 0x5006016c47e02548 0x004f000000000000 firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304765:<4>10.01.2019 19:39:09.68: scsi/140 SCSI-Befehl 0x7ec67f032f90 Timeout, Opcode 0x2a Luid VPD83T3:600000000000000000000000000000000000000000000 Nexus x FCP I 0xc0014487873b8900 t 0x5006016d47e02548 0x000f0000000000

Bei den betroffenen Speicher-Volumes können auch Performanceverschlechterungsereignisse (AMF/249-Ereignisse) beobachtet werden.

128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: amf/249 Amf sop_xxxx Performance hat sich verschlechtert. Die durchschnittliche Schreib-I/O-Latenz stieg von 0,0 Millisekunden auf 216,197 Millisekunden und liegt damit über dem akzeptablen Grenzwert von 200 Millisekunden.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: amf/249 Amf sop_xxxx Performance hat sich verschlechtert. Die durchschnittliche Schreib-I/O-Latenz stieg von 0,0 Millisekunden auf 216,197 Millisekunden und liegt damit über dem akzeptablen Grenzwert von 200 Millisekunden.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: amf/249 Amf sop_xxxx Performance hat sich verschlechtert. Die durchschnittliche Schreib-I/O-Latenz stieg von 0,0 Millisekunden auf 216,197 Millisekunden und liegt damit über dem akzeptablen Grenzwert von 200 Millisekunden.


Eine RAID-1-Spiegelungskomponente, die auf einem Speicher-Volume mit schlechter Performance aufbaut, kann die Leistung des gesamten RAID-1-Geräts verringern und die I/O-Latenzen für die Anwendungen, die dieses Gerät verwenden, erhöhen. Dies liegt daran, dass die Schreib-I/Os erst geschrieben werden, nachdem sie auf beiden Beinen bestätigt wurden (eines davon ist das schlecht performante Teil)

Dies kann auf ein Back-end-Array- oder Back-end-Fabric-Problem zurückzuführen sein, das dazu führt, dass ein Stream von Back-end-Timeouts auf der VPLEX angezeigt wird.

Das Aktivieren der Spiegelungsisolierungsfunktion würde das Problem der hohen Latenz verringern, da dadurch das Gerät mit schlechter Leistung isoliert und die I/O-Verarbeitung darauf gestoppt würde. Auf diese Weise können die Anwendungen wiederhergestellt werden, bis die Back-end-Probleme behoben sind.

VPlexcli:/>device mirror-isolation enable

VPlexcli:/>device mirror-isolation show
Cluster aktiviert Automatische Isolierung Intervall zur Aufhebung der Isolierung Intervall
--------- ------- ---------------- ------------------ --------------------
cluster-1 true true 60 14400
cluster-2 true true 60 14400


Diese Funktion isoliert automatisch [keine I/Os mehr], RAID-1-Komponenten mit schlechter Performance. Sie wird pro Cluster aktiviert. 

Profis:

1.  Automatische Funktion, die schlecht funktionierende Beine schnell nach Auftreten des Problems isolieren kann [in der Regel innerhalb weniger Minuten].
2.  Wenn ein Gerät nicht isoliert wird, erfolgt der erneute Aufbau automatisch und es werden nur die Änderungen neu erstellt, die während der Isolierung der Gerätekomponente aufgetreten sind. Die erneute Synchronisierung dauert in der Regel nur wenige Minuten
3. Die Funktion kann einfach und schnell aktiviert und deaktiviert werden 

Nachteile:

1. Während ein Geräteelement isoliert ist, hat das Gerät der obersten Ebene keine Redundanz mehr
2. Sobald ein Geräteelement isoliert wurde, prüft VPLEX 4 Stunden lang nicht, ob die Isolierung aufgehoben wird [dadurch wird eine Situation vermieden, in der zeitweilige Leistungsprobleme zu zeitweiligen Leistungsbeeinträchtigungen führen].

Weitere Informationen zur Spiegelungsisolierungsfunktion finden Sie im VPLEX-Administratorhandbuch.

Die Verwendung der Spiegelungsisolierung löst nur die Performanceprobleme und verhindert somit die Auswirkungen auf die Performance. Die Ursache für die Performanceverschlechterung muss jedoch weiter untersucht werden. Die Back-end-Array- und Back-end-Fabric-Teams sollten einbezogen werden, um dies weiter zu untersuchen.

HINWEIS:
Weitere Informationen finden Sie im Wissensdatenbank-Artikel 530520, "VPLEX: Der Ausfall einzelner Komponenten in der Fabric oder den Array-Controllern kann zu einer dauerhaften Leistungs-DU auf Hosts führen, die über VPLEX auf Speicher zugreifen."

Diese Inhalte werden in andere Sprachen übersetzt: 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/AR-EG_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB530258.pdf