PowerScale OneFS: Troubleshooting von Performanceproblemen

Clientcomputer arbeiten langsam. Bestimmte Jobs, insbesondere solche, die auf dem Cluster ausgeführt werden, schlagen entweder fehl oder dauern länger als erwartet.

Performanceprobleme werden in der Regel durch Netzwerkdatenverkehr, Netzwerkkonfigurationsprobleme, Client- oder Clusterverarbeitungslast oder eine Kombination daraus verursacht. In diesem Artikel werden verschiedene effektive Möglichkeiten zur Behebung von Leistungsproblemen beschrieben.

Troubleshooting mit InsightIQ

Inhaltsverzeichnis:

• Verwenden von Isilon InsightIQ
• Troubleshooting ohne InsightIQ
• Network throughput
• Verteilung von Clientverbindungen
• Clusterdurchsatz
• Clusterverarbeitung
• Vorgänge in der Warteschlange
• CPU

Verwenden von Isilon InsightIQ

Die Verwendung von Isilon InsightIQ ist die beste Möglichkeit, die Performance zu überwachen und Performanceprobleme zu beheben.

Mit der virtuellen Isilon InsightIQ-Appliance können Sie die Aktivität von Isilon-Clustern über flexible, anpassbare Diagrammansichten in der webbasierten Anwendung InsightIQ überwachen und analysieren. Diese Diagramme enthalten detaillierte Informationen zu Clusterhardware, -software sowie zu Dateisystem- und Protokollvorgängen. InsightIQ transformiert Daten in visuelle Informationen, die alle Leistungsausreißer hervorheben und so eine schnelle Diagnose von Engpässen oder die Optimierung von Workflows ermöglichen.

Weitere Informationen zur Verwendung von InsightIQ finden Sie im PowerScale InsightIQ - Info Hub. 

Troubleshooting ohne InsightIQ

Wenn Sie InsightIQ nicht verwenden, können Sie mit einer Reihe von Befehlen Performanceprobleme untersuchen. Das Troubleshooting für Performanceprobleme beginnt damit, den Netzwerk- und Clusterdurchsatz zu untersuchen, dann die Clusterverarbeitung und schließlich die CPU-Raten einzelner Nodes.

Network throughput

Verwenden Sie ein Netzwerktesttool wie Iperf oder Iperf3 Zur Bestimmung der Durchsatzleistung der Cluster- und Clientcomputer in Ihrem Netzwerk.

Verwendung von IperfFühren Sie mithilfe von Iperf die folgenden Befehle auf dem Cluster und Client aus. Diese Befehle definieren eine Fenstergröße, die groß genug ist, um zu erkennen, ob die Netzwerkverbindung eine mögliche Ursache für Latenzprobleme ist.

• Cluster:

   iperf -s -w 262144

• Client: 

  iperf -c <cluster IP> -w 262144

Anwendung Iperf3Führen Sie mithilfe von Iperf die folgenden Befehle auf dem Cluster und Client aus. Diese Befehle definieren eine Fenstergröße, die groß genug ist, um zu erkennen, ob die Netzwerkverbindung eine mögliche Ursache für Latenzprobleme ist.

• Cluster: 

  iperf3 -s -w 262144

• Client: 

  iperf3 -c <cluster IP> -w 262144

Verteilung von Clientverbindungen

Überprüfen Sie, wie viele NFS- und SMB-Clients mit dem Cluster verbunden sind, um sicherzustellen, dass sie keinen Node bevorzugen.

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. root Account.
2. Führen Sie die Datei

   isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d

    -Befehl zum Überprüfen von NFS-Clients. 
   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs Die Ausgabe zeigt die Anzahl der pro Node verbundenen Clients und wie viele dieser Clients auf jedem Node aktiv sind.
3. Führen Sie die Datei

    isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d 

   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs
   Die Ausgabe zeigt die Anzahl der pro Node verbundenen Clients und wie viele dieser Clients auf jedem Node aktiv sind.

Clusterdurchsatz

Bewerten Sie den Clusterdurchsatz, indem Sie einige Tests durchführen, die messen, wie viel Zeit zum Lesen einer Datei und zum Schreiben in diese benötigt wird. Führen Sie mindestens einen Schreibtest und einen Lesetest wie folgt durch.

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. root Account.
2. Wechseln Sie zum /ifs Verzeichnis: cd /ifs
3. Verwenden Sie über die Befehlszeilenschnittstelle (CLI) auf dem Cluster oder auf einem UNIX- oder Linux-Clientcomputer den Befehl dd zum Schreiben einer neuen Datei in das Cluster.
   Führen Sie den folgenden Befehl aus: dd if=/dev/zero of=1GBfile bs=1024k count=1024
   Mit diesem Befehl wird eine Beispieldatei mit einer Größe von 1 GB erstellt und die Zeit angezeigt, die zum Schreiben auf die Festplatte gedauert hat.
4. Extrapolieren Sie aus der Ausgabe dieses Befehls, wie viele MB pro Sekunde in Single-Stream-Workflows auf die Festplatte geschrieben werden können.
5. Wenn Sie einen Mac-Client haben und weitere Analysen durchführen möchten:
   1. Starten Sie die Aktivitätsüberwachung.
   2. Führen Sie die Datei cat /dev/zero > /pathToFile -Befehl, wobei pathToFile ist der Dateipfad der Zieldatei.
      Mit diesem Befehl können Sie den Durchsatz der Schreibvorgänge auf dem Isilon-Cluster messen. (Obwohl es möglich ist, den Befehl dd mit einem Mac-Client auszuführen, können die Ergebnisse inkonsistent sein.)
   3. Überwachen Sie die Ergebnisse des Befehls auf der Registerkarte „Aktivitätsüberwachung“ unter Netzwerk.

Achten Sie bei der Messung des Durchsatzes von Lesevorgängen darauf, keine Lesetests für die Datei durchzuführen, die Sie während des Schreibtests erstellt haben. Da diese Datei zwischengespeichert wurde, wären die Ergebnisse Ihrer Lesetests ungenau. Testen Sie stattdessen den Lesevorgang mit einer Datei, die nicht zwischengespeichert wurde. Suchen Sie eine Datei auf dem Cluster, die größer als 1 GB ist, und verwenden Sie diese Datei im Lesetest.

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. root Account.
2. Verwenden Sie über die CLI auf dem Cluster oder auf einem UNIX- oder Linux-Clientcomputer den Befehl dd zum Lesen einer Datei auf dem Cluster.
   Führen Sie die Datei dd if=/pathToLargeFile of=/dev/null bs=1024k -Befehl, bei dem pathToFile ist der Dateipfad der Zieldatei.
   Dieser Befehl liest die Zieldatei und meldet, wie lange der Lesevorgang gedauert hat.
3. Wenn Sie einen Mac-Client haben und weitere Analysen durchführen möchten:
   1. Starten Sie die Aktivitätsüberwachung.
   2. Führen Sie die Datei time cp /pathToLargeFile > /dev/null -Befehl, bei dem pathToFile ist der Dateipfad der Zieldatei.
      Mit diesem Befehl können Sie den Durchsatz der Lesevorgänge auf dem Isilon-Cluster messen. (Obwohl es möglich ist, den Befehl dd mit einem Mac-Client auszuführen, können die Ergebnisse inkonsistent sein.)
   3. Überwachen Sie die Ergebnisse des Befehls auf der Registerkarte „Aktivitätsüberwachung“ unter Netzwerk.

Clusterverarbeitung

Vor der Untersuchung von E/A-Vorgängen (IOPS) des Clusters:

• Bestimmen Sie, welche Jobs auf dem Cluster ausgeführt werden. Wenn Restriping-Jobs wie AutoBalance, Collect oder MultiScan ausgeführt werden, überlegen Sie, warum diese Jobs ausgeführt werden und ob sie weiterhin ausgeführt werden sollten.
  • Diese Jobs können Clusterereignis erzeugen: Ereignis 400100008: "Dateivorgänge haben länger gedauert als erwartet."
• Berücksichtigen Sie den Typ der Daten, die aufgenommen werden. Wenn Clientcomputer mit großen Videodateien oder virtuellen Maschinen (VMs) arbeiten, erfordert der Restriping-Job eine höhere Menge an Festplatten-IOPS als normal.
• Erwägen Sie das vorübergehende Anhalten eines Restriping-Jobs. Dies kann die Performance erheblich verbessern und kann eine kurzfristige Lösung für ein Performanceproblem sein.

SmartPools-Jobs.

Die NFS- und SMB-Clientperformance kann sich während der Ausführung des Jobs verschlechtern:

• Bestimmen der Priorität des SmartPools-Jobs

 isi job status

• •  Geringere Auswirkungen der Policy

isi job types modify SmartPools --policy LOW

• • Priorität anpassen

isi job types modify SmartPools --priority 7

• • Richtlinie für außerhalb der Geschäftszeiten planen

isi job types modify SmartPools --policy OFF_HOURS

• • Überprüfen der Tier-Konfiguration und Beibehaltung der Anzahl der Tiers unter 5

Festplatten-I/O
Das Untersuchen der Festplatten-I/O kann dabei helfen, festzustellen, ob bestimmte Festplatten überbeansprucht werden.

Nach Cluster

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an.
2. Führen Sie die Datei

   isi statistics pstat

    -Befehl zum Ermitteln der Festplatten-I/O.
3. Teilen Sie die Festplatten-IOPS in der Ausgabe dieses Befehls durch die Gesamtzahl der Festplatten im Cluster. Beispiel: Bei einem Cluster mit 8 Nodes mit Isilon IQ 12000x-Nodes, das 12 Laufwerke pro Node hostet, teilen Sie die Festplatten-IOPS durch 96.
   Für Nodes der X-Serie und Nodes der NL-Serie sollten Festplatten-IOPS von 70 oder weniger für 100 % zufällige Workflows oder Festplatten-IOPS von 140 oder weniger für 100 % sequenzielle Workflows erwartet werden. Da Nodes der NL-Serie weniger RAM und niedrigere CPU-Geschwindigkeiten als Nodes der X-Serie haben, können Nodes der X-Serie höhere Festplatten-IOPS verarbeiten.

Nach Node und nach Festplatte

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an.
2. Führen Sie die Datei

   isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top

    -Befehl zur Ermittlung der Festplatten-IOPS nach Node, was bei der Erkennung von Festplatten helfen kann, die überbeansprucht sind.
3. Führen Sie die Datei

   isi_stats_tool -a get_key_info|grep node.disk.xfer

    Befehl zum Bestimmen, wie Statistiken pro Festplatte abgefragt werden.

Vorgänge in der Warteschlange

Eine weitere Möglichkeit, festzustellen, ob Festplatten überbeansprucht werden, besteht darin, zu bestimmen, wie viele Vorgänge für jede Festplatte im Cluster in die Warteschlange gestellt werden. Bei einem SMB-basierten Single-Stream-Workflow kann eine Warteschlange von 4 auf ein Problem hinweisen, während bei NFS-Namespace-Vorgängen mit hoher Parallelität die Warteschlange viel größer sein kann.

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. root Account.
2. Führen Sie die Datei

   isi statistics drive list --nodes=all --sort=queued -d

    Befehl zum Bestimmen, wie viele Vorgänge für jede Festplatte im Cluster in die Warteschlange eingereiht werden.
3. Bestimmen Sie, wie lange sich der Vorgang in der Warteschlange befand: 

   isi statistics drive list --nodes=all --sort=queued -d 

CPU

CPU-Probleme können häufig auf die Vorgänge zurückgeführt werden, die Clients auf dem Cluster durchführen. Mithilfe des Befehls isi statistics können Sie die auf dem Cluster durchgeführten Vorgänge bestimmen, die entweder durch das Netzwerkprotokoll oder den Clientcomputer katalogisiert werden.

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. root Account.
2. Führen Sie die Datei

   isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top

    Bestimmen Sie, welche Vorgänge im Netzwerk durchgeführt werden, und bewerten Sie, welche dieser Vorgänge die meiste Zeit in Anspruch nehmen, indem Sie den folgenden Befehl ausführen:
   Diese Befehlsausgabe liefert detaillierte Statistiken für alle Netzwerkprotokolle, organisiert danach, wie lange der Cluster benötigt, um auf Clients zu reagieren. Obwohl die Ergebnisse dieses Befehls möglicherweise nicht erkennen lassen, welcher Vorgang am langsamsten ist, kann er in die richtige Richtung weisen.
3. Führen Sie die Datei

    isi statistics system --nodes all --format top 

   , um weitere Informationen über die CPU-Verarbeitung zu erhalten, z. B. welche Node-CPUs am häufigsten verwendet werden.
4. Führen Sie die Datei

   isi_for_array -sX 'top -u -n |grep PID -A4'

    Um die vier Prozesse auf jedem Node abzufragen, der die meisten CPU-Ressourcen verbraucht, führen Sie den folgenden Befehl aus:

• PowerScale OneFS Info Hubs
• Aktuelle PowerScale OneFS-Patches