PowerScale: So bestimmen Sie den Subnetz-Controller eines PowerScale InfiniBand-Fabric
Samenvatting: So bestimmen Sie den Subnetz-Controller eines PowerScale InfiniBand-Fabric.
Instructies
Einführung
OpenSM bietet eine Implementierung eines InfiniBand (IB) Subnet Manager und Administration und läuft auf OpenIB. OpenSM muss ordnungsgemäß funktionieren, damit der gesamte InfiniBand (IB)-Datenverkehr, der auf OpenSM basiert, ordnungsgemäß funktioniert. Wenn ein IB-Problem auftritt, sollten Sie die OpenSM-Protokolle überprüfen. Dazu müssen Sie wissen, welches Protokoll überprüft werden soll. Der opensm-Service wird auf allen Nodes ausgeführt und jeder Node verfügt über eigene OpenSM-Protokolle. Allerdings führt nur der Subnetz-Master der IB-Fabric Topologie-Erkennungen durch, sodass nur das OpenSM-Protokoll vollständige und genaue Informationen enthält. Daher können Sie ermitteln, welches Gerät als Subnetz-Master der Fabric fungiert.
In einer Konfiguration mit zwei Switches müssen Sie das OpenSM-Protokoll mit der Schnittstelle korrelieren, an die es gebunden ist. Die Dateien opensm-1.topo und opensm-2.topo korrelieren nicht immer direkt mit den Schnittstellen internal-a (int-a) und internal-b (int-b). Sie können den lladdr-Wert (IB interface link layer address) verwenden, um zu bestimmen, welche Datei welcher Schnittstelle zugeordnet ist. Im folgenden Verfahren wird beschrieben, wie Sie dies tun.
HINWEIS
Eine .topo-Datei wird erzeugt, wenn eine Verbindung zum IB-Switch initiiert wird, und enthält Informationen, die zu diesem Zeitpunkt erfasst wurden. Eine .log Datei wird immer zusammen mit der .topo-Datei erstellt. Die .log Datei enthält Meldungen und Topografieinformationen zur InfiniBand-Verbindung. Sobald Sie den Master kennen, können Sie die entsprechende . Protokolldatei für Informationen zu einem bestimmten Problem. Nur die Topo-Datei auf dem Node für den OpenSM-Master kann für eine korrekte Topologie der Fabric verwendet werden. Topo-Dateien von anderen Nodes sollten nicht verwendet werden.
Verfahren
1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an. Bleiben Sie auf demselben Node, um die restlichen Schritte in diesem Verfahren durchzuführen.
2. Legen Sie die OpenSM-Master für jeden Switch fest:
isi_for_array -XI 'ps auxw | grep opensm' | grep master
Im folgenden Beispiel für eine Umgebung mit einem einzigen InfiniBand-Switch entspricht 0xe41d2d0300bc8fc2 der lladdr der Isilon-NIC für diesen Node und IsilonX210-S19-1 enthält die Node-Nummer für den Master.
IsilonX210-S19-3# isi_for_array -XI 'ps auxw | grep opensm' | grep master
IsilonX210-S19-1: root 3757 0.0 0.0 28536 5036 - S 23Feb17 3:56.20 opensm: 0xe41d2d0300bc8fc2 master (opensm)
3. Bestimmen Sie für jedes Ergebnis in Befehl 2, auf welche Schnittstelle auf dem Node in der obigen Ausgabe verwiesen wird, indem Sie die lladdr aus der Ausgabe von ifconfig untersuchen.
isi_for_array -n <LNN> 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
For our example, the interface of the master would be ib1 (lladdr is separated by a dot in this output for clarity in reading and ends in bc.8f.c2, the same as from the example in command 2 above.)
IsilonX210-S19-3# isi_for_array -n 1 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
IsilonX210-S19-1: ib0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 4092
IsilonX210-S19-1: lladdr 0.0.0.48.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c1
IsilonX210-S19-1: status: inactive
IsilonX210-S19-1: ib1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 2044
IsilonX210-S19-1: lladdr 0.0.0.49.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c2
IsilonX210-S19-1: status: active
Extra informatie
Wenn eine Schnittstelle in Schritt 3 als inaktiv angezeigt wird, kann ihr Status ignoriert werden, da sie möglicherweise als Master angezeigt wird.
Wenn mehrere OpenSM-Master pro Switch vorhanden sind und die zusätzlichen Master nicht auf eine inaktive Netzwerkschnittstellenkarte (NIC) zurückzuführen sind, wenden Sie sich an den technischen Support von PowerScale.
Wenn keine OpenSM-Master vorhanden sind, vergewissern Sie sich, dass keine anderen Geräte physisch mit dem Switch verbunden sind, die nicht Teil des Clusters sind. Dies schließt Nodes ein, die eingeschaltet werden, wenn sie entweder nicht zum Cluster hinzugefügt oder daraus entfernt wurden. Wenn keine zusätzlichen Verbindungen auf der InfiniBand-Fabric vorhanden sind, hat der Switch möglicherweise die Rolle des Masters übernommen.
Bei optimaler Konfiguration sollte der designierte Subnetz-Master ein Cluster-Node sein, kein IB-Switch oder nicht konfigurierter Node.
In seltenen Fällen kann ein IB-Switch als eigener Subnetz-Master konfiguriert werden. Dies kann zu schwer zu diagnostizierenden Problemen führen. D. h., eine IB-Schnittstelle wird nicht angezeigt, der Switch leitet den IB-Datenverkehr nicht korrekt weiter oder verhindert sogar, dass Nodes dem Cluster beitreten.
Wenn der IB-Switch der Master ist, wenden Sie sich an den technischen Support von PowerScale.