PowerScale: Sådan bestemmes undernetcontrolleren for en PowerScale InfiniBand-struktur
Samenvatting: Sådan bestemmes undernetcontrolleren for en PowerScale InfiniBand-struktur.
Instructies
Indledning
OpenSM giver en implementering af en InfiniBand (IB) Subnet Manager og Administration og kører oven på OpenIB. OpenSM skal fungere korrekt, for at al InfiniBand-trafik (IB), der er afhængig af OpenSM, fungerer korrekt. Hvis der opstår et IB-problem, kan det være en god ide at gennemse OpenSM-logfilerne, og for at gøre det skal du vide, hvilken log du skal gennemse. Opensm-tjenesten kører på alle noder, og hver node har sine egne OpenSM-logfiler. Det er dog kun undernetmasteren i IB-strukturen, der gør topologiopdagelser, så kun OpenSM-loggen har fuldstændige og nøjagtige oplysninger. Derfor for at kunne identificere, hvilken enhed der fungerer som stoffets undernetmaster.
I en konfiguration med to switche skal du korrelere OpenSM-loggen med den grænseflade, den er bundet til. Opensm-1.topo- og opensm-2.topo-filerne korrelerer ikke altid direkte med grænsefladerne intern-a (int-a) og intern-b (int-b). Du kan bruge værdien for IB interface link layer address (lladdr) til at bestemme, hvilken fil der er knyttet til hvilken grænseflade. Fremgangsmåden nedenfor beskriver, hvordan du gør dette.
BEMÆRK
En .topo-fil genereres, når der oprettes forbindelse til IB-switchen, og den indeholder oplysninger, der er indsamlet på det pågældende tidspunkt. En .log fil vil altid ledsage .topo-filen . Den .log fil indeholder meddelelser og topografi oplysninger om InfiniBand-forbindelsen. Når du kender mesteren, kan du gennemgå den relevante . Log fil for at få oplysninger om et bestemt problem. Man kan stole på, at kun topofilen på noden for OpenSM-masteren giver en korrekt topologi af stoffet. Topo-filer fra andre noder må ikke bruges.
Procedure
1. Åbn en SSH -forbindelse på en hvilken som helst node i klyngen, og log ind ved hjælp af "root"-kontoen. Bliv på den samme node for at udføre resten af trinnene i denne procedure.
2. Bestem OpenSM-masterne for hver switch:
isi_for_array -XI 'ps auxw | grep opensm' | grep master
I eksemplet nedenfor for et miljø med en enkelt InfiniBand-switch svarer 0xe41d2d0300bc8fc2 til lladdr for Isilon-netværkskortet for den pågældende node, og IsilonX210-S19-1 indeholder nodenummeret for masteren.
IsilonX210-S19-3# isi_for_array -XI 'ps auxw | grep opensm' | grep master
IsilonX210-S19-1: root 3757 0.0 0.0 28536 5036 - S 23Feb17 3:56.20 opensm: 0xe41d2d0300bc8fc2 master (opensm)
3. For hvert resultat i kommando 2 skal du bestemme, hvilken grænseflade på noden der henvises til fra outputtet ovenfor ved at undersøge lladdr fra ifconfig-output.
isi_for_array -n <LNN> 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
For our example, the interface of the master would be ib1 (lladdr is separated by a dot in this output for clarity in reading and ends in bc.8f.c2, the same as from the example in command 2 above.)
IsilonX210-S19-3# isi_for_array -n 1 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
IsilonX210-S19-1: ib0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 4092
IsilonX210-S19-1: lladdr 0.0.0.48.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c1
IsilonX210-S19-1: status: inactive
IsilonX210-S19-1: ib1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 2044
IsilonX210-S19-1: lladdr 0.0.0.49.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c2
IsilonX210-S19-1: status: active
Extra informatie
Hvis en grænseflade vises som inaktiv i trin 3, kan dens status ignoreres, da den kan vises som master.
Hvis der er flere OpenSM-mastere pr. switch, og de ekstra mastere ikke skyldes et inaktivt netværksinterfacekort (NIC), skal du kontakte teknisk support til PowerScale.
Hvis der ikke er nogen OpenSM-mastere, skal du bekræfte, at der ikke er andre enheder, der er fysisk tilsluttet switchen, som ikke er en del af klyngen. Dette omfatter noder, der er tændt, hvis de enten ikke er blevet føjet til klyngen eller fjernet fra den. Hvis der ikke er yderligere forbindelser på InfiniBand-strukturen, kan switchen have påtaget sig rollen som master.
Når den er optimalt konfigureret, skal den angivne undernetmaster være en klyngenode, ikke en IB-switch eller en ikke-konfigureret node.
I sjældne tilfælde kan en IB-switch konfigureres som sin egen undernetmaster. Dette kan forårsage problemer, der er vanskelige at diagnosticere. Dvs. en IB-grænseflade kommer ikke op, switch dirigerer ikke IB-trafik korrekt eller forhindrer endda noder i at slutte sig til klyngen.
Hvis IB-switchen er masteren, skal du kontakte PowerScales tekniske support.