PowerScale : Comment déterminer le contrôleur de sous-réseau d’une structure PowerScale InfiniBand
Samenvatting: Détermination du contrôleur de sous-réseau d’une structure PowerScale InfiniBand.
Instructies
Introduction
OpenSM fournit une implémentation d’un gestionnaire de sous-réseau InfiniBand (IB) et d’administration et s’exécute au-dessus d’OpenIB. OpenSM doit fonctionner correctement pour que tout le trafic InfiniBand (IB) qui s’appuie sur OpenSM fonctionne correctement. Si un problème d’IB se produit, vous souhaiterez peut-être consulter les journaux OpenSM. Pour ce faire, vous devez savoir quel journal vérifier. Le service OpenSM s’exécute sur tous les nœuds, et chaque nœud possède ses propres journaux OpenSM. Toutefois, seul le maître de sous-réseau de la structure IB effectue des découvertes de topologie, de sorte que seul son journal OpenSM contient des informations complètes et précises. Par conséquent, pour être en mesure d’identifier quel appareil agit en tant que maître de sous-réseau de la structure.
Dans une configuration à deux commutateurs, vous devez corréler le journal OpenSM à l’interface à laquelle il est lié. Les fichiers opensm-1.topo et opensm-2.topo ne sont pas toujours directement corrélés aux interfaces internal-a (int-a) et internal-b (int-b). Vous pouvez utiliser la valeur de l’adresse de la couche de liaison de l’interface IB (lladdr) pour déterminer quel fichier est associé à quelle interface. La procédure ci-dessous explique comment procéder.
NOTE
Un fichier .topo est généré lorsqu’une connexion au commutateur IB est initiée et contient les informations collectées à ce moment-là. Un fichier .log accompagnera toujours le fichier .topo . Le fichier .log contient des messages et des informations topographiques sur la connexion InfiniBand. Une fois que vous connaissez le maître, vous pouvez passer en revue le fichier . Fichier journal pour plus d’informations sur un problème spécifique. Seul le fichier topo sur le nœud pour le maître OpenSM est fiable pour une topologie correcte de la structure. Les fichiers topo provenant d’autres nœuds ne doivent pas être utilisés.
Procédure
1. Ouvrez une connexion SSH sur n’importe quel nœud du cluster et connectez-vous à l’aide du compte « root ». Restez sur le même nœud pour effectuer le reste des étapes de cette procédure.
2. Déterminez les maîtres OpenSM pour chaque commutateur :
isi_for_array -XI 'ps auxw | grep opensm' | grep master
Dans l’exemple ci-dessous, pour un environnement avec un seul commutateur InfiniBand, 0xe41d2d0300bc8fc2 correspond au lladdr de la carte réseau Isilon pour ce nœud, et IsilonX210-S19-1 inclut le numéro de nœud du maître.
IsilonX210-S19-3# isi_for_array -XI 'ps auxw | grep opensm' | grep master
IsilonX210-S19-1: root 3757 0.0 0.0 28536 5036 - S 23Feb17 3:56.20 opensm: 0xe41d2d0300bc8fc2 master (opensm)
3. Pour chaque résultat de la commande 2, déterminez l’interface du nœud référencée dans la sortie ci-dessus en examinant le lladdr issu de la sortie ifconfig.
isi_for_array -n <LNN> 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
For our example, the interface of the master would be ib1 (lladdr is separated by a dot in this output for clarity in reading and ends in bc.8f.c2, the same as from the example in command 2 above.)
IsilonX210-S19-3# isi_for_array -n 1 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
IsilonX210-S19-1: ib0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 4092
IsilonX210-S19-1: lladdr 0.0.0.48.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c1
IsilonX210-S19-1: status: inactive
IsilonX210-S19-1: ib1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 2044
IsilonX210-S19-1: lladdr 0.0.0.49.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c2
IsilonX210-S19-1: status: active
Extra informatie
Si une interface s’affiche comme étant inactive à l’étape 3, vous ne pouvez pas tenir compte de son état, car elle peut s’afficher en tant que maître.
S’il existe plusieurs maîtres OpenSM par commutateur et que les maîtres supplémentaires ne sont pas dus à une carte d’interface réseau (NIC) inactive, contactez le support technique PowerScale.
S’il n’existe aucun maître OpenSM, vérifiez qu’aucun autre appareil connecté physiquement au commutateur ne fait partie du cluster. Cela inclut les nœuds qui sont sous tension s’ils n’ont pas été ajoutés au cluster ou s’ils en ont été supprimés. S’il n’y a pas de connexions supplémentaires sur la structure InfiniBand, le commutateur a peut-être joué le rôle de maître.
Lorsqu’il est configuré de manière optimale, le maître de sous-réseau désigné doit être un nœud de cluster, et non un commutateur IB ou un nœud non configuré.
Dans de rares cas, un commutateur IB peut être configuré comme son propre maître de sous-réseau. Cela peut causer des problèmes difficiles à diagnostiquer. C’est-à-dire qu’une interface IB ne s’affiche pas, que le commutateur n’achemine pas correctement le trafic IB ou même empêche les nœuds de rejoindre le cluster.
Si le commutateur IB est le commutateur maître, contactez le support technique PowerScale.