PowerScale: PowerScale InfiniBand 패브릭의 서브넷 컨트롤러를 확인하는 방법
Samenvatting: PowerScale InfiniBand 패브릭의 서브넷 컨트롤러를 확인하는 방법
Instructies
소개
OpenSM은 IB(InfiniBand) 서브넷 관리자 및 관리를 구현하며 OpenIB 위에서 실행됩니다. OpenSM에 의존하는 모든 IB(InfiniBand) 트래픽이 제대로 작동하려면 OpenSM이 제대로 작동해야 합니다. IB 문제가 발생하면 OpenSM 로그를 검토할 수 있으며, 이를 위해 검토할 로그를 알고 있어야 합니다. opensm 서비스는 모든 노드에서 실행되며 각 노드에는 고유한 OpenSM 로그가 있습니다. 그러나 IB 패브릭의 서브넷 마스터만 토폴로지 검색을 수행하므로 해당 OpenSM 로그에만 완전하고 정확한 정보가 있습니다. 따라서 패브릭의 서브넷 마스터 역할을 하는 디바이스를 식별할 수 있습니다.
이중 스위치 구성에서는 OpenSM 로그를 바인딩된 인터페이스와 연결해야 합니다. opensm-1.topo 및 opensm-2.topo 파일이 항상 internal-a(int-a) 및 internal-b(int-b) 인터페이스와 직접 상관 관계가 있는 것은 아닙니다. IB 인터페이스 링크 계층 주소(lladdr) 값을 사용하여 어떤 파일이 어떤 인터페이스와 연결되어 있는지 판별할 수 있습니다. 아래 절차에서는 이 작업을 수행하는 방법을 설명합니다.
참고
. topo 파일은 IB 스위치에 대한 연결이 시작될 때 생성되며 이때 수집된 정보를 포함합니다. .log 파일은 항상 .topo 파일과 함께 제공됩니다. .log 파일에는 InfiniBand 연결에 대한 메시지 및 지형 정보가 포함되어 있습니다. 마스터를 알면 적절한 . 로그 파일에서 특정 문제에 대한 정보를 찾을 수 있습니다. 패브릭의 올바른 토폴로지를 위해 OpenSM 마스터에 대한 노드의 topo 파일만 신뢰할 수 있습니다. 다른 노드의 topo 파일은 사용하지 않아야 합니다.
절차
1. 클러스터의 노드에서 SSH 연결을 열고 "root" 계정을 사용하여 로그인합니다. 이 절차의 나머지 단계를 수행하려면 동일한 노드에 있어야 합니다.
2. 각 스위치에 대한 OpenSM 마스터를 결정합니다.
isi_for_array -XI 'ps auxw | grep opensm' | grep master
단일 InfiniBand 스위치가 있는 환경의 경우 아래 예에서 0xe41d2d0300bc8fc2는 해당 노드에 대한 Isilon NIC의 lladdr에 해당하며 IsilonX210-S19-1에는 마스터의 노드 번호가 포함됩니다.
IsilonX210-S19-3# isi_for_array -XI 'ps auxw | grep opensm' | grep master
IsilonX210-S19-1: root 3757 0.0 0.0 28536 5036 - S 23Feb17 3:56.20 opensm: 0xe41d2d0300bc8fc2 master (opensm)
3. 명령 2의 각 결과에 대해 ifconfig 출력에서 lladdr을 검사하여 위의 출력에서 참조되는 노드의 인터페이스를 확인합니다.
isi_for_array -n <LNN> 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
For our example, the interface of the master would be ib1 (lladdr is separated by a dot in this output for clarity in reading and ends in bc.8f.c2, the same as from the example in command 2 above.)
IsilonX210-S19-3# isi_for_array -n 1 'ifconfig ib0 ; ifconfig ib1' | grep -E "ib[01]"\|lladdr\|status
IsilonX210-S19-1: ib0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 4092
IsilonX210-S19-1: lladdr 0.0.0.48.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c1
IsilonX210-S19-1: status: inactive
IsilonX210-S19-1: ib1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 2044
IsilonX210-S19-1: lladdr 0.0.0.49.fe.80.0.0.0.0.0.0.e4.1d.2d.3.0.bc.8f.c2
IsilonX210-S19-1: status: active
Extra informatie
3단계에서 인터페이스가 비활성으로 표시되면 마스터로 표시될 수 있으므로 상태를 무시할 수 있습니다.
스위치당 OpenSM 마스터가 여러 개 있고 비활성 NIC(Network Interface Card)로 인한 것이 아닌 경우 PowerScale 기술 지원 부서에 문의하십시오.
OpenSM 마스터가 없는 경우 클러스터에 속하지 않는 스위치에 물리적으로 연결된 다른 디바이스가 없는지 확인합니다. 여기에는 클러스터에 추가되지 않았거나 제거되지 않은 경우 전원이 켜진 노드가 포함됩니다. InfiniBand 패브릭에 추가 연결이 없는 경우 스위치가 마스터 역할을 수행했을 수 있습니다.
최적으로 구성된 경우 지정된 서브넷 마스터는 IB 스위치나 구성되지 않은 노드가 아닌 클러스터 노드여야 합니다.
드문 경우지만 IB 스위치가 자체 서브넷 마스터로 구성될 수 있습니다. 이로 인해 진단하기 어려운 문제가 발생할 수 있습니다. 즉, IB 인터페이스가 나타나지 않거나 스위치가 IB 트래픽을 올바르게 라우팅하지 않거나 노드가 클러스터에 가입하는 것을 방지합니다.
IB 스위치가 마스터인 경우 PowerScale 기술 지원 부서에 문의하십시오.