Isilon: Gen6 DE peer-nodepar genererer hændelser og konsolmeddelelser, der angiver problemer med deres NTB-link
Oversigt: Et Gen6 DE-peer-nodepar (H400, A200, A2000) kan nogle gange begynde at generere fejlmeddelelser, der angiver problemer med deres NTB-link. Fejl kan omfatte gentagne 'NTB link op / ned' meddelelser og link hastighed forhandling fejl. ...
Symptomer
Et Gen6 DE-peer-nodepar (H400, A200, A2000) kan nogle gange begynde at generere fejlmeddelelser, der angiver problemer med deres NTB-link. Fejl kan omfatte gentagne 'link op/ned' meddelelser og linkhastighedsforhandlingsfejl, for eksempel:
mnv0: HW link down event mnv0: HW link up event mnv0: Failed to negotiate PCIe lane speed; expected 3 lane speed, got 2. mnv0: transport link up mnv0: peer up
Alternativt kan logfilerne og/eller konsollen vise NTB-linket som nede og ikke kommer op. Der synes at være flere mulige årsager til dette problem, hvoraf nogle stadig undersøges. Dette problem kan opstå, hvis en eller begge berørte noder for nylig er blevet flyttet til en anden kabinetslot. Det gælder muligvis også, hvis computermodulet er blevet udskiftet for nylig. Dette problem påvirker ikke EP-noder (F800, H600, H500).
Årsag
Peer-noder kommunikerer med hinanden via en særlig kommunikationskanal kaldet NonTransparent Bridge (NTB), der er indlejret i kabinettets backplane. Ved normal drift skal begge noder i et peer-par have en anden PPD-værdi for at kunne kommunikere med hinanden gennem NTB. PPD-værdier tildeles baseret på nodens slot-id i kabinettet. Dette problem opstår, når BIOS beholder det gamle slot-id i stedet for at registrere det nye, når en node eller et computermodul flyttes. Dette kan medføre, at PPD-værdien indstilles forkert, hvilket forårsager en konflikt, der forhindrer noderne i at oprette et NTB-link.
Løsning
Kør følgende kommando på begge noder i det berørte peer-par for at kontrollere, om det problem, der er dokumenteret i denne KB, er relevant:
# sysctl dev.ntb_hw.0.debug_info.ppd
Hver node reagerer med enten:
dev.ntb_hw.0.debug_info.ppd: 73
Eller:
dev.ntb_hw.0.debug_info.ppd: 93
-
Hvis den ene node i et par reagerer med 73, og den anden reagerer med 93, påvirkes disse noder ikke af det problem, der er dokumenteret i denne KB.
Kontakt Isilons tekniske support for at få yderligere hjælp. -
Hvis begge noder svarer med det samme tal, uanset om det er 73 eller 93, påvirkes de af det problem, der er dokumenteret i denne KB. Dette problem løses i opdateret nodefirmware i nodefirmwarepakke 10.1.6 og nyere samt i en koderettelse i OneFS 8.1.0.4 og nyere. Hver opdatering afhjælper problemet individuelt, men begge udgivelser indeholder andre vigtige rettelser, så det anbefales at installere begge.