Switch i Connectrix B-serien: fejl FOS-849642 og FOS-847091;
Oversigt: Gen 7 direktører og switche (X7-8, X7-4, 7730 og 7720), der kører en hvilken som helst version af Fabric OS (FOS) v9.1.x før v9.1.1c eller kørsel på FOS v9.2.0 kan støde på en fejltilstand, der forårsager CRC-fejl, portfejl eller forårsager en Forstyrrende genstart som reaktion på alvorlig overbelastning og aktivering af overtegningsstyringsadfærden for Traffic Optimizer-funktion Defekter FOS-849642 &; FOS-847091 Disse to fejl vil blive rettet i FOS v9.1.1c og v9.2.0a. Indtil denne kvalifikation foreligger, kan berørte kunder vælge at implementere løsningen. ...
Symptomer
Berørte
produkterBrocade X7-8, X7-4, 7730 og 7720, der kører FOS v9.1.x eller FOS v9.2.0
Rettet i versioner
Brocade FOS v9.1.1c, v9.2.0a og nyere versioner
Kun Gen 7-produkter er i fare.
Gen 7-directors (X7-8 og X7-4) med en FC64-48 og/eller FC32-X7-48-portblade installeret risikerer at støde på både overløbs- og "verificeringsfejl". FC32-64 og FC32-48 port blades installeret i Gen 7 direktører er ikke i fare for at støde på nogen af fejlene.
Gen 7-switche (G730 og G720) er kun i fare for at støde på bufferoverløbsfejl. Disse switche udsættes ikke for og risikerer heller ikke at støde på fejlbetingelsen
"verify".For yderligere at være i fare skal strukturen opleve alvorlig overbelastning, hvilket resulterer i overtegningsstyring af Traffic
Optimizer. Følgende RASlog Meddelelsen vil blive observeret, hvis dette niveau af respons nogensinde er stødt på:
[TO-1006], 1011618/1002267, FID 128, INFO, Switch_100, Flows destined to dev02 device have been moved to PG_OVER_SUBSCRIPTION_4G_16G PG., cfs_ctrlr.c, line: 1470, comp:cfsd, ltime:2023/05/17-06:15:33:923058
Traffic Optimizers overabonnementsadministrationshandling findes kun i FOS v9.1.x-firmwaren. Gen 7-produkter
, der kører på FOS v9.0.x, er ikke i fare for nogen af fejlbetingelserne.
Risikobetingelser
for bufferoverløbFor at bufferoverløbstilstanden kan forekomme, skal F-portene på Gen 7-director
eller switchen ud over at kræve en periode med alvorlig overbelastning også være konfigureret fra standardværdien til et større antal buffere. FOS tildeler
som standard højst 28 buffere.
Enhver Gen 7-director eller -switch, der har fået deres maksimale antal F-Port-buffere øget til over de standardværdier, der bruges af
FOS, er potentielt i fare, og enhver X7-8- eller X7-4-director, der tidligere kørte FOS v9.0.x, kan være i fare for at
støde på "bekræft"-fejl. I begge tilfælde skal Traffic Optimizer også forsøge at administrere routing af rammer som reaktion på
en overabonnementshændelse forårsaget i en periode med alvorlig overbelastning.
For at bestemme direktører og switche, der kan være i fare, skal du bruge "portbuffershow" for at få vist bufferforbruget
Hvis det samlede bufferforbrug for porte på samme ASIC/chip, der også er zoneinddelt sammen, giver en værdi, der er større end 256 buffere, anses Gen 7-switchen for at være i fare for at støde på et bufferoverløb, hvis en alvorlig overbelastningshændelse kræver overabonnementsstyring fra Traffic Optimizer. Fejlen vil ikke forekomme på alle overabonnementsstyringshændelser, da antallet af buffere, der administreres på tidspunktet for hændelsen, skal overstige 256, mens Traffic Optimizer administrerer overtegning, men at blive konfigureret til potentielt at håndtere mere end 256 buffere vil bringe switchen i fare.
I eksemplet ovenfor er der risiko for, at switchen støder på et framebufferoverløb
, hvis alle 8 F-porte er i én zone sammen, mens Traffic Optimizer administrerer en overtegningsbetingelse, da det samlede antal bufferforbrug i dette eksempel er 360.
I det følgende eksempel, hvor F-portene ikke alle er zoneinddelt sammen, vil denne switch imidlertid ikke være i fare, da de to zoner (vist med grønt) tilsammen udgør op til henholdsvis 232 buffere og 128 buffere.
Det maksimale antal porte, der bruges til overabonnementsstyring, er 8 porte. Hvis mere end 8 porte er zoneinddelt fra samme ASIC/chip, lægges de 8 porte med de højeste bufferforbrugsværdier sammen for at bestemme risikoen.
BEMÆRK: Gen 7-direktører og -switche, der aldrig har fået ændret deres antal F-Port-buffere fra standard, er ikke i fare for at støde på dette problem med overløb af rammebuffer. Den maksimale værdi, der bruges som standardindstilling for maks./reserverede buffere, er 28 for Gen 7-produkter, men færre buffere kan allokeres afhængigt af switchtype og optisk hastighed. Kunder
, der aldrig har øget antallet af maks./reserverede buffere fra standard, vil ikke opleve problemet med bufferoverløb
. Selv med 8 porte zoneinddelt ved hjælp af den maksimale standardallokering på 28 buffere pr. port, er den samlede værdi af
maksimalt bufferforbrug kun 224 rammer.
"Bekræft" fejlrisikobetingelser
Ud over problemet med bufferoverløb kan X7-8- og X7-4-direktører også potentielt være i fare for at "verificere" fejlmeddelelser, hvis følgende betingelser er opfyldt i denne rækkefølge:
- X7-8 eller X7-4 director har tidligere kørt på FOS v9.0.x
- Instruktøren opgraderes derefter til FOX v9.1.x
- Direktøren har derefter F-porte, der logger ud og logger ind, mens v9.1.x-versionen er
- Direktøren støder derefter på en overtegningshændelse, der kræver styring fra Traffic Optimizer
- Direktøren udfører derefter en HA-failover (firmwareopgradering medfører en failover)
- Direktøren støder på en anden overtegningsbegivenhed, der kræver styring fra Traffic Optimizer
X7-8 eller X7-4 direktører, der opfylder alle disse betingelser, i den angivne rækkefølge, kan være i fare for at støde på "verificere" fejl under overabonnementsstyring fra Traffic Optimizer.
- X7-8- eller X7-4-directors, der kun har kørt på FOS v9.1.x-firmware, risikerer ikke at støde på fejlen "verify", da kun v9.1-programmeringsmodellen bruges til alle porte. Gen 7-directors skal tidligere have kørt med FOS v9.0.x for at være modtagelige for dette problem.
- X7-8- eller X7-4-directors, der er blevet koldstartet/strømcyklet, mens de kører på FOS v9.1.x-firmware, risikerer heller ikke at støde på fejlen "verify", da alle porte vil bruge v9.1-programmeringen efter genstart
Symptomer
Gen 7-direktører og -switche, der er stødt på en overabonnementsstyringshændelse, vil overholde følgende
Traffic Optimizer RASlog:
[TO-1006], 1011618/1002267, FID 128, INFO, Switch_100, Flows destined to b1a02 device have been moved to PG_OVER_SUBSCRIPTION_4G_16G PG., cfs_ctrlr.c, line: 1470, comp:cfsd, ltime:2023/05/17-06:15:33:923058
Yderligere symptomer, der kan opstå på grund af disse identificerede problemer, kan være:
- Der kan observeres et stort antal CRC-fejl på et link, som ikke er rettet med udskiftning af optik/kabel
- Rammer kan kasseres, kredit på et link kan gå tabt
- Porte kan være defekte, ASIC kan stoppe og blive afbrudt
- En instruktør kan observere en uventet HA-fail-over eller endda en kold genstart af instruktøren
- Afbrydere kan observere en kold genstart
Årsag
, der påvirker transmissionen af rammer eller porte, der administreres. I scenarier med alvorlige overbelastninger kan disse fejl også
påvirke ydeevnen for andre FOS-dæmoner (Fabric OS), der er aktive på switchen, hvilket fører til timeout for softwareovervågning,
der resulterer i en HA-failover eller panik i switchen.
Gen 7-directors og switche (X7-8, X7-4, 7730 og 7720), der oplever et overløb af rammebuffere under forsøg på
at administrere og omdirigere overtegnede flow som reaktion på en alvorlig overbelastningshændelse, kan forårsage uventede fejl. Hvis
antallet af rammer overskrider den buffer, der bruges til at administrere overtegningshåndteringen, kan
disse overskydende rammer blive overset under Traffic Optimizer-håndtering. Disse overskydende rammer kan potentielt overskrives af andre rammer, hvilket fører
til ramme-CRC-fejl eller endda portfejl, hvis headeroplysninger overskrives. Under scenarier med alvorlig overbelastning kan styringen af disse overløbs-/overskydende rammer føre til blokering af andre FOS-dæmoner, hvilket kan resultere i timeout for
vagthunden. Kritiske dæmoner, at timeout vil forårsage en HA-failover eller forstyrrende switchgenstart.
Ud over potentiel håndtering af rammeoverløb kan X7-8- og X7-4-directors, der tidligere har været i drift på FOS v9.0.x og derefter senere opgraderet til FOS v9.1.x, støde på bekræftelsesfejl efter HA-fail-overs (herunder dem, der skyldes firmwareopgraderinger til højere versioner af v9.1.x). Flere "bekræft"-fejlmeddelelser vil blive observeret under overabonnementsstyring af Traffic Optimizer på grund af en registreret konflikt i programmeringen af porte, der oprettes, når nogle porte, men ikke alle porte nulstilles under v9.1.x. Konflikten mellem programmering af overbelastningsstyring på porte, der aldrig blev nulstillet, mens de var på v9.0.x, og senere stødte på overbelastningsstyring, mens v9.1.x på porte, der blev nulstillet, kan opstå efter en HA-failover-hændelse.
Løsning
Løsning
" I fare" kan direktører og switche deaktivere Traffic Optimizer-overabonnementsstyringshandlingen.
Udsted følgende CLI-kommando fra vedligeholdelseskontoen for at deaktivere overabonnementsadministrationshandlingen
i Traffic Optimizer
maintenance> serviceexec trafoptdebug --enableosclassification 0
Fejlretning
En softwareløsning i FOS v9.1.1c og nyere forhindrer disse fejl. De samme løsninger findes
også i FOS v9.2.0a og nyere versioner af FOS v9.2.x. Opgradering til disse versioner af FOS forhindrer en overskridelse af rammer på grund af
overabonnementsstyring og forhindrer også "verificering" af fejl på X7-directors.
For en Gen 7-director eller -switch (X7-8, X7-4, 7730 og 7720), der stadig kører en version af FOS v9.0.x og kan være "i fare"
for at støde på de beskrevne problemer, anbefales det at vente på udgivelsen af FOS v9.1.1c, før du opgraderer.
Gen 7-directors og switche, der i øjeblikket kører på en v9.1.x- eller v9.2.0-udgivelser, og som vurderes at være i fare,
bør implementere løsningen. Deaktivering af Traffic Optimizer-overabonnementsstyringshandlingen forhindrer
både bufferoverløb og "verificering" af fejl. Efter opgradering til v9.1.1c eller v9.2.0a kan overabonnementsadministrationshandlingen
genaktiveres via følgende kommando:
Udsted følgende CLI-kommando fra vedligeholdelseskontoen for at genaktivere overabonnementsadministrationshandlingen i Traffic Optimizer
maintenance> serviceexec trafoptdebug --enableosclassification 1
Enhver Gen 7-director eller -switch, der allerede er stødt på
“buffer overflow” Fejl skal udføre en kold genstart
for at komme sig helt efter fejltilstanden:
Switches: Genstart (kold genstart) switchen
Mulighed 1: Udfør genstartshandlingen, der er vist ovenfor, og implementer derefter løsningen for at deaktivere overabonnementsadministrationshandlingen inde fra Traffic Optimizer
Mulighed 2: Opgrader til en version af FOS med løsningen, og udfør derefter genstartshandlingen vist ovenfor.
Opgradering til en version af FOS med den medfølgende løsning vil forhindre “buffer overflow” fejl fra at ske, men
når den svigtende tilstand er stødt på, vil kun en kold genstart af ASIC løse fejltilstanden.
Opgradering til en version af FOS med den medfølgende løsning forhindrer og gendanner automatisk fejltilstanden "bekræft"
uden yderligere handling.
Efter opgradering til en version af FOS, der indeholder løsningen, udføres en kontrol af den interne hukommelse for at afgøre, om director eller switchen tidligere er stødt på fejlen og kræver en genstart for at gendanne fejltilstanden.
Følgende RASlog vises, hvis fejltilstanden registreres efter opgradering af FOS til en version med løsningen:
2023/06/01-17:07:50 (GMT), [C5-1057], 5, SLOT 2 | CHASSIS, CRITICAL, Switch_3,
S10,C0: HW ASIC Chip is in an inconsistent state = 0x1002.
Hvis ovenstående RASlog observeres efter opgradering af FOS, er director eller switchen tidligere stødt på fejlen "bufferoverløb
" før opgraderingen og skal udføre en kold genstart for at kunne gendanne helt efter fejltilstanden:
Switches: Genstart (kold genstart) switchen