PowerScale: Potensiell periodisk ventetid eller omstart av nodepanikk etter OneFS-oppgradering

Ett eller flere av følgende symptomer kan bli lagt merke til:

1. Én eller flere PowerScale-noder får panikk med en streng som ligner på en av disse i /var/log/messages:

panic @ time 1778169056.246, thread 0xfffffe8ec0574100: Journal BTL drain on buf 0xfffffe8143e0c038 failed due to timeout. BTL was held by transaction (5:5143063721) [0xfffffe8efdbd3a40] tracking: getblk_core

panic @ time 1778435497.146, thread 0xfffffe98692b3000: BUF_TIMELOCK: Waited more than 300 seconds for lock on 0xfffffe82c3b03ea8 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xffffff1e8e18b000; buf_track: jt_flush_block extrainfos: (0: td: 0x0; flags: 200200; time: 4108081318; 1: td: 0x0; flags: 201200; time: 676860600; 2: td: 0x0; flags: 201200; time: 676860439); ext_fields: (b_ext = 0xfffffe82c3b04240; b_trans_item: 0xfffff82333d71de0; b_shadow_item: 0x0; b_ifs_type: 2; b_source_baddr: 2cade5b7000e0029); vnode: 0xfffff80a562026a8; ldnum: 14; disk: 0xfffff80509c67800 da2; iosched: (total_inqueue: 41820; total_inprog: 18; bio_in_prog: 18);

panic @ time 1777739689.534, thread 0xfffffe9dff52bb00: BUF_TIMELOCK: Waited more than 240 seconds for lock on 0xfffffe837d0e17b0 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xfffffffffffffff0; buf_track: biodone extrainfos: (0: td: 0x0; flags: 200200; time: 3583726706; 1: td: 0x0; flags: 201200; time: 2710420770; 2: td: 0x0; flags: 201200; time: 1737195872); ext_fields: (b_ext = 0xfffffe837d0e1b48; b_trans_item: 0x0; b_shadow_item: 0x0; b_ifs_type: 0; b_source_baddr: 660d66b900020002); geom bio fields: (bp->b_bio: 0xfffff8325b43dce8;  bio_cmd: 2; bio_tdflags: 0; bio_disk: 0x0);

2. Låsestrid på grunn av at tråden venter på txn_i_commit som potensielt kan forårsake klientventetid.
   Dells kundestøtte må analysere eventuelle hangdumps for å bekrefte dette symptomet.
    
3. Høy diskkø på én eller flere stasjoner på den berørte noden i /var/log/vmlog.
   Eksempel:

Drive  Type  OpsIn  BytesIn  OpsOut  BytesOut  TimeAvg  TimeInQ  Queued  Busy
------------------------------------------------------------------------------
. . .
 2:20   SAS  330.7    11.4M    18.7    284.0k    2.2ms    2.9ms   624.9 76.3

Dette er et nylig identifisert problem der hyppig spyling fører til at disken ikke svarer.

Berørte versjoner:
Bare disse eksakte versjonene påvirkes:

• OneFS 9.10.1.7
• OneFS 9.13.0.1
• OneFS 9.13.0.2
• OneFS 9.13.1.0

OneFS-utgivelser før og etter disse versjonene påvirkes ikke.

Løsningen:
Hvis du planlegger å oppgradere til en av de berørte versjonene, må du proaktivt bruke denne midlertidige løsningen før oppgraderingen.

Denne midlertidige løsningen kan også brukes etter oppgradering til de berørte versjonene.

Verdien for den midlertidige løsningen er økt siden 2026-juni-03, spesielt for A-klasse noder med 96 GB eller lavere minne.

Øk sysctl vfs.dirtybufthresh på alle nodes local sysctl.conf ved å utføre disse trinnene fra en enkelt node:

1. Kommenter en midlertidig løsning hvis den brukes i henhold til denne artikkelen oppdateringer før 2026-juni-03 i /etc/local/sysctl.conf på alle noder. For å gjøre det, kjør:

isi_for_array "sed -i '' 's/^vfs.dirtybufthresh/#vfs.dirtybufthresh/g' /etc/local/sysctl.conf "

2.  Bruk denne nye oppdaterte løsningen i /etc/local/sysctl.conf på alle noder.
    For å gjøre det, kjør:

isi_for_array -s 'echo "vfs.dirtybufthresh=$((16 * (`sysctl -n kern.nbuf` / 2 + 20) * 9 / 10 ))" >> /etc/local/sysctl.conf'

Kommandoen ovenfor legger til følgende linje til /etc/local/sysctl.conf på alle noder:
vfs.dirtybufthresh=<value_for_specific_node>

Den midlertidige løsningen ovenfor gjelder IKKE for samsvarsklynge.
Det anbefales å oppgradere til de faste kodeversjonene for samsvarsklyngen.

Permanent løsning:
Teknisk avdeling planlegger en permanent løsning i fremtidige OneFS-lanseringer.
Inntil disse utgivelsene er tilgjengelige, beholder du de midlertidige løsningsverdiene som er angitt i /etc/local/sysctl.conf.