PowerScale: Potentiel periodisk ventetid eller genstart af nodepanik efter OneFS-opgradering

Et eller flere af følgende symptomer kunne bemærkes:

1. En eller flere PowerScale-noder går i panik med en streng, der ligner en af disse i /var/log/messages:

panic @ time 1778169056.246, thread 0xfffffe8ec0574100: Journal BTL drain on buf 0xfffffe8143e0c038 failed due to timeout. BTL was held by transaction (5:5143063721) [0xfffffe8efdbd3a40] tracking: getblk_core

panic @ time 1778435497.146, thread 0xfffffe98692b3000: BUF_TIMELOCK: Waited more than 300 seconds for lock on 0xfffffe82c3b03ea8 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xffffff1e8e18b000; buf_track: jt_flush_block extrainfos: (0: td: 0x0; flags: 200200; time: 4108081318; 1: td: 0x0; flags: 201200; time: 676860600; 2: td: 0x0; flags: 201200; time: 676860439); ext_fields: (b_ext = 0xfffffe82c3b04240; b_trans_item: 0xfffff82333d71de0; b_shadow_item: 0x0; b_ifs_type: 2; b_source_baddr: 2cade5b7000e0029); vnode: 0xfffff80a562026a8; ldnum: 14; disk: 0xfffff80509c67800 da2; iosched: (total_inqueue: 41820; total_inprog: 18; bio_in_prog: 18);

panic @ time 1777739689.534, thread 0xfffffe9dff52bb00: BUF_TIMELOCK: Waited more than 240 seconds for lock on 0xfffffe837d0e17b0 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xfffffffffffffff0; buf_track: biodone extrainfos: (0: td: 0x0; flags: 200200; time: 3583726706; 1: td: 0x0; flags: 201200; time: 2710420770; 2: td: 0x0; flags: 201200; time: 1737195872); ext_fields: (b_ext = 0xfffffe837d0e1b48; b_trans_item: 0x0; b_shadow_item: 0x0; b_ifs_type: 0; b_source_baddr: 660d66b900020002); geom bio fields: (bp->b_bio: 0xfffff8325b43dce8;  bio_cmd: 2; bio_tdflags: 0; bio_disk: 0x0);

2. Låsestrid på grund af gevind, der venter på txn_i_commit hvilket potentielt kan forårsage klientforsinkelse.
   Dell Support skal analysere alle hangdumps for at bekræfte dette symptom.
    
3. Høj diskkø på et eller flere drev på den berørte node i /var/log/vmlog.
   F.eks.:

Drive  Type  OpsIn  BytesIn  OpsOut  BytesOut  TimeAvg  TimeInQ  Queued  Busy
------------------------------------------------------------------------------
. . .
 2:20   SAS  330.7    11.4M    18.7    284.0k    2.2ms    2.9ms   624.9 76.3

Dette er et nyligt identificeret problem, hvor hyppig skylning fører til, at disken ikke reagerer.

Berørte versioner:
Kun disse nøjagtige versioner påvirkes:

• OneFS 9.10.1.7
• OneFS 9.13.0.1
• OneFS 9.13.0.2
• OneFS 9.13.1.0

OneFS-udgivelser før og efter disse versioner påvirkes ikke.

Løsning:
Hvis du planlægger at opgradere til en af de berørte versioner, skal du proaktivt anvende denne løsning før opgraderingen.

Denne løsning kan også anvendes efter opgradering til de berørte versioner.

Værdien af løsningen er blevet øget siden 2026-juni-03, især for A-klasse noder med 96 GB eller lavere hukommelse.

Forøg sysctl vfs.dirtybufthresh på alle nodes local sysctl.conf fil ved at udføre disse trin fra en enkelt node:

1. Kommenter enhver løsning, hvis den anvendes i henhold til denne artikel, opdateringer før 2026-juni-03 i /etc/local/sysctl.conf på alle noder. For at gøre det skal du køre:

isi_for_array "sed -i '' 's/^vfs.dirtybufthresh/#vfs.dirtybufthresh/g' /etc/local/sysctl.conf "

2.  Anvend denne nye opdaterede løsning i /etc/local/sysctl.conf på alle noder.
    For at gøre det skal du køre:

isi_for_array -s 'echo "vfs.dirtybufthresh=$((16 * (`sysctl -n kern.nbuf` / 2 + 20) * 9 / 10 ))" >> /etc/local/sysctl.conf'

Ovenstående kommando tilføjer følgende linje til /etc/local/sysctl.conf på alle noder:
vfs.dirtybufthresh=<value_for_specific_node>

Ovenstående løsning gælder IKKE for klyngen Overholdelse.
Det anbefales at opgradere til de faste kodeversioner for overholdelsesklyngen.

Permanent løsning:
Engineering planlægger en permanent løsning i fremtidige OneFS-udgivelser.
Indtil disse udgivelser er tilgængelige, skal du beholde de løsningsværdier, der er angivet i /etc/local/sysctl.conf.