PowerScale : Latence intermittente potentielle ou redémarrage inattendu du nœud après la mise à niveau de OneFS

Un ou plusieurs des symptômes suivants peuvent être remarqués :

1. Un ou plusieurs nœuds PowerScale présentent un fonctionnement inattendu avec une chaîne similaire à l’un de ces éléments dans /var/log/messages:

panic @ time 1778169056.246, thread 0xfffffe8ec0574100: Journal BTL drain on buf 0xfffffe8143e0c038 failed due to timeout. BTL was held by transaction (5:5143063721) [0xfffffe8efdbd3a40] tracking: getblk_core

panic @ time 1778435497.146, thread 0xfffffe98692b3000: BUF_TIMELOCK: Waited more than 300 seconds for lock on 0xfffffe82c3b03ea8 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xffffff1e8e18b000; buf_track: jt_flush_block extrainfos: (0: td: 0x0; flags: 200200; time: 4108081318; 1: td: 0x0; flags: 201200; time: 676860600; 2: td: 0x0; flags: 201200; time: 676860439); ext_fields: (b_ext = 0xfffffe82c3b04240; b_trans_item: 0xfffff82333d71de0; b_shadow_item: 0x0; b_ifs_type: 2; b_source_baddr: 2cade5b7000e0029); vnode: 0xfffff80a562026a8; ldnum: 14; disk: 0xfffff80509c67800 da2; iosched: (total_inqueue: 41820; total_inprog: 18; bio_in_prog: 18);

panic @ time 1777739689.534, thread 0xfffffe9dff52bb00: BUF_TIMELOCK: Waited more than 240 seconds for lock on 0xfffffe837d0e17b0 (lock access type: 0x89900; wmesg: getblk) -- lockinfo: lock state: EXCL (recursed 0), held by: 0xfffffffffffffff0; buf_track: biodone extrainfos: (0: td: 0x0; flags: 200200; time: 3583726706; 1: td: 0x0; flags: 201200; time: 2710420770; 2: td: 0x0; flags: 201200; time: 1737195872); ext_fields: (b_ext = 0xfffffe837d0e1b48; b_trans_item: 0x0; b_shadow_item: 0x0; b_ifs_type: 0; b_source_baddr: 660d66b900020002); geom bio fields: (bp->b_bio: 0xfffff8325b43dce8;  bio_cmd: 2; bio_tdflags: 0; bio_disk: 0x0);

2. Conflit d’accès de verrouillage dû à un thread en attente de txn_i_commit ce qui pourrait potentiellement entraîner une latence du client.
   Le support Dell doit analyser hangdumps pour confirmer ce symptôme.
    
3. File d’attente de disques élevée sur un ou plusieurs disques du nœud concerné dans /var/log/vmlog.
   Par exemple :

Drive  Type  OpsIn  BytesIn  OpsOut  BytesOut  TimeAvg  TimeInQ  Queued  Busy
------------------------------------------------------------------------------
. . .
 2:20   SAS  330.7    11.4M    18.7    284.0k    2.2ms    2.9ms   624.9 76.3

Il s’agit d’un problème récemment identifié dans lequel des vidages fréquents entraînent une absence de réponse du disque.

Versions concernées :
Seules ces versions exactes sont concernées :

• OneFS 9.10.1.7
• OneFS 9.13.0.1
• OneFS 9.13.0.2
• OneFS 9.13.1.0

Les versions de OneFS antérieures et ultérieures à ces versions ne sont pas affectées.

Contournement:
Si vous envisagez d’effectuer une mise à niveau vers l’une des versions concernées, appliquez proactivement cette solution de contournement avant la mise à niveau.

Cette solution de contournement peut également être appliquée après la mise à niveau vers les versions concernées.

La valeur de la solution de contournement a été augmentée depuis le 03 juin 2026, en particulier pour les nœuds de classe A avec une mémoire inférieure ou égale à 96 Go.

Augmentez le sysctl vfs.dirtybufthresh sur tous nodes local sysctl.conf en procédant comme suit à partir de n’importe quel nœud :

1. Mettez en commentaire toute solution de contournement appliquée conformément aux mises à jour de cet article avant le 03/juin 2026 dans /etc/local/sysctl.conf sur tous les nœuds. Pour ce faire, exécutez :

isi_for_array "sed -i '' 's/^vfs.dirtybufthresh/#vfs.dirtybufthresh/g' /etc/local/sysctl.conf "

2.  Appliquez cette nouvelle solution de contournement mise à jour dans /etc/local/sysctl.conf sur tous les nœuds.
    Pour ce faire, exécutez :

isi_for_array -s 'echo "vfs.dirtybufthresh=$((16 * (`sysctl -n kern.nbuf` / 2 + 20) * 9 / 10 ))" >> /etc/local/sysctl.conf'

La commande ci-dessus ajoute la ligne suivante à /etc/local/sysctl.conf sur tous les nœuds :
vfs.dirtybufthresh=<value_for_specific_node>

La solution de contournement ci-dessus ne s’applique PAS au cluster de conformité.
Il est recommandé d’effectuer une mise à niveau vers les versions de code fixes pour le cluster de conformité.

Solution permanente :
Les ingénieurs prévoient une solution permanente dans les futures versions de OneFS.
Tant que ces versions ne sont pas disponibles, conservez les valeurs de contournement définies dans /etc/local/sysctl.conf.