PowerScale OneFS: NFS Träffar EIO när du skriver med SJM (Software Journal Mirroring) aktiverat

Det finns en ny OneFS 9.11-funktion som kallas Software Journal Mirroring (SJM) kombinerat med en OneFS 9.7-funktion som kallas Direct Write (NCIO).

Mer information om SJM finns i: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

Mer information om NCIO finns i: https://infohub.delltechnologies.com/en-au/l/powerscale-best-practices-for-semiconductor-eda-design-environments/direct-read-and-direct-write/

Problemet förväntas vara sällsynt (10 på miljarden operationer). Följande fel i PowerScale-nodens meddelandelogg bekräftar att problemet uppstod vid tidsstämpeln. Tidsstämpeln på klustersidan för ett fel måste matcha tidsstämpeln på klientsidan för felet: 

2026-03-03T17:00:28.344642-05:00 isilon-2(id2) /boot/kernel.amd64/kernel: [txn_participant.c:5806](pid 82988="kt: dxt17")(tid=106414) txn_p_dl_block_budrecs() txn(0x2:0x133bcad0d) requested from devid:2 not found

Kontrollera även om EIO-felen började efter uppgraderingen till OneFS 9.11 och om fel som följande började visas i loggfilerna:

# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5112 txn_p_dl_block_budrecs()
   3672 txn_p_dl_deltas_budrecs()
# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5200 txn_p_dl_block_budrecs()
   3712 txn_p_dl_deltas_budrecs()

För att problemet ska gälla måste både SJM och NCIO vara aktiverade i det berörda klustret. Dessa funktioner orsakar ett konkurrenstillstånd där en tråd kan förlora åtkomsten till en nödvändig resurs.  

Kontrollera om SJM är aktiverat i ett kluster genom att köra följande kommando:

isi storagepool nodepools list -v | egrep "Name|SJM"

Kör följande kommandon för att avgöra om NCIO är aktiverat. Båda kommandona returneras '1' på alla noder när NCIO är aktiverat. 

isi_for_array -s sysctl efs.lbm.ncio.write.enable
isi_for_array -s sysctl efs.bam.bsw_send_direct

Exempel:

(Confirms SJM is enabled)
Isilon-1# isi storagepool nodepools list -v | egrep "Name|SJM"
                Name: f200_3.8tb-ssd_48gb
         SJM Enabled: Yes

(Confirms NCIO is enabled.  Both sets of output return '1' for all nodes, indicating NCIO is enabled)
Isilon-1# isi_for_array -s sysctl efs.lbm.ncio.write.enable
Isilon-1: efs.lbm.ncio.write.enable: 1
Isilon-2: efs.lbm.ncio.write.enable: 1
Isilon-3: efs.lbm.ncio.write.enable: 1

Isilon-1# isi_for_array -s sysctl efs.bam.bsw_send_direct
Isilon-1: efs.bam.bsw_send_direct: 1
Isilon-2: efs.bam.bsw_send_direct: 1
Isilon-3: efs.bam.bsw_send_direct: 1

Lösningen är att inaktivera antingen SJM eller NCIO. Det är inte nödvändigt att inaktivera båda.
Om du inaktiverar SJM minskar dataskyddet och redundansen för filsystemjournalen enligt följande:

Varje nod i en SJM-aktiverad nodpool tilldelas dynamiskt en unik Buddy, och serverdelsnätverksanslutningen mellan noderna är optimerad för massdataflöde med låg latens. SJM:s automatiska återställningsschema kan använda en kompisjournals speglade innehåll för att omforma den primära nodens journal i händelse av ett fel, vilket undviker den kostsamma processen att SmartFaila noden. Det här återställningsschemat, som kallas SyncBack, kan också tillämpas manuellt om en journalenhet som misslyckas måste bytas ut fysiskt.
Källa: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

Inaktivering av NCIO kan begränsa eller minska skrivprestanda med ungefär 20 % prestanda på flashnoder. 

För att inaktivera SJM. Detta måste göras per nodpool:

isi storagepool nodepools modify <nodepool name> --sjm-enabled=false

Så här inaktiverar du NCIO:

isi_sysctl_cluster efs.lbm.ncio.write.enable=0
isi_sysctl_cluster efs.bam.bsw_send_direct=0

Om du inaktiverar dessa funktioner kan klustret påverkas. Detta bör endast tillämpas om klusterarbetsflödet påverkas. Kontakta Dells tekniska support om du har frågor eller funderingar.