PowerScale OneFS: Při povoleném zápisu pomocí zrcadlení softwarového žurnálu (SJM) dochází k porušení EIO NFS

K dispozici je nová funkce systému OneFS 9.11 s názvem Software Journal Mirroring (SJM) v kombinaci s funkcí systému OneFS 9.7 známou jako přímý zápis (NCIO).

Další informace o SJM naleznete v tématu: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

Další informace o NCIO naleznete v tématu: https://infohub.delltechnologies.com/en-au/l/powerscale-best-practices-for-semiconductor-eda-design-environments/direct-read-and-direct-write/

Očekává se, že tento problém bude vzácný (10 z miliardy operací). Následující chyba v protokolu zpráv uzlu PowerScale potvrzuje, že k problému došlo v časovém razítku. Časové razítko chyby na straně clusteru se musí shodovat s časovým razítkem chyby na straně klienta: 

2026-03-03T17:00:28.344642-05:00 isilon-2(id2) /boot/kernel.amd64/kernel: [txn_participant.c:5806](pid 82988="kt: dxt17")(tid=106414) txn_p_dl_block_budrecs() txn(0x2:0x133bcad0d) requested from devid:2 not found

Zjistěte, zda se po upgradu na OneFS 9.11 začaly objevovat chyby EIO a zda se v souborech protokolu začaly objevovat chyby jako následující:

# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5112 txn_p_dl_block_budrecs()
   3672 txn_p_dl_deltas_budrecs()
# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5200 txn_p_dl_block_budrecs()
   3712 txn_p_dl_deltas_budrecs()

Aby se problém projevil, musí být v dotčeném clusteru povoleny funkce SJM i NCIO. Tyto funkce způsobují konflikt časování, kdy vlákno může ztratit přístup k potřebnému prostředku.  

Chcete-li zjistit, zda je funkce SJM v clusteru povolena, spusťte následující příkaz:

isi storagepool nodepools list -v | egrep "Name|SJM"

Chcete-li zjistit, zda je funkce NCIO povolena, spusťte následující příkazy. Oba příkazy vrátí '1' na všech uzlech, když je povoleno NCIO. 

isi_for_array -s sysctl efs.lbm.ncio.write.enable
isi_for_array -s sysctl efs.bam.bsw_send_direct

Příklady:

(Confirms SJM is enabled)
Isilon-1# isi storagepool nodepools list -v | egrep "Name|SJM"
                Name: f200_3.8tb-ssd_48gb
         SJM Enabled: Yes

(Confirms NCIO is enabled.  Both sets of output return '1' for all nodes, indicating NCIO is enabled)
Isilon-1# isi_for_array -s sysctl efs.lbm.ncio.write.enable
Isilon-1: efs.lbm.ncio.write.enable: 1
Isilon-2: efs.lbm.ncio.write.enable: 1
Isilon-3: efs.lbm.ncio.write.enable: 1

Isilon-1# isi_for_array -s sysctl efs.bam.bsw_send_direct
Isilon-1: efs.bam.bsw_send_direct: 1
Isilon-2: efs.bam.bsw_send_direct: 1
Isilon-3: efs.bam.bsw_send_direct: 1

Alternativním řešením je zakázat SJM nebo NCIO. Obojí není nutné zakazovat.
Zakázání funkce SJM snižuje ochranu dat a redundanci žurnálu systému souborů, a to následujícím způsobem:

Každému uzlu ve fondu uzlů s podporou SJM je dynamicky přiřazen jedinečný Buddy a síťové připojení backendu mezi uzly je optimalizováno pro hromadný tok dat s nízkou latencí. Schéma automatické obnovy SJM může použít zrcadlený obsah Buddy journalu k opětovnému vytvoření deníku primárního uzlu v případě selhání, čímž se vyhnete nákladnému procesu SmartFail uzlu. Toto schéma obnovení, známé jako SyncBack, lze také použít ručně, pokud je nutné fyzicky vyměnit vadné zařízení deníku.
Zdroj: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

Zakázání NCIO může omezit nebo snížit výkon zápisu na uzlech flash přibližně o 20 %. 

Zakázání funkce SJM. To je nutné provést pro každý fond uzlů:

isi storagepool nodepools modify <nodepool name> --sjm-enabled=false

Zakázání funkce NCIO:

isi_sysctl_cluster efs.lbm.ncio.write.enable=0
isi_sysctl_cluster efs.bam.bsw_send_direct=0

Zakázání těchto funkcí může mít vliv na cluster. To by se mělo použít pouze v případě, že je ovlivněn pracovní postup clusteru. V případě dotazů či obav se obraťte na technickou podporu společnosti Dell.