PowerScale OneFS: NFS saavuttaa EIO:n kirjoitettaessa Software Journal Mirroring (SJM) -ominaisuuden ollessa käytössä

OneFS 9.11 -versiossa on uusi ominaisuus nimeltä Software Journal Mirroring (SJM) ja OneFS 9.7 -ominaisuus, joka tunnetaan nimellä Direct Write (NCIO).

Lisätietoja SJM:stä: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

Lisätietoja NCIO:sta: https://infohub.delltechnologies.com/en-au/l/powerscale-best-practices-for-semiconductor-eda-design-environments/direct-read-and-direct-write/

Ongelman odotetaan olevan harvinainen (10 operaatiota miljardista). Seuraava virhe PowerScale-solmun viestilokissa vahvistaa, että ongelma ilmeni aikaleimassa. Virheen klusteripuolen aikaleiman on vastattava virheen asiakaspuolen aikaleimaa: 

2026-03-03T17:00:28.344642-05:00 isilon-2(id2) /boot/kernel.amd64/kernel: [txn_participant.c:5806](pid 82988="kt: dxt17")(tid=106414) txn_p_dl_block_budrecs() txn(0x2:0x133bcad0d) requested from devid:2 not found

Selvitä myös, alkaivatko EIO-virheet OneFS 9.11 -päivityksen jälkeen ja alkoivatko lokitiedostoissa näkyä seuraavanlaisia virheitä:

# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5112 txn_p_dl_block_budrecs()
   3672 txn_p_dl_deltas_budrecs()
# grep txn_p_dl_ /var/log/messages | cut -d":" -f 2- | cut -d" " -f 8 | sort | uniq -c
   5200 txn_p_dl_block_budrecs()
   3712 txn_p_dl_deltas_budrecs()

Ongelman ratkaisemiseksi sekä SJM:n että NCIO:n on oltava käytössä klusterissa, jota ongelma koskee. Nämä ominaisuudet aiheuttavat kilpailutilanteen, jossa säie voi menettää pääsyn tarvittavaan resurssiin.  

Selvitä, onko SJM otettu käyttöön klusterissa, suorittamalla seuraava komento:

isi storagepool nodepools list -v | egrep "Name|SJM"

Selvitä, onko NCIO käytössä, suorittamalla seuraavat komennot. Molemmat komennot palaavat '1' kaikissa solmuissa, kun NCIO on käytössä. 

isi_for_array -s sysctl efs.lbm.ncio.write.enable
isi_for_array -s sysctl efs.bam.bsw_send_direct

Esimerkkejä:

(Confirms SJM is enabled)
Isilon-1# isi storagepool nodepools list -v | egrep "Name|SJM"
                Name: f200_3.8tb-ssd_48gb
         SJM Enabled: Yes

(Confirms NCIO is enabled.  Both sets of output return '1' for all nodes, indicating NCIO is enabled)
Isilon-1# isi_for_array -s sysctl efs.lbm.ncio.write.enable
Isilon-1: efs.lbm.ncio.write.enable: 1
Isilon-2: efs.lbm.ncio.write.enable: 1
Isilon-3: efs.lbm.ncio.write.enable: 1

Isilon-1# isi_for_array -s sysctl efs.bam.bsw_send_direct
Isilon-1: efs.bam.bsw_send_direct: 1
Isilon-2: efs.bam.bsw_send_direct: 1
Isilon-3: efs.bam.bsw_send_direct: 1

Ongelman voi kiertää poistamalla SJM:n tai NCIO:n käytöstä. Molempia ei tarvitse poistaa käytöstä.
SJM:n poistaminen käytöstä heikentää tietojen suojausta ja File System Journalin vikasietoisuutta seuraavasti:

SJM-yhteensopivan solmuvarannon jokaiselle solmulle määritetään dynaamisesti yksilöllinen ystävä, ja solmujen välinen taustaverkkoyhteys on optimoitu pienen viiveen joukkotiedonkulkua varten. SJM:n automaattinen palautusjärjestelmä voi käyttää Buddy-päiväkirjan peilattua sisältöä ensisijaisen solmun päiväkirjan muodostamiseen uudelleen epäonnistumisen sattuessa, jolloin vältetään solmun SmartFailing-prosessi. Tätä palautusmallia, joka tunnetaan nimellä SyncBack, voidaan käyttää myös manuaalisesti, jos viallinen päiväkirjalaite on vaihdettava fyysisesti.
Lähde: https://infohub.delltechnologies.com/en-uk/l/powerscale-onefs-smartflash/software-journal-mirroring/

NCIO:n poistaminen käytöstä saattaa rajoittaa tai heikentää flash-solmujen suorituskykyä noin 20 %. 

SJM:n poistaminen käytöstä. Tämä on tehtävä solmuvarantokohtaisesti:

isi storagepool nodepools modify <nodepool name> --sjm-enabled=false

NCIO:n poistaminen käytöstä:

isi_sysctl_cluster efs.lbm.ncio.write.enable=0
isi_sysctl_cluster efs.bam.bsw_send_direct=0

Näiden ominaisuuksien poistaminen käytöstä voi vaikuttaa klusteriin. Tätä tulisi käyttää vain, jos se vaikuttaa klusterin työnkulkuun. Ota yhteys Dellin tekniseen tukeen, jos sinulla on kysyttävää tai jokin on epäselvää.