Openshift Event Code: 1038NODE0006

Als het bestandssysteem van een knooppunt vol raakt, kan dit een wijdverbreide negatieve impact hebben. Het probleem kan ertoe leiden dat een of alle applicaties die op dat knooppunt zijn gepland, van verminderde prestaties tot volledig onbruikbaar worden,

Afhankelijk van het betrokken knooppunt en bestandssysteem kan dit probleem een kritieke bedreiging vormen voor de stabiliteit van een cluster.

De NodeFilesystemFilesFillingUp alert is vergelijkbaar met de NodeFilesystemSpaceFillingUp alert, maar voorspelt dat het bestandssysteem geen inodes meer zal hebben in plaats van bytes opslagruimte.

De waarschuwing wordt geactiveerd op een critical niveau waarop wordt voorspeld dat het bestandssysteem binnen vier uur geen beschikbare inodes meer heeft.

Diagnose

Let op de instance als mountpoint labels van de waarschuwing. U kunt de gebruiksgeschiedenis van dit bestandssysteem in een grafiek weergeven met behulp van de volgende query in de OpenShift-webconsole (Observe → Metrics → Run query's):

node_filesystem_files_free{
  instance="<Value of instance label from alert>",
  mountpoint="<waarde van mountpoint-label uit waarschuwing>"
}

U kunt ook een foutopsporingssessie op het knooppunt openen en standaard Linux-hulpprogramma's gebruiken om de bron van het gebruik te lokaliseren:

$ MOUNT_POINT='<Waarde van mountpoint-label uit waarschuwing>'
$ NODE_NAME='<Value of instance label from alert>'

$ oc debug "node/$NODE_NAME"
$ df -hi "/host/$MOUNT_POINT"

Houd er rekening mee dat in veel gevallen een bestandssysteem dat bijna geen inodes meer heeft, nog steeds beschikbare opslagruimte heeft. Het opraken van inodes wordt vaak veroorzaakt wanneer een applicatie veel kleine bestanden aanmaakt.

Mitigatie

Het aantal inodes dat aan een bestandssysteem wordt toegewezen, is meestal gebaseerd op de grootte van de storage. Mogelijk kunt u het probleem oplossen, of in ieder geval de negatieve impact van het probleem vertragen, door de grootte van het storagevolume te vergroten. Bepaal anders de applicatie die grote aantallen kleine bestanden maakt en pas vervolgens de configuratie aan of voorzie deze van speciale storage.

Support

Als het probleem niet met alle bovenstaande stappen kan worden opgelost, neemt u contact op met de technische support van Dell EMC voor verder onderzoek.