Isilon HDFS: "STATUS_IO_TIMEOUT" mens du utfører "HDFS LS"-operasjonen på databehandlingsnoden
Summary: 'hdfs ls'-operasjonen fra en databehandlingsnode på Isilon-filsystemet kan mislykkes periodevis med feil "ls: Error creating security context for user oozie cause: STATUS_IO_TIMEOUT: status: STATUS_IO_TIMEOUT = 0xC00000B5" ...
Symptoms
Når du utfører en 'hdfs ls'-operasjon fra en behandlingsnode på Isilon-filsystemet, vil forskjellige brukere periodevis mislykkes med feilen nedenfor:
[oozie@hdp ~]$ hdfs dfs-ls /
ls: Error creating security context for user oozie cause: STATUS_IO_TIMEOUT: status: STATUS_IO_TIMEOUT = 0xC00000B5
Du vil se relaterte feil på Isilon hdfs, logg for samme operasjon:
java.io.IOException årsak: Feil ved oppretting av sikkerhetskontekst for bruker <xxxx/yyyy@zzz.com> Årsak: STATUS_IO_TIMEOUT: status: STATUS_IO_TIMEOUT = 0xC00000B5
Cause
Dette kan skyldes to grunner:
1) En defekt DNS-oppføring på Isilon. Vi vil ikke kunne spørre Smartconnect-sonenavnet mot disse tilknyttede groupnet DNS-serverne ved hjelp av 'nslookup' og 'dig'.
1. Hvis du vil vise en liste over DNS-servere som er konfigurert i Isilon:
# isi-nettverksgroupnets-listen
2. For å sjekke om vi kan spørre den konfigurerte FQDN på HDFS-serveren med DNS-serverne på Isilon:
# nslookup <FQDN><DNS-serveren>
# dig @< dns server IP><FQDN>
2) Problemer med domenetilkobling mellom Isilon og det tilknyttede domenet som brukes i tilgangssonen. Både primære og klarerte domener må kunne kommunisere med Isilon uten problemer. Du kan se etter domener som ikke kan løses ved å undersøke meldinger i /var/log/lsassd.log,
Resolution
# isi network groupnets modify <groupnet ID> --remove-dns-servers=<Faulty DNS server IP
>Hvis det primære domenet eller noen av de tilknyttede klarerte domenene ikke kan nås eller er i frakoblet status, må vi feilsøke ytterligere for å grave det underliggende
problemet.
Feilsøkingsveiledningen for frakoblet domene er et godt sted å starte: http://www.emc.com/collateral/TechnicalDocument/docu63151.pdf