PowerPath AIX: Applicaties crashen en LVM_IO_FAIL met FOUTCODE ZOALS GEDEFINIEERD IN sys/errno.h 22 (EINVAL)
Summary: In een NPIV-configuratie met twee virtuele HBA's, wanneer één virtuele HBA uitvalt, en hoewel er nog één pad over is voor de I/O's, worden LVM_IO_FAIL aangemeld in errpr met FOUTCODE ZOALS GEDEFINIEERD IN sys/errno.h ingesteld op 22 (EINVAL). Door deze LVM-fouten crasht de applicatie die het volume gebruikt. Het probleem kan zich ook voordoen in een niet-NPIV-omgeving. ...
Symptoms
Verlies van een pad
Milieu:
Dell Software: PowerPath for AIX (any release)
In een configuratie met meerdere paden die wordt beheerd door PowerPath, valt de applicatie uit wanneer één pad uitvalt en er andere paden beschikbaar zijn. En LVM_IO_FAIL met "FOUTCODE ZOALS GEDEFINIEERD IN sys/errno.h" ingesteld op 22 worden opgenomen.
Gedecodeerd met "summ", worden fouten weergegeven als:
107769 Apr 12 08:57:21 LVDD P LVM_IO_FAIL LV 8000002C00000003 PV 800000250000001A Block 20016620 EINVAL
(reële LVM_IO_FAIL die het gevolg zijn van fouten op alle paden worden normaliter geassocieerd met errno 5 (EOB) ... wat hier niet het geval is)
LABEL: LVM_IO_FAIL IDENTIFIER: E86653C3 Date/Time: Sun Apr 12 10:09:28 2020 Sequence Number: 108111 Machine Id: 0XXXXXXXXXXX Node Id: snode1 Class: H Type: PERM WPAR: Global Resource Name: LVDD Resource Class: NONE Resource Type: NONE Location: Description I/O ERROR DETECTED BY LVM Probable Causes POWER, DRIVE, ADAPTER, OR CABLE FAILURE Recommended Actions RUN DIAGNOSTICS AGAINST THE FAILING DEVICE Detail Data PHYSICAL VOLUME DEVICE MAJOR/MINOR 8000 0025 0000 0029 ERROR CODE AS DEFINED IN sys/errno.h 22 BLOCK NUMBER 392149792 LOGICAL VOLUME DEVICE MAJOR/MINOR 8000 002D 0000 0001 PHYSICAL BUFFER TRANSACTION TIME 0 RESIDUAL COUNT 1048576 NUMBER OF BLOCKS 1048576 I/O TYPE USER DATA SENSE DATA 0000 0000 0002 EBF7 00F6 D020 0000 4C00 0000 013D 10F0 F4AD 00F6 D020 3831 80BE 0000 0000 0000 0000
Cause
Deze fout wordt gegenereerd wanneer de I/O-buffer upstream (FS/LVM) niet wordt overgebracht naar de schijfdriver. (hier PowerPath - maar het probleem kan ook worden gezien in een MPIO-omgeving) hdiskpower).
In IBM-termen: deze LVM I/O-fout (EINVAL) wordt gemeld wanneer PCM (powerpath) het I/O-verzoek van de LVM niet kan verwerken omdat er een mismatch kan zijn van VG LTG-grootte (LVM I/O-buffer) met schijf max_transfer grootte of adapter max_xfer_size grootte (NPIV hier).
Wanneer de Logical Track Group (LTG) groter is dan de max_transfer grootte van de schijfdriver, kan de I/O niet worden verwerkt en wordt er een LVM_IO_FAIL gegenereerd met erno ingesteld op 22 (EINVAL)
In ons geval hadden we (privégegevens van klanten zijn gewijzigd):
VOLUME GROUP: vgdata1 VG IDENTIFIER: 00f6d02000004c0000000145a924a9d9 VG STATE: active PP SIZE: 256 megabyte(s) VG PERMISSION: read/write TOTAL PPs: 36387 (9315072 megabytes) MAX LVs: 512 FREE PPs: 746 (190976 megabytes) LVs: 3 USED PPs: 35641 (9124096 megabytes) OPEN LVs: 3 QUORUM: 7 (Enabled) TOTAL PVs: 13 VG DESCRIPTORS: 13 STALE PVs: 0 STALE PPs: 0 ACTIVE PVs: 13 AUTO ON: yes MAX PPs per VG: 127000 MAX PPs per PV: 5080 MAX PVs: 25 LTG size (Dynamic): 1024 kilobyte(s) AUTO SYNC: no HOT SPARE: no BB POLICY: relocatable PV RESTRICTION: none INFINITE RETRY: no DISK BLOCK SIZE: 512 CRITICAL VG: no FS SYNC OPTION: no CRITICAL PVs: no
En
# lsattr -El hdisk25 PR_key_value none Persistant Reserve Key Value True clr_q yes Device CLEARS its Queue on error True location Location Label True+ lun_id 0x0 Logical Unit Number ID False lun_reset_spt yes FC Forced Open LUN True max_coalesce 0x100000 Maximum Coalesce Size True max_retries 5 Maximum Number of Retries True max_transfer 0x40000 Maximum TRANSFER Size True node_name 0x5000144041111111 FC Node Name False pvid none Physical volume identifier False q_err no Use QERR bit True q_type simple Queue TYPE True queue_depth 32 Queue DEPTH True+ reassign_to 120 REASSIGN time out value True reserve_policy no_reserve Reserve Policy True reset_delay 0 Reset Delay True rw_timeout 30 READ/WRITE time out value True scsi_id 0x72ff40 SCSI ID False start_timeout 60 START UNIT time out value True ww_name 0xc001448111111111 FC World Wide Name False
Hier hebben we max_transfer = 0x40000 (256 kB) < LTG (1024 kB) (0x100000) .. die het probleem veroorzaakt.
In de configuratie waren sommige hdisks ingesteld met "max_transfer" ingesteld op 0x100000 en andere waren ingesteld op 0x40000 (waarschijnlijk gegenereerd met verschillende ODM-releases). Als alle paden beschikbaar waren, was er altijd een van de hdisks van elke hdiskpower met max_transfer ingesteld op 0x100000 en kon de I/O worden voltooid. Maar toen deze hdisk niet meer bruikbaar was, waren alleen de schijven met max_transfer ingesteld op 0x40000 toegankelijk... die het probleem veroorzaakt.
Resolution
U kunt het probleem oplossen door het kenmerk "max_transfer" van de hdisk in te stellen op een waarde die gelijk is aan of gelijk is aan de LTG-grootte. In ons geval waar LTG = 1024 kB, werd het volgende uitgevoerd om het probleem op te lossen:
# for i in `lsdev -Cc disk |grep -i hdiskp |awk '{print $1}'`
do
chdev -l $i -a max_transfer=0x100000 -P
done
# for i in `lsdev -Cc disk |grep -i EMC |awk '{print $1}'`
do
chdev -l $i -a max_transfer=0x100000 -P
done
# reboot
Additional Information
Deze KB is niet van toepassing op LVM_IO_FAIL met errno ingesteld op 5 (EIO)