PowerPath AIX: Програми аварійно завершують роботу та LVM_IO_FAIL з КОДОМ ПОМИЛКИ, ЯК ВИЗНАЧЕНО В sys/errno.h 22 (EINVAL)

Втрата шляху

Середовище:
Програмне забезпечення Dell: PowerPath для AIX (будь-який реліз)

У конфігурації з кількома шляхами, керованій PowerPath, коли один шлях йде вниз, і хоча доступні інші шляхи, програма переходить у спад. І записуються LVM_IO_FAIL з «КОД ПОМИЛКИ, ЯК ВИЗНАЧЕНО В sys/errno.h», встановленим на 22.

Розшифровуються за допомогою "summ", помилки відображаються як:

107769 Apr 12 08:57:21 LVDD       P LVM_IO_FAIL         LV 8000002C00000003 PV 800000250000001A Block 20016620 EINVAL

(реальні LVM_IO_FAIL, що виникають в результаті помилок на всіх шляхах, зазвичай пов'язані з помилкою 5 (EIO) ... чого тут немає)

LABEL:        LVM_IO_FAIL
IDENTIFIER:    E86653C3

Date/Time:       Sun Apr 12 10:09:28 2020
Sequence Number: 108111
Machine Id:      0XXXXXXXXXXX
Node Id:         snode1
Class:           H
Type:            PERM
WPAR:            Global
Resource Name:   LVDD
Resource Class:  NONE
Resource Type:   NONE
Location:

Description
I/O ERROR DETECTED BY LVM

Probable Causes
POWER, DRIVE, ADAPTER, OR CABLE FAILURE

    Recommended Actions
    RUN DIAGNOSTICS AGAINST THE FAILING DEVICE

Detail Data
PHYSICAL VOLUME DEVICE MAJOR/MINOR
8000 0025 0000 0029
ERROR CODE AS DEFINED IN sys/errno.h
          22
BLOCK NUMBER
             392149792
LOGICAL VOLUME DEVICE MAJOR/MINOR
8000 002D 0000 0001
PHYSICAL BUFFER TRANSACTION TIME
                     0
RESIDUAL COUNT
               1048576
NUMBER OF BLOCKS
               1048576
I/O TYPE
USER DATA
SENSE DATA
0000 0000 0002 EBF7 00F6 D020 0000 4C00 0000 013D 10F0 F4AD 00F6 D020 3831 80BE
0000 0000 0000 0000

Ця помилка виникає, коли буфер вводу/виводу в апстрімі (FS/LVM) не передається до драйвера диска. (тут PowerPath - але проблему також можна було побачити в середовищі MPIO) hdiskpower).

Термінами IBM: ця помилка вводу/виводу LVM (EINVAL) повідомляється, коли PCM (powerpath) не може обробити запит вводу/виводу з LVM, оскільки може бути невідповідність розміру VG LTG (буфер вводу/виводу LVM) розміру диска max_transfer або max_xfer_size адаптера (NPIV тут).

Коли група логічних доріжок (LTG) перевищує розмір драйвера диска max_transfer, введення-виведення не може бути оброблено, і генерується LVM_IO_FAIL зі значенням 22 (EINVAL)

У нашому випадку ми мали (персональні дані клієнтів були змінені):

VOLUME GROUP:       vgdata1                  VG IDENTIFIER:  00f6d02000004c0000000145a924a9d9
VG STATE:           active                   PP SIZE:        256 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      36387 (9315072 megabytes)
MAX LVs:            512                      FREE PPs:       746 (190976 megabytes)
LVs:                3                        USED PPs:       35641 (9124096 megabytes)
OPEN LVs:           3                        QUORUM:         7 (Enabled)
TOTAL PVs:          13                       VG DESCRIPTORS: 13
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         13                       AUTO ON:        yes
MAX PPs per VG:     127000
MAX PPs per PV:     5080                     MAX PVs:        25
LTG size (Dynamic): 1024 kilobyte(s)         AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable
PV RESTRICTION:     none                     INFINITE RETRY: no
DISK BLOCK SIZE:    512                      CRITICAL VG:    no
FS SYNC OPTION:     no                       CRITICAL PVs:   no

І

# lsattr -El hdisk25

PR_key_value   none               Persistant Reserve Key Value     True
clr_q          yes                Device CLEARS its Queue on error True
location                          Location Label                   True+
lun_id         0x0                Logical Unit Number ID           False
lun_reset_spt  yes                FC Forced Open LUN               True
max_coalesce   0x100000           Maximum Coalesce Size            True
max_retries    5                  Maximum Number of Retries        True
max_transfer   0x40000            Maximum TRANSFER Size            True
node_name      0x5000144041111111 FC Node Name                     False
pvid           none               Physical volume identifier       False
q_err          no                 Use QERR bit                     True
q_type         simple             Queue TYPE                       True
queue_depth    32                 Queue DEPTH                      True+
reassign_to    120                REASSIGN time out value          True
reserve_policy no_reserve         Reserve Policy                   True
reset_delay    0                  Reset Delay                      True
rw_timeout     30                 READ/WRITE time out value        True
scsi_id        0x72ff40           SCSI ID                          False
start_timeout  60                 START UNIT time out value        True
ww_name        0xc001448111111111 FC World Wide Name               False

Тут ми маємо max_transfer = 0x40000 (256 кБ) < LTG (1024 кБ) (0x100000) .. що викликає проблему.

У конфігурації деякі диски було встановлено на 0x100000 "max_transfer", а на інші було встановлено 0x40000 (ймовірно, створено з різними випусками ODM). Якщо всі шляхи були доступні, завжди був один з дисків кожної hdiskpower з max_transfer встановленим на 0x100000, і введення-виведення можна було завершити. Але коли цей диск перестав використовуватися, доступними були лише диски з max_transfer встановленим у положення 0x40000... що спричиняє проблему.

Щоб вирішити проблему, для атрибута «max_transfer» на диску потрібно встановити значення, яке перевищує або дорівнює розміру LTG. У нашому випадку, коли LTG = 1024 кБ, для вирішення проблеми було запущено наступне:

# for i in `lsdev -Cc disk |grep -i hdiskp |awk '{print $1}'`
do
chdev -l $i -a max_transfer=0x100000 -P
done
# for i in `lsdev -Cc disk |grep -i EMC |awk '{print $1}'`
do
chdev -l $i -a max_transfer=0x100000 -P
done
# reboot

Цей КБ не застосовується для LVM_IO_FAIL з errno встановлено на 5 (EIO)