В PowerPath отсутствует 1 путь к устройствам
Summary: Хотя операционная система правильно обнаруживает все пути устройства, PowerPath не хватает одного пути.
Symptoms
Настройка устройства для ASM
Среда:
ОС: AIX (любой выпуск)
ПО Dell: PowerPath для массива DELL на базе AIX
: любое
ПО стороннего производителя: ASM
Операционная система обнаруживает все пути к устройству, но PowerPath настраивает все пути, кроме 1.
Нагрузка между HBA-адаптерами несбалансирована: из-за чего отсутствует путь PowerPath для большего количества операций ввода-вывода на HBA-адаптере.
Например, перечислите все пути к устройству Symmetrix 104 (мы будем использовать аналогичный вывод для других типов массивов)
(из inq)
/dev/rhdiskpower26 :EMC :SYMMETRIX :5978 :2500104000 : 262145280 /dev/rhdisk44 :EMC :SYMMETRIX :5978 :2500104000 : 262145280 /dev/rhdisk121 :EMC :SYMMETRIX :5978 :250<0104000 : 262145280 /dev/rhdisk198 :EMC :SYMMETRIX :5978 :2500104<000 : 262145280 /dev/rhdisk313 :EMC :SYMMETRIX :5978 :2500104000 : 262145280
При проверке псевдоустройства мы имеем:
# powermt display dev=26 Pseudo name=hdiskpower26 Symmetrix ID=000xxxxxxx25 Logical device ID=00104 Device WWN=60000970000xxxxxxx25533030313034 state=alive; policy=SymmOpt; queued-IOs=0 ============================================================================== --------------- Host --------------- - Stor - -- I/O Path -- -- Stats --- ### HW Path I/O Paths Interf. Mode State Q-IOs Errors ============================================================================== 1 fscsi1 hdisk198 FA 6d:09 active alive 0 0 0 fscsi0 hdisk121 FA 3d:04 active alive 0 0 0 fscsi0 hdisk44 FA 4d:04 active alive 0 0
Отсутствует hdisk313.
Cause
ASM используется на хосте и неправильно настроен. Если настроено устройство ASM, его старший или дополнительный номер должен совпадать с основным или дополнительным значением репрезентативного псевдоустройства.
Если мы посмотрим на мажор или минор необработанного псевдоустройства, мы найдем:
# ls -l -Ralsi /dev/rhdiskpower26 87478 0 crw-rw---- 1 root system 36, 26 Jul 26 11:11 rhdiskpower26
Устройство ASM должно было быть создано со старшим 36 и младшим 26. Другими словами, мы должны иметь:
# ls -Ralsi /dev/ASM_104 87518 0 crw-rw-r-- 1 grid oinstall 36, 26 Jul 26 11:13 ASM_104
В нашем случае находим:
# ls -Ralsi /dev/ASM_104 87518 0 crw-rw-r-- 1 grid oinstall 19,313 Jul 26 11:13 ASM_104
И если мы поищем эту мажорную, второстепенную пару, то найдем:
# ls -Ralsi /dev | grep 19,313 87518 0 crw-rw-r-- 1 grid oinstall 19,313 Jul 26 11:13 ASM_104 87438 0 brw------- 1 root system 19,313 Jul 26 11:11 hdisk313 87439 0 crw------- 1 root system 19,313 Jul 26 11:11 rhdisk313
hdisk313 ... Наш недостающий путь
Когда PowerPath пытается настроить псевдоустройство, он должен открыть все пути. Если это hdisk313, открытие завершается сбоем, так как устройство удерживается ASM. PowerPath не может его подхватить. В результате устройство ASM использует только один путь (без балансировки нагрузки), не управляемый PowerPath. Если путь завершается сбоем, приложение сворачивается (переключение при отказе не выполняется). Это объясняет, почему нагрузка на HBA-адаптер, обрабатывающий этот отсутствующий путь, намного выше, чем нагрузка на другой HBA-адаптер (отображается в fcstat fcsX).
Resolution
Решение заключается в правильном создании устройства ASM.
# rm /dev/ASM_104 # mknod /dev/ASM_104 c 36 26 <<<<< the node is created in"raw" mode, with major 36 and minor 26, which are the major/minor of hdiskpower26. # chown grid:oinstall /dev/ASM_104