PowerPath: Поширені проблеми з ESXi та елементи, які потрібно перевірити для усунення несправностей

Причиною
Є багато речей, які можуть спричинити проблеми з хостом ESXi.
У цій презентації наведено список деяких найпоширеніших речей, які можуть знайти, і кроки з їх усунення.

Резолюція

• Version – чи є версія актуальною та все ще підтримується

• Перегляньте розділ «Відомі проблеми» в примітках до випуску, щоб дізнатися про поширені проблеми, виправлення та посилання на JIRA.

• Версії для PowerPath можна знайти в таких місцях:

• Версія PP/rpowermt

• Розташування файлу: host/commands/localcli_software-vib-list.txt

• Поширені проблеми та помилки

Поширені проблеми та помилки

• Підключення
• Постійна втрата пристрою
• Весь шлях вниз
• Технологія PowerPath (Шлях живлення)

Підключення 

Повідомлення відображаються в vmkernel і часто vmkwarning Виходи.

"Стан під сумнівом; Запит на швидке оновлення стану шляху"

Ці повідомлення з'являються, коли драйвер адаптера хост-шини (HBA) скасовує команду, оскільки її виконання тривало довше, ніж період очікування 5 с. Операція може тривати довше, ніж період очікування, з кількох причин, зокрема:

• Операції резервного копіювання масиву (резервне копіювання LUN, реплікація тощо)
• Загальне перевантаження на масив
• Читання/запис кешу на масиві (неправильна конфігурація, відсутність кешу тощо)
• Проблеми з тканиною (погане міжкомутаторне з'єднання (ISL), застаріла прошивка, поганий тканинний кабель/GBIC)
• Висока затримка SAN 

VMware KB# 1022026 

Приклад:

У файлі /var/log/vmkernel.log файлу хоста ESXi, ви бачите записи, схожі на:

<YYYY-MM-DD>T<time> esx12 vmkernel: 116:03:44:19.039 cpu4:4196)<6>qla2xxx 0000:0f:00.0: scsi(6:0:152): Abort command issued -- 1 67a23dcd 2002.

<YYYY-MM-DD>T<time></time> esx12 vmkernel: 116:03:44:19.039 cpu4:4100)NMP: nmp_CompleteCommandForPath: Command 0x2a (0x4100020e0b00) to NMP device "sym.029010111831353837" failed on physical path "vmhba2:C0:T0:L152" H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.

<YYYY-MM-DD>T<time></time> esx12 vmkernel: 116:03:44:19.039 cpu4:4100)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe: NMP device "sym.029010111831353837" state in doubt; requested fast path state update...</time>

/commands/Localcli_storage-core-adapter-stats-get.txt

Вищезазначене може бути корисним для перевірки балансу навантаження HBA та для конфліктів резервування.
Великий дисбаланс успішних команд може вказувати на політику фіксованого шляху або інші проблеми з балансуванням.

Конфлікти резервування можуть свідчити про невідповідність логічної одиниці хоста (HLU) на масивах Unity.  

Dell EMC Unity/VNX/CLARiiON: VMware не може правильно бачити LUN, якщо вони знаходяться в кількох групах зберігання та HLU не збігається (можна виправити користувачем)
 

Localcli_storage-core-device-stats-get.txt 

Вищенаведене наводить статистику LUN і показує, які LUN мають конфлікти резервацій.  

/commands/localcli_storage-san-fc-stats-get.txt

Наведена вище команда корисна для перевірки статистики HBA, такої як: 

• Скинуті рами
• Кількість відмов посилань
• Втрата підрахунку сигналів
• Неприпустима кількість слів Tx

/commands/Localcli_storage-san-fc-events-get.txt

Показує часові позначки останніх подій FC, посилання вгору або вниз тощо.  

/var/run/log/vmksummary.log

Показує часові позначки, коли хост завантажувався та перезавантажувався або не відповідав.
Наскільки я розумію, статистика HBA скидається при перезавантаженні.
Це дає часовий проміжок, коли відбулася статистика ФК.  

Зразка:

2022-10-09T13:05:21Z bootstop: Host is rebooting

2022-10-09T13:10:55.351Z bootstop[2107273]: Host has booted

Під час виконання обслуговування масиву зберігання або будь-якої дії, яка може призвести до переходу цілі масиву в автономний/онлайн-режим, драйвер Cisco Native FNIC може не увійти належним чином назад у ціль, що призведе до того, що шляхи залишаться в мертвому стані.

Ця проблема спричинена тим, що драйвер Cisco Native FNIC отримує RSCN під час REPORT_LUNS командної частини nfnic Процес входу в порт, що призводить до зупинки драйвера та неповторної спроби входу в систему. Це спостерігалося як для масивів IBM SVC, так і для IBM V7000, але це також спостерігалося б на будь-якому масиві IBM Storwize, оскільки всі вони використовують один і той же програмний стек. Це також буде спостерігатися для масивів, відмінних від IBM, якщо вони видають RSCN під час команди REPORT_LUNS, яку драйвер надсилає під час входу в систему.

Як проблеми з продуктивністю, так і шляхом вниз/APD вирішуються оновленням до nfnic 4.0.0.63 і вище.
Зверніться до VMware та Cisco за додатковою інформацією та підтримкою.

Версії драйверів можна знайти в /commands/localcli_software-vib-list.txt

(введіть водія vib назви тут) (можливі дифи з 6.x проти 7.x)

VMware KB# 80101

Постійна втрата пристрою (PDL)/Весь шлях вниз (APD)

Постійна втрата пристрою (PDL)

• Сховище даних відображається як недоступне в режимі перегляду «Сховище».
• Адаптер для зберігання даних показує робочий стан пристрою як втрачений зв'язок.
• Всі шляхи до пристрою позначені як мертві.
• У файлі /var/log/vmkernel.log file, ви бачите записи, схожі на:

Приклад

cpu2:853571)VMW_SATP_ALUA: satp_alua_issueCommandOnPath:661: Path "vmhba4:C0:T0:L0" (PERM LOSS) command 0xa3 failed with status Device is permanently unavailable. H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0.

cpu2:853571)WARNING: vmw_psp_rr: psp_rrSelectPathToActivate:972:Could not select path for device "naa.60a98000572d54724a34642d71325763".

cpu2:853571)WARNING: ScsiDevice: 1223: Device :naa.60a98000572d54724a34642d71325763 has been removed or is permanently inaccessible.

cpu3:2132)ScsiDeviceIO: 2288: Cmd(0x4124403c1fc0) 0x9e, CmdSN 0xec86 to dev "naa.60a98000572d54724a34642d71325763" failed H:0x8 D:0x0 P:0x0

cpu3:2132)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.

cpu2:2127)ScsiDeviceIO: 2316: Cmd(0x4124403c1fc0) 0x25, CmdSN 0xecab to dev "naa.60a98000572d54724a34642d71325763" failed H:0x1 D:0x0 P:0x0 Possible sense data: 0x5 0x25 0x0.

cpu2:854568)WARNING: ScsiDeviceIO: 7330: READ CAPACITY on device "naa.60a98000572d54724a34642d71325763" from Plugin "NMP" failed. I/O error

cpu2:854568)ScsiDevice: 1238: Permanently inaccessible device :naa.60a98000572d54724a34642d71325763 has no more open connections. It is now safe to unmount datastores (if any) and delete the device.

Повний шлях вниз (APD)

• Сховище даних відображається як недоступне в режимі перегляду «Сховище».
• Адаптер для зберігання даних показує робочий стан пристрою як «Мертвий» або «Помилка».
• Всі шляхи до пристрою позначені як мертві.
• Ви не можете підключитися безпосередньо до хоста ESXi за допомогою клієнта vSphere.
• Хост ESXi відображається як «Відключено» на сервері vCenter.
• У файлі /var/log/vmkernel.log файлу, подібні записи видно:

Приклад

cpu1:2049)WARNING: NMP: nmp_IssueCommandToDevice:2954:I/O could not be issued to device "naa.60a98000572d54724a34642d71325763" due to Not found

cpu1:2049)WARNING: NMP: nmp_DeviceRetryCommand:133:Device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.

cpu1:2049)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.

cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60a98000572d54724a34642d71325763" - issuing command 0x4124007ba7c0

cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60a98000572d54724a34642d71325763" - failed to issue command due to Not found (APD), try again...

*Перевірте роздільну здатність VMware KB# та додаткові приклади залежно від різних обставин*.

**Слід відмітити SAN, а також виконати дію для проблем з ADP/PDL**. 

VMware KB# 2004684

Технологія PowerPath (Шлях живлення)

Якщо PowerPath присутній, є кілька додаткових речей, які слід перевірити.

Сумісність – чи підтримується використовувана версія PowerPath із запущеною версією ESXi.
У цьому можна переконатися в ESM.

Підключення- 

Існує кілька типів повідомлень, які можуть з'являтися, коли PowerPath виявляє втрачений шлях, зокрема. 

PowerPath: Як дослідити мертвий шлях у PowerPath

Налаштування NMP

Для більшості масивів Dell*, крім VPLEX, Round Robin (policy=rr ) з IOPS=1 рекомендується для найкращої продуктивності.
Цей параметр слід перевіряти, коли йдеться про продуктивність або затримку.

Це можна знайти в захопленнях під /commands/localcli_storage-nmp-device-list.txt or /json/localcli_storage-nmp-device-list.json 

* Завжди переглядайте найновіший посібник із підключення хоста та найкращі практики зберігання даних, щоб отримати актуальні рекомендації.

Номер артикулу VMware 2069356

Регулювання ліміту IOPS за круговою системою зі 1000 до 1 (2069356)

Посібник із підключення хоста Dell EMC Сервер VMware ESXi

Єдність - сторінка 36

PowerStore - сторінка 62

Посібники з підключення хоста EMC XtremIO

Розділ 3 - сторінка 57

Приклад налаштувань NMNP в /commands/localcli_storage-nmp-device-list.txt

Неправильні налаштування

naa.6006016051904d00f056b95dc4abd917:

   Device Display Name: DGC Fibre Channel Disk (naa.6006016051904d00f056b95dc4abd917)

   Storage Array Type: VMW_SATP_ALUA_CX

   Storage Array Type Device Config: {navireg=on, ipfilter=on} {implicit_support=on; explicit_support=on; explicit_allow=on; alua_followover=on; action_OnRetryErrors=on; {TPG_id=2,TPG_state=AO}{TPG_id=1,TPG_state=ANO}}

   Path Selection Policy: VMW_PSP_RR

   Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0;  lastPathIndex=3: NumIOsPending=0,numBytesPending=0}

   Path Selection Policy Device Custom Config: 

   Working Paths: vmhba1:C0:T1:L10, vmhba0:C0:T0:L10

Правильні налаштування

naa.6006016051904d00f056b95dc4abd917:

   Device Display Name: DGC Fibre Channel Disk (naa.6006016051904d00f056b95dc4abd917)

   Storage Array Type: VMW_SATP_ALUA_CX

   Storage Array Type Device Config: {navireg=on, ipfilter=on} {implicit_support=on; explicit_support=on; explicit_allow=on; alua_followover=on; action_OnRetryErrors=on; {TPG_id=2,TPG_state=AO}{TPG_id=1,TPG_state=ANO}}

   Path Selection Policy: VMW_PSP_RR

   Path Selection Policy Device Config: {policy=rr,iops=1,bytes=10485760,useANO=0; lastPathIndex=3: NumIOsPending=0,numBytesPending=0}

   Path Selection Policy Device Custom Config: 

   Working Paths: vmhba1:C0:T1:L10, vmhba0:C0:T0:L10

Застереження

ESXi 6.7 має кілька відомих проблем із Cisco nfnic драйвери, які спричиняють проблеми з продуктивністю та підключенням.
Якщо проблема пов'язана з однією з наведених вище проблем, підтвердьте запит Cisco nfnic версії драйвера та перевірте базу знань VMware (KB) на наявність відповідних версій.

Версію драйвера можна знайти у виводі /commands/localcli_software-vib-list.txt файл.

Додаткова інформація
У випадку, якщо повинні бути задіяні інші команди, обов'язково отримайте наступне:

• Логи (комутатор/сховище)
• Зберігання СН#
• Дата і час видачі

Якщо клієнт звертається за допомогою із залученням VMware, направте його на сторінку "Зв'язатися з нами" VMware.
Варіанти контактів служби підтримки

Перегляньте всю документацію щодо відомих проблем, як-от примітки до випуску та посібник із загальних повідомлень CLI, щоб отримати актуальну інформацію про відомі проблеми та їх вирішення.