PowerScale, Isilon, OneFS: Як правильно заглушити кластер

Введення

У цій статті описано процедуру належного вимкнення кластера Dell Isilon та наведено інформацію про ризики, пов'язані з неправильним вимкненням кластера.
 

Вузли, які неправильно вимкнені в кластері, не повинні залишатися без живлення системи довше, ніж термін служби батареї NVRAM.
Це приблизно від трьох до п'яти днів, в залежності від типу вузла.
Якщо дані все ще зберігаються в журналі вузла, а вузол залишається без живлення довше, ніж час автономної роботи NVRAM, дані втрачаються.
Якщо це станеться на декількох вузлах, це призведе до необхідності перебудови кластера.

Зверніться до служби технічної підтримки Dell Isilon за допомогою, якщо у вас виникнуть запитання щодо процедур або інформації, наведеної в цій статті.

Процедура

Процедура вимкнення кластера вимагає облікових даних root та послідовного доступу консолі до вузлів кластера. Процедура ділиться на наступні етапи.

• Етап 1: Виконуйте профілактичне обслуговування
• Етап 2: Вимкніть кожен вузол у кластері
• Етап 3: Переконайтеся, що вузли успішно завершили роботу
• Етап 4: Від'єднайте джерело живлення
• Етап 5: Живлення кожного вузла в кластері
• Фаза 6: Запустіть перевірку працездатності кластера

Прочитайте всю процедуру перед початком процесу вимкнення. Це гарантує, що ви розумієте контекст і порядок виконання кожного кроку.
 

Етап 1: Проводьте профілактичне обслуговування.
Ці дії виконуються приблизно за 4-8 тижнів до планового відключення. Метою цього етапу є виявлення невідомих або прихованих проблем з апаратним забезпеченням або мікропрограмою, які можуть ускладнити процедуру вимкнення.
 

1. За потреби завантажте журнали для історичної довідки.

# isi diagnostics gather start --gather-mode full

2. Виконайте або запросіть перевірку стану здоров'я Isilon.
   • При цьому оцінюється працездатність кластера, щоб переконатися, що він знаходиться в хорошому підтримуваному робочому стані.
   • Він може бути виконаний замовником за допомогою PowerScale: Як запустити інструмент аналізу кластерів IOCA
   • Це може виконувати команда віддаленого реагування (підтримка клієнтів). Це доступно для всіх клієнтів, які мають активну угоду про технічне обслуговування кластерів на підтримуваних версіях коду. Якщо ви відповідаєте цим вимогам, відкрийте запит на обслуговування (SR) на сайті онлайн-підтримки Dell із запитом на «Перевірку стану здоров'я Isilon». І надайте повні журнали для перевірки працездатності, виконавши цю команду

# isi diagnostics gather start --gather-mode full            

* Перевірка працездатності не призначена для вирішення проблем із кластером або оцінки конфігурації, продуктивності чи робочого процесу кластера.

3. Виконайте «холодне перезавантаження» кожного вузла, виконавши наступні дії. Для цієї діяльності слід запланувати вікно технічного обслуговування.

1. Вимкніть кожен вузол у вашому кластері по черзі. Щоб вимкнути кожен вузол:
   1. Відкрийте SSH-з'єднання з будь-яким вузлом. Вимкніть кожен вузол, виконавши наступну команду

isi config
shutdown <node_lnn>

2. Переконайтеся, що кожен вузол вимкнено, переконавшись, що зелений світлодіодний індикатор живлення на задній панелі вузла більше не світиться.
3. Натисніть кнопку живлення, щоб знову ввімкнути вузол.
4. Переконайтеся, що вузол знову приєднався до кластера і працює здорово, запустивши isi status -q і шукаємо OK у стовпці Health DASR виводу.
5. Якщо вузол стикається з проблемами, зазначеними в стовпці Health DASR, або не може повторно приєднатися до кластера, вирішіть ці проблеми, перш ніж вимикати наступний вузол.

Вибирається приклад проблеми. Вузол 1 успішно приєднався до кластера, але стовпець Health DASR вказує на те, що він потребує уваги.

mycluster-1# isi status -q

Cluster Name: mycluster
Cluster Health:     [ ATTN]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-A-- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

2. Двічі перевірте працездатність всього кластера після перезавантаження кожного вузла. Відкрийте SSH-з'єднання з будь-яким вузлом і виконайте наведену нижче команду:

 isi status -q

isi config
reboot <node_lnn>

Однак Dell настійно рекомендує використовувати підхід холодного перезавантаження для більш ефективного виявлення прихованих апаратних проблем.
 

Етап 2: Вимкніть кожен вузол у кластері.
Ці кроки мають бути виконані в день вимкнення кластера Isilon. Під час вимкнення в масштабах кластера деякі фактори можуть впливати на процес вимкнення або затримувати його. Наприклад, невиконаний запис даних на вузол може вплинути на вимкнення. Мета кроків 1-2 полягає в тому, щоб переконатися, що всі клієнти відключені від кластера і дані належним чином збережені з журналів вузлів у файлову систему перед виконанням команди вимкнення. Якщо у вас є клієнти iSCSI, переконайтеся, що ви вимкнули клієнтів, перш ніж послугу iSCSI буде вимкнено.

Крок 3 описує, як послідовно вимкнути кожен вузол у кластері за допомогою послідовної консолі. Цей метод рекомендований, оскільки він дає змогу перевірити, що кожен вузол належним чином вимкнено, перш ніж перейти до наступного вузла, і внести корективи або виправити проблеми, якщо це необхідно, щоб забезпечити належне вимкнення кластера. Однак цей метод може зайняти багато часу, оскільки він вимагає підключення послідовної консолі до кожного вузла для виконання команди вимкнення. У розділі Вимкнути всі вузли у вашому кластері одночасно описано, як використовувати інтерфейс командного рядка OneFS або веб-інтерфейс веб-адміністрування OneFS для завершення роботи кластера. Цей метод менш трудомісткий, ніж крок 3, але ускладнює виявлення вузлів, які стикаються з проблемами під час процесу вимкнення.

1. Isilon рекомендує ізолювати кластер від клієнтів, щоб гарантувати, що клієнти з великим обсягом запису не перешкоджають процедурі відключення. Ви можете зробити це, вимкнувши клієнтські служби, запущені у вашому кластері. Виконайте наступну процедуру, щоб вимкнути послуги, орієнтовані на клієнта:
   1. Визначте клієнтські служби або протоколи, які працюють у вашому кластері, запустивши такі команди для кожної служби, орієнтованої на клієнта:

isi services apache2
isi services isi_hdfs_d
isi services isi_iscsi_d
isi services ndmpd
isi services nfs
isi services smb
isi services vsftpd

mycluster-4# isi services smb
Service 'smb' is enabled.
mycluster-4# isi services nfs
Service 'nfs' is disabled.
mycluster-4#

3. Вимкніть служби, орієнтовані на клієнтів. Після цього кроку всі клієнти відразу втрачають зв'язок з кластером. Щоб вимкнути службу, запустіть наведену нижче команду, пов'язану зі службою, яку ви ввімкнули.

isi services apache2 disable
isi services isi_hdfs_d disable
isi services isi_iscsi_d disable
isi services ndmpd disable
isi services nfs disable
isi services smb disable
isi services vsftpd disable

Якщо у вас є клієнти iSCSI, переконайтеся, що клієнти iSCSI демонтували свої LUN перед виконанням кроку 2. Запустіть команду isi iscsi list команду для підтвердження того, що всі клієнти iSCSI відключені від кластера.

2. Перемістіть записи даних, що зберігаються в журналах вузлів, у файлову систему, виконавши команду isi_for_array isi_flush команда. На кожному вузлі з'являється виведення, подібне до наступного:
   Зверніть увагу, що при запуску isi_flush він НЕ зупиниться, поки не завершиться промивання на вузлі, або вузол не вимкнеться або не запанікує. Ви не можете натиснути ctrl+c зі списку, якщо виникнуть проблеми.
    

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
mycluster-1: Cache flushing complete.

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
vinvalbuf: flush failed, 1 clean and 0 dirty bufs remaining
mycluster-2: Flushing cache...
fsync: giving up on dirty

Запустіть команду isi_for_array isi_flush знову командувати. Якщо будь-який вузол не вдається промити, зверніться до служби технічної підтримки Dell Isilon. Всі вузли повинні успішно промитися, перш ніж приступити до наступного кроку.

3. Вимкніть послідовно кожен вузол у кластері та стежте за виходом. Цей підхід є рекомендованим, оскільки він дозволяє виявити та вирішити будь-які проблеми перед вимкненням наступного вузла в кластері. Вимкніть кожен вузол, виконавши такі дії:

1. Прикріпіть послідовну консоль до кожного вузла.
2. Виконайте наступну команду:

isi config
shutdown

Powering the system off using ACPI

3. бл. Слідкуйте за консоллю та шукайте події збою, пов'язані з обладнанням. Успішні збереження журналу вузла вибираються в наступних варіантах виведення:

2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Attempting to save journal to default location
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Saving journal to /var/journal/journal.gz
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: All data saved successfully

2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: Attempting to save journal to default location
2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: A valid backup journal already exists. Not saving.

An example of a node journal save failure is highlighted in the output below:
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: ERROR: Validation failed for backup journal. Shutdown aborted
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: Failed command output:

Якщо ви отримали помилку, яку журнал вузла не зберіг, ви можете зберегти журнал вручну, виконавши кроки у фазі 3.
 

Вимкніть усі вузли в кластері одночасно.

Якщо виникне аварійна ситуація, ви можете вимкнути всі вузли в кластері одночасно. Однак цей метод не рекомендується, оскільки він не дозволяє відстежувати стан і продуктивність кожного вузла в разі виникнення проблеми. Якщо ви вирішите слідувати цим крокам, Dell настійно рекомендує виконати всі кроки у фазі 3 , щоб переконатися, що всі вузли належним чином вимкнулися після виконання наведених нижче процедур.

# isi config shutdown all

Етап 3: Переконайтеся, що вузли успішно вимкнулися.
Переконайтеся, що вузли належним чином вимкнулися, подивившись на світлодіод (LED) індикатора живлення на задній панелі вузла. Усі світлодіоди індикатора живлення повинні світитися темними або вимкненими. Це свідчить про те, що вузол успішно вимкнувся.
 

Якщо індикатор живлення на задній панелі вузла все ще світиться, вузол не вимкнувся. Якщо вузол не вимкнувся, або якщо ви отримуєте вихідні дані з консолі, які вказують на те, що журнал вузла не зберігався належним чином (з фази 2, крок 3C), ви повинні вручну зберегти журнал, щоб переконатися, що ці дані зберігаються на диску перед вимкненням вузла.

1. Щоб зберегти журнал вручну та вимкнути вузол, виконайте наступні дії:
   1. Якщо вузол реагує на інтерфейс командного рядка, перезавантажте вузол, виконавши наступну команду:

# isi config reboot

2. Якщо вузол не реагує на інтерфейс командного рядка, вручну перезавантажте вузол, натиснувши та утримуючи кнопку живлення на задній панелі вузла. Це призводить до вимкнення живлення вузла. Зачекайте 30 секунд, а потім натисніть кнопку живлення один раз, щоб знову завантажити резервну копію вузла. Переходимо до наступного кроку.

2. Після перезавантаження вузла увійдіть знову і виконайте наступні дії для збереження журналу:
   1. Спробуйте знову коректно вимкнути вузол, виконавши наступну команду:

# isi config shutdown

2. Якщо на виході все ще вказується, що журнал не зберігався, збережіть журнал вручну, виконавши наступну команду:

# isi_save_journal

3. Якщо журнал все ще не зберігається, демонтуйте файлову систему, /ifs, а потім примусово збережіть журнал, виконавши такі команди:

# isi_kill_busy && umount /ifs

4. Переконайтеся, що журнал збережено, виконавши команду isi_checkjournal.

# isi_checkjournal

5. Не переходьте до наступного кроку, доки вихідні дані не вкажуть, що журнал успішно збережено.

За потреби зверніться до служби технічної підтримки Dell .
 

Етап 4: Від'єднайте джерело живлення.
Після того, як ваш кластер успішно вимкнеться, а вузли будуть вимкнені, лише тоді джерело живлення можна відключити від кластера.
 

Акумулятори
NVRAMКоли клієнт записує файл на вузол, записані спочатку зберігаються в енергонезалежній оперативній пам'яті (NVRAM), розміщеній на картці журналу вузла. Через деякий час OneFS фіксує ці записи на диск. Для захисту даних, що зберігаються в NVRAM, у разі позапланового відключення електроенергії, кожен вузол оснащений батареями NVRAM (дві для резервування). Вузол, який вимкнений, але залишається підключеним до джерела живлення, продовжує оновлювати свої акумулятори NVRAM. Коли джерело живлення відключається від вузла, акумулятори NVRAM починають розряджатися. Час автономної роботи в поточному поколінні вузлів (X200, S200, X400 і NL400) становить приблизно п'ять днів. У попередньому поколінні вузлів час автономної роботи NVRAM становить приблизно три дні.

Dell Technologies рекомендує належним чином вимикати вузли, щоб не покладатися на батареї NVRAM протягом значного періоду часу під час відключення електроенергії.
 

Якщо батареї NVRAM на вузлі повністю розряджаються, вузол завантажується в режим лише для читання та залишається в режимі лише для читання приблизно 30 хвилин, доки батареї NVRAM повністю не заряджаться. Коли акумулятори заряджаються, вузол автоматично повертається у звичайний режим читання/запису.
 

Етап 5: Увімкніть живлення кожного вузла кластера.
Ці кроки слід виконати, коли ви будете готові перезапустити кластер Isilon.

1. Відновіть джерело живлення кожного вузла.
2. Натисніть кнопку живлення на передній панелі або ззаду кожного вузла, щоб завантажити їх.
3. Після того, як усі вузли будуть увімкнені, запустіть файл isi status -q , щоб переглянути стан вашого кластера. Перш ніж продовжити, переконайтеся, що всі вузли в порядку в стовпці Health DASR і не перебувають у режимі лише читання (R). Для здорового кластера повинні з'явитися виходи, аналогічні наступному:

Cluster Name: mycluster
Cluster Health:     [ OK ]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-OK- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

4. Перегляньте список увімкнених служб, створений на етапі 2, крок 1b, і включіть служби, які було вимкнено, виконавши одну або кілька з наведених нижче команд:

isi services apache2 enable
isi services isi_hdfs_d enable
isi services isi_iscsi_d enable
isi services ndmpd enable
isi services nfs enable
isi services smb enable
isi services vsftpd enable

5. Переконайтеся, що ваші клієнти можуть підключатися до кластера та виконувати свої звичайні робочі процеси. Ваш кластер повинен функціонувати нормально.

1. Upload a full log collecther:

# isi_gather_info --esrs

2. Виконайте або запросіть перевірку працездатності Isilon командою віддаленої реактивності (служба підтримки клієнтів).

Кроки для проведення перевірок працездатності.

Шкала потужності: Як запустити інструмент кластерного аналізу IOCA.

3. Надішліть запит на перевірку працездатності за допомогою віддаленої команди підтримки

Це доступно для всіх клієнтів, які мають активну угоду про технічне обслуговування кластерів на підтримуваних версіях коду.

Якщо ви відповідаєте цим вимогам, відкрийте запит на обслуговування (SR) на сайті онлайн-підтримки Dell із запитом на «Перевірку стану здоров'я Isilon».

* Перевірка працездатності не призначена для вирішення проблем із кластером або оцінки конфігурації, продуктивності чи робочого процесу кластера.

• Шкала потужності: Як запустити інструмент аналізу кластерів IOCA
• Шкала потужності: Ісілон: Як знайти серійні номери для вузлів PowerScale/Isilon.