PowerScale: Použití funkce AutoBalanceLin k rychlému přesunu dat z fondu plného uzlu

Shrnutí: Tento článek popisuje, jak pomocí úlohy AutoBalanceLin rychle uvolnit místo, pokud je jeden fond uzlů plný nebo téměř na 100 % kapacity. Tento postup by měl být použit pouze v případě, že byly vyčerpány všechny ostatní metody uvolnění místa na disku ve fondu uzlů. ...

Tento článek se vztahuje na Tento článek se nevztahuje na Tento článek není vázán na žádný konkrétní produkt. V tomto článku nejsou uvedeny všechny verze produktu.
Podívejte se na další zdroje

Pokyny

Poznámka: Následující postup vyžaduje odebrání stávajících zásad fondu souborů a rozdělení dat napříč všemi uzly bez ohledu na pracovní postup, ke kterému data patří. Bez zásad fondu souborů nedochází ke správě dat mezi fondy nebo vrstvami. Ujistěte se, že plně chápete dopad tohoto postupu, protože může vést ke snížení výkonu. Tuto možnost proveďte až jako poslední zoufalý krok poté, co byly vyzkoušeny všechny ostatní možnosti řešení problémů s kapacitou.

Obecně se má za to, že AutoBalance a AutoBalanceLin Vyrovnávejte data pouze v rámci fondů uzlů, a ne napříč fondy uzlů. Také se věří, že pouze smartpools/smartpoolstree Může přesouvat data mezi dvěma fondy uzlů.

Testování systému OneFS 8.0 a novějších dokazuje, že to není tak úplně pravda. Pokud cluster používá pouze výchozí zásadu fondu souborů anywhere:anywhere, AutoBalanceLin a AutoBalance Přesouvá data mezi více fondy uzlů.

To by se mělo používat pouze jako nouzové alternativní řešení pro clustery, které mají jeden plný fond uzlů. Tento proces rychle přesune data z celého fondu uzlů.

Otázka: Kdy je vhodné použít následující postup?
Odpověď: Tento postup by se použil v případě, že jsou splněny následující podmínky:
  • Cluster obsahuje více fondů uzlů a jeden nebo více fondů uzlů je 100% plné.
  • Okamžitě je potřeba uvolnit místo na disku v zaplněném fondu uzlů.
  • Přesná organizace dat není bezprostředním problémem.


Postup:

  1. Poznamenejte si a odstraňte všechny existující zásady fondu souborů s výjimkou výchozího 'any:any' zásady fondu souborů, které jsou nakonfigurované v clusteru.

Než budete pokračovat tímto krokem:

  • Před odebráním zásad si poznamenejte aktuální konfiguraci zásad fondu souborů. Pokud to čas dovolí, doporučujeme shromáždit celý protokol.
  • Ve výchozím nastavení jsou clustery Isilon nakonfigurovány se zásadou výchozího fondu souborů nastavenou na zápis dat 'anywhere:anywhere'. Než budete pokračovat, ověřte, zda se zásada výchozího fondu souborů vrátila do výchozího nastavení.
Příklad: Výchozí zásada fondu souborů. Všimněte si, že cíle úložiště jsou nastaveny na 'anywhere'. 
# isi filepool default-policy view
          Set Requested Protection: default
               Data Access Pattern: concurrency
                  Enable Coalescer: Yes
                    Enable Packing: No
               Data Storage Target: anywhere
                 Data SSD Strategy: metadata
           Snapshot Storage Target: anywhere
             Snapshot SSD Strategy: metadata
                        Cloud Pool: -
         Cloud Compression Enabled: -
          Cloud Encryption Enabled: -
              Cloud Data Retention: -
Cloud Incremental Backup Retention: -
       Cloud Full Backup Retention: -
               Cloud Accessibility: -
                  Cloud Read Ahead: -
            Cloud Cache Expiration: -
         Cloud Writeback Frequency: -
      Cloud Archive Snapshot Files: -
                                ID: -
  1. Spusťte SmartPools Úloha pro použití nových označení adresářů:
# isi job start smartpools -p 1 --policy medium
 
Poznámka: Očekávejte Smartpools rychlejší než obvykle, pouze s anywhere:anywhere Platí výchozí zásada fondu souborů.
 
Poznámka: Kvůli novému designu v novějších verzích systému OneFS může při pokusu o spuštění příkazu SmartPools Úloha z důvodu příliš zaplnění fondu uzlů: 
# isi job jobs start SmartPools

Job operation failed: Job 'SmartPools' cannot start because the cluster's free disk space percentage is below 2 (isi_gconfig -t job-config core.free_blocks_pct_threshold_lo threshold) and this job does not free disk space. Free up some space (e.g. run TreeDelete, SnapshotDelete) then try again.: No space left on device

Pokud výše uvedenou chybovou zprávu NEVIDÍTE , přejděte ke kroku 3 níže.

Pokud se tato chybová zpráva zobrazí , pokračujte krokem 2a níže.

  1. Znovu zkontrolujte, jestli existují nějaká data, která můžete odstranit, abyste uvolnili místo v celém fondu uzlů. To by zahrnovalo kontrolu všech velkých snímků a také kontrolu všech velkých systémových souborů nebo souborů auditu pomocí následujících příkazů:
Isilon-28# du -sh /ifs/.ifsvar/audit/logs
 
Islon-28# du -sh /ifs/.ifsvar

Pokud můžete odstranit dostatek dat, zkuste spustit SmartPools znovu úloha.

Pokud neexistují absolutně žádná data, která by bylo možné odstranit, doporučený krok pro zmírnění rizik by byl následující:

  1. Upravte výše uvedené zásady výchozího fondu souborů tak, aby zapisovaly do méně plného fondu uzlů. 
  2. Identifikujte cestu k datům ve fondu celého uzlu, který obsahuje většinu dat.
  3. V relaci obrazovky spusťte:   
# isi filepool apply -r <data path>   to manually move data under a certain path

i.e.

# isi filepool apply -r /ifs/data/win_data/test_data

verify the job is running:

# ps auwx | grep apply
root   45237   98.1  0.0 102268  61176  0  R+   13:34          0:35.04 /usr/libexec/isilon/isi /usr/bin/isi filepool apply -r /ifs/
  1. Sledujte kapacitu. Jakmile je plný fond uzlů pod 96 %, začněte znovu s druhým krokem výše.
  1. Spusťte AutoBalanceLin několik hodin a sledujte prostor. (Na rozdíl od AutoBalance, který před přesunem dat provede procházku po celém stromě, AutoBalanceLin Okamžitě znovu prokládá data)
# isi job start autobalancelin -p 1 --policy medium

Téměř okamžitě si všimněte, že posuny dat mezi fondy uzlů a plným fondem uzlů by se měly uvolnit místo na disku.
 
Poznámka: Pro tento krok AutoBalanceLin nemusí běžet do konce. Sledujte AutoBalanceLin úlohu, dokud nedosáhnete cíle vyčištění celého fondu uzlů, a pak úlohu zrušte. Úlohu můžete například zrušit, jakmile se plný fond uzlů sníží na 85 % kapacity.
 
Poznámka: Monitorujte využití clusteru a v případě nepříznivého ovlivnění místa ověřte, že jsou ostatní úlohy zrušeny nebo pozastaveny.

Pomocí následujícího příkazu pokračujte v monitorování místa přibližně každou hodinu, dokud nebude místo na dostatečné úrovni: 
# isi stat -p -v
 
Poznámka: Opět není vhodné nechat AutoBalanceLin Běh do dokončení. V určitém okamžiku může úloha posunout data novým směrem a může začít přinášet nežádoucí výsledky. Například obrátí pohyb dat, což může vést k tomu, že se druhý fond uzlů přiblíží plné kapacitě, protože předchozí fond se vyprázdní. Pouze spustit AutobalanceLIN na několik hodin, nebo dokud se prostor nevyčistí, a po dosažení cíle jej zrušte.

Jakmile cluster dosáhne úlevy v místě v zaplněném fondu uzlů, zrušte AutoBalanceLin Úlohy: 
# isi job cancel autobalancelin
 
Poznámka: Pro dosažení optimálních výsledků by úrovně ochrany mezi fondy uzlů měly mít stejnou hodnotu. 

Další informace

Výsledky laboratorních testů:

Dva fondy uzlů, stejné úrovně
ochrany To je před:

Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             29.9T (35%)         35.2G (2%)
Avail:            55.3T (65%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|    0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  7|10.5.80.192    | OK  |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |110.2|    0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             5.6T (5%)           7.9G (< 1%)
Avail:            107.2T (95%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  | 2.9M|82.8M|85.6M| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 104k|38.8k| 143k| 1.4T/30.6T(  5%)| 1.9G/ 738G(< 1%)
  3|10.5.80.188    | OK  |881.6|    0|881.6| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|25.8k|25.8k| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T(  5%)| 7.9G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |




X410-2# date
Thu Jun 14 16:53:29 CDT 2018


one filepool policy set to default any:any


X410-2# isi job start autobalancelin -p 1 --policy medium
Started job [7159]


in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29%


X410-2# date
Thu Jun 14 17:24:20 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             27.7T (33%)         34.3G (2%)
Avail:            57.5T (67%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  6|10.5.80.191    |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  7|10.5.80.192    | OK  |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             7.6T (7%)           8.8G (< 1%)
Avail:            105.2T (93%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  |37.9k| 279k| 316k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T(  6%)| 2.2G/ 738G(< 1%)
  3|10.5.80.188    | OK  | 130k|30.9k| 161k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|    0|    0| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T(  7%)| 8.8G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |

Pokračujte ve sledování přibližně každou hodinu, dokud místo na disku nebude na dostatečné úrovni.

 
Poznámka: Nedovolte, aby AutoBalanceLin Běh do dokončení. Úloha posouvá data opačným směrem, což může začít přinášet nežádoucí výsledky. Spotřebované místo na disku se může obrátit, což může vést k opětovnému zaplnění fondu uzlů. Úlohu spouštějte pouze několik hodin.

Hodinový bod: 
X410-2# date
Thu Jun 14 17:54:30 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             25.2T (30%)         33.9G (2%)
Avail:            60.0T (70%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  7|10.5.80.192    | OK  | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T(  2%)


X410-2# date
Thu Jun 14 18:54:43 CDT 2018




Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             21.6T (25%)         26.8G (1%)
Avail:            63.6T (75%)         2.1T (99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  6|10.5.80.191    |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  7|10.5.80.192    | OK  |    0|    0|    0| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T(  1%)


Prostor je dostatečně uklizený. Skript AutoBalanceLIn Úlohu lze zrušit, protože již bylo dosaženo požadovaných výsledků.

Dotčené produkty

Isilon X400
Vlastnosti článku
Číslo článku: 000009283
Typ článku: How To
Poslední úprava: 23 čvn 2026
Verze:  9
Najděte odpovědi na své otázky od ostatních uživatelů společnosti Dell
Služby podpory
Zkontrolujte, zda se na vaše zařízení vztahují služby podpory.