PowerScale: Použití funkce AutoBalanceLin k rychlému přesunu dat z fondu plného uzlu
Summary: Tento článek popisuje, jak pomocí úlohy AutoBalanceLin rychle uvolnit místo, pokud je jeden fond uzlů plný nebo téměř na 100 % kapacity. Tento postup by měl být použit pouze v případě, že byly vyčerpány všechny ostatní metody uvolňování místa na disku ve fondu uzlů. ...
Instructions
Poznámka: Následující postup vyžaduje odebrání stávajících zásad fondu souborů a rozdělení dat napříč všemi uzly bez ohledu na pracovní postup, ke kterému data patří.
Bez zásad fondu souborů nedochází ke správě dat mezi fondy nebo vrstvami.
Ujistěte se, že plně chápete dopad tohoto postupu, protože může vést ke snížení výkonu.
Tuto možnost proveďte až jako poslední zoufalý krok poté, co byly vyzkoušeny všechny ostatní možnosti řešení problémů s kapacitou.
Obecně se má za to, že funkce AutoBalance a AutoBalanceLin vyrovnávají data pouze v rámci fondů uzlů, a ne napříč fondy uzlů. Předpokládá se také, že data mezi dvěma fondy uzlů mohou přesouvat pouze fondy smartpool/smartpoolstree.
Testování systému OneFS 8.0 a novějších dokazuje, že to není tak úplně pravda. Pokud má cluster pouze výchozí zásady fondu souborů "anywhere:anywhere", AutoBalanceLin a AutoBalance přesunou data mezi více fondy uzlů.
To by se mělo používat pouze jako nouzové alternativní řešení pro clustery, které mají jeden plný fond uzlů. Tento proces rychle přesune data z celého fondu uzlů.
Otázka: Kdy je vhodné použít následující postup?
Odpověď: Tento postup by se použil, pokud by byly splněny následující podmínky:
a. Cluster obsahuje více fondů uzlů a jeden nebo více fondů uzlů je 100% plné.
b. Okamžitě je potřeba uvolnit místo na disku v zaplněném fondu uzlů.
c. Přesná organizace dat není bezprostředním problémem.
Schody:
1) Poznamenejte si a odstraňte všechny existující zásady fondu souborů s výjimkou výchozí zásady fondu souborů "any:any", která se dodává s clusterem.
Než budete pokračovat tímto krokem:
a) Před odebráním zásad si poznamenejte aktuální konfiguraci zásad fondu souborů. Pokud to čas dovolí, doporučujeme shromáždit celý protokol.
b) Ve výchozím nastavení jsou clustery Isilon nakonfigurovány s výchozí zásadou fondu souborů nastavenou na zápis dat "kdekoli a kdekoli". Než budete pokračovat, ověřte, zda se zásada výchozího fondu souborů vrátila do výchozího nastavení.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Spusťte úlohu SmartPools a použijte nová označení adresářů:
# isi job start smartpools -p 1 --policy medium
Poznámka: Očekávejte, že úloha Smartpools se dokončí rychleji než obvykle, pouze s výchozí zásadou fondu souborů kdekoli:kdekoli.
3) Spusťte úlohu AutoBalanceLin na několik hodin a sledujte místo. (Poznámka: Na rozdíl od funkce AutoBalance, která před přesunutím dat provede procházku celým stromem, AutoBalanceLin data okamžitě prokládá.)
# isi job start autobalancelin -p 1 --policy medium
Téměř okamžitě si všimněte, že posuny dat mezi fondy uzlů a plným fondem uzlů by se měly uvolnit místo na disku.
Poznámka: V tomto kroku nemusí AutoBalanceLin běžet do dokončení. Monitorujte úlohu AutoBalanceLin, dokud nedosáhnete cíle vyčištění celého fondu uzlů, a pak úlohu zrušte. Úlohu můžete například zrušit, jakmile se plný fond uzlů sníží na 85 % kapacity.
Poznámka: Monitorujte využití clusteru a v případě nepříznivého ovlivnění místa ověřte, že jsou jiné úlohy zrušeny nebo pozastaveny.
Pomocí následujícího příkazu pokračujte v monitorování místa přibližně každou hodinu, dokud nebude místo na dostatečné úrovni:
# isi stat -p -v
Poznámka: Opět nedoporučujeme nechat AutoBalanceLin běžet až do konce. V určitém okamžiku může úloha posunout data novým směrem a může začít přinášet nežádoucí výsledky. Například obrátí pohyb dat, což může vést k tomu, že se druhý fond uzlů přiblíží plné kapacitě, protože předchozí fond se vyprázdní. AutobalanceLIN spouštějte pouze několik hodin nebo dokud se místo nevyčistí, a po dosažení cíle jej zrušte.
Jakmile cluster dosáhne odlehčení místa v plném fondu uzlů, zrušte úlohu AutoBalanceLin:
# isi job cancel autobalancelin
Poznámka: Pro dosažení optimálních výsledků by úrovně ochrany mezi fondy uzlů měly mít stejnou hodnotu.
Additional Information
Výsledky
laboratorních testů Dva fondy uzlů, stejné úrovně
ochrany To je před:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Pokračujte ve sledování přibližně každou hodinu, dokud místo na disku nebude na dostatečné úrovni.
Poznámka: Nenechte AutoBalanceLin běžet do konce. Úloha posouvá data opačným směrem, což může začít přinášet nežádoucí výsledky. Spotřebované místo na disku se může obrátit, což může vést k opětovnému zaplnění fondu uzlů. Úlohu spouštějte pouze několik hodin.
Hodinový bod:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Prostor je dostatečně uklizený. Úlohu AutoBalanceLIn lze zrušit, protože bylo dosaženo požadovaných výsledků.