PowerScale: Bruke AutoBalanceLin til raskt å flytte data ut av et fullstendig nodeutvalg
Summary: Denne artikkelen beskriver hvordan du bruker AutoBalanceLin-jobben til raskt å frigjøre plass hvis et enkelt nodeutvalg er fullt eller nesten 100 % kapasitet. Denne prosedyren bør bare brukes hvis alle andre metoder for å frigjøre diskplass på en nodepool er oppbrukt. ...
Instructions
Merk: Følgende fremgangsmåte krever fjerning av eksisterende filutvalgspolicyer og striping av data på tvers av alle noder, uavhengig av arbeidsflyten som dataene tilhører.
Uten filutvalgspolicyene skjer det ingen administrasjon av data mellom utvalgene eller nivåene.
Pass på at virkningen av denne prosedyren er fullt ut forstått, da det kan føre til ytelsesforringelse.
Bare utfør dette som en siste innsats etter at alle andre alternativer for å løse kapasitetsproblemer er forsøkt.
Det er en utbredt oppfatning at AutoBalance og AutoBalanceLin bare balanserer data innenfor nodeutvalg og ikke på tvers av nodepooler. Det antas også at bare smartpools/smartpoolstree kan flytte data mellom to nodegrupper.
Testing på OneFS 8.0 og nyere beviser at dette ikke er helt sant. Hvis klyngen bare har filutvalgspolicyen «anywhere:anywhere», flytter AutoBalanceLin og AutoBalance data på tvers av flere nodeutvalg.
Dette bør bare brukes som en nødløsning for klynger som har ett fullstendig nodeutvalg. Denne prosessen flytter data raskt fra hele nodeutvalget.
Spørsmål: Når ønsker man å bruke følgende fremgangsmåte?
Svare: Denne fremgangsmåten vil bli brukt når følgende betingelser foreligger:
a. Klyngen inneholder flere nodeutvalg, og ett eller flere av nodeutvalgene er 100 % fulle.
b. Det er et umiddelbart behov for å frigjøre diskplass på et fullstendig nodeutvalg.
c. Den nøyaktige organiseringen av dataene er ikke en umiddelbar bekymring.
Trinn:
1) Noter deg, og slett deretter alle eksisterende filutvalgspolicyer bortsett fra "standard" "noen: enhver" filutvalgspolicy som leveres med klynge.
Før du fortsetter med dette trinnet:
a) Registrer gjeldende policykonfigurasjon for filutvalg før du fjerner policyene. Hvis tiden tillater det, anbefales en full logginnsamling.
b) Som standard er Isilon-klynger konfigurert med standard policy for filutvalg angitt til å skrive data til hvor som helst: hvor som helst. Kontroller at policyen for standardfilutvalg er tilbakestilt til disse standardinnstillingene før du fortsetter.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Kjør en SmartPools-jobb for å bruke nye katalogmerkinger:
# isi job start smartpools -p 1 --policy medium
Merk: Forvent at Smartpools-jobben fullføres raskere enn vanlig med bare standard filutvalgspolicy hvor som helst: hvor som helst.
3) Kjør en AutoBalanceLin-jobb i noen timer, og overvåk plassen. (Merk: i motsetning til AutoBalance, som gjør en full trevandring før du flytter data, striper AutoBalanceLin data umiddelbart)
# isi job start autobalancelin -p 1 --policy medium
Vær nesten umiddelbart oppmerksom på at dataene flyttes rundt mellom nodeutvalgene, og at hele nodeutvalget skal frigjøre plass på disken.
Merk: For dette trinnet trenger ikke AutoBalanceLin å løpe til fullføring. Overvåk AutoBalanceLin-jobben til målet om å rydde opp i hele nodeutvalget er oppnådd, og avbryt deretter jobben. Du kan for eksempel avbryte jobben når hele nodeutvalget er nede i 85 % av kapasiteten.
Notat: Overvåk klyngeutnyttelsen og bekreft at andre jobber avbrytes, eller stopp midlertidig hvis plassen påvirkes negativt.
Fortsett å overvåke rommet omtrent hver time til plassen er på et tilstrekkelig nivå ved hjelp av følgende kommando:
# isi stat -p -v
Merk: Igjen, Det er ikke tilrådelig å la AutoBalanceLin kjøre til ferdigstillelse. På et visst tidspunkt kan jobben flytte data i en ny retning, og det kan begynne å gi uønskede resultater. Det reverserer for eksempel dataflyttingen, noe som muligens fører til at det andre nodeutvalget nærmer seg full kapasitet etter hvert som det forrige bassenget tømmes. Kjør bare AutobalanceLIN i noen timer, eller til plassen er ryddet ut, og avbryt deretter når målet er oppnådd.
Når klyngen har oppnådd lettelse i rommet på hele nodeutvalget, avbryter du AutoBalanceLin-jobben:
# isi job cancel autobalancelin
Merk: For optimale resultater bør beskyttelsesnivåene mellom nodebassengene være av lik verdi.
Additional Information
Resultater fra laboratorietesting To
nodegrupper, like beskyttelsesnivåer
Dette er før:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Fortsett å overvåke hver time eller så til diskplassen er på et tilstrekkelig nivå.
Merk: Ikke la AutoBalanceLin kjøre til fullføring. Jobben flytter data i motsatt retning, noe som kan begynne å gi uønskede resultater. Diskplassen som forbrukes kan reversere, noe som muligens fører til et nesten fullt nodeutvalg igjen. Kjør bare jobben i noen timer.
Ett timepoeng:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Plassen er tilstrekkelig ryddet opp. AutoBalanceLIn-jobben kan avbrytes fordi de ønskede resultatene er oppnådd.