PowerScale: Bruke AutoBalanceLin til raskt å flytte data ut av et fullstendig nodeutvalg

Summary: Denne artikkelen beskriver hvordan du bruker AutoBalanceLin-jobben til raskt å frigjøre plass hvis et enkelt nodeutvalg er fullt eller nesten 100 % kapasitet. Denne fremgangsmåten bør bare brukes hvis alle andre metoder for å frigjøre diskplass i et nodeutvalg er oppbrukt. ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

Merk: Følgende fremgangsmåte krever fjerning av eksisterende filutvalgspolicyer og striping av data på tvers av alle noder, uavhengig av arbeidsflyten som dataene tilhører. Uten filutvalgspolicyene skjer det ingen administrasjon av data mellom utvalgene eller nivåene. Pass på at virkningen av denne prosedyren er fullt ut forstått, da det kan føre til ytelsesforringelse. Bare utfør dette som en siste innsats etter at alle andre alternativer for å løse kapasitetsproblemer er forsøkt.

Det er allment antatt at AutoBalance og AutoBalanceLin Balanser bare data innenfor nodeutvalg og ikke på tvers av nodeutvalg. Også, det antas bare smartpools/smartpoolstree Kan flytte data mellom to nodeutvalg.

Testing på OneFS 8.0 og nyere beviser at dette ikke er helt sant. Hvis klyngen bare har standard filutvalgspolicy for anywhere:anywhere, AutoBalanceLin og AutoBalance Flytter data på tvers av flere nodeutvalg.

Dette bør bare brukes som en nødløsning for klynger som har ett fullstendig nodeutvalg. Denne prosessen flytter data raskt fra hele nodeutvalget.

Spørsmål: Når ønsker man å bruke følgende fremgangsmåte?
Svar: Denne fremgangsmåten vil bli brukt når følgende betingelser finnes:
  • Klyngen inneholder flere nodeutvalg, og ett eller flere av nodeutvalgene er 100 % fulle.
  • Det er et umiddelbart behov for å frigjøre diskplass på et fullstendig nodeutvalg.
  • Den nøyaktige organiseringen av dataene er ikke en umiddelbar bekymring.


Trinn:

  1. Merk deg, og slett deretter alle eksisterende filutvalgspolicyer bortsett fra standard 'any:any' filutvalgspolicy som er konfigurert på klyngen.

Før du fortsetter med dette trinnet:

  • Registrer gjeldende policykonfigurasjon for filutvalg før du fjerner policyene. Hvis tiden tillater det, anbefales en full logginnsamling.
  • Som standard er Isilon-klynger konfigurert med policyen for standardfilutvalg angitt til å skrive data til 'anywhere:anywhere'. Kontroller at policyen for standardfilutvalg er tilbakestilt til disse standardinnstillingene før du fortsetter.
Eksempel: Standard filutvalgspolicy. Vær oppmerksom på at lagringsmålene er satt til "anywhere'. 
# isi filepool default-policy view
          Set Requested Protection: default
               Data Access Pattern: concurrency
                  Enable Coalescer: Yes
                    Enable Packing: No
               Data Storage Target: anywhere
                 Data SSD Strategy: metadata
           Snapshot Storage Target: anywhere
             Snapshot SSD Strategy: metadata
                        Cloud Pool: -
         Cloud Compression Enabled: -
          Cloud Encryption Enabled: -
              Cloud Data Retention: -
Cloud Incremental Backup Retention: -
       Cloud Full Backup Retention: -
               Cloud Accessibility: -
                  Cloud Read Ahead: -
            Cloud Cache Expiration: -
         Cloud Writeback Frequency: -
      Cloud Archive Snapshot Files: -
                                ID: -
  1. Kjør en SmartPools Jobb å bruke nye katalogmarkeringer:
# isi job start smartpools -p 1 --policy medium
 
Merk: Forvent at Smartpools Jobben som skal fullføres raskere enn vanlig med bare anywhere:anywhere Standard filutvalgspolicy på plass.
 
Merk: På grunn av en ny utforming i senere versjoner av OneFS, kan følgende feil oppstå når du prøver å kjøre SmartPools Jobb på grunn av at nodeutvalget er for fullt: 
# isi job jobs start SmartPools

Job operation failed: Job 'SmartPools' cannot start because the cluster's free disk space percentage is below 2 (isi_gconfig -t job-config core.free_blocks_pct_threshold_lo threshold) and this job does not free disk space. Free up some space (e.g. run TreeDelete, SnapshotDelete) then try again.: No space left on device

Hvis du ikke ser feilmeldingen ovenfor, går du til trinn 3 nedenfor.

Hvis du ser denne feilmeldingen, fortsetter du med trinn 2a nedenfor.

  1. Sjekk igjen for å se om det er noen data du kan slette for å frigjøre plass på hele nodeutvalget. Dette omfatter å se etter store øyeblikksbilder og også se etter store system- eller revisjonsfiler med følgende kommandoer:
Isilon-28# du -sh /ifs/.ifsvar/audit/logs
 
Islon-28# du -sh /ifs/.ifsvar

Hvis du kan slette nok data, kan du prøve å kjøre SmartPools jobb igjen.

Hvis det er absolutt ingen data som kan slettes, vil det anbefalte reduksjonstrinnet være som følger:

  1. Endre policyen for standardfilutvalg ovenfor for å skrive til det mindre fullstendige nodeutvalget. 
  2. Identifiser en databane på hele nodeutvalget som inneholder de fleste dataene.
  3. Kjør følgende i en skjermøkt:   
# isi filepool apply -r <data path>   to manually move data under a certain path

i.e.

# isi filepool apply -r /ifs/data/win_data/test_data

verify the job is running:

# ps auwx | grep apply
root   45237   98.1  0.0 102268  61176  0  R+   13:34          0:35.04 /usr/libexec/isilon/isi /usr/bin/isi filepool apply -r /ifs/
  1. Overvåk kapasiteten. Når hele nodebassenget er under 96 %, kan du begynne på nytt med trinn to ovenfor.
  1. Kjør en AutoBalanceLin jobb i noen timer, og overvåke plass. (I motsetning til AutoBalance, som gjør en full trevandring før du flytter data, AutoBalanceLin Striper data på nytt umiddelbart)
# isi job start autobalancelin -p 1 --policy medium

Vær nesten umiddelbart oppmerksom på at dataene flyttes rundt mellom nodeutvalgene, og at hele nodeutvalget skal frigjøre plass på disken.
 
Merk: For dette trinnet, AutoBalanceLin trenger ikke å løpe til ferdigstillelse. Overvåk AutoBalanceLin jobb til målet om å rydde opp i hele nodeutvalget er oppnådd og deretter avbryte jobben. Du kan for eksempel avbryte jobben når hele nodeutvalget er nede i 85 % av kapasiteten.
 
Merk: Overvåk klyngeutnyttelsen og bekreft at andre jobber avbrytes, eller stopp midlertidig hvis plassen påvirkes negativt.

Fortsett å overvåke rommet omtrent hver time til plassen er på et tilstrekkelig nivå ved hjelp av følgende kommando: 
# isi stat -p -v
 
Merk: Igjen, Det er ikke tilrådelig å la AutoBalanceLin løp til fullføring. På et visst tidspunkt kan jobben flytte data i en ny retning, og det kan begynne å gi uønskede resultater. Det reverserer for eksempel dataflyttingen, noe som muligens fører til at det andre nodeutvalget nærmer seg full kapasitet etter hvert som det forrige bassenget tømmes. Bare kjør AutobalanceLIN i noen timer, eller til plassen er ryddet ut, og avbryt deretter når målet er oppnådd.

Når klyngen har oppnådd lettelse i rommet på hele nodeutvalget, avbryter du AutoBalanceLin Jobb: 
# isi job cancel autobalancelin
 
Merk: For optimale resultater bør beskyttelsesnivåene mellom nodebassengene være av lik verdi. 

Additional Information

Laboratorietestresultater:

To nodegrupper, like beskyttelsesnivåer
Dette er før:

Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             29.9T (35%)         35.2G (2%)
Avail:            55.3T (65%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|    0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  7|10.5.80.192    | OK  |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |110.2|    0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             5.6T (5%)           7.9G (< 1%)
Avail:            107.2T (95%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  | 2.9M|82.8M|85.6M| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 104k|38.8k| 143k| 1.4T/30.6T(  5%)| 1.9G/ 738G(< 1%)
  3|10.5.80.188    | OK  |881.6|    0|881.6| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|25.8k|25.8k| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T(  5%)| 7.9G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |




X410-2# date
Thu Jun 14 16:53:29 CDT 2018


one filepool policy set to default any:any


X410-2# isi job start autobalancelin -p 1 --policy medium
Started job [7159]


in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29%


X410-2# date
Thu Jun 14 17:24:20 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             27.7T (33%)         34.3G (2%)
Avail:            57.5T (67%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  6|10.5.80.191    |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  7|10.5.80.192    | OK  |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             7.6T (7%)           8.8G (< 1%)
Avail:            105.2T (93%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  |37.9k| 279k| 316k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T(  6%)| 2.2G/ 738G(< 1%)
  3|10.5.80.188    | OK  | 130k|30.9k| 161k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|    0|    0| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T(  7%)| 8.8G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |

Fortsett å overvåke hver time eller så til diskplassen er på et tilstrekkelig nivå.

 
Merk: Ikke la AutoBalanceLin løp til fullføring. Jobben flytter data i motsatt retning, noe som kan begynne å gi uønskede resultater. Diskplassen som forbrukes kan reversere, noe som muligens fører til et nesten fullt nodeutvalg igjen. Kjør bare jobben i noen timer.

Ett timepoeng: 
X410-2# date
Thu Jun 14 17:54:30 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             25.2T (30%)         33.9G (2%)
Avail:            60.0T (70%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  7|10.5.80.192    | OK  | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T(  2%)


X410-2# date
Thu Jun 14 18:54:43 CDT 2018




Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             21.6T (25%)         26.8G (1%)
Avail:            63.6T (75%)         2.1T (99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  6|10.5.80.191    |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  7|10.5.80.192    | OK  |    0|    0|    0| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T(  1%)


Plassen er tilstrekkelig ryddet opp. Informasjonen i AutoBalanceLIn Jobben kan kanselleres fordi de ønskede resultatene er oppnådd.

Affected Products

Isilon X400
Article Properties
Article Number: 000009283
Article Type: How To
Last Modified: 08 محرم 1448
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.