PowerScale: AutoBalanceLinin käyttäminen tietojen nopeaan siirtämiseen pois täydestä solmuvarannosta
Summary: Tässä artikkelissa kuvataan, miten AutoBalanceLin-työtä käytetään tilan nopeaan vapauttamiseen, jos yksi solmupooli on täynnä tai lähes 100%: n kapasiteetilla. Tätä menettelyä tulisi käyttää vain, jos kaikki muut menetelmät levytilan vapauttamiseksi solmupoolissa on käytetty. ...
Instructions
Huomautus: Seuraava toimenpide edellyttää olemassa olevien tiedostovarantokäytäntöjen poistamista ja tietojen raitasarjoitusta kaikista solmuista riippumatta siitä, mihin työnkulkuun tiedot kuuluvat.
Ilman tiedostovarantokäytäntöjä tietoja ei hallita varantojen tai tasojen välillä.
Varmista, että tämän toimenpiteen vaikutus ymmärretään täysin, koska se voi heikentää suorituskykyä.
Suorita tämä vasta viimeisenä yrityksenä, kun kaikki muut vaihtoehdot kapasiteettiongelmien ratkaisemiseksi on yritetty.
Yleisesti uskotaan, että AutoBalance ja AutoBalanceLin tasapainottavat tietoja vain solmupoolien sisällä, eivät solmupoolien välillä. Lisäksi uskotaan, että vain smartpools/smartpoolstree voi siirtää tietoja kahden solmupoolin välillä.
OneFS 8.0 -version ja sitä uudempien versioiden testaus osoittaa, että tämä ei pidä täysin paikkaansa. Jos klusterin oletusarvoinen tiedostovarantokäytäntö on vain missä tahansa:missä tahansa, AutoBalanceLin ja AutoBalance siirtävät tietoja useiden solmuvarantojen välillä .
Tätä tulisi käyttää vain hätäratkaisuna klustereille, joilla on yksi täysi solmuvaranto. Tämä prosessi siirtää tiedot nopeasti pois täydestä solmuvarannosta.
Kysymys: Milloin haluat käyttää seuraavaa menettelyä?
Vastata: Tätä menettelyä käytetään, kun seuraavat edellytykset täyttyvät:
a. Klusteri sisältää useita solmuvarantoja, ja yksi tai useampi solmuvaranto on 100-prosenttisesti täynnä.
b. Levytilaa on vapautettava välittömästi täydessä solmuvarannossa.
c. Tietojen tarkka organisointi ei ole välitön huolenaihe.
Portaat:
1) Merkitse muistiin kaikki olemassa olevat tiedostovarantokäytännöt lukuun ottamatta oletusarvoista any:any-tiedostovarantokäytäntöä, joka toimitetaan klusterin mukana.
Ennen kuin jatkat tähän vaiheeseen:
a) Kirjaa nykyinen tiedostovarantokäytännön määritys ennen käytäntöjen poistamista. Jos aika sallii, suositellaan täydellistä lokien keräämistä.
b) Isilon-klustereiden oletustiedostovarantokäytäntö on oletusarvoisesti määritetty kirjoittamaan tietoja mihin tahansa ja missä tahansa. Varmista ennen jatkamista, että oletustiedostovarantokäytäntö on palautettu näihin oletusasetuksiin.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Ota uudet hakemistomerkinnät käyttöön suorittamalla SmartPools-työ:
# isi job start smartpools -p 1 --policy medium
Huomautus: Smartpools-työn odotetaan valmistuvan tavallista nopeammin, kun käytössä on vain missä ja missä tahansa -oletustietovarantokäytäntö.
3) Suorita AutoBalanceLin-työ muutaman tunnin ajan ja tarkkaile tilaa. (Huomaa: toisin kuin AutoBalance, joka kävelee koko puussa ennen tietojen siirtämistä, AutoBalanceLin raidoittaa tiedot välittömästi)
# isi job start autobalancelin -p 1 --policy medium
Huomaa lähes välittömästi, että solmuvarantojen ja täyden solmupoolin välillä siirtyvien tietojen pitäisi vapautua levytilaa.
Huomautus: Tässä vaiheessa AutoBalanceLinin ei tarvitse suorittaa loppuun. Tarkkaile AutoBalanceLin-työtä, kunnes koko solmupoolin puhdistustavoite on saavutettu, ja peruuta sitten työ. Voit esimerkiksi peruuttaa työn, kun täysi solmuvaranto on laskenut 85 %:iin kapasiteetista.
Muistiinpano: Klusterin käytön valvonta ja sen varmistaminen, että muut työt on peruutettu tai keskeytetty, jos tilaan kohdistuu häiriöitä.
Jatka tilan valvontaa noin tunnin välein, kunnes tila on riittävällä tasolla, seuraavalla komennolla:
# isi stat -p -v
Huomautus: Jälleen, Ei ole suositeltavaa antaa AutoBalanceLinin suorittaa loppuun. Tietyssä vaiheessa työ voi siirtää tietoa uuteen suuntaan, ja se voi alkaa tuottaa ei-toivottuja tuloksia. Se esimerkiksi kääntää tiedonsiirron, mikä saattaa johtaa siihen, että toinen solmuvaranto lähestyy täyttä kapasiteettia, kun edellinen varanto tyhjenee. Suorita AutobalanceLIN vain muutaman tunnin ajan tai kunnes tila on puhdistettu, ja peruuta sitten, kun tavoite on saavutettu.
Kun klusteri on saavuttanut vapautuksen koko solmuvarannossa, peruuta AutoBalanceLin-työ:
# isi job cancel autobalancelin
Huomautus: optimaalisten tulosten saavuttamiseksi solmupoolien välisten suojaustasojen tulisi olla yhtä arvokkaita.
Additional Information
Laboratoriotestien tulokset
Kaksi solmuvarantoa, yhtä suuret suojaustasot
Tämä on ennen:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Jatka seurantaa noin tunnin välein, kunnes levytila on riittävällä tasolla.
Huomautus: Älä anna AutoBalanceLinin valmistua. Työ siirtää tietoja vastakkaiseen suuntaan, mikä voi alkaa tuottaa ei-toivottuja tuloksia. Kulutettu levytila voi kääntyä päinvastaiseksi, mikä saattaa johtaa jälleen lähes täyteen solmuvarantoon. Tee työtä vain muutaman tunnin ajan.
Tunnin piste:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Tila on riittävästi puhdistettu. AutoBalanceLIn työ voidaan peruuttaa, koska halutut tulokset on saavutettu.