PowerScale: AutoBalanceLin gebruiken om snel data uit een volledige knooppuntgroep te verplaatsen
Summary: In dit artikel wordt beschreven hoe u de AutoBalanceLin-taak kunt gebruiken om snel ruimte vrij te maken als een groep met één knooppunt vol of bijna op 100% capaciteit is. Deze procedure dient alleen te worden gebruikt als alle andere methoden voor het vrijmaken van schijfruimte op een knooppuntgroep zijn uitgeput. ...
Instructions
Opmerking: De volgende procedure vereist het verwijderen van bestaand beleid voor de bestandspool en striping van data over alle knooppunten , ongeacht de workflow waartoe de data behoren.
Zonder het beleid voor de bestandsgroep vindt er geen databeheer tussen de groepen of lagen plaats.
Zorg ervoor dat de impact van deze procedure volledig duidelijk is, omdat deze kan leiden tot verminderde prestaties.
Voer dit alleen uit als laatste wanhopige poging nadat alle andere opties voor het oplossen van capaciteitsproblemen zijn geprobeerd.
Er wordt algemeen aangenomen dat AutoBalance en AutoBalanceLin alleen gegevens binnen knooppuntgroepen balanceren en niet tussen knooppuntgroepen. Er wordt ook aangenomen dat alleen smartpools/smartpoolstree data kunnen verplaatsen tussen twee knooppuntgroepen.
Tests op OneFS 8.0 en hoger bewijzen dat dit niet helemaal waar is. Als het cluster alleen het standaard beleid voor de bestandspool van 'anywhere:anywhere' heeft, verplaatsen AutoBalanceLin en AutoBalance data over meerdere knooppuntgroepen.
Dit mag alleen worden gebruikt als tijdelijke oplossing voor noodgevallen voor clusters met één volledige knooppuntgroep. Met dit proces worden data snel uit de groep met volledige knooppunten verplaatst.
Vraag: Wanneer zou men de volgende procedure willen gebruiken?
Antwoorden: Deze procedure wordt gebruikt wanneer aan de volgende voorwaarden is voldaan:
a. Het cluster bevat meerdere knooppuntgroepen en een of meer van de knooppuntgroepen zijn 100% vol.
b. Er is een onmiddellijke vereiste om schijfruimte vrij te maken op een volledige knooppuntgroep.
c. De exacte organisatie van de gegevens is niet direct een probleem.
Stappen:
1) Noteer en verwijder vervolgens alle bestaande beleidsregels voor de bestandsgroep, behalve het standaardbeleid 'any:any' voor de bestandspool dat bij het cluster wordt geleverd.
Voordat u verder gaat met deze stap:
a) Leg de huidige configuratie van het bestandspoolbeleid vast voordat u de beleidsregels verwijdert. Als de tijd het toelaat, wordt een volledige logboekverzameling aanbevolen.
b) Standaard zijn Isilon-clusters geconfigureerd met het standaardbeleid voor bestandsbestanden ingesteld om data te schrijven naar 'overal:overal'. Controleer of het standaardbeleid voor de bestandspool is teruggezet naar deze standaardinstellingen voordat u verdergaat.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Voer een SmartPools-taak uit om nieuwe adreslijstmarkeringen toe te passen:
# isi job start smartpools -p 1 --policy medium
Opmerking: Verwacht dat de Smartpools taak sneller wordt voltooid dan normaal met alleen het standaardbeleid voor bestandsgroepen overal.
3) Voer een AutoBalanceLin-taak een paar uur uit en controleer de ruimte. (Opmerking: in tegenstelling tot AutoBalance, dat een volledige boomstructuur maakt voordat gegevens worden verplaatst, restript AutoBalanceLin gegevens onmiddellijk)
# isi job start autobalancelin -p 1 --policy medium
Merk vrijwel onmiddellijk op dat de data verschuiven tussen de knooppuntgroepen en dat de volledige knooppuntgroep schijfruimte zou moeten vrijmaken.
Opmerking: Voor deze stap hoeft AutoBalanceLin niet tot voltooiing te worden uitgevoerd. Bewaak de AutoBalanceLin-taak totdat het doel van het opschonen van de volledige knooppuntgroep is bereikt en annuleer vervolgens de taak. U kunt de taak bijvoorbeeld annuleren zodra de volledige knooppuntgroep tot 85% van de capaciteit is gedaald.
Notitie: Het clustergebruik bewaken en bevestigen dat andere taken worden geannuleerd of onderbroken als de ruimte nadelig wordt beïnvloed.
Blijf de ruimte ongeveer elk uur controleren totdat de ruimte op een voldoende niveau is met behulp van de volgende opdracht:
# isi stat -p -v
Opmerking: Nogmaals, het is niet aan te raden om AutoBalanceLin tot voltooiing te laten draaien. Op een gegeven moment kan de taak gegevens in een nieuwe richting verschuiven en kunnen ongewenste resultaten gaan opleveren. Het keert bijvoorbeeld de dataverplaatsing om, wat mogelijk leidt tot het naderen van de volledige capaciteit van de andere knooppuntgroep wanneer de vorige groep leegloopt. Voer AutobalanceLIN slechts een paar uur uit, of totdat de ruimte is opgeruimd, en annuleer zodra het doel is bereikt.
Zodra het cluster ontlasting in de ruimte op de volledige knooppuntgroep heeft bereikt, annuleert u de AutoBalanceLin-taak:
# isi job cancel autobalancelin
Opmerking: voor optimale resultaten moeten de beschermingsniveaus tussen de knooppuntgroepen van gelijke waarde zijn.
Additional Information
Resultaten
van laboratoriumtesten Twee knooppuntgroepen, gelijke beschermingsniveaus
Dit is vóór:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Blijf ongeveer elk uur controleren totdat de schijfruimte op een voldoende niveau is.
Opmerking: Zorg ervoor dat AutoBalanceLin niet volledig is voltooid. De taak verschuift gegevens in de tegenovergestelde richting, wat ongewenste resultaten kan opleveren. De verbruikte schijfruimte kan omgekeerd zijn, wat mogelijk weer leidt tot een bijna volle knooppuntgroep. Voer de taak slechts een paar uur uit.
Een uurpunt:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Ruimte wordt voldoende opgeruimd. De AutoBalanceLIn-taak kan worden geannuleerd omdat de gewenste resultaten zijn bereikt.