PowerScale: Korzystanie z funkcji AutoBalanceLin w celu szybkiego przenoszenia danych z pełnej puli węzłów
Podsumowanie: W tym artykule opisano sposób użycia zadania AutoBalanceLin w celu szybkiego zwolnienia miejsca, jeśli pula z jednym węzłem jest pełna lub prawie 100% pojemności. Tej procedury należy używać tylko wtedy, gdy wszystkie inne metody zwalniania miejsca na dysku w puli węzłów zostały wyczerpane. ...
Ten artykuł dotyczy
Ten artykuł nie dotyczy
Ten artykuł nie jest powiązany z żadnym konkretnym produktem.
Nie wszystkie wersje produktu zostały zidentyfikowane w tym artykule.
Instrukcje
Uwaga: Poniższa procedura wymaga usunięcia istniejących zasad puli plików i rozłożenia danych we wszystkich węzłach, niezależnie od przepływu pracy, do którego należą dane. Bez zasad puli plików nie odbywa się zarządzanie danymi między pulami lub warstwami. Należy upewnić się, że wpływ tej procedury jest w pełni zrozumiały, ponieważ może to prowadzić do pogorszenia wydajności. Wykonanie tej czynności jest ostatnią deską ratunku po wypróbowaniu wszystkich innych opcji rozwiązywania problemów z pojemnością.
Powszechnie uważa się, że
Testy na OneFS 8.0 i nowszych dowiodą, że nie jest to do końca prawda. Jeśli klaster ma tylko domyślną zasadę puli plików
Tego rozwiązania należy używać tylko jako awaryjnego obejścia w przypadku klastrów, które mają jedną pełną pulę węzłów. Ten proces szybko przenosi dane z pełnej puli węzłów.
Pytanie: Kiedy należy skorzystać z poniższej procedury?
Odpowiedź: Procedura ta będzie stosowana, gdy zaistnieją następujące warunki:
Powszechnie uważa się, że
AutoBalance i AutoBalanceLin Należy równoważyć dane tylko w pulach węzłów, a nie między nimi. Uważa się również, że tylko smartpools/smartpoolstree Może przenosić dane między dwiema pulami węzłów.
Testy na OneFS 8.0 i nowszych dowiodą, że nie jest to do końca prawda. Jeśli klaster ma tylko domyślną zasadę puli plików
anywhere:anywhere, AutoBalanceLin i AutoBalance Przenosi dane między wieloma pulami węzłów.
Tego rozwiązania należy używać tylko jako awaryjnego obejścia w przypadku klastrów, które mają jedną pełną pulę węzłów. Ten proces szybko przenosi dane z pełnej puli węzłów.
Pytanie: Kiedy należy skorzystać z poniższej procedury?
Odpowiedź: Procedura ta będzie stosowana, gdy zaistnieją następujące warunki:
- Klaster zawiera wiele pul węzłów, a co najmniej jedna pula węzłów jest zapełniona w 100%.
- Istnieje natychmiastowa potrzeba zwolnienia miejsca na dysku w pełnej puli węzłów.
- Dokładna organizacja danych nie jest bezpośrednim problemem.
Czynności:
- Zanotuj, a następnie usuń wszystkie istniejące zasady puli plików z wyjątkiem domyślnej "
any:any' zasady puli plików, które są skonfigurowane w klastrze.
Przed kontynuowaniem tego kroku:
- Przed usunięciem zasad należy zapisać bieżącą konfigurację zasad puli plików. Jeśli czas na to pozwala, zalecane jest zebranie pełnego dziennika.
- Domyślnie klastry Isilon są skonfigurowane z domyślnymi zasadami puli plików ustawionymi na zapis danych w
'anywhere:anywhere'. Przed kontynuowaniem sprawdź, czy zasady domyślnej puli plików zostały przywrócone do tych ustawień domyślnych.
Przykład: Domyślne zasady puli plików. Należy pamiętać, że obiekty docelowe pamięci masowej są ustawione na "
anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
- Uruchom
SmartPoolsZadanie naniesienia nowych oznaczeń katalogów:
# isi job start smartpools -p 1 --policy medium
Uwaga: Spodziewaj się
Smartpools zadanie, które ma zostać ukończone szybciej niż zwykle, tylko przy użyciu anywhere:anywhere Obowiązują domyślne zasady puli plików.
Uwaga: Ze względu na nowy wygląd w późniejszych wersjach OneFS podczas próby uruchomienia
SmartPools z powodu zapełnienia puli węzłów:
# isi job jobs start SmartPools Job operation failed: Job 'SmartPools' cannot start because the cluster's free disk space percentage is below 2 (isi_gconfig -t job-config core.free_blocks_pct_threshold_lo threshold) and this job does not free disk space. Free up some space (e.g. run TreeDelete, SnapshotDelete) then try again.: No space left on device
Jeśli NIE WIDZISZ powyższego komunikatu o błędzie, przejdź do kroku 3 poniżej.
Jeśli WIDZISZ ten komunikat o błędzie, przejdź do kroku 2a poniżej.
- Sprawdź ponownie, czy istnieją dane, które można usunąć, aby zwolnić miejsce w pełnej puli węzłów. Obejmuje to sprawdzanie dużych migawek, a także sprawdzanie dużych plików systemowych lub kontrolnych za pomocą następujących poleceń:
Isilon-28# du -sh /ifs/.ifsvar/audit/logs Islon-28# du -sh /ifs/.ifsvar
Jeśli możesz usunąć wystarczającą ilość danych, spróbuj uruchomić SmartPools znowu praca.
Jeśli nie ma absolutnie żadnych danych, które można usunąć, zalecany krok zaradczy byłby następujący:
- Zmodyfikuj powyższe zasady domyślnej puli plików, aby zapisywać dane w mniej zapełnionej puli węzłów.
- Zidentyfikuj ścieżkę danych w pełnej puli węzłów, która obejmuje większość danych.
- W sesji screen uruchom polecenie:
# isi filepool apply -r <data path> to manually move data under a certain path i.e. # isi filepool apply -r /ifs/data/win_data/test_data verify the job is running: # ps auwx | grep apply root 45237 98.1 0.0 102268 61176 0 R+ 13:34 0:35.04 /usr/libexec/isilon/isi /usr/bin/isi filepool apply -r /ifs/
- Monitoruj pojemność. Gdy zapełnienie puli węzłów spadnie poniżej 96%, zacznij od drugiego kroku powyżej.
- Uruchom
AutoBalanceLinpracować przez kilka godzin i monitorować miejsce. (W przeciwieństwie doAutoBalance, który wykonuje pełny spacer po drzewach przed przeniesieniem jakichkolwiek danych,AutoBalanceLinnatychmiast usuwa dane)
# isi job start autobalancelin -p 1 --policy medium
Niemal natychmiast zaobserwuj, że dane przemieszczają się między pulami węzłów, a pełna pula węzłów powinna zwolnić miejsce na dysku.
Uwaga: Na tym etapie
AutoBalanceLin nie musi biec do końca. Monitoruj AutoBalanceLin do momentu osiągnięcia celu, jakim jest oczyszczenie całej puli węzłów, a następnie anulowanie zadania. Zadanie można na przykład anulować, gdy pełna pula węzłów spadnie do 85% pojemności.
Uwaga: Monitoruj wykorzystanie klastra i upewnij się, że inne zadania zostały anulowane, lub wstrzymaj je w przypadku niekorzystnego wpływu na miejsce.
Kontynuuj monitorowanie miejsca mniej więcej co godzinę, aż poziom miejsca będzie wystarczający, używając następującego polecenia:
Kontynuuj monitorowanie miejsca mniej więcej co godzinę, aż poziom miejsca będzie wystarczający, używając następującego polecenia:
# isi stat -p -v
Uwaga: Ponownie, nie jest wskazane, aby pozwolić
Gdy klaster osiągnie ulgę w ilości miejsca w pełnej puli węzłów, anuluj
AutoBalanceLin Uruchom do końca. W pewnym momencie zadanie może przesunąć dane w nowym kierunku i może zacząć generować niepożądane wyniki. Może to na przykład spowodować odwrócenie przenoszenia danych, co może doprowadzić do tego, że druga pula węzłów będzie prawie całkowicie pojemna, gdy poprzednia pula zostanie opróżniona. Uruchom tylko AutobalanceLIN przez kilka godzin lub do momentu, gdy miejsce zostanie wyczyszczone, a następnie anuluj po osiągnięciu celu.
Gdy klaster osiągnie ulgę w ilości miejsca w pełnej puli węzłów, anuluj
AutoBalanceLin Zadanie:
# isi job cancel autobalancelin
Uwaga: aby uzyskać optymalne wyniki, poziomy ochrony między pulami węzłów powinny mieć taką samą wartość.
Dodatkowe informacje
Wyniki badań laboratoryjnych:
Dwie pule węzłów, równe poziomy
ochrony Dzieje się to przed:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Kontynuuj monitorowanie mniej więcej co godzinę, aż ilość miejsca na dysku osiągnie wystarczający poziom.
Uwaga: Nie pozwól, aby
AutoBalanceLin Uruchom do końca. Zadanie przesuwa dane w przeciwnym kierunku, co może zacząć generować niepożądane wyniki. Zużycie miejsca na dysku może się odwrócić, co może doprowadzić do ponownego zapełnienia puli węzłów. Uruchom to zadanie tylko przez kilka godzin.
Punkt godzinny:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Przestrzeń jest wystarczająco oczyszczona. Pakiet AutoBalanceLIn Zadanie można anulować, ponieważ oczekiwane rezultaty zostały osiągnięte.
Produkty, których dotyczy problem
Isilon X400Właściwości artykułu
Numer artykułu: 000009283
Typ artykułu: How To
Ostatnia modyfikacja: 23 cze 2026
Wersja: 9
Znajdź odpowiedzi na swoje pytania u innych użytkowników produktów Dell
Usługi pomocy technicznej
Sprawdź, czy Twoje urządzenie jest objęte usługą pomocy technicznej.