PowerScale: Korzystanie z funkcji AutoBalanceLin w celu szybkiego przenoszenia danych z pełnej puli węzłów
Summary: W tym artykule opisano sposób użycia zadania AutoBalanceLin w celu szybkiego zwolnienia miejsca, jeśli pula z jednym węzłem jest pełna lub prawie 100% pojemności. Ta procedura powinna być stosowana tylko wtedy, gdy wszystkie inne metody zwalniania miejsca na dysku w puli węzłów zostały wyczerpane. ...
Instructions
Uwaga: Poniższa procedura wymaga usunięcia istniejących zasad puli plików i rozłożenia danych we wszystkich węzłach , niezależnie od przepływu pracy, do którego należą dane.
Bez zasad puli plików nie odbywa się zarządzanie danymi między pulami lub warstwami.
Należy upewnić się, że wpływ tej procedury jest w pełni zrozumiały, ponieważ może to prowadzić do pogorszenia wydajności.
Wykonanie tej czynności jest ostatnią deską ratunku po wypróbowaniu wszystkich innych opcji rozwiązywania problemów z pojemnością.
Powszechnie uważa się, że AutoBalance i AutoBalanceLin równoważą dane tylko w pulach węzłów, a nie między pulami węzłów. Ponadto uważa się, że tylko smartpools/smartpoolstree może przenosić dane między dwiema pulami węzłów.
Testy na OneFS 8.0 i nowszych dowiodą, że nie jest to do końca prawda. Jeśli klaster ma tylko domyślną zasadę puli plików "anywhere:anywhere", funkcja AutoBalanceLin i AutoBalance przenoszą dane między wieloma pulami węzłów.
Tego rozwiązania należy używać tylko jako awaryjnego obejścia w przypadku klastrów, które mają jedną pełną pulę węzłów. Ten proces szybko przenosi dane z pełnej puli węzłów.
Pytanie: Kiedy należy skorzystać z poniższej procedury?
Odpowiedź: Procedura ta będzie stosowana, gdy zachodzą następujące warunki:
a. Klaster zawiera wiele pul węzłów, a co najmniej jedna pula węzłów jest zapełniona
w 100%.b. Istnieje natychmiastowa potrzeba zwolnienia miejsca na dysku w pełnej puli węzłów.
c. Dokładna organizacja danych nie jest bezpośrednim problemem.
Kroki:
1) Zanotuj i usuń wszystkie istniejące zasady puli plików z wyjątkiem "domyślnej" zasady puli plików "any:any", która jest dostarczana z klastrem.
Przed kontynuowaniem tego kroku:
a) Przed usunięciem zasad należy zapisać bieżącą konfigurację zasad puli plików. Jeśli czas na to pozwala, zalecane jest zebranie pełnego dziennika.
b) Domyślnie klastry Isilon są skonfigurowane z domyślnymi zasadami puli plików ustawionymi na zapis danych w folderze "anywhere:anywhere". Przed kontynuowaniem sprawdź, czy zasady domyślnej puli plików zostały przywrócone do tych ustawień domyślnych.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Uruchom zadanie SmartPools, aby zastosować nowe oznaczenia katalogów:
# isi job start smartpools -p 1 --policy medium
Uwaga: Należy się spodziewać, że zadanie Smartpools zakończy się szybciej niż zwykle, gdy wdrożone są tylko domyślne zasady puli plików "anywhere:anywhere".
3) Uruchom zadanie AutoBalanceLin na kilka godzin i monitoruj miejsce. (Uwaga: w przeciwieństwie do AutoBalance, który wykonuje pełny spacer po drzewie przed przeniesieniem jakichkolwiek danych, AutoBalanceLin natychmiast ponownie rozłoży dane)
# isi job start autobalancelin -p 1 --policy medium
Niemal natychmiast zaobserwuj, że dane przemieszczają się między pulami węzłów, a pełna pula węzłów powinna zwolnić miejsce na dysku.
Uwaga: W tym kroku AutoBalanceLin nie musi być uruchamiany do końca. Monitoruj zadanie AutoBalanceLin, aż zostanie osiągnięty cel czyszczenia pełnej puli węzłów, a następnie anuluj zadanie. Zadanie można na przykład anulować, gdy pełna pula węzłów spadnie do 85% pojemności.
Nuta: Monitoruj wykorzystanie klastra i upewnij się, że inne zadania zostały anulowane, lub wstrzymaj je w przypadku niekorzystnego wpływu na miejsce.
Kontynuuj monitorowanie miejsca mniej więcej co godzinę, aż poziom miejsca będzie wystarczający, używając następującego polecenia:
# isi stat -p -v
Uwaga: Ponownie, nie zaleca się, aby AutoBalanceLin działał do końca. W pewnym momencie zadanie może przesunąć dane w nowym kierunku i może zacząć generować niepożądane wyniki. Może to na przykład spowodować odwrócenie przenoszenia danych, co może doprowadzić do tego, że druga pula węzłów będzie prawie całkowicie pojemna, gdy poprzednia pula zostanie opróżniona. Uruchom AutobalanceLIN tylko przez kilka godzin lub do momentu wyczyszczenia miejsca, a następnie anuluj po osiągnięciu celu.
Gdy klaster osiągnie ulgę w miejscu w pełnej puli węzłów, anuluj zadanie AutoBalanceLin:
# isi job cancel autobalancelin
Uwaga: aby uzyskać optymalne wyniki, poziomy ochrony między pulami węzłów powinny mieć taką samą wartość.
Additional Information
Wyniki
testów laboratoryjnych Dwie pule węzłów, równy poziom
ochrony Dzieje się to przed:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Kontynuuj monitorowanie mniej więcej co godzinę, aż ilość miejsca na dysku osiągnie wystarczający poziom.
Uwaga: Nie pozwól, aby AutoBalanceLin działał do końca. Zadanie przesuwa dane w przeciwnym kierunku, co może zacząć generować niepożądane wyniki. Zużycie miejsca na dysku może się odwrócić, co może doprowadzić do ponownego zapełnienia puli węzłów. Uruchom to zadanie tylko przez kilka godzin.
Punkt godzinny:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Przestrzeń jest wystarczająco oczyszczona. Zadanie AutoBalanceLIn można anulować, ponieważ pożądane wyniki zostały osiągnięte.