PowerScale: Tam düğüm havuzundan hızlı bir şekilde veri taşımak için AutoBalanceLin i kullanma
Summary: Bu makalede, tek bir düğüm havuzu doluysa veya neredeyse %100 kapasiteye sahipse hızlı bir şekilde alan açmak için AutoBalanceLin işinin nasıl kullanılacağı açıklanmaktadır. Bu prosedür yalnızca bir düğüm havuzundaki disk alanını boşaltmanın diğer tüm yöntemleri tükenmişse kullanılmalıdır. ...
Instructions
Not: Aşağıdaki prosedür, mevcut dosya havuzu politikalarının kaldırılmasını ve verilerin ait olduğu iş akışından bağımsız olarak tüm düğümlerde verilerin şeritlenmesini gerektirir.
Dosya Havuzu İlkeleri olmadan havuzlar veya katmanlar arasında veri yönetimi gerçekleştirilmez.
Performans düşüşüne yol açabileceğinden, bu prosedürün etkisinin tam olarak anlaşıldığından emin olun.
Bunu ancak kapasite sorunlarını çözmeye yönelik diğer tüm seçenekler denendikten sonra son çare olarak gerçekleştirin.
AutoBalance ve AutoBalanceLin'in düğüm havuzları arasındaki verileri değil, yalnızca düğüm havuzları içindeki verileri dengelediğine inanılır. Ayrıca, yalnızca smartpools/smartpoolstree'nin iki düğüm havuzu arasında veri taşıyabileceğine inanılmaktadır.
OneFS 8.0 ve üzeri sürümlerde yapılan testler, bunun tamamen doğru olmadığını kanıtlıyor. Kümenin yalnızca varsayılan Dosya Havuzu politikası "anywhere:anywhere" ise AutoBalanceLin ve AutoBalance, verileri birden fazla düğüm havuzu arasında taşır.
Bu yalnızca bir tam düğüm havuzuna sahip kümeler için acil durum geçici çözümü olarak kullanılmalıdır. Bu işlem, verileri hızlı bir şekilde tam düğüm havuzundan taşır.
Soru: Aşağıdaki prosedür ne zaman kullanılır?
Cevap: Bu prosedür, aşağıdaki koşullar mevcut olduğunda kullanılır:
a. Küme birden fazla düğüm havuzu içeriyor ve düğüm havuzlarından biri veya daha fazlası %100 dolu.
b. Tam düğüm havuzunda disk alanı boşaltmak için acil bir gereklilik vardır.
c. Verilerin tam olarak düzenlenmesi acil bir endişe kaynağı değildir.
Adım -ları:
1) Kümeyle birlikte gönderilen "default" "any:any" dosya havuzu politikası dışındaki tüm mevcut dosya havuzu politikalarını not edin ve ardından silin.
Bu adıma geçmeden önce:
a) Politikaları kaldırmadan önce mevcut dosya havuzu politika yapılandırmasını kaydedin. Zaman müsaitse tam günlük toplama işlemi önerilir.
b) Varsayılan olarak Isilon kümeleri, "anywhere:anywhere" dizinine veri yazmak üzere Varsayılan Dosya Havuzu Politikası ile yapılandırılır. Devam etmeden önce Default-File Pool Policy'nin bu varsayılan ayarlara geri döndürüldüğünü doğrulayın.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Yeni dizin işaretleri uygulamak için bir SmartPools işi çalıştırın:
# isi job start smartpools -p 1 --policy medium
Not: Yalnızca anywhere:anywhere Varsayılan Dosya Havuzu Politikası uygulandığında Smartpools işinin normalden daha hızlı tamamlanmasını bekleyebilirsiniz.
3) AutoBalanceLin işini birkaç saat çalıştırın ve alanı izleyin. (Not: Herhangi bir veriyi taşımadan önce tam bir ağaç yürüyüşü yapan AutoBalance'ın aksine, AutoBalanceLin verileri hemen yeniden şeritler)
# isi job start autobalancelin -p 1 --policy medium
Hemen ardından, verilerin düğüm havuzları arasında yer değiştirdiğini ve tam düğüm havuzunun disk alanında boş yer açması gerektiğini gözlemleyin.
Bilginize: Bu adım için AutoBalanceLin'in tamamlanması için çalışması gerekmez. Tam düğüm havuzunu temizleme hedefine ulaşılana kadar AutoBalanceLin işini izleyin ve ardından işi iptal edin. Örneğin, tam düğüm havuzu kapasitenin %85'ine düştüğünde işi iptal edebilirsiniz.
Not: Küme kullanımını izleyin ve diğer işlerin iptal edildiğini onaylayın veya alan olumsuz etkileniyorsa duraklatın.
Aşağıdaki komutu kullanarak alan yeterli düzeye gelene kadar her saat başı alanı izlemeye devam edin:
# isi stat -p -v
Not: Tekrar belirtiyorum, AutoBalanceLin'in tamamlanmasına izin vermeniz önerilmez. Belirli bir noktada, iş verileri yeni bir yöne kaydırabilir ve istenmeyen sonuçlar üretmeye başlayabilir. Örneğin, önceki havuz boşalırken diğer düğüm havuzunun tam kapasiteye yaklaşmasına yol açarak veri hareketini tersine çevirebilir. AutobalanceLIN'i yalnızca birkaç saat veya alan temizlenene kadar çalıştırın, ardından hedefe ulaşıldığında iptal edin.
Küme tam düğüm havuzunda alan rahatlaması sağladıktan sonra AutoBalanceLin işini iptal edin:
# isi job cancel autobalancelin
Not: En iyi sonuçlar için düğüm havuzları arasındaki koruma düzeyleri eşit değerde olmalıdır.
Additional Information
Laboratuvar Test Sonuçları
İki düğüm havuzu, eşit koruma düzeyleri
Bu daha önce:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Disk alanı yeterli düzeye gelene kadar her saat başı izlemeye devam edin.
Bilginize: AutoBalanceLin'in tamamlanmasına izin vermeyin. İş, verileri ters yönde kaydırır ve bu da istenmeyen sonuçlar üretmeye başlayabilir. Tüketilen disk alanı tersine dönebilir ve muhtemelen yeniden neredeyse dolu bir düğüm havuzuna yol açabilir. İşi yalnızca birkaç saat çalıştırın.
Bir saatlik nokta:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Alan yeterince temizlendi. İstenen sonuçlar elde edildiğinden AutoBalanceLIn işi iptal edilebilir.