PowerScale, Isilon, OneFS: Bir kümeyi doğru şekilde kapatma

Giriş

Bu makalede, Dell Isilon Cluster'ı düzgün şekilde kapatma prosedürü açıklanmakta ve yanlış küme kapatma işlemiyle ilişkili riskler hakkında bilgiler yer almaktadır.
 

Kümedeki yanlış kapatılan düğümler, NVRAM pilinin ömründen daha uzun bir süre boyunca sistem gücünden yoksun kalmamalıdır.
Bu, düğüm tipine bağlı olarak yaklaşık üç ila beş gündür.
Düğüm, NVRAM pil ömründen daha uzun bir süre boyunca güçsüz kaldığı halde veriler bir düğüm günlüğünde depolanırsa veriler kaybedilir.
Bu birden çok düğümde gerçekleşirse, kümenin yeniden oluşturulması gerekir.

Bu makaledeki prosedürler veya bilgiler hakkında sorularınız varsa yardım için Dell Isilon Teknik Destek ile iletişime geçin.

İşlemler

Küme kapatma prosedürü için kök kimlik bilgileri ve kümedeki düğümlere seri konsol erişimi gerekir. Prosedür aşağıdaki aşamalara ayrılmıştır.

• 1. Aşama: Önleyici bakım gerçekleştirme
• 2. Aşama: Kümedeki her düğümü kapatma
• 3. Aşama: Düğümlerin başarıyla kapatıldığını doğrulama
• 4. Aşama: Güç kaynağı bağlantısını kesme
• 5. Aşama: Kümedeki her düğümü açma
• 6. Aşama: Küme için Durum Denetimi çalıştırma

Kapatma işlemine başlamadan önce tüm prosedürü okuyun. Bu, her adımı tamamlamak için bağlamı ve sırayı anlamanızı sağlar.
 

1. Aşama: Önleyici bakım gerçekleştirme.
Bu adımlar, planlanan kapanmadan yaklaşık 4-8 hafta önce gerçekleştirilir. Bu aşamanın amacı, kapatma prosedürünü engelleyebilecek bilinmeyen veya gizli donanım veya ürün yazılımı sorunlarını belirlemektir.
 

1. Gerekirse geçmiş referans için günlükleri yükleyin.

# isi diagnostics gather start --gather-mode full

2. Isilon Durum Denetimi Gerçekleştirme veya Talep Etme.
   • Bu, kümenin desteklenebilir ve çalışır durumda olduğundan emin olmak için kümenin durumunu değerlendirir.
   • Bu işlem müşteri tarafından PowerScale kullanılarak yapılabilir: IOCA Küme Analiz Aracını Çalıştırma
   • Uzaktan Reaktif (Müşteri Destek) ekibi tarafından gerçekleştirilebilir. Bu, desteklenen kod sürümlerindeki kümeler için etkin bakım sözleşmesi olan tüm müşteriler tarafından kullanılabilir. Bu gereklilikleri karşılıyorsanız Dell Çevrimiçi Destek sitesinde bir Servis Talebi (SR) açarak "Isilon Durum Denetimi" talep edin. Ardından şu komutu çalıştırarak Sistem Durumu Kontrolü için tüm günlükleri sağlayın

# isi diagnostics gather start --gather-mode full            

*Durum Denetimi, küme sorunlarını gidermeye veya kümenin yapılandırmasını, performansını ya da iş akışını değerlendirmeye yönelik değildir.

3. Aşağıdaki adımları gerçekleştirerek her düğümün "soğuk yeniden başlatmasını" gerçekleştirin. Bu etkinlik için bir bakım aralığı planlanmalıdır.

1. Kümenizdeki her düğümü teker teker kapatın. Her düğümü kapatmak için:
   1. Herhangi bir düğüme bir SSH bağlantısı açın. Aşağıdaki komutu çalıştırarak her düğümü kapatın

isi config
shutdown <node_lnn>

2. Düğümün arkasındaki yeşil güç göstergesi LED'inin artık yanmadığını onaylayarak her düğümün kapandığını doğrulayın.
3. Düğümü tekrar açmak için güç düğmesine basın.
4. Düğümün kümeye yeniden katıldığını ve iyi durumda olduğunu doğrulamak için isi status -q komutunu çalıştırın ve çıktının Health DASR sütununda OK ifadesini arayın.
5. Bir düğüm Health DASR sütununda belirtilen sorunlarla karşılaşırsa veya kümeye yeniden katılamazsa bir sonraki düğümü kapatmadan önce bu sorunları çözün.

Bir sorun örneği seçilmiştir. Düğüm 1 kümeye başarıyla yeniden katıldı ancak Health DASR sütunu düğüme dikkat edilmesi gerektiğini gösteriyor.

mycluster-1# isi status -q

Cluster Name: mycluster
Cluster Health:     [ ATTN]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-A-- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

2. Her düğümü yeniden başlattıktan sonra tüm kümenizin durumunu bir kez daha kontrol edin. Herhangi bir düğüme bir SSH bağlantısı açın ve aşağıdaki komutu çalıştırın:

 isi status -q

isi config
reboot <node_lnn>

Ancak Dell, gizli donanım sorunlarını daha etkili bir şekilde tanımlamak için soğuk yeniden başlatma yaklaşımını kullanmanızı önemle tavsiye eder.
 

2. Aşama: Kümedeki her düğümü kapatma.
Bu adımlar, Isilon Cluster'ı kapattığınız gün gerçekleştirilecektir. Küme genelinde kapatma sırasında, bazı etkenler kapatma işlemini etkileyebilir veya geciktirebilir. Örneğin, bir düğüme yazma işlemi için bekleyen veriler kapanmayı etkileyebilir. 1-2. adımların amacı, kapatma komutunu çalıştırmadan önce tüm istemcilerin kümeyle bağlantısının kesildiğinden ve verilerin düğüm günlüklerinden dosya sistemine düzgün şekilde kaydedildiğinden emin olmaktır. iSCSI istemcileriniz varsa iSCSI hizmeti devre dışı bırakılmadan önce istemcileri kapattığınızdan emin olun.

3. Adımda, bir seri konsol kullanarak kümenizdeki her düğümü sırayla nasıl kapatacağınız açıklanmaktadır. Bu yöntem, bir sonraki düğüme geçmeden önce her düğümün doğru şekilde kapatıldığını doğrulamanıza ve kümenin düzgün bir şekilde kapatılmasını sağlamak için gereken ayarlamaları yapmanıza veya sorunları düzeltmenize olanak tanıdığı için önerilir. Ancak bu yöntem, kapatma komutunu çalıştırmak için her düğüme bir seri konsol bağlamayı gerektirdiğinden zaman alabilir. Kümenizdeki tüm düğümleri aynı anda kapatın bölümünde, kümenizi kapatmak için OneFS komut satırı arayüzünün veya OneFS web yönetimi arayüzünün nasıl kullanılacağı açıklanmaktadır. Bu yöntem 3. adıma göre daha az zaman alır ancak kapatma işlemi sırasında sorunlarla karşılaşan düğümleri tanımlamayı daha zor hale getirir.

1. Isilon, yazma ağırlıklı istemcilerin kapatma prosedürünü engellemediğinden emin olmak için kümenin istemcilerden izole edilmesini önerir. Bunu, kümenizde çalışan istemciye yönelik hizmetleri devre dışı bırakarak yapabilirsiniz. İstemciye yönelik hizmetleri devre dışı bırakmak için aşağıdaki prosedürü uygulayın:
   1. İstemciye yönelik her hizmet için aşağıdaki komutları çalıştırarak kümenizde çalışan istemciye yönelik hizmetleri veya protokolleri tanımlayın:

isi services apache2
isi services isi_hdfs_d
isi services isi_iscsi_d
isi services ndmpd
isi services nfs
isi services smb
isi services vsftpd

mycluster-4# isi services smb
Service 'smb' is enabled.
mycluster-4# isi services nfs
Service 'nfs' is disabled.
mycluster-4#

3. İstemciye yönelik hizmetleri devre dışı bırakın. Bu adımdan sonra tüm istemciler kümeyle bağlantısını hemen kaybeder. Bir hizmeti devre dışı bırakmak için etkinleştirdiğiniz hizmetle ilgili aşağıdaki komutu çalıştırın.

isi services apache2 disable
isi services isi_hdfs_d disable
isi services isi_iscsi_d disable
isi services ndmpd disable
isi services nfs disable
isi services smb disable
isi services vsftpd disable

iSCSI istemcileriniz varsa 2. adımı gerçekleştirmeden önce iSCSI istemcilerinin LUN'larının bağlantısını kestiğinden emin olun. Şunu çalıştırın: isi iscsi list Tüm iSCSI istemcilerinin kümeyle bağlantısının kesildiğini onaylama komutu.

2. Düğüm günlüklerinde depolanan veri yazma işlemlerini dosya sistemine taşımak için isi_for_array isi_flush yaparsınız. Her düğümde aşağıdakine benzer bir çıktı görünür:
   Not: isi_flush çalıştırırken, bir düğümde temizleme işlemi tamamlanana veya düğüm kapanana veya paniğe kapılana kadar durmayacaktır. Sorun olması durumunda ctrl+c işaretini kaldıramazsınız.
    

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
mycluster-1: Cache flushing complete.

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
vinvalbuf: flush failed, 1 clean and 0 dirty bufs remaining
mycluster-2: Flushing cache...
fsync: giving up on dirty

Şunu çalıştırın: isi_for_array isi_flush komutunu tekrar çalıştırın. Herhangi bir düğüm temizlenmezse Dell Isilon Teknik Destek ile iletişime geçin. Bir sonraki adıma geçmeden önce tüm düğümlerin başarılı bir şekilde temizlenmesi gerekir.

3. Kümedeki her düğümü sırayla kapatın ve çıkışı izleyin. Bu yaklaşım, kümedeki bir sonraki düğümü kapatmadan önce sorunları tanımlamanıza ve çözmenize olanak tanıdığı için önerilir. Aşağıdaki adımları gerçekleştirerek her düğümü kapatın:

1. Her düğüme bir seri konsol ekleyin.
2. Aşağıdaki komutu çalıştırın:

isi config
shutdown

Powering the system off using ACPI

3. C. Konsolu izleyin ve donanımla ilgili arıza olaylarını arayın. Başarılı düğüm günlüğü kaydetmeleri aşağıdaki çıktı varyasyonlarında seçilir:

2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Attempting to save journal to default location
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Saving journal to /var/journal/journal.gz
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: All data saved successfully

2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: Attempting to save journal to default location
2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: A valid backup journal already exists. Not saving.

An example of a node journal save failure is highlighted in the output below:
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: ERROR: Validation failed for backup journal. Shutdown aborted
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: Failed command output:

Düğüm günlüğünün kaydetmediğine dair bir hata alırsanız 3. Aşama'daki adımları gerçekleştirerek günlüğü manuel olarak kaydedebilirsiniz.
 

Kümedeki tüm düğümleri aynı anda kapatma.

Acil bir durum varsa kümedeki tüm düğümleri aynı anda kapatabilirsiniz. Ancak bu yöntem, bir sorun olması durumunda her düğümün durumunu ve çıktısını izlemenize olanak sağlamadığı için önerilmez. Bu adımları izlemeyi seçerseniz Dell aşağıdaki prosedürleri gerçekleştirdikten sonra tüm düğümlerin düzgün bir şekilde kapatıldığını doğrulamak için 3. Aşama'daki tüm adımları izlemenizi önemle tavsiye eder.

# isi config shutdown all

3. Aşama: Düğümlerin başarıyla kapatıldığını doğrulama.
Düğümün arkasındaki güç göstergesi ışık yayan diyota (LED) bakarak düğümlerin düzgün şekilde kapandığını doğrulayın. Tüm güç göstergesi LED'leri sönük olmalı veya KAPALI görünmelidir. Bu, düğümün başarıyla kapatıldığını gösterir.
 

Düğümün arkasındaki güç gösterge ışığı hala yanıyorsa düğüm kapanmamıştır. Düğüm kapatılmadıysa veya düğüm günlüğünün düzgün şekilde kaydedilmediğini belirten konsol çıktısı alıyorsanız ( 2. Aşama, 3C adımından itibaren), düğümü kapatmadan önce verilerin diske işlendiğinden emin olmak için günlüğü manuel olarak kaydetmeniz gerekir.

1. Günlüğü manuel olarak kaydetmek ve düğümü kapatmak için aşağıdaki adımları uygulayın:
   1. Düğüm komut satırı arayüzüne yanıt veriyorsa aşağıdaki komutu çalıştırarak düğümü yeniden başlatın:

# isi config reboot

2. Düğüm, komut satırı arayüzüne yanıt vermiyorsa düğümün arkasındaki güç düğmesini basılı tutarak düğümü manuel olarak yeniden başlatın. Bu, düğümün kapanmasına neden olur. 30 saniye bekleyin ve ardından düğüm yedeklemesini önyüklemek için güç düğmesine bir kez basın. Sonraki adıma geçin.

2. Düğümü yeniden başlattıktan sonra tekrar oturum açın ve günlüğü kaydetmek için aşağıdaki adımları uygulayın:
   1. Aşağıdaki komutu çalıştırarak düğümü düzgün bir şekilde tekrar kapatmayı deneyin:

# isi config shutdown

2. Çıktı hala günlüğün kaydedilmediğini gösteriyorsa aşağıdaki komutu çalıştırarak günlüğü manuel olarak kaydedin:

# isi_save_journal

3. Günlük yine de kaydedilmiyorsa /ifs dosya sisteminin bağlantısını kaldırın ve ardından aşağıdaki komutları çalıştırarak günlüğü kaydetmeye zorlayın:

# isi_kill_busy && umount /ifs

4. isi_checkjournal komutunu çalıştırarak günlüğün kaydedildiğini doğrulayın.

# isi_checkjournal

5. Çıktı günlüğün başarıyla kaydedildiğini gösterene kadar bir sonraki adıma geçmeyin.

Gerekiyorsa Dell Teknik Destek ile iletişime geçin.
 

4. Aşama: Güç kaynağı bağlantısını kesme.
Kümeniz başarıyla kapatıldıktan ve düğümlerin gücü kesildikten sonra güç kaynağının kümeyle bağlantısı kesilebilir.
 

NVRAM pilleri
İstemci bir düğüme bir dosya yazdığında, bu yazılar ilk olarak düğümün günlük kartında barındırılan kalıcı RAM'de (NVRAM) depolanır. Bir süre sonra OneFS bu yazma işlemlerini diske işler. Planlanmamış bir elektrik kesintisi durumunda NVRAM'de depolanan verileri korumak için her düğümde NVRAM pilleri (yedeklilik için iki adet) bulunur. Kapatılan ancak bir güç kaynağına bağlı kalan bir düğüm NVRAM pillerini yenilemeye devam eder. Güç kaynağının düğümle bağlantısı kesildiğinde NVRAM pilleri boşalmaya başlar. Mevcut nesil düğümlerde (X200, S200, X400 ve NL400) pil ömrü yaklaşık beş gündür. Önceki nesil düğümlerde NVRAM pil ömrü yaklaşık üç gündür.

Dell Technologies, elektrik kesintisi sırasında önemli bir süre NVRAM pillerine bağlı kalmamak için düğümlerin düzgün şekilde kapatılmasını önerir.
 

Bir düğümdeki NVRAM pilleri tamamen biterse düğüm salt okunur moda önyüklenir ve NVRAM pilleri tamamen şarj olana kadar yaklaşık 30 dakika salt okunur modda kalır. Piller yeniden şarj edildiğinde, düğüm otomatik olarak normal okuma/yazma moduna döner.
 

5. Aşama: Kümedeki her düğümü açma.
Bu adımlar, Isilon Cluster'ı yeniden başlatmaya hazır olduğunuzda gerçekleştirilecektir.

1. Güç kaynağını her düğüme yeniden bağlayın.
2. Önyüklemek için ön paneldeki veya her düğümün arkasındaki güç düğmesine basın.
3. Tüm düğümler açıldıktan sonra, isi status -q Kümenizin durumunu gözden geçirme komutu. Devam etmeden önce Health DASR sütununda tüm düğümlerin OK durumda olduğunu ve salt okunur (R) modda olmadığını doğrulayın. Sağlıklı bir küme için aşağıdakine benzer bir çıktı gösterilmelidir:

Cluster Name: mycluster
Cluster Health:     [ OK ]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-OK- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

4. 2. Aşama, 1b Adımında oluşturulan etkin hizmetlerin listesine bakın ve aşağıdaki komutlardan birini veya daha fazlasını çalıştırarak devre dışı bırakılan hizmetleri etkinleştirin:

isi services apache2 enable
isi services isi_hdfs_d enable
isi services isi_iscsi_d enable
isi services ndmpd enable
isi services nfs enable
isi services smb enable
isi services vsftpd enable

5. İstemcilerinizin kümeye bağlanabildiğini ve olağan iş akışlarını gerçekleştirebildiğini doğrulayın. Kümeniz normal şekilde çalışıyor olmalıdır.

1. Upload a full log toplamak:

# isi_gather_info --esrs

2. Uzaktan Reaktif (Müşteri Desteği) ekibi tarafından bir Isilon durum kontrolü gerçekleştirin veya talep edin.

Sistem durumu denetimlerini çalıştırma adımları.

PowerScale: IOCA Küme Analiz Aracını Çalıştırma.

3. Uzaktan Reaktif Destek ekibini kullanarak bir durum denetimi talep edin

Bu, desteklenen kod sürümlerindeki kümeler için etkin bakım sözleşmesi olan tüm müşteriler tarafından kullanılabilir.

Bu gereklilikleri karşılıyorsanız Dell Çevrimiçi Destek sitesinde bir Servis Talebi (SR) açarak "Isilon Durum Denetimi" talep edin.

*Durum Denetimi, küme sorunlarını gidermeye veya kümenin yapılandırmasını, performansını ya da iş akışını değerlendirmeye yönelik değildir.

• PowerScale: IOCA Küme Analiz Aracını Çalıştırma
• PowerScale: Isilon: PowerScale/Isilon düğümlerinin seri numaralarını bulma.