PowerFlex'in Mevcut Bir Kümeye Düğüm Eklemesi Ağ Kararsızlığına Neden Olabilir

Senaryo
Ağa yeni düğümler eklendiğinde yaygın bağlantı sorunları gözlemlenebilir. Bağlantı sorunları PowerFlex dışında da görülebilir.

Belirti -leri
Çeşitli belirtiler vardır ve her site bunlardan bir veya daha fazlasını içerebilir:

Müşteri bir ana bilgisayardan belirli IP adreslerine ping gönderemiyor olabilir ancak bunu farklı bir ana bilgisayardan yapabilir.
Müşteri, çeşitli ağ aygıtlarına (anahtarları gibi) SSH oturumu açamayabilir.
Sunucu, rsyslog gibi harici hizmetlere erişemeyebilir.
SDC'ler tarafından bildirilen yuva ayırma hataları ve bağlantı kesilmeleri olabilir:

2022-03-28 15:55:14.310000:4507407:NEW_SDC_CONNECTED WARNING New SDC connected. ID: c39eb4b2000000ca; IP: 192.168.192.239,192.168.176.239,192.168.168.239,192.168.184.239; GUID: 23D8FFD8-E3E3-4A68-9459-D6AFCB1480DF
...
2022-03-28 15:55:17.439000:4507422:OSCILLATION_COUNTER_PASSED_THRESHOLD WARNING SDC (Name: , ID: c39eb4b2000000ca) reports frequently exceeded socket allocation failures. Short window threshold (300 socket allocation failures in 60 seconds). 
2022-03-28 15:55:17.439000:4507423:OSCILLATION_COUNTER_PASSED_THRESHOLD WARNING SDC (Name: , ID: c39eb4b2000000ca) reports frequently exceeded socket allocation failures. Medium window threshold (500 socket allocation failures in 3600 seconds).
...
2022-03-28 16:19:29.708000:4507849:SDC_DISCONNECTED WARNING SDC disconnected. ID: c39eb4b2000000ca; GUID: 23D8FFD8-E3E3-4A68-9459-D6AFCB1480DF

Bağlantı durumu uyarılarıyla birlikte büyük olasılıkla SDS ayrıştırma olayları olacaktır:

2022-03-28 15:55:28.223000:4507431:SDS_DECOUPLED ERROR SDS: Sds-pdc1lfisnxbsn01.fnfis.com (id: b0abeb1300000000) decoupled. 
2022-03-28 15:55:34.488000:4507433:CMATRIX_POLICY_BECAME_WORSE WARNING The inter-SDS connectivity health for Protection Domain ID: 7a1f601000000000 has changed from HEALTHY to REBUILD_ALLOWED

Yeni sistemler kapatıldığında kararlılık yeniden sağlandı.

Etki

Davranış ciddiyse DU oluşabilir. Başarılı yeniden yapılanmalara sahip SDS ayrıştırmaları daha yaygındır.

Ek düğümler, sunucuda yapılandırılan maksimum ARP girişi sayısını aştı.

Geçerli ARP ayarlarını belirlemek için aşağıdaki komutu çalıştırın:

sysctl -a | grep "net.ipv4.neigh.default.gc_thresh"
net.ipv4.neigh.default.gc_thresh1 = 128
net.ipv4.neigh.default.gc_thresh2 = 512
net.ipv4.neigh.default.gc_thresh3 = 1024

Bu bilgiler günlük paketinde de sysctl.txt yer alır:

$ grep "net.ipv4.neigh.default.gc_thresh" /path/to/server_directory/sysctl.txt
net.ipv4.neigh.default.gc_thresh1 = 128
net.ipv4.neigh.default.gc_thresh2 = 512
net.ipv4.neigh.default.gc_thresh3 = 1024

Şu anda kaç ARP girişinin kullanıldığını belirlemek için aşağıdaki komutu çalıştırın:

arp –a | grep ether | wc –l

Bu bilgiler günlük paketinde arp_av.txt da yer alır:

$ grep "ether" /path/to/server_directory/arp_av.txt | wc -l
565

Geçici Çözüm

ARP eşiğini artırın.

- PxFM sürüm 3.7.1 ve üstü, ayarları otomatik olarak güncelleyecektir (bu değişiklik, V4.0+ ile 2.000 SDC'yi desteklemek için uygulanmıştır).

- Aşağıdaki ayarlar PowerFlex 3.6 ve sonraki sürümler için test edilmiş ve desteklenmiştir.

- Tutarlılık sağlamak adına tüm MDM'lerde, SDS'lerde ve SDC'lerde aşağıdaki değişiklikler yapılmalıdır.

sysctl.conf dosyasındaki eşikleri güncelleştirin:

file="/etc/sysctl.conf"
cp "$file" "$file".backup
if grep -q "net.ipv4.neigh.default.gc_thresh" "$file"; then
    sed -i 's/net.ipv4.neigh.default.gc_thresh1 = [0-9]\+/net.ipv4.neigh.default.gc_thresh1 = 8192/' "$file"
    sed -i 's/net.ipv4.neigh.default.gc_thresh2 = [0-9]\+/net.ipv4.neigh.default.gc_thresh2 = 16384/' "$file"
    sed -i 's/net.ipv4.neigh.default.gc_thresh3 = [0-9]\+/net.ipv4.neigh.default.gc_thresh3 = 32768/' "$file"
    sysctl -p
else
    echo -e "net.ipv4.neigh.default.gc_thresh1 = 8192 \nnet.ipv4.neigh.default.gc_thresh2 = 16384 \nnet.ipv4.neigh.default.gc_thresh3 = 32768" >> "$file"
    sysctl -p
fi

Komut dosyasının yaptığı şey şudur:

Dosya değişkeninde dosyanın adı olarak sysctl.conf tanımlar.

Herhangi bir değişiklik yapmadan önce sysctl.conf dosyasının bir kopyasını oluşturur.

Dosyada "net.ipv4.neigh.default.gc_thresh" ifadesini içeren satırın mevcut olup olmadığını kontrol etmek için grep -q kullanır. -q bayrağı grep'i sessiz yapar ve yalnızca başarılı veya başarısız çıkış durumunu döndürür.

Grep başarılıysa (yani satır varsa), thresh[1|2|3] değerlerini dosya içinde sırasıyla 8192, 16384 ve 32768 olarak güncellemek için sed kullanır ve sysctl.conf dosyasındaki değişiklikleri uygulamak için sysctl -p komutunu çalıştırır.

Grep başarılı olmazsa (yani satır yoksa), satırları "... thresh1 = 8192", "... thresh2 = 16384" ve "... thresh3 = 32768" dosyasını ekler ve sysctl.conf dosyasındaki değişiklikleri uygulamak için sysctl -p komutunu çalıştırır.

Etkilenen Sürümler
Yok - Sorun PowerFlex e özgü değildir.

Sorunun Düzeltildiği Sürüm
:YOK

PxFM müşterileri için Geçici Çözüm bölümünde yer alan yukarıdaki yoruma bakın.