PowerScale: PowerScale düğümü dinamik IP'leriyle bağlantının kesintili olarak kesilmesi
Summary: Bu makalede, çalışırken yeniden başlatma, çalışırken yükseltme sırasında PowerScale düğümlerinin dinamik IP'leriyle bağlantının aralıklı olarak kesilmesi açıklanmaktadır. Bu durum, istemcideki geçersiz (eski) Adres Çözümleme Protokolü (ARP) girişleri nedeniyle gerçekleşir. ...
Symptoms
Sürekli yeniden başlatma veya sürekli yükseltme sırasında, PowerScale kümesiyle aynı alt ağda bulunan bazı istemcilerin PowerScale dinamik IP'leriyle bağlantısı kesilebilir. Yalnızca Isilon kümesine sahip aynı alt ağda bulunan istemcilerde sorun vardır. İstemciler, sorunla dinamik IP'lere ping bile atamıyor. Bu, aynı Isilon kümesindeki diğer düğümlerde de olabilir. Kümedeki bazı düğümler diğer düğümlerdeki dinamik IP'lere ping atamaz. Dinamik IP'ye ping gönderemeyen bir istemci makinede ARP tablosu kontrol edildiğinde geçersiz bir giriş gösteriliyor. ARP tablosunda hala dinamik IP'yi yanlış MAC adresine eşleyen eski giriş vardır.
Örneğin, düğüm 11 yeniden başlatıldı ve dinamik IP 10.x.x.43, kesinti süresini önlemek için düğüm 10'a taşındı. Ardından, düğüm 1 IP'ye ping atamıyor.
Düğüm 1'deki ARP tablosunu gözden geçirdikten sonra, düğüm 11 girişi geçersizdi. IP 10.x.x.43'ün hala düğüm 11'in MAC ec:0d:xx:xx:c5:00 ile eşlendiğini gösterdi.
node-1# arp -a ? (10.x.x.43) at ec:0d:xx:xx:c5:00 on mlxen1 expires in 232 seconds [ethernet]
Düğüm 11 için MAC adresi ec:0d:xx:xx:c5:00 şeklindedir.
node-11: mlxen0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 node-11: options=d07bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,LINKSTATE> node-11: ether ec:0d:xx:xx:c5:00 node-11: inet 10.x.x.43 netmask 0xffffff00 broadcast 10.x.x.255 zone 1 node-11: nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL> node-11: media: Ethernet autoselect (40Gbase-CR4 <full-duplex,rxpause,txpause>) node-11: status: active
Düğüm 11 yeniden başlatıldığında, IP 10.x.x.43 düğüm 10'a taşındı.
2018-11-15T16:06:45+09:00 <3.6> node-1 isi_smartconnect[5222]: Assigned unused IP 10.x.x.43 to { key=10,40gige-1 addr_idx=0 lni=40gige-1 nic=mlxen0[Up] vlan_nic=<NULL> addrs={ 10.x.x.43 } } . 2018-11-15T16:06:45+09:00 <3.6> node-1 isi_smartconnect[5222]: FLXAPI: OP: FLXAPI_OP_CURRENT_STATE Pool[2:1:1:1]: subnet0 zones: filer25.xxx.com IP[18]: 10.x.x.21:up IP[18]: 10.x.x.54:up IP[17]: 10.x.x.32:up IP[17]: 10.x.x.56:up IP[17]: 10.x.x.30:up IP[16]: 10.x.x.37:up IP[16]: 10.x.x.39:up IP[16]: 10.x.x.45:up IP[15]: 10.x.x.29:up IP[15]: 10.x.x.33:up IP[15]: 10.x.x.49:up IP[14]: 10.x.x.31:up IP[14]: 10.x.x.34:up IP[13]: 10.x.x.38:up IP[13]: 10.x.x.40:up IP[13]: 10.x.x.46:up IP[12]: 10.x.x.41:up IP[12]: 10.x.x.36:up IP[10]: 10.x.x.53:up IP[10]: 10.x.x.43:up IP[9]: 10.x.x.44:up IP[9]: 10.x.x.28:up IP[8]: 10.x.x.51:up IP[8]: 10.x.x.26:up IP[7]: 10.x.x.55:up IP[7]: 10.x.x.35:up IP[6]: 10.x.x.42:up IP[6]: 10.x.x.24:up IP[5]: 10.x.x.52:up IP[5]: 10.x.x.25:up IP[4]: 10.x.x.48:up IP[4]: 10.x.x.50:up IP[3]: 10.x.x.22:up IP[3]: 10.x.x.27:up IP[2]: 10.x.x.47:up IP[2]: 10.x.x.23:up
Düğüm 10 için MAC adresi ec:0d:xx:xx:c0:80 şeklindedir.
node-10: mlxen0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 node-10: options=d07bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,LINKSTATE> node-10: ether ec:0d:xx:xx:c0:80 node-10: inet 10.x.x.43 netmask 0xffffff00 broadcast 10.x.x.255 zone 1 node-10: nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL> node-10: media: Ethernet autoselect (40Gbase-CR4 <full-duplex,rxpause,txpause>) node-10: status: active
Düğüm 1'deki ARP girişi geçersiz (eski) bir MAC adresiyle eşlendi. Bu, herhangi bir istemci veya düğümün düzeltilene kadar IP adresine bağlanamamasına neden olur.
Cause
PowerScale Ağ Tasarımı Hususları"
na göre https://infohub.delltechnologies.com/es-es/t/dell-powerscale-network-design-considerations/"IP adresleri için dinamik ayırmaya sahip bir SmartConnect bölgesi,
başarısız düğümdeki bir IP adresini hemen kümedeki diğer üç düğümden birine çalışır durumda taşır. İstemci G/Ç'sinin kesintisiz devam etmesi için bağlı anahtara birkaç karşılıksız adres çözümleme protokolü (ARP) isteği gönderir.
Aynı alt ağdaki ana bilgisayarlar, IP adresi atandıktan sonra düğüm 10'dan Ücretsiz ARP (GARP) paketlerini almıyordu. Bu nedenle, ARP girişi ana bilgisayarlarda düzgün bir şekilde güncelleştirilmedi ve bu da bir ağ bağlantısı sorununa neden oldu. Bunun nedeni, ARP yayınlarının ağ düzeyinde kesilmesi veya engellenmesidir. Cisco Application Centric Infrastructure (ACI), yanlış yapılandırma nedeniyle bu sorunlara katkıda bulunmuştur.
Resolution
Çözüm:
Uzun vadeli bir çözüm olarak, anahtar tarafında "Gratuitous ARP Flooding" etkinleştirilmelidir.
Aşağıdaki bilgi yazıları, Cisco ACI ile ilgili kümülatif önerileri (ayrıntılı olarak) açıklamayı amaçlamaktadır.
- [000032487] Cisco ACI Ağ Anahtarlarında Yetkisiz IP algılama
- [000028116] IP adresi taşındıktan ve Cisco ACI kullanıldıktan sonra istemcilerin bağlantısı kesiliyor
Geçici Çözüm:
Geçici bir çözüm olarak, eski ARP girdisi, etkilenen ana bilgisayarlarda "arp -d" komutuyla silinebilir. Ana bilgisayarlar, IP için yeni bir ARP çözümleme isteği yayınlar ve ARP tablolarını güncellenmiş MAC adresiyle günceller.
Additional Information
Bu sorun, tüm PowerScale düğümlerinde ve istemci makinelerinde paket yakalama ile daha fazla giderilebilir. Bu, düğümün GARP paketlerini tasarlandığı şekilde aldığını kanıtlar. Ancak sorunun yaşandığı ana bilgisayar GARP paketlerini almadı.
IP 10.x.x.43 düğüm 10'a taşındığında, düğüm 10 gerçekten de IP 10.x.x.43 ile ilgili GARP paketleri gönderdi.
[~]$ tshark -t ad -r node-10_mlxen0.pcap | grep ARP | grep Gratui 3781 2018-11-15 16:06:47.711230 ec:0d:xx:xx:c0:80 Broadcast ARP 42 Gratuitous ARP for 10.x.x.43 (Request) 3783 2018-11-15 16:06:47.753820 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3784 2018-11-15 16:06:47.753841 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3791 2018-11-15 16:06:48.823611 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3792 2018-11-15 16:06:48.823633 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3799 2018-11-15 16:06:49.835902 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3800 2018-11-15 16:06:49.835926 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3807 2018-11-15 16:06:50.933966 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3808 2018-11-15 16:06:50.934000 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3815 2018-11-15 16:06:52.034005 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3816 2018-11-15 16:06:52.034048 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3824 2018-11-15 16:06:53.084292 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3825 2018-11-15 16:06:53.084343 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3832 2018-11-15 16:06:54.134719 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3833 2018-11-15 16:06:54.134764 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3840 2018-11-15 16:06:55.222125 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3841 2018-11-15 16:06:55.222171 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3848 2018-11-15 16:06:56.283997 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3849 2018-11-15 16:06:56.284023 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3856 2018-11-15 16:06:57.370114 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3857 2018-11-15 16:06:57.370142 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request)
Paket yakalama, düğüm 1'in IP 10.x.x.43'ün hareketiyle ilgili herhangi bir GARP paketi almadığını gösteriyor.
[~]$ tshark -t ad -r node-1_mlxen1.pcap | grep -i arp | grep Gratuitous | grep 10.x.x.43 [~]$
Paket yakalama, istemcinin GARP paketlerini de almadığını gösterir.
[~]$ tshark -t ad -r client.pcap | grep ARP | grep Gratuitous | grep 10.x.x.43 [~]$
Ana bilgisayarlar GARP paketlerini almadığında, IP 10.x.x.43 için ARP tablosu girişleri güncelleştirilmiyordu. Hala yanlış MAC ec:0d:xx:xx:c5:00 ile eşlenmiş durumdalar. Böylece IP 10.x.x.43'e ulaşamadılar.