PowerScale: Onregelmatige ontkoppeling van dynamische IP's voor PowerScale-knooppunten
Summary: In dit artikel wordt het af en toe verbreken van de verbinding met de dynamische IP-adressen van PowerScale knooppunten beschreven tijdens het uitvoeren van een herstart of het uitvoeren van een upgrade. Dit gebeurt als gevolg van ongeldige (oude) ARP-vermeldingen (Address Resolution Protocol) op de client. ...
Symptoms
Tijdens een rolling reboot of rolling upgrade kunnen sommige clients in hetzelfde subnet als het PowerScale cluster de verbinding verbreken met de dynamische IP-adressen van PowerScale. Alleen de clients in hetzelfde subnet met het Isilon-cluster hebben het probleem. De clients kunnen niet eens de dynamische IP's met het probleem pingen. Dit kan ook gebeuren met de andere knooppunten in datzelfde Isilon cluster. Sommige knooppunten in het cluster kunnen geen dynamische IP-adressen pingen op andere knooppunten. Controle van de ARP-tabel op een clientcomputer die geen dynamisch IP-adres kan pingen, toont een ongeldige invoer. De ARP-tabel bevat nog steeds de oude vermelding die het dynamische IP-adres aan het verkeerde MAC-adres toewijst.
Knooppunt 11 is bijvoorbeeld opnieuw opgestart en het dynamische IP-adres 10.x.x.43 is verplaatst naar knooppunt 10 om downtime te voorkomen. Vervolgens begon knooppunt 1 het IP-adres niet te pingen.
Na controle van de ARP-tabel op knooppunt 1 was de invoer voor knooppunt 11 ongeldig. Het toonde aan dat IP 10.x.x.43 nog steeds was toegewezen aan de MAC ec:0d:xx:xx:c5:00 van knooppunt 11.
node-1# arp -a ? (10.x.x.43) at ec:0d:xx:xx:c5:00 on mlxen1 expires in 232 seconds [ethernet]
Het MAC-adres voor knooppunt 11 is ec:0d:xx:xx:c5:00.
node-11: mlxen0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 node-11: options=d07bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,LINKSTATE> node-11: ether ec:0d:xx:xx:c5:00 node-11: inet 10.x.x.43 netmask 0xffffff00 broadcast 10.x.x.255 zone 1 node-11: nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL> node-11: media: Ethernet autoselect (40Gbase-CR4 <full-duplex,rxpause,txpause>) node-11: status: active
Wanneer knooppunt 11 opnieuw wordt opgestart, is IP 10.x.x.43 verplaatst naar knooppunt 10.
2018-11-15T16:06:45+09:00 <3.6> node-1 isi_smartconnect[5222]: Assigned unused IP 10.x.x.43 to { key=10,40gige-1 addr_idx=0 lni=40gige-1 nic=mlxen0[Up] vlan_nic=<NULL> addrs={ 10.x.x.43 } } . 2018-11-15T16:06:45+09:00 <3.6> node-1 isi_smartconnect[5222]: FLXAPI: OP: FLXAPI_OP_CURRENT_STATE Pool[2:1:1:1]: subnet0 zones: filer25.xxx.com IP[18]: 10.x.x.21:up IP[18]: 10.x.x.54:up IP[17]: 10.x.x.32:up IP[17]: 10.x.x.56:up IP[17]: 10.x.x.30:up IP[16]: 10.x.x.37:up IP[16]: 10.x.x.39:up IP[16]: 10.x.x.45:up IP[15]: 10.x.x.29:up IP[15]: 10.x.x.33:up IP[15]: 10.x.x.49:up IP[14]: 10.x.x.31:up IP[14]: 10.x.x.34:up IP[13]: 10.x.x.38:up IP[13]: 10.x.x.40:up IP[13]: 10.x.x.46:up IP[12]: 10.x.x.41:up IP[12]: 10.x.x.36:up IP[10]: 10.x.x.53:up IP[10]: 10.x.x.43:up IP[9]: 10.x.x.44:up IP[9]: 10.x.x.28:up IP[8]: 10.x.x.51:up IP[8]: 10.x.x.26:up IP[7]: 10.x.x.55:up IP[7]: 10.x.x.35:up IP[6]: 10.x.x.42:up IP[6]: 10.x.x.24:up IP[5]: 10.x.x.52:up IP[5]: 10.x.x.25:up IP[4]: 10.x.x.48:up IP[4]: 10.x.x.50:up IP[3]: 10.x.x.22:up IP[3]: 10.x.x.27:up IP[2]: 10.x.x.47:up IP[2]: 10.x.x.23:up
Het MAC-adres voor knooppunt 10 is ec:0d:xx:xx:c0:80.
node-10: mlxen0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 node-10: options=d07bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,LINKSTATE> node-10: ether ec:0d:xx:xx:c0:80 node-10: inet 10.x.x.43 netmask 0xffffff00 broadcast 10.x.x.255 zone 1 node-10: nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL> node-10: media: Ethernet autoselect (40Gbase-CR4 <full-duplex,rxpause,txpause>) node-10: status: active
De ARP-vermelding op knooppunt 1 is toegewezen aan een ongeldig (oud) MAC-adres. Dit heeft tot gevolg dat elke client of knooppunt geen verbinding kan maken met het IP-adres totdat het is gecorrigeerd.
Cause
Volgens de "PowerScale Network Design Considerations"
https://infohub.delltechnologies.com/es-es/t/dell-powerscale-network-design-considerations/
"Een SmartConnect-zone met dynamische toewijzing voor IP-adressen verplaatst onmiddellijk het ene IP-adres op het defecte knooppunt naar een van de andere drie knooppunten in het cluster. Het stuurt verschillende aanvragen voor Gratuitous Address Resolution Protocols (ARP) naar de aangesloten switch, zodat de I/O van de client ononderbroken doorgaat."
De hosts op hetzelfde subnet hebben geen Gratuitous ARP (GARP)-pakketten ontvangen van knooppunt 10 nadat het IP-adres was toegewezen. De ARP-vermelding is dus niet correct bijgewerkt op de hosts, wat resulteert in een probleem met de netwerkverbinding. De oorzaak is dat ARP-uitzendingen op netwerkniveau worden stopgezet of geblokkeerd. Cisco Application Centric Infrastructure (ACI) heeft bijgedragen aan deze problemen als gevolg van een verkeerde configuratie.
Resolution
Oplossing:
Als langetermijnoplossing moet "Gratuitous ARP Flooding" aan de kant van de switch worden ingeschakeld.
De volgende knowledge base-artikelen zijn bedoeld om (in detail) cumulatieve aanbevelingen met Cisco ACI te beschrijven.
- [000032487] Rogue IP-detectie in Cisco ACI-netwerkswitches
- [000028116] Clients worden verbroken nadat het IP-adres is verplaatst en Cisco ACI in gebruik is
Tijdelijke oplossing:
Als tijdelijke oplossing kan de verouderde ARP-vermelding worden verwijderd met de opdracht "arp -d" op de betreffende hosts. De hosts zenden een nieuwe ARP-resolutieaanvraag uit voor het IP-adres en werken hun ARP-tabellen bij met het bijgewerkte MAC-adres.
Additional Information
Dit probleem kan verder worden opgelost met een pakketopname op alle PowerScale knooppunten en clientcomputers. Dit bewijst dat het knooppunt de GARP-pakketten heeft ontvangen zoals ontworpen. De host met het probleem heeft echter geen GARP-pakketten ontvangen.
Toen IP 10.x.x.43 werd verplaatst naar knooppunt 10, stuurde knooppunt 10 inderdaad GARP-pakketten met betrekking tot IP 10.x.x.43.
[~]$ tshark -t ad -r node-10_mlxen0.pcap | grep ARP | grep Gratui 3781 2018-11-15 16:06:47.711230 ec:0d:xx:xx:c0:80 Broadcast ARP 42 Gratuitous ARP for 10.x.x.43 (Request) 3783 2018-11-15 16:06:47.753820 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3784 2018-11-15 16:06:47.753841 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3791 2018-11-15 16:06:48.823611 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3792 2018-11-15 16:06:48.823633 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3799 2018-11-15 16:06:49.835902 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3800 2018-11-15 16:06:49.835926 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3807 2018-11-15 16:06:50.933966 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3808 2018-11-15 16:06:50.934000 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3815 2018-11-15 16:06:52.034005 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3816 2018-11-15 16:06:52.034048 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3824 2018-11-15 16:06:53.084292 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3825 2018-11-15 16:06:53.084343 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3832 2018-11-15 16:06:54.134719 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3833 2018-11-15 16:06:54.134764 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3840 2018-11-15 16:06:55.222125 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3841 2018-11-15 16:06:55.222171 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3848 2018-11-15 16:06:56.283997 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3849 2018-11-15 16:06:56.284023 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3856 2018-11-15 16:06:57.370114 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request) 3857 2018-11-15 16:06:57.370142 ec:0d:xx:xx:c0:80 Broadcast ARP 60 Gratuitous ARP for 10.x.x.43 (Request)
De pakketopname toont aan dat knooppunt 1 geen GARP-pakketten heeft ontvangen met betrekking tot de verplaatsing van IP 10.x.x.43.
[~]$ tshark -t ad -r node-1_mlxen1.pcap | grep -i arp | grep Gratuitous | grep 10.x.x.43 [~]$
De packet capture laat zien dat de client de GARP pakketten ook niet heeft ontvangen.
[~]$ tshark -t ad -r client.pcap | grep ARP | grep Gratuitous | grep 10.x.x.43 [~]$
Wanneer de hosts geen GARP-pakketten ontvangen, zijn hun ARP-tabelvermeldingen voor IP 10.x.x.43 niet bijgewerkt. Ze zijn nog steeds toegewezen aan de verkeerde MAC ec:0d:xx:xx:c5:00. Ze konden dus IP 10.x.x.43 niet bereiken.