PowerFlex: Alle SDCs, die von der SDS-VMNIC getrennt wurden, wurden auf Halbduplex zurückgesetzt und automatisch ausgehandelt.
Summary: In diesem Fall wurde die RCM von VxRack-Flex aktualisiert.
Symptoms
Während des Upgrades der RCM eines VxRack Flex hat ein Server die Kommunikation zwischen seinem SDS und allen SDCs verloren.
Cause
Aus irgendeinem Grund wurden Duplex und Geschwindigkeit auf vmnic0 auf Halbduplex zurückgesetzt und automatisch ausgehandelt.
Als das System gestartet wurde, versuchte Scaleio, I/O-Vorgänge über diese NIC zu leiten, was jedoch immer wieder fehlschlug, weil Scaleio versuchte, Vollduplex und 10.000 Geschwindigkeit zu verwenden.
Dies führte dazu, dass der Cisco-Switch den Anschluss, auf dem vmnic0 eingeschaltet war, heruntergefahren wurde, da der Switch dachte, dass der Anschluss aufgrund eines Netzwerkfehlers flattert.
Hier sind einige Aufzeichnungen aus dem vmkernel.log, die das durch dieses Szenario verursachte Flattern veranschaulichen:
2019-05-01T15:46:03.721Z cpu26:86039)netschedHClk: NetSchedHClkWatchdogSysWorld:4552: vmnic0: link up event received, device running at 10000 Mbps so setting queue depth to 86460 bytes with expected 1310 bytes/us 2019-05-01T15:46:04.648Z cpu42:85995)netschedHClk: NetSchedHClkWatchdogSysWorld:4364: vmnic0: hclk scheduler instance clean up 2019-05-01T15:46:04.649Z cpu45:85995)netschedHClk: NetSchedHClkDoFlushQueue:3874: vmnic0: dropping 42 packets from queue netsched.pools.persist.default 2019-05-01T15:46:04.649Z cpu45:85995)netschedHClk: NetSchedHClkDoFlushQueue:3874: vmnic0: dropping 501 packets from queue netsched.pools.vm.67108869 2019-05-01T15:46:04.650Z cpu45:85995)netschedHClk: NetSchedHClkDoFlushQueue:3874: vmnic0: dropping 122 packets from queue netsched.pools.persist.mgmt 2019-05-01T15:46:04.653Z cpu45:85995)netschedHClk: NetSchedHClkWatchdogSysWorld:4475: vmnic0: watchdog world (worldID = 85995) exits 2019-05-01T15:46:07.015Z cpu42:66250)ixgben: ixgben_CheckTxHang:1762: vmnic0: false hang detected on TX queue 0 2019-05-01T15:46:12.017Z cpu42:66250)ixgben: ixgben_CheckTxHang:1762: vmnic0: false hang detected on TX queue 0 2019-05-01T15:46:12.649Z cpu38:65725)ixgben: indrv_UplinkReset:1520: indrv_UplinkReset : vmnic0 device reset started 2019-05-01T15:46:12.649Z cpu38:65725)ixgben: indrv_UplinkQuiesceIo:1483: Stopping I/O on vmnic0 2019-05-01T15:46:12.740Z cpu52:66252)ixgben: ixgben_CheckLink:2514: Link is down for device vmnic0 (0x4307f4af4540) 2019-05-01T15:46:12.740Z cpu52:66252)netschedHClk: NetSchedHClkNotify:2908: vmnic0: link down notification 2019-05-01T15:46:12.740Z cpu52:66252)netschedHClk: NetSchedHClkDoFlushQueue:3874: vmnic0: dropping 211 packets from queue netsched.pools.vm.67108869 2019-05-01T15:46:12.740Z cpu38:65725)ixgben: indrv_DeviceReset:2382: Device Resetting vmnic0 2019-05-01T15:46:12.740Z cpu38:65725)ixgben: indrv_Stop:1950: stopping vmnic0 2019-05-01T15:46:13.013Z cpu38:65725)ixgben: indrv_UplinkStartIo:1460: Starting I/O on vmnic0 2019-05-01T15:46:13.130Z cpu38:65725)ixgben: indrv_UplinkReset:1540: indrv_UplinkReset : vmnic0 device reset completed 2019-05-01T15:46:13.177Z cpu52:66252)ixgben: ixgben_CheckLink:2514: Link is up for device vmnic0 (0x4307f4af4540) 2019-05-01T15:46:13.177Z cpu52:66252)netschedHClk: NetSchedHClkNotify:2900: vmnic0: link up notification 2019-05-01T15:46:13.341Z cpu52:66252)ixgben: ixgben_CheckLink:2514: Link is down for device vmnic0 (0x4307f4af4540) 2019-05-01T15:46:13.341Z cpu52:66252)netschedHClk: NetSchedHClkNotify:2908: vmnic0: link down notification 2019-05-01T15:46:13.348Z cpu52:66252)ixgben: ixgben_CheckLink:2514: Link is up for device vmnic0 (0x4307f4af4540) 2019-05-01T15:46:13.348Z cpu52:66252)netschedHClk: NetSchedHClkNotify:2900: vmnic0: link up notification 2019-05-01T15:46:13.573Z cpu52:66252)ixgben: ixgben_CheckLink:2514: Link is down for device vmnic0 (0x4307f4af4540) 2019-05-01T15:46:13.573Z cpu52:66252)netschedHClk: NetSchedHClkNotify:2908: vmnic0: link down notification
Resolution
1) Legen Sie die korrekten Einstellungen am VMNIC-Port fest. In diesem Fall war es Vollduplex und 10.000 Geschwindigkeit.
2) Lassen Sie den Port am Cisco-Switch abprallen:
Stellen Sie eine PuTTY-Verbindung zum Cisco-Switch her, dem der Port gehört, der gebounct werden muss.
Zeigen Sie alle Ports auf dem Switch an:
#show interfaces status
In unserem Fall war dies der Status, der schlecht war:
Eth1/2/3 316 eth access down linkFlapErrDisabled auto(D) --
Lassen Sie uns nun den Port abprallen lassen:
# enable # configure terminal (config)# interface Ethernet 1/2/3 (config-subif)# shutdown (config-subif)# no shutdown (config-subif)# end # show interfaces Ethernet 1/2/3 status
Der Port sollte anzeigen, dass er aktiviert ist, und das Problem mit SCALEIO behebt sich von selbst, sobald wieder I/O gesteuert wird.