PowerFlex Management Platform - Cisco Nexus switchupgrade mislukt door SSH time-out

Scenario

Na het starten van de upgrade van de Cisco Nexus-switch probeert het systeem het firmwarebestand over te dragen, zoals weergegeven in de onderstaande implementatielogboeken:

INFO  [2024-10-08T11:41:43.149490] 315108: provider/base.rb:239:in `process!': Resources for cisconexus5k-fdoXXXXXXX:
 {"asm::firmware"=>
  {"cisconexus5k-fdoXXXXXXX"=>
    {"asm_hostname"=>"10.10.26.16",
     "decrypt"=>false,
     "force_restart"=>true,
     "http_password"=>"test",
     "http_user"=>"test",
     "install_type"=>"uri",
     "path"=>
      "https://test:test@10.10.10.15:443/httpshare/download/8aaa8037910dd23d01910f4a911b159c/nxos64-cs.10.4.2.F.bin",
     "product"=>"cisconexus5k",
     "server_firmware"=>
      "[{\"instance_id\":null,\"component_id\":\"31148\",\"uri_path\":\"https://dellpowerflex.com:443/httpshare/download/8aaa8037910dd23d01910f4a911b159c/nxos64-cs.10.4.2.F.bin\",\"version\":null}]",
     "version"=>"10.4(2)"}}}

Tijdens deze overdracht duurt het proces ongeveer 3-5 minuten voordat het vastloopt, waardoor de verbinding een time-out krijgt. Het uitzonderingenlogboek bevat de volgende gegevens:

#<RuntimeError: env --unset=RUBYOPT --unset=GEM_HOME --unset=RUBYLIB --unset=GEM_PATH --unset=BUNDLE_BIN_PATH RUBYLIB=/opt/service/lib:/opt/asm-deployer/lib:/opt/puppetlabs/puppet/lib:/opt/dependencies/dell-asm-util/lib PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/opt/puppetlabs/puppet/bin:/opt/puppetlabs/bin puppet asm process_node --debug --trace --filename /opt/Dell/ASM/deployments/Job-5c4d4f5b-5fb2-4948-9fe7-8ece57b4b2e7-2/resources/cisconexus5k-fdoXXXXXXX.yaml --run_type apply --statedir /opt/Dell/ASM/deployments/Job-5c4d4f5b-5fb2-4948-9fe7-8ece57b4b2e7-2/resources --always-override cisconexus5k-fdoXXXXXXX failed; output in /opt/Dell/ASM/deployments/Job-5c4d4f5b-5fb2-4948-9fe7-8ece57b4b2e7-2/cisconexus5k-fdoXXXXXXX.out>

In dit stadium mislukt de upgrade en wordt het cisconexus5k-fdoXXXXXXX.out Bestand bevat de volgende fout:

Debug: SSH send only: copy https://test:test@10.10.10.15:443/httpshare/download/8aaa8037910dd23d01910f4a911b159c/nxos64-cs.10.4.2.F.bin bootflash: vrf management
Error: execution expired
Error: /Stage[main]/Asm::Resource_wrapper/Asm::Firmware[cisconexus5k-fdoXXXXXX]/Cisconexus5k_firmwareupdate[firmware_update]/returns: change from  to '#' failed: execution expired

Impact 

Kan switches met PFxM niet upgraden.

From Switch:
ping <MVM-MGMT> packet-size 1500 count 1000 vrf management
copy https://X.X.X.X:443/httpshare/download/<PATH> bootflash: vrf management
show vrf
show ip route vrf management
traceroute

Het belangrijkste probleem is asymmetrische routering op de MVM's:

• De Cisco-switches en PFMP-hosts hebben interfaces binnen het subnet 10.10.26.16/25 (OOB-netwerk).
• Routering is geconfigureerd op het PFMP-beheernetwerk om van het beheer naar de OOB te routeren.
• Aanvragen voor bestandsoverdracht van Cisco Switch (10.10.26.23) zijn aangekomen bij PFMP1 met behulp van eth1 (10.10.26.12). Vervolgens vertrekt het uitgaande antwoord van eth0 (10.10.10.23).
• Vanwege de netwerkconfiguratie, inclusief firewall-instellingen, beveiligingsbeleid en netwerkregels, liep de bestandsoverdracht vast. Dit probleem is ontstaan omdat aanvragen zijn verzonden naar PFMP1 op interface eth1, maar de antwoorden zijn teruggestuurd naar de switch vanaf de eth0-interface van PFMP1, waardoor de verbinding werd verbroken.

Om het probleem op te lossen, moeten de volgende acties worden ondernomen:

Schakel de eth1-interface (NIC) uit:

Schakel de eth1-interface op de PFMP's uit:

ip link set dev eth1 down

Verwijder eth1 uit de netwerkconfiguratie:

Verwijder of verplaats het netwerkconfiguratiebestand voor eth1 om te voorkomen dat het bij opnieuw opstarten wordt geopend.

Bijvoorbeeld op een Linux-systeem:

mv /etc/sysconfig/network-scripts/ifcfg-eth1 /etc/sysconfig/network-scripts/ifcfg-eth1.bak

Getroffen versie

PFMP 4.x

Opgelost in versie

N.v.t. - werkt zoals verwacht