PowerFlex 3.x: Under NDU får SDS panik och stoppar uppgraderingen

En uppgradering från VxFlex OS 3.0.x.x till PowerFlex 3.5.x.x eller 3.6.0.x
En rullande kernelpanik i SDS hindrar systemet från att fortsätta uppgraderingen.

SDS-processen fortsätter att få panik och startar om med följande stackspårning:

27/07 08:07:25.381223 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/l2p_sm/l2p_resolver/l2p_resolver_sync_services.c, line 1828, function Resolver_Inter_SyncUnmatchedVto, PID 133106.Panic Expression ALWAYS_ASSERT PANIC_ID_tgt_1588256010820.
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(mosDbg_PanicPrepare+0x13a) [0x93b62a]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncUnmatchedVto+0x69c) [0x643ddc]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncOffsetData+0xd2) [0x644082]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_SyncOffset+0x3e6) [0x6446f6]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Sync+0x1e4) [0x645c54]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Sync+0x59) [0x6542d9]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_UpdateRamCopyEx+0x163) [0x901ba3]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Update+0x4f7) [0x9060f7]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Sync+0x64) [0x9073d4]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(feIo_L2PGatewayUpdate+0x3d8) [0x90cf98]

Under en bakåtversion av systemet, när Instant Maintenance Mode (IMM) avslutas, skickas och tas ett felaktigt datasynkroniseringsmeddelande emot på den primära (PRI) och sekundära (SEC) SDS:en. Därför startar SEC SDS om tjänsten abrupt för att undvika eventuell inkonsekvens i data.

Det är ett sällsynt scenario under IMM där ett misslyckat skrivkommando-I/O felaktigt kan leda till en intern sanitetskontroll (intern dataintegritetskontroll som gör att SDS-tjänsten kraschar) under återskapandet efter att avslutnings-IMM har slutförts. Det misslyckade skrivkommandot IO inträffar före Enter IMM och under IMM skickades en annan IO till en närliggande förskjutning i samma datauppsättning.

Automatiserad uppgradering med gatewayen

1. Stoppa uppgraderingen med hjälp av gatewayanvändargränssnittet.
2. Ta bort den felande SDS:en från klustret och lägg sedan till den igen.
3. Starta om uppgraderingen från IM Gateway-gränssnittet och markera kryssrutan "Tillåt uppgradering även när den redan är i uppgraderingsläge" – uppgraderingen bör börja om och fortsätta med komponenter som ännu inte har uppgraderats: 

Manuell uppgradering

Alternativ #1

1. Om samma enhet misslyckas på var och en av förekomsterna kopplar du från den enskilda enheten. Om inte, ta bort alla SDS-enheter från SDS.
2. Vänta tills ombyggnaden är klar.
3. När du har tagit bort SDS-datakortet uppgraderar du det och lägger till det i klustret igen.
4. Ta bort nästa SDS som måste uppgraderas från klustret, vilket utlöser en ombalansering.
5. När du har tagit bort SDS-datakortet uppgraderar du det och lägger till det i klustret igen.
6. Låt ombalanseringen fortsätta tills systemet har tillräckligt med kapacitet för att ta bort nästa SDS som måste uppgraderas – upprepa tills alla SDS:er har uppgraderats.

Alternativ #2

Använd det skyddade underhållsläget (PMM) i stället för IMM för att skapa en fullständig tredje kopia. Problemet bör inte inträffa med PMM, till exempel att tjänstkraschloopen inträffar eftersom SDS kraschar under återskapandet, kommer tillbaka och upprepas. En väg ut ur det är att ta ner den kraschande SDS under en tillräckligt lång period så att MDM instruerar en framåtbyggd snarare än en bakåt. När den problematiska datauppsättningen har byggts om kan SDS tas upp igen.
 

Berörda versioner:

VxFlex OS 3.0.x.x
PowerFlex 3.5.x.x
PowerFlex 3.6.0.x-3.6.1.x

Åtgärdat i version:

PowerFlex 3.6.2