PowerFlex 3.x: Under NDU får SDS panikk og stopper oppgraderingen

En oppgradering fra VxFlex OS 3.0.x.x til PowerFlex 3.5.x.x eller 3.6.0.x
En rullende kjernepanikk i SDS hindrer systemet i å fortsette oppgraderingen.

SDS-prosessen får stadig panikk og starter på nytt med følgende stakksporing:

27/07 08:07:25.381223 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/l2p_sm/l2p_resolver/l2p_resolver_sync_services.c, line 1828, function Resolver_Inter_SyncUnmatchedVto, PID 133106.Panic Expression ALWAYS_ASSERT PANIC_ID_tgt_1588256010820.
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(mosDbg_PanicPrepare+0x13a) [0x93b62a]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncUnmatchedVto+0x69c) [0x643ddc]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncOffsetData+0xd2) [0x644082]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_SyncOffset+0x3e6) [0x6446f6]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Sync+0x1e4) [0x645c54]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Sync+0x59) [0x6542d9]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_UpdateRamCopyEx+0x163) [0x901ba3]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Update+0x4f7) [0x9060f7]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Sync+0x64) [0x9073d4]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(feIo_L2PGatewayUpdate+0x3d8) [0x90cf98]

Under en bakoverbygging av systemet, mens du avslutter IMM (Instant Maintenance Mode), sendes og mottas en feilmelding om feil datasynkronisering på primær (PRI) og sekundær (SEC) SDS. Dermed starter SEC SDS tjenesten på nytt brått for å unngå mulig datainkonsekvens.

Det er et sjeldent scenario under IMM der en mislykket skrivekommando IO feilaktig kan føre til en intern tilregnelighetskontroll (intern dataintegritetskontroll som får SDS-tjenesten til å krasje) under gjenoppbyggingen etter at avslutnings-IMM er fullført. Den mislykkede skrivekommandoen IO skjer før Enter IMM, og under IMM ble det sendt en annen I/O til en nærliggende forskyvning i det samme datasettet.

Automatisert oppgradering ved hjelp av gateway

1. Stopp oppgraderingen ved hjelp av gateway-brukergrensesnittet.
2. Fjern det defekte SDS-kortet fra klyngen, og legg det til på nytt.
3. Start oppgraderingen på nytt fra IM Gateway-brukergrensesnittet og merk av for "Tillat oppgradering selv når den allerede er i oppgraderingstilstand" - oppgraderingen skal starte på nytt og fortsette med komponenter som ennå ikke er oppgradert: 

Manuell oppgradering

Alternativ #1

1. Hvis den samme enheten mislykkes på hver av forekomstene, kobler du den ene enheten frakoblet. Hvis ikke, fjerner du alle SDS-enheter fra SDS.
2. Vent til gjenoppbyggingen er fullført.
3. Når det er fjernet, oppgraderer du SDS og legger det til i klyngen igjen.
4. Fjern neste SDS som må oppgraderes fra klyngen som vil utløse en rebalansering.
5. Når det er fjernet, oppgraderer du SDS og legger det til i klyngen igjen.
6. La rebalanseringen fortsette til systemet har nok kapasitet til å fjerne neste SDS som må oppgraderes – gjenta til alle SDS-ene er oppgradert.

Alternativ #2

Bruk Protected Maintenance Mode (PMM) i stedet for IMM for å opprette en hel tredje kopi. Problemet skal ikke skje med PMM, for eksempel skjer tjenestekrasjsløyfen fordi SDS krasjer under gjenoppbyggingen, kommer opp igjen og gjentar. En vei ut av det er å ta ned det krasjende SDS i en lang nok periode, slik at MDM instruerer en gjenoppbygging fremover i stedet for en bakover. Når det problematiske datasettet er gjenoppbygd, kan SDS hentes opp igjen.
 

Berørte versjoner:

VxFlex OS 3.0.x.x
PowerFlex 3.5.x.x
PowerFlex 3.6.0.x-3.6.1.x

Løst i versjon:

PowerFlex 3.6.2