PowerFlex 3.x: Häiriöttömän päivityksen aikana SDS panikoi ja pysäyttää päivityksen

Päivitys VxFlex OS 3.0.x.x -versiosta PowerFlex 3.5.x.x- tai 3.6.0.x-versioon
SDS:n jatkuva kernel-paniikki estää järjestelmää jatkamasta päivitystä.

SDS-prosessi joutuu jatkuvasti paniikkiin ja käynnistyy uudelleen seuraavalla pinon jäljityksellä:

27/07 08:07:25.381223 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/l2p_sm/l2p_resolver/l2p_resolver_sync_services.c, line 1828, function Resolver_Inter_SyncUnmatchedVto, PID 133106.Panic Expression ALWAYS_ASSERT PANIC_ID_tgt_1588256010820.
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(mosDbg_PanicPrepare+0x13a) [0x93b62a]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncUnmatchedVto+0x69c) [0x643ddc]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncOffsetData+0xd2) [0x644082]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_SyncOffset+0x3e6) [0x6446f6]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Sync+0x1e4) [0x645c54]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Sync+0x59) [0x6542d9]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_UpdateRamCopyEx+0x163) [0x901ba3]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Update+0x4f7) [0x9060f7]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Sync+0x64) [0x9073d4]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(feIo_L2PGatewayUpdate+0x3d8) [0x90cf98]

Kun järjestelmää rakennetaan taaksepäin ja poistutaan pikahuoltotilasta (IMM), ensisijainen (PRI) ja toissijainen (SEC) SDS: ssä lähetetään ja vastaanotetaan virheellinen tietojen synkronointiviesti. Siten SEC SDS käynnistää palvelun uudelleen äkillisesti mahdollisen tietojen epäjohdonmukaisuuden välttämiseksi.

IMM: n aikana on harvinaista, että epäonnistunut kirjoituskomento IO voi virheellisesti johtaa sisäiseen mielenterveyden tarkistukseen (sisäinen tietojen eheyden tarkistus, joka aiheuttaa SDS-palvelun kaatumisen) uudelleenrakennuksen aikana poistumisen IMM: n valmistumisen jälkeen. Epäonnistunut kirjoituskomento IO tapahtuu ennen Enter IMM: ää, ja IMM: n aikana lähetettiin toinen IO läheiselle siirtymälle samassa tietojoukossa.

Automaattinen päivitys yhdyskäytävän avulla

1. Pysäytä päivitys yhdyskäytävän käyttöliittymässä.
2. Poista vikaantunut SDS klusterista ja lisää se sitten takaisin.
3. Käynnistä päivitys uudelleen pikaviestiyhdyskäytävän käyttöliittymästä ja valitse "Salli päivitys, vaikka päivitys olisi jo päivitystilassa" -valintaruutu – päivityksen pitäisi alkaa alusta ja jatkua vielä päivittämättömillä osilla: 

Manuaalinen päivitys

Vaihtoehto #1

1. Jos sama laite vikaantuu jokaisessa esiintymässä, siirrä kyseinen laite offline-tilaan. Jos ei, poista kaikki SDS-laitteet SDS: stä.
2. Odota, että uudelleenmääritys on valmis.
3. Kun SDS on poistettu, päivitä se ja lisää se takaisin klusteriin.
4. Irrota klusterista seuraava päivitettävä SDS, mikä käynnistää uudelleentasapainotuksen.
5. Kun SDS on poistettu, päivitä se ja lisää se takaisin klusteriin.
6. Anna tasapainottamisen jatkua, kunnes järjestelmän kapasiteetti riittää seuraavan päivitettävän SDS:n poistamiseen – toista, kunnes kaikki SDS:t on päivitetty.

Vaihtoehto #2

Käytä suojattua huoltotilaa (PMM) IMM: n sijaan kolmannen kopion luomiseen. Ongelmaa ei pitäisi tapahtua PMM: n kanssa, esimerkiksi palvelun kaatumissilmukka tapahtuu, koska SDS kaatuu uudelleenrakennuksen aikana, palaa ylös ja toistuu. Yksi tapa päästä siitä on purkaa kaatuva SDS riittävän pitkäksi aikaa, jotta MDM ohjaa taaksepäin suuntautuvan uudelleenrakennuksen sijaan. Kun ongelmallinen tietojoukko on rakennettu uudelleen, SDS voidaan tuoda takaisin onnistuneesti.
 

Versiot, joita ongelma koskee:

VxFlex OS 3.0.x.x
PowerFlex 3.5.x.x
PowerFlex 3.6.0.x-3.6.1.x

Korjattu versiossa:

PowerFlex 3.6.2