PowerFlexin ohjelmistomääritetty päivitys Pistorasioiden sulkeminen ilman verkko-ongelmia
Summary: SDS ilmoittaa, että pistorasiat on suljettu ilman verkkotapahtumia tai todisteita verkko-ongelmista.
Symptoms
Skenaario
SDS ilmoittaa, että etäprosessit (SDC:t, SDS:t, MDM:t) sulkevat vastakkeita, eikä verkkokortin alastulotapahtumia, kehyksen putoamista tai pakettihävikkiä ole havaittu.
Oireet
Tapahtumaloki raportoi SDS-yhteyden menetyksen, joko yhteyden irrottamisen tai uudelleenmuodostuksen:
2017-11-11 16:52:12.101 SDS_RECONNECTED INFO SDS: xyz_d35 (ID 67211111110089) reconnected 2017-11-11 16:52:13.690 MDM_DATA_FAILED CRITICAL The system is now in DATA FAILURE state. Some data is unavailable. 2017-11-11 16:52:15.791 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
Sitä ennen näemme seuraavanlaisia virheitä SDS-jäljityksissä.
Käyttöturvallisuustiedote yritti lähettää, ja vastaaminen kesti >1 sekunnin:
11/11 16:52:04.527408 0x7ff0b19eaeb0:contNet_OscillationNotif:01720: Con 672cb111110099 - Oscillation of type 5 (RPC_LINGERED_1SEC) reported
Socket vertaisryhmän kanssa suljettiin toiselta puolelta, koska he eivät vastaanottaneet lähettämäämme alemman tason keepalivejä:
11/11 16:52:06.241105 0x7ff0b19e1eb0:contNet_OscillationNotif:01720: Con a71d2b5d00000078 - Oscillation of type 1 (SOCKET_DOWN) reported
Toinen esimerkki tästä näyttää tältä:
11/11 16:52:06.241224 0x7ff0b19e1eb0:contNet_OscillationNotif:01720: Con a71d2b3c00000057 - Oscillation of type 2 (IO_ERROR) reported
Muut indikaattorit:
Iterations
ScaleIO: n alemman tason verkkokeepalive-ajastin mitataan iteraatioina, jotka ovat 100 millisekunnin pituisia.
MDM-SDS-aikakatkaisu> on 20 iteraatiota eli 2 sekuntia, kun taas MDM-MDM keepalive -aikakatkaisu on 3 iteraatiota tai 300 ms.
Kaksikymmentä iteraatiota ylitti:
11/11 16:52:11.685281 0x7ff752d1beb0:netPath_IsKaNeeded:01858: :: Connected Live CLIENT path 0x7ff6e2192a00 of portal 0x7ff6e2192900 net 0x7ff7480e1110 socket 210 inflights 0 didn't receive message for 20 iterations from 10.124.162.109:7072. Marking as down
Pistorasiat alas Nämä jälkijäljet osoittavat, milloin pistorasiat laskivat:
11/11 16:52:09.787793 0x7ff752cf7eb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.130.109 - Oscillation of type SOCKET_DOWN reported 11/11 16:52:11.685290 0x7ff752d1beb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.162.109 - Oscillation of type RCV_KA_DISCONNECT reported 11/11 16:52:11.685308 0x7ff752cf7eb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.162.109 - Oscillation of type SOCKET_DOWN reported
Tämä tulostus tarkoittaa, että SDS: n viimeinen kanta meni alas ja on kohta, jossa SDS katsotaan irrotetuksi:
11/11 16:52:11.685319 0x7ff752cf7eb0:tgtMgr_TgtDisconnectCB:07818: Tgt: 672cba7400000089 ConId: 672cba7400000089
MDM antaa addmdm-komennon, jolla SDS saa yhteyden uudelleen.
IO-vika estetty
Tiedämme, että IO_FAULT_BLOCKED tapahtuu, kun SDS kieltäytyy IO:sta, koska se ei saa yhteyttä MDM:ään, mutta nämä tiedot ovat puutteellisia.
Käyttöturvallisuustiedote lähettää keepalivejä MDM:ään joka sekunti, ja jos MDM ei saa tätä 5 sekuntiin, käyttöturvallisuustiedote katsotaan aikakatkaistuksi ja merkitään irralliseksi.
MDM lähettää käyttöturvallisuustiedotteelle "jatka työskentelyä" -viestin joka sekunti. Kun SDS ei vastaanota tätä viestiä 5 sekuntiin, se kieltäytyy IO: sta IO_FAULT_BLOCKED: llä:
11/11 16:52:12.007045 0x7ff0b0cdfeb0:ioh_NewRequest:05490: Write to comb f778038007f - Done rc is IO_FAULT_BLOCKED (Lba 6721528 8), volume 6e1a2f4a0000075d (dit) 11/11 16:52:12.008825 0x7ff0b0ec5eb0:ioh_NewRequest:05490: Write to comb f78803903fc - Done rc is IO_FAULT_BLOCKED (Lba 5031040 6), volume 6e1a2f4c0000075f (dit) 11/11 16:52:12.017262 0x7ff0b26daeb0:ioh_NewRequest:05490: Write to comb f768037003e - Done rc is IO_FAULT_BLOCKED (Lba 15106144 16), volume 6e1a2f490000075c (dit)
Vaikutus
SDS-yhteyden menetys
data_degraded tilan tai välittömän ylläpitotilan aikana tämä voi aiheuttaa tietojen käyttökatkoksen.
Cause
IO-vian syy tässä esimerkkitapauksessa oli se, että (5 s) SDS-vuokrasopimus ei ollut vanhentunut, mutta (2 s) alemman tason verkon aikakatkaisu oli.
Perimmäinen syy on yksi tai useampi seuraavista syistä:
1 - TCP-/verkko-ongelmat
A- Tämä ilmenee todennäköisesti TCP-uudelleenlähetyksissä, mikä viittaa laitteisto-/kokoonpano-ongelmiin. (Kaapeli-, verkkokortti- ja kytkinongelmat jne.) Kuten käy ilmi
sar -n ETCP 1
Tulos on seuraava:
Linux 3.10.0-693.5.2.el7.x86_64 (SIO-DCOE-96O-3) 12/13/2017 _x86_64_ (48 CPU) 04:33:44 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 04:33:45 PM 0.00 0.00 50.00 0.00 0.00 04:33:46 PM 2.00 0.00 75.00 0.00 0.00 04:33:47 PM 0.00 0.00 223.00 0.00 0.00 04:33:48 PM 0.00 0.00 106.00 0.00 0.00 04:33:49 PM 2.00 0.00 58.00 0.00 0.00 04:33:50 PM 0.00 0.00 5.00 0.00 0.00 04:33:51 PM 0.00 0.00 7.00 0.00 0.00 04:33:52 PM 2.00 0.00 2.00 0.00 0.00 04:33:53 PM 0.00 0.00 1.00 0.00 0.00 ^C 04:33:53 PM 0.00 0.00 0.00 0.00 0.00 Average: 0.65 0.00 99.00 0.00 0.00
Viitteeksi:
- Vihreä = yksinumeroinen/s
- Keltainen = korkeat kaksinumeroiset luvut 50/s asti
- Punainen = >50/s
B-Vanhempien Linux-distrojen, kuten SVM: ien SusE 11 SP3: n, tapauksessa voidaan seurata verkon uudelleenlähetyksiä seuraavalla komennolla:
watch -d -n 2 "netstat -s |grep retrans"
Tuloksena on alla oleva tulos, jossa korostuvat viimeisen aikavälin aikana päivittyneet merkit:
Every 2.0s: netstat -s |grep retrans Wed Dec 13 09:55:10 2017
1244070 segments retransmited
2- CPU-ongelmat, prosessin nälkä.
Tämä ilmenee samanaikaisena taukona jokaisen SIO-komponentin jäljissä, ja monet pistorasiat sulkeutuvat seurannan ensimmäisinä riveinä jatkamisen yhteydessä.
LIA, SDS, MDM / TB, SDC / viestitiedosto näyttää aukon.
Esimerkiksi LIA→SDS-pistokkeet sulkeutuvat 3 sekunnin (30 iteraatiota x 100 ms) aikakatkaisun jälkeen:
11/11 16:52:11.597227 0x7f44c41c6eb0:netPath_IsKaNeeded:01858: :: Connected Live SERVER path 0x7f44c4195690 of portal 0x7f44c4192bb0 net 0x83b040 socket 8 inflights 0 didn't receive message for 30 iterations from 127.0.0.1:43228. Marking as down 11/11 16:52:12.031195 0x7f44c419eeb0:liaNet_DisconnectedNotif:01553: Con aed disconnected 11/11 16:52:12.158383 0x7f44c419eeb0:liaNet_ConnectedNotif:01483: Con aed connected
3- Ehkä meillä on vika jossain SIO: ssa. Todennäköisesti ei-verkkosäikeessä on CPU eikä anna jotain muuta toimia jne.
Resolution
Kiertotapa
Ei yleistä kiertotapaa
Versiot, joita ongelma koskee
Kaikki
Korjattu versiossa
–