PowerFlex 3.X: Powolne zapisy na dysku systemu operacyjnego mogą powodować wiele problemów z MDM.
Summary: Powolne zapisy na dysku systemu operacyjnego mogą powodować wiele problemów z MDM.
Symptoms
Dowolna liczba scenariuszy może wystąpić w wyniku powolnego działania dysku z systemem operacyjnym w rozwiązaniu MDM.
W ScaleIO 3.0 mechanizm MDM został wzmocniony, aby lepiej radzić sobie z bardzo powolnymi problemami z dyskami systemu operacyjnego. (10+ sekund opóźnienia)
Gdy moduły MDM są uruchomione na dyskach systemu operacyjnego, których zapis trwa zbyt długo, mogą wystąpić następujące objawy:
-
Wprowadzenie SDS w konserwację powoduje odłączenie głównego MDM.
-
Zdarzenie odbudowy powoduje rozłączenie głównych i prawdopodobnie również podrzędnych macierzy MDM.
-
Przełącznik MDM nie działa; Podrzędne MDM nie mogą przejąć obowiązków Master MDM, więc żaden MDM nie jest masterem.
-
Dane wyjściowe polecenia "scli --query_cluster" pokazują, że podrzędne moduły MDM nie są czasami synchronizowane.
-
SDC zapisuje błędy we/wy.
We wszystkich scenariuszach komunikat "Utwardzanie trwało zbyt długo" jest widoczny w dziennikach trc MDM:
08/12 03:36:42.336327 0x7f64207f4eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1360 ms 08/12 03:36:44.811987 0x7f6420668eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1840 ms 08/12 03:36:46.463661 0x7f642072eeb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 2210 ms
Wpływ
Zapisy w repozytorium MDM przekraczające próg utwardzania oznaczają, że rozwiązanie MDM nie jest zsynchronizowane.
Oznacza to, że klaster MDM nie jest zsynchronizowany, a procesy MDM uruchamiają się ponownie.
Jeśli moduły MDM uruchamiają się ponownie wystarczająco szybko/wielokrotnie, kompletne scenariusze niedostępności danych (gdy nie ma dostępnego głównego rozwiązania MDM), jak w przypadku awarii klastra MDM po wielokrotnym przełączaniu awaryjnym.
Cause
Gdy Master MDM musi wprowadzić zmiany w stanie bloków danych, musi zapisać te zmiany stanu w pliku repozytorium MDM, a następnie zsynchronizować te zmiany z podrzędnymi MDM. Po zakończeniu tych zapisów MDM powiadamia serwery SDS, że zmiany zostały sfinalizowane, i mogą one obsługiwać operacje we/wy zapisu tylko do SDC z kopii podstawowej (do momentu zakończenia odbudowy). Jeśli zapisanie zmian w repozytorium lokalnym przez główne rozwiązanie MDM trwa dłużej niż 500 milisekund (1/2 sekundy), w dziennikach trc MDM pojawią się komunikaty "Utwardzanie trwało zbyt długo". Powoduje to, że MDM nie może wystarczająco szybko odpowiedzieć na żądania SDSes i może spowodować błędy we/wy na SDC. MDM pozostanie w tym stanie do momentu, gdy operacje we/wy będą mogły zapisywać dane w repozytorium w czasie krótszym niż 500 milisekund lub po 10 sekundach, gdy w klastrze pojawi się własność przełącznika MDM.
Resolution
Rozwiązaniem jest rozwiązanie problemu z opóźnieniem dysku systemu operacyjnego.
Może to być spowodowane następującymi przyczynami:
-
Odbudowa macierzy RAID (węzły 14G Ready mają karty BOSS z 2 dyskami SATA m.2 w RAID1)
-
Zużycie/wiek dysku
-
Niewłaściwy rozmiar/wybór dysków systemu operacyjnego (HDD, wolny/tani dysk SSD itp. zwykle tylko w konfiguracjach tylko programowych)
-
Błędy w kontrolerze dysku systemu operacyjnego / oprogramowaniu wewnętrznym dysku
-
Awaria dysku/przewidywany stan awarii
-
Jednak najczęstszą przyczyną jest zewnętrzne obciążenie we/wy na dysku systemu operacyjnego.
W każdym przypadku konieczne jest monitorowanie/profilowanie wydajności dysku systemu operacyjnego.
Opóźnienie dysku może być monitorowane przez sar lub iostat.
Najłatwiejszym/najbardziej powszechnie dostępnym narzędziem jest iostat.
Uruchom
iostat -xtN 1
I obserwuj czasy oczekiwania, podawane w milisekundach.
Dotyczy to wszystkich wersji.