PowerFlex 軟體定義儲存 （SDS） 關閉插槽且無網路問題

Summary: SDS 報告插槽已關閉，沒有任何網路事件或網路問題的證據。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

劇本
SDS 報告的插槽由遠端處理程序 （SDC、SDS、MDM） 關閉，且未觀察到 NIC 關閉事件、丟幀或封包遺失。 

症狀
事件記錄會報告 SDS 連線中斷，解耦或重新連線： 

2017-11-11 16:52:12.101 SDS_RECONNECTED           INFO     	 SDS: xyz_d35 (ID 67211111110089) reconnected 
2017-11-11 16:52:13.690 MDM_DATA_FAILED           CRITICAL 	 The system is now in DATA FAILURE state. Some data is unavailable. 
2017-11-11 16:52:15.791 MDM_DATA_DEGRADED         ERROR    	 The system is now in DEGRADED state.

在此之前，我們會在 SDS 追蹤中看到如下所示的錯誤。

SDS 嘗試傳送，花了 >1 秒才回復：

11/11 16:52:04.527408 0x7ff0b19eaeb0:contNet_OscillationNotif:01720: Con 672cb111110099 - Oscillation of type 5 (RPC_LINGERED_1SEC) reported

具有對等節點的套接字由於未收到我們的發送低級保持活動狀態而從另一端關閉：

11/11 16:52:06.241105 0x7ff0b19e1eb0:contNet_OscillationNotif:01720: Con a71d2b5d00000078 - Oscillation of type 1 (SOCKET_DOWN) reported

另一個實例如下所示：

11/11 16:52:06.241224 0x7ff0b19e1eb0:contNet_OscillationNotif:01720: Con a71d2b3c00000057 - Oscillation of type 2 (IO_ERROR) reported

其他指標：
反覆運算
ScaleIO 的較低級別網路保活計時器以反覆運算為單位，長度為 100 毫秒。

MDM-SDS> 逾時為 20 個迭代或 2 秒，而 MDM-MDM 保持連接逾時為 3 個迭代或 300 毫秒。

超過 20 次反覆運算：

11/11 16:52:11.685281 0x7ff752d1beb0:netPath_IsKaNeeded:01858:  :: Connected Live CLIENT path 0x7ff6e2192a00 of portal 0x7ff6e2192900 net 0x7ff7480e1110 socket 210 inflights 0 didn't receive message for 20 iterations from 10.124.162.109:7072. Marking as down

插槽關閉 這些追蹤列印指示插槽何時關閉：

11/11 16:52:09.787793 0x7ff752cf7eb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.130.109 - Oscillation of type SOCKET_DOWN reported

11/11 16:52:11.685290 0x7ff752d1beb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.162.109 - Oscillation of type RCV_KA_DISCONNECT reported
11/11 16:52:11.685308 0x7ff752cf7eb0:tgtMgr_TgtOscCB:07696: Con 672cba7400000089 Network address 10.124.162.109 - Oscillation of type SOCKET_DOWN reported

此列印表示 SDS 的最後一個插槽故障，且是將 SDS 視為中斷連線的時間點：

11/11 16:52:11.685319 0x7ff752cf7eb0:tgtMgr_TgtDisconnectCB:07818: Tgt: 672cba7400000089 ConId: 672cba7400000089

MDM 會發出 addmdm 命令，讓 SDS 重新連線。 

IO 錯誤已封鎖
我們知道，當 SDS 因為無法連上 MDM 而拒絕 IO，但此資訊並不完整時，就會發生IO_FAULT_BLOCKED。

SDS 每秒將維持活動狀態傳送至 MDM，如果 MDM 在 5 秒內未取得此訊息，系統會將 SDS 視為逾時，並標示為已分離。

MDM 每秒向 SDS 發送「保持工作」 訊息。當 SDS 在 5 秒內未收到此訊息時，它會以IO_FAULT_BLOCKED拒絕 IO： 

11/11 16:52:12.007045 0x7ff0b0cdfeb0:ioh_NewRequest:05490: Write to comb f778038007f - Done rc is IO_FAULT_BLOCKED (Lba 6721528 8), volume 6e1a2f4a0000075d (dit)
11/11 16:52:12.008825 0x7ff0b0ec5eb0:ioh_NewRequest:05490: Write to comb f78803903fc - Done rc is IO_FAULT_BLOCKED (Lba 5031040 6), volume 6e1a2f4c0000075f (dit)
11/11 16:52:12.017262 0x7ff0b26daeb0:ioh_NewRequest:05490: Write to comb f768037003e - Done rc is IO_FAULT_BLOCKED (Lba 15106144 16), volume 6e1a2f490000075c (dit)

 

影響

SDS 連線能力遺失

在data_degraded狀態或即時維護模式期間，這可能會導致 DU。

Cause

在此範例案例中，IO 失敗的原因是 （5 秒） SDS 租約尚未到期，但 （2 秒） 較低層級網路逾時已到期。

根本原因是以下一個或多個原因： 

1- TCP/網路問題
A- 這可能會隨著 TCP 重新傳輸而出現，這表示硬體/組態問題。（纜線、NIC、交換器問題等）如以下項目的輸出所示： 

sar -n ETCP 1

其輸出為：

 Linux 3.10.0-693.5.2.el7.x86_64 (SIO-DCOE-96O-3)        12/13/2017      _x86_64_        (48 CPU)

04:33:44 PM  atmptf/s  estres/s retrans/s isegerr/s   orsts/s
04:33:45 PM      0.00      0.00     50.00      0.00      0.00
04:33:46 PM      2.00      0.00     75.00      0.00      0.00
04:33:47 PM      0.00      0.00    223.00      0.00      0.00
04:33:48 PM      0.00      0.00    106.00      0.00      0.00
04:33:49 PM      2.00      0.00     58.00      0.00      0.00
04:33:50 PM      0.00      0.00      5.00      0.00      0.00
04:33:51 PM      0.00      0.00      7.00      0.00      0.00
04:33:52 PM      2.00      0.00      2.00      0.00      0.00
04:33:53 PM      0.00      0.00      1.00      0.00      0.00
^C

04:33:53 PM      0.00      0.00      0.00      0.00      0.00
Average:         0.65      0.00     99.00      0.00      0.00

請參閱：

  • 綠色 = 個位數/秒
  • 黃色 = 高兩位數，最高可達 50/秒
  • 紅色 = >50/秒

B-對於較舊的 Linux 發行版，例如我們 SVM 上的 SusE 11 SP3，可以使用以下命令監控網路重傳：

watch -d -n 2 "netstat -s |grep retrans"

輸出如下所示，突出顯示在上一個間隔內更新的字元：

Every 2.0s: netstat -s |grep retrans                                                                                                                                                   Wed Dec 13 09:55:10 2017

    1244070 segments retransmited

2- CPU 問題、進程匱乏。
這表現為每個 SIO 元件的跟蹤同時暫停，在恢復時，許多套接字作為跟蹤中的第一行關閉。
LIA、SDS、MDM/TB、SDC/訊息檔案顯示了差距。
例如，LIA 追蹤顯示 LIA→SDS 插槽在 3 秒（30 次反覆運算 x 100 毫秒）超時後關閉：

11/11 16:52:11.597227 0x7f44c41c6eb0:netPath_IsKaNeeded:01858:  :: Connected Live SERVER path 0x7f44c4195690 of portal 0x7f44c4192bb0 net 0x83b040 socket 8 inflights 0 didn't receive message for 30 iterations from 127.0.0.1:43228. Marking as down
11/11 16:52:12.031195 0x7f44c419eeb0:liaNet_DisconnectedNotif:01553: Con aed disconnected
11/11 16:52:12.158383 0x7f44c419eeb0:liaNet_ConnectedNotif:01483: Con aed  connected

3-也許我們在SIO的某個地方有一個錯誤。可能是非網路線程正在容納CPU，並且不允許運行其他內容等。

Resolution

因應措施

無一般因應措施

受影響的版本

全部

已修正問題的版本

N/A 

Affected Products

PowerFlex Software, VxFlex Product Family, VxFlex Ready Node, Ready Node Series
Article Properties
Article Number: 000203040
Article Type: Solution
Last Modified: 15 May 2026
Version:  5
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.