Węzły PowerScale są dostępne tylko do odczytu po uaktualnieniu OneFS 9.1
Summary: Po uaktualnieniu klastra do wersji OneFS 9.1.0.20 wszystkie węzły PowerScale (F200, F600, F900) w klastrze przechodzą do trybu tylko do odczytu.
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Po uaktualnieniu klastra do OneFS 9.1.0.20 "isi status" pokazuje wszystkie węzły PowerScale w trybie tylko do odczytu (RO):
W pliku /var/log/messages dla węzłów, których dotyczy problem, zostaną wyświetlone wpisy podobne do następujących:
Node Pool Name: f600_60tb-ssd_384gb Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 0 (0 Raw) 0 (0 Raw) VHS Size: 0.0 Used: 0 (n/a) 0 (n/a) Avail: 0 (n/a) 0 (n/a) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 123|n/a |-A-R |938.7| 9.9M| 9.9M|(No Storage HDDs)|(No Storage SSDs) 124|n/a |-A-R | 0| 9.9M| 9.9M|(No Storage HDDs)|(No Storage SSDs) 125|n/a |-A-R | 0|10.8M|10.8M|(No Storage HDDs)|(No Storage SSDs) 126|n/a |-A-R | 0| 9.9M| 9.9M|(No Storage HDDs)|(No Storage SSDs) 127|n/a |-A-R | 1.4k| 9.9M| 9.9M|(No Storage HDDs)|(No Storage SSDs) 128|n/a |-A-R | 0| 7.9M| 7.9M|(No Storage HDDs)|(No Storage SSDs) 129|n/a |-A-R | 0| 7.9M| 7.9M|(No Storage HDDs)|(No Storage SSDs) 130|n/a |-A-R | 0| 7.3M| 7.3M|(No Storage HDDs)|(No Storage SSDs) -------------------+-----+-----+-----+-----+-----------------+----------------- f600_60tb-ssd_384gb| OK |293.3| 9.2M| 9.2M|(No Storage HDDs)|(No Storage SSDs)
W pliku /var/log/messages dla węzłów, których dotyczy problem, zostaną wyświetlone wpisy podobne do następujących:
2022-07-26T01:40:46+02:00 (id92) isi_testjournal: NVDIMM is persistent 2022-07-26T01:40:46+02:00 (id92) isi_testjournal: NVDIMM armed for persistent writes 2022-07-26T01:40:47+02:00 (id92) ifconfig: Configure: /sbin/ifconfig ue0 netmask 255.255.255.0 169.254.0.40 2022-07-26T01:40:47+02:00 (id92) dsm_ism_srvmgrd[2056]: ISM0000 [iSM@674.10892.2 EventID="8716" EventCategory="Audit" EventSeverity="info" IsPastEvent="false" language="en-US"] The iDRAC Service Module is started on the operating system (OS) of server. 2022-07-26T01:40:47+02:00 (id92) dsm_ism_srvmgrd[2056]: ISM0003 [iSM@674.10892.2 EventID="8196" EventCategory="Audit" EventSeverity="error" IsPastEvent="false" language="en-US"] The iDRAC Service Module is unable to discover iDRAC from the operating system of the server. 2022-07-26T01:44:15+02:00 (id92) isi_testjournal: PowerTools Agent Query Exception: Timeout (20 sec) exceeded for request http://127.0.0.1:8086/api/PT/v1/host/sensordata?sensorSelector=iDRAC.Embedded.1%23SystemBoardNVDIMMBattery&sensorType=DellSensor data: HTTPConnectionPool(host='127.0.0.1', port=8086): Read timed out. (read timeout=20) 2022-07-26T01:44:20+02:00 (id92) isi_testjournal: Query to PowerTools Agent for NVDIMM Battery failed
Cause
Problem wydaje się być związany ze zmianami w kodzie monitorowania stanu NVDIMM wprowadzonym w oneFS w wersji 9.1.0.19, co może spowodować przeskok czasu podczas początkowego zapytania o stan NVDIMM podczas uruchamiania, przełączając węzeł w tryb tylko do odczytu. Mimo że kolejne kwerendy stanu powiodą się, węzeł nie powróci automatycznie do trybu odczytu i zapisu. Ten problem nie dotyczy oneFS 9.2.x i nowszych.
Resolution
Aby sprawdzić, czy moduł NVDIMM jest sprawny i czy występuje problem opisany w tej wiedzy, uruchom następujące cztery polecenia:
# isi_hwmon -b NVDIMMHealthMonitoring # isi_hwmon -b NVDIMMPersistence # /opt/dell/DellPTAgent/tools/pta_call get agent/info # /opt/dell/DellPTAgent/tools/pta_call post "host/sensordata?sensorSelector=iDRAC.Embedded.1%23SystemBoardNVDIMMBattery&sensorType=DellSensor"
Te polecenia są poleceniami tylko kwerendy i należy je uznać za niedysponujące.
Dane wyjściowe dla poleceń węzła w tym stanie powinny być podobne do:
# isi_hwmon -b NVDIMMHealthMonitoring
DIMM SLOT A7: OK
# isi_hwmon -b NVDIMMPersistence
NVDIMM Index 0
State: PERSISTENT
Vendor Serial ID: xxxxxxxxx
Correctable ECC Count: 0
Uncorrectable ECC Count: 0
Current Temp: 255
Health: 0
NVM Lifetime: 90
Warning Threshold Status: 0
Error Threshold Status: 0
Health Info Status: 0
Critical Health Info: 0
Critical Info Status: 0
Last Save Status: 0
Last Restore Status: 0
Last Flush Status: 0
Armed: 1
SMART/Health Events Observed: 0
FW Health Monitoring: 1
NVDIMM Mapped: 1
# /opt/dell/DellPTAgent/tools/pta_call post "host/sensordata?sensorSelector=iDRAC.Embedded.1%23SystemBoardNVDIMMBattery&sensorType=DellSensor"
Request sent to DellPTAgent @ http://127.0.0.1:8086 [127.0.0.1]
{
"HealthState": "OK",
"EnabledState": "Enabled",
"ElementName": "System Board NVDIMM Battery",
"SensorType": "Other",
"Id": "iDRAC.Embedded.1_0x23_SystemBoardNVDIMMBattery",
"CurrentState": "Good"
}
Response: status: 200 [OK], size: 223 bytes, latency: 0.034 seconds.
# /opt/dell/DellPTAgent/tools/pta_call get agent/info
Request sent to DellPTAgent @ http://127.0.0.1:8086 [127.0.0.1]
{
"idrac_ethernet_ip": "0.0.0.0",
"servicetag": "xxxxx",
"uptime": "2511 seconds ( 41 minutes 51 seconds )",
"status": {
"agent": "OK",
"idracConnection": "OK",
"idraccache": "OK",
"iSM": "N/A"
},
"name": "ClusterName-123",
"MarvellLibraryVersion": "Not loaded",
"system_uuid": "xxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"default_server_cert": "true",
"rest_endpoints": "http://127.0.0.1:8086"" [127.0.0.1],
"ptagentversion": "2.5.6-4",
"domain": "",
"host_epoch_time": "xxxxxxxxxx.354221 (secs.usecs)",
"os_version": "9.1.0.0",
"mfr": "Dell Inc.",
"process_id": "2071",
"api_blocking_enabled": "false",
"host_pass_thru_ip": "xxx.xxx.xxx.xxx",
"model": "PowerScale F600",
"idrac_pass_thru_ip": "xxx.xxx.xxx.xxx",
"os": "Isilon OneFS",
"ism_version": "dell-dcism-3.4.6.13_7"
}
Response: status: 200 [OK], size: 871 bytes, latency: 0.009 seconds.
Dane wyjściowe podane tutaj są przykładem i mogą występować odchylenia w otrzymanym wyniku. Ważną częścią jest to, że dane wyjściowe wyglądają podobnie, a zamiast danych wyjściowych nie jest wyświetlany komunikat o błędzie.
- Jeśli występują jakiekolwiek oznaki problemów z komunikacją/błędami, należy kontynuować rozwiązywanie problemu, angażowanie sprzętu L2/SME i/lub zespołu pomocy technicznej PowerEdge w razie potrzeby.
- Jeśli dane wyjściowe wskazują, że moduł NVDIMM jest w dobrym stanie i nie występują żadne problemy, można ręcznie wyczyścić stan ro przy użyciu następującego polecenia:
# /usr/bin/isi_hwtools/isi_read_only --unset=system-nvdimm-failed
Po zastosowaniu kroku naprawczego monitoruj węzeł przez ok. 10 minut, aby upewnić się, że nie powróci do trybu RO. W przypadku wyłączenia lub ponownego uruchomienia węzła ten problem może wystąpić ponownie i konieczne może być ponowne zaimplikowanie tego rozwiązania. Inżynierowie PowerScale są świadomi tego problemu i badają kroki ograniczające zagrożenie, które mają zostać wdrożone w nadchodzącej wersji OneFS 9.1. W międzyczasie, aby trwale rozwiązać ten problem, można uaktualnić klaster do Wersji OneFS 9.2 lub nowszej.
Affected Products
PowerScale F200, PowerScale F600, PowerScale F900Article Properties
Article Number: 000201933
Article Type: Solution
Last Modified: 06 Jul 2023
Version: 3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.