PowerScale: Var 파티션 확장 문제

현재 Isilon IOCA(On-Cluster Analysis) 툴은 다음과 관련된 다음과 같은 경고를 생성합니다. /var 파티션을:

System Partition Free Space                       FAIL
  CRITICAL: The following nodes have /var mirrors of different sizes: 1-10
  INFO: Please reference KB 000213248 (https://www.dell.com/support/kbdoc/000213248) for further information.
  INFO: For more information refer to KB article 000041465 found at https://www.dell.com/support/kbdoc/000041465.

또는

Mirror Status                                     FAIL
  CRITICAL: The mirror pair for var1 appear to be in the same fault domain on nodes: 1-10.
  CRITICAL: The following nodes have /var mirrors of different sizes: 1-10
  INFO: Please open a Technical Support Service Request and reference this failure within the description.
  INFO: Please refer to KB 000213248 (https://www.dell.com/support/kbdoc/en-us/000213248) for further information.

무시할 경우 드라이브 또는 슬레드 교체 절차 중에 Gen6 또는 Gen6 MLK 노드에서 패닉이 발생할 수 있습니다.

노드가 나타나면 /var/log/messages 노드의 파일에 다음과 유사한 오류 및 패닉 메시지가 표시됩니다.

(da21:pmspcbsd0:0:22:0): pccb 0xfffffe8543174480, ccb 0xfffff80e31347000: ccbStatus 3, scsiStatus 5 
(da22:pmspcbsd0:0:23:0): pccb 0xfffffe8543151fe0, ccb 0xfffff807c4753000: ccbStatus 3, scsiStatus 5 
(da21:pmspcbsd0:0:22:0): WRITE(10). CDB: 2a 00 00 04 dd 44 00 00 04 00 
(da21:pmspcbsd0:0:22:0): CAM status: CCB request aborted by the host 
(da22:pmspcbsd0:0:23:0): WRITE(10). CDB: 2a 00 00 04 dd 44 00 00 04 00 
(da21:pmspcbsd0:0:22:0): Retrying command, 3 more tries remain 
(da22:pmspcbsd0:0:23:0): CAM status: CCB request aborted by the host 
(da21:pmspcbsd0:0:22:0): pccb 0xfffffe8543151fe0, ccb 0xfffff80e31347000: ccbStatus 3, scsiStatus 2 
(da22:pmspcbsd0:0:23:0): Retrying command, 3 more tries remain 
(da21:pmspcbsd0:0:22:0): cam_periph_error: SSQ_LOST removing device ccb 0xfffff80e31347000 status 0x8 flags 0x2 
(da22:pmspcbsd0:0:23:0): pccb 0xfffffe8543151fe0, ccb 0xfffff807c4753000: ccbStatus 3, scsiStatus 2 
(da21:pmspcbsd0:0:22:0): Invalidating pack 
(da22:pmspcbsd0:0:23:0): cam_periph_error: SSQ_LOST removing device ccb 0xfffff807c4753000 status 0x8 flags 0x2 
(da22:pmspcbsd0:0:23:0): Invalidating pack 
(da21:pmspcbsd0:0:22:0): removing device entry 
(da21:pmspcbsd0:0:22:0): Periph destroyed 
panic @ time 1681142660.493, thread 0xfffffe874ee12000: mirror/var1: all devices failed (read, offset 1304707072, length 0) 
time = 1681142660 
cpuid = 3, TSC = 0x5e76342b8e8e59 
Panic occurred in module kernel loaded at 0xffffffff80200000: 

Stack: -------------------------------------------------- 
kernel:g_mirror_worker+0x251f 
kernel:fork_exit+0x82 
-------------------------------------------------- 
Disabling swatchdog 
Dumping stacks (40960 bytes)

버전 9.2.1.16 이상, 9.4.0.6 이상 및 9.5.0.0 이상에서 OneFS는 업그레이드 중에 /var 파티션 크기를 2GB로 확장합니다. 확장 프로세스로 인해 이러한 메시지 또는 이벤트가 트리거될 수 있습니다.

동일한 장애 도메인에 있는 미러 쌍과 관련된 메시지는 Gen6 및 Gen6 MLK 노드(A200, A2000, A300, A3000, H400, H500, H600, H5600, H700, H7000, F800 및 F810)에만 해당됩니다. 확장 시 파티션 장애 도메인이 제대로 확인되지 않아 두 파티션이 둘 중 하나에 둘 다 놓일 수 있습니다 /var 동일한 드라이브 슬레드의 드라이브를 미러링합니다. 이로 인해 마운트된 에 대한 두 미러 모두 슬레드를 제거할 때 노드 패닉이 발생합니다. /var 파티션은 슬레드에 있습니다.

어느 쪽이든 mirror/var0 또는 mirror/var1 활성 역할을 합니다. /var 파티션 미러를 언제든지 사용할 수 있습니다. 예제의 패닉 메시지에서 다음을 확인할 수 있습니다. /mirror/var1 활성 미러였습니다. 를 보면 gmirror status 및 isi devices drive list 노드에 대한 명령 출력:

잘림 status 명령 출력:

gmirror status
     mirror/var1  COMPLETE  da14p3 (ACTIVE) <<<<
                            da13p3 (ACTIVE) <<<<

이 drive list 명령 출력:

isi devices drive list
Lnn  Location  Device    Lnum  State   Serial       Sled
---------------------------------------------------------
21   Bay  1    /dev/da1  15    L3      xxxxxxxxxxxx N/A
21   Bay  2    /dev/da2  16    L3      xxxxxxxxxxxx N/A
21   Bay  A0   /dev/da5  12    HEALTHY xxxxxxxx     A
21   Bay  A1   /dev/da4  13    HEALTHY xxxxxxxx     A
21   Bay  A2   /dev/da3  14    HEALTHY xxxxxxxx     A
21   Bay  B0   /dev/da8  9     HEALTHY xxxxxxxx     B
21   Bay  B1   /dev/da7  10    HEALTHY xxxxxxxx     B
21   Bay  B2   /dev/da6  11    HEALTHY xxxxxxxx     B
21   Bay  C0   /dev/da11 6     HEALTHY xxxxxxxx     C
21   Bay  C1   /dev/da10 7     HEALTHY xxxxxxxx     C
21   Bay  C2   /dev/da9  8     HEALTHY xxxxxxxx     C
21   Bay  D0   /dev/da14 3     HEALTHY xxxxxxxx     D <<<<
21   Bay  D1   /dev/da13 4     HEALTHY xxxxxxxx     D <<<<
21   Bay  D2   /dev/da12 5     HEALTHY xxxxxxxx     D
21   Bay  E0   /dev/da17 0     HEALTHY xxxxxxxx     E
21   Bay  E1   /dev/da16 1     HEALTHY xxxxxxxx     E
21   Bay  E2   /dev/da15 2     HEALTHY xxxxxxxx     E
---------------------------------------------------------

이 예에서 /mirror/var1 드라이브 D0 및 D1에 구축됩니다. D 슬레드가 클러스터에서 제거되면 노드에 액세스할 수 없어 노드 패닉이 발생했습니다. /var 파일 시스템.

var 파티션의 크기가 다르면 OneFS 9.x를 실행하는 모든 Isilon 또는 PowerScale Node 유형에 영향을 줄 수 있습니다. 확장팩 /var 활성 상태만 확장합니다. /var 파티션을 생성합니다. LKG(Last Known Good) 파티션은 원래 크기로 유지됩니다. 활성 상태인 경우 /var 파티션이 확장되어 50% 이상으로 채워진 경우 유지 관리를 위해 파티션을 회전해야 하는 경우 문제가 발생할 수 있습니다.

이 문제가 클러스터의 LKG 파티션에 영향을 미치는지 확인하려면 다음 명령을 사용합니다.

# isi_for_array -sX 'gmirror list var0 var1' | grep -A20 mirror | egrep "var|Media"

예:

lab-1# isi_for_array -sX 'gmirror list var0 var1' | grep -A20 mirror | egrep "var|Media"
lab-1: 1. Name: mirror/var0
lab-1:    Mediasize: 2147479552 (2.0G)
lab-1:    Mediasize: 2147483648 (2.0G)
lab-1:    Mediasize: 2147483648 (2.0G)
lab-2: 1. Name: mirror/var0
lab-2:    Mediasize: 2147479552 (1.0G) <<<<
lab-2:    Mediasize: 2147483648 (1.0G) <<<<
lab-2:    Mediasize: 2147483648 (1.0G) <<<<
lab-3: 1. Name: mirror/var0
lab-3:    Mediasize: 2147479552 (2.0G)
lab-3:    Mediasize: 2147483648 (2.0G)
lab-3:    Mediasize: 2147483648 (2.0G)
lab-4: 1. Name: mirror/var0
lab-4:    Mediasize: 2147479552 (2.0G)
lab-4:    Mediasize: 2147483648 (2.0G)
lab-4:    Mediasize: 2147483648 (2.0G)
....

디바이스 크기가 (1.0G)인 디바이스가 있으면 영향을 받습니다.

위의 예에서 lab-2의 var0 파티션이 영향을 받으며 수정해야 합니다. 다음 명령을 다시 실행합니다. var1 클러스터 전체에서 영향을 받는지 확인합니다.

장애 도메인 문제에 대한 영구 수정 사항은 다음 코드 릴리스에만 있습니다.

• OneFS 9.5.0.6 
• 9.4.0.16 
• 9.2.1.25 

다양한 크기의 /var 파티션에 대한 영구 수정 작업을 진행 중입니다. 이 문제를 해결하려면 스크립팅된 프로세스를 따르십시오. 업그레이드할 수 없는 경우 스크립트에 나와 있는 프로세스를 따릅니다.
 
스크립트를 사용하려면 다음을 수행합니다.

1. 스크립트와 md5 파일을 클러스터에 다운로드합니다. 클러스터의 /ifs/data/Isilon_Support에 파일을 복사하고 md5 해시가 md5 파일의 해시와 일치하는지 확인합니다.

Lab-1# mv var_mirror_repair.sh /ifs/data/Isilon_Support/
Lab-1# mv var_mirror_repair.md5 /ifs/data/Isilon_Support/
Lab-1# md5 /ifs/data/Isilon_Support/var_mirror_repair.sh
MD5 (/ifs/data/Isilon_Support/var_mirror_repair.sh) = 0881afeeb39fdaf02e2a90d784e4ed21
Lab-1# # cat /ifs/data/Isilon_Support/var_mirror_repair.md5
0881afeeb39fdaf02e2a90d784e4ed21

2. 해시가 일치하지 않으면 FTP 사이트에서 스크립트를 다운로드하여 클러스터에 다시 복사합니다. 해시가 일치하면 루트로 다음 명령을 실행합니다.

lab-1# sh /ifs/data/Isilon_Support/var_mirror_repair.sh

3. 스크립트는 일반적으로 실행하는 데 5-10분 정도 걸립니다. 대규모(30+ 노드) 또는 사용량이 많은 클러스터에서는 시간이 더 오래 걸릴 수 있습니다. 스크립트가 완료되면 성공 여부 또는 문제가 있는지 보고합니다.

스크립트를 시작하면 다음 출력이 표시됩니다.

Lab-1# sh /ifs/data/Isilon_Support/var_mirror_repair.sh
Full output can be found at:
 /ifs/data/Isilon_Support/var_mirror_repair.FULL_CLUSTER.2023-10-19T092522.csv

Status: 0/4 Nodes checked, 0/4 var0 partitions, 0/4 var1 partitions

스크립트가 진행됨에 따라 상태 줄이 업데이트됩니다.

Status: 4/4 Nodes checked, 4/4 var0 partitions, 4/4 var1 partitions

스크립트가 성공적으로 완료되면 다음이 표시됩니다.

Status: 4/4 Nodes checked, 4/4 var0 partitions, 4/4 var1 partitions

No issues were identified.

Moving files to: var_mirror_repair.2023-10-19T092522.d
Bundle Location: var_mirror_repair.2023-10-19T092522.tgz

이는 영향을 받은 노드가 복구되었으며 스크립트에 문제가 없음을 나타냅니다. 수신된 출력이 이 예와 다른 경우 Dell 지원 에 문의하여 출력과 번들 위치의 로그 파일을 제공하십시오.