PowerScale, Isilon, OneFS: 클러스터의 전원을 올바르게 끄는 방법

소개

이 문서에서는 Dell Isilon Cluster를 올바르게 종료하는 절차를 제공하며 부적절한 클러스터 종료와 관련된 위험에 대한 정보를 제공합니다.
 

클러스터에서 부적절하게 종료된 노드는 NVRAM 배터리 수명보다 오랫동안 시스템 전원이 공급되지 않아야 합니다.
노드 유형에 따라 약 3-5일이 소요됩니다.
NVRAM 배터리 지속 시간보다 오랫동안 노드에 전원이 공급되지 않는 동안 데이터가 노드 저널에 계속 저장되면 데이터가 손실됩니다.
여러 노드에서 이 문제가 발생하면 클러스터를 재구축해야 합니다.

이 문서의 절차 또는 정보에 대한 질문이 있는 경우 Dell Isilon 기술 지원 부서에 문의하여 도움을 받으십시오.

절차

클러스터 종료 절차를 수행하려면 클러스터의 노드에 대한 루트 자격 증명 및 직렬 콘솔 액세스가 필요합니다. 이 절차는 다음 단계로 나뉩니다.

• 1단계: 사전 예방적 유지 보수 수행
• 2단계: 클러스터의 각 노드 종료
• 3단계: 노드의 성공적인 종료 확인
• 4단계: 전원 분리
• 5단계: 클러스터의 각 노드 전원 켜기
• 6단계: 클러스터의 상태 점검 실행

종료 프로세스를 시작하기 전에 전체 절차를 읽으십시오. 이를 통해 각 단계를 완료하기 위한 컨텍스트와 순서를 이해할 수 있습니다.
 

1단계: 사전 예방적 유지 보수 수행
예정된 종료일로부터 약 4~8주 전에 이러한 단계를 수행합니다. 이 단계의 목적은 종료 절차를 방해할 수 있는 알려지지 않았거나 잠재적인 하드웨어 또는 펌웨어 문제를 식별하는 것입니다.
 

1. 필요한 경우 기록 참조를 위해 로그를 업로드합니다.

# isi diagnostics gather start --gather-mode full

2. Isilon 상태 점검을 수행하거나 요청합니다.
   • 이를 통해 클러스터의 상태를 평가하여 클러스터가 양호한 지원 가능한 운영 상태에 있는지 확인합니다.
   • 고객이 PowerScale을 사용하여 수행할 수 있습니다. IOCA Cluster Analysis 툴 실행 방법
   • 원격 대응(고객 지원) 팀에서 수행할 수 있습니다. 이는 지원되는 코드 버전의 클러스터에 대한 유지 보수 계약을 유효한 모든 고객이 사용할 수 있습니다. 이러한 요구 사항을 충족하는 경우, Dell 온라인 지원 사이트에서 "Isilon 상태 점검"을 요청하는 SR(Service Request)을 엽니다. 이 명령을 실행하여 상태 점검에 대한 전체 로그를 제공합니다.

# isi diagnostics gather start --gather-mode full            

*상태 점검은 클러스터 문제를 해결하거나 클러스터의 구성, 성능 또는 워크플로를 평가하기 위한 것이 아닙니다.

3. 다음 단계를 수행하여 각 노드의 "콜드 재부팅"을 수행합니다. 이 작업을 수행하기 위해 유지 보수 창을 예약하십시오.

1. 클러스터의 각 노드를 한 번에 하나씩 종료합니다. 각 노드를 종료하려면 다음을 수행합니다.
   1. 노드에 대한 SSH 연결을 엽니다. 다음 명령을 실행하여 각 노드를 종료합니다.

isi config
shutdown <node_lnn>

2. 노드 후면의 녹색 전원 표시등 LED가 더 이상 켜지지 않는지 확인하여 각 노드의 전원이 꺼졌는지 확인합니다.
3. 전원 버튼을 눌러 노드를 다시 켭니다.
4. 노드가 클러스터에 다시 연결되었고 정상인지 확인하는 isi status -q 명령을 실행하고 출력의 상태 DASR 열에서 OK를 찾습니다.
5. 노드에 DASR 상태 열에 표시된 문제가 발생하거나 클러스터에 다시 연결하지 못하는 경우 다음 노드를 종료하기 전에 이러한 문제를 해결하십시오.

문제의 예시를 선택했습니다. 노드 1이 클러스터에 성공적으로 다시 연결되었지만 DASR 상태 열이 주의가 필요함을 나타냅니다.

mycluster-1# isi status -q

Cluster Name: mycluster
Cluster Health:     [ ATTN]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-A-- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

2. 각 노드를 재부팅한 후 전체 클러스터의 상태를 다시 확인합니다. 노드에 대한 SSH 연결을 열고 아래 명령을 실행합니다.

 isi status -q

isi config
reboot <node_lnn>

그러나 Dell은 콜드 재부팅 접근 방식을 사용하여 잠재적인 하드웨어 문제를 보다 효과적으로 식별할 것을 적극 권장합니다.
 

2단계: 클러스터의 각 노드를 종료합니다.
이러한 단계는 Isilon Cluster를 종료한 날에 수행해야 합니다. 클러스터 전체 종료 중에 일부 요인으로 인해 종료 프로세스가 영향을 받거나 지연될 수 있습니다. 예를 들어 노드에 대한 미해결 데이터 쓰기는 종료에 영향을 줄 수 있습니다. 1~2단계의 목적은 종료 명령을 실행하기 전에 모든 클라이언트가 클러스터에서 분리되고 노드 저널에서 파일 시스템으로 데이터가 제대로 저장되도록 하는 것입니다. iSCSI 클라이언트가 있는 경우 iSCSI 서비스를 비활성화하기 전에 클라이언트를 종료해야 합니다.

3단계에서는 직렬 콘솔을 사용하여 클러스터의 각 노드를 순차적으로 종료하는 방법을 설명합니다. 이 방법을 사용하면 다음 노드로 진행하기 전에 각 노드가 제대로 종료되었는지 확인하고 적절한 클러스터 종료를 위해 필요에 따라 문제를 조정하거나 수정할 수 있으므로 권장됩니다. 그러나 이 방법은 종료 명령을 실행하기 위해 각 노드에 직렬 콘솔을 연결해야 하므로 시간이 오래 걸릴 수 있습니다. 클러스터의 모든 노드를 동시에 종료 섹션에서는 OneFS 명령줄 인터페이스 또는 OneFS 웹 관리 인터페이스를 사용하여 클러스터를 종료하는 방법을 설명합니다. 이 방법은 3단계보다 시간이 덜 걸리지만 종료 프로세스 중에 문제가 발생하는 노드를 식별하기가 더 어렵습니다.

1. Isilon은 쓰기 사용량이 많은 클라이언트가 종료 절차를 방해하지 않도록 클러스터를 클라이언트에서 격리하는 것이 좋습니다. 클러스터에서 실행 중인 클라이언트 대상 서비스를 비활성화하여 이 작업을 수행할 수 있습니다. 클라이언트 대상 서비스를 비활성화하려면 다음 절차를 수행합니다.
   1. 각 클라이언트 대상 서비스에 대해 다음 명령을 실행하여 클러스터에서 실행 중인 클라이언트 대상 서비스 또는 프로토콜을 식별합니다.

isi services apache2
isi services isi_hdfs_d
isi services isi_iscsi_d
isi services ndmpd
isi services nfs
isi services smb
isi services vsftpd

mycluster-4# isi services smb
Service 'smb' is enabled.
mycluster-4# isi services nfs
Service 'nfs' is disabled.
mycluster-4#

3. 클라이언트 대상 서비스를 비활성화합니다. 이 단계를 완료한 후에는 모든 클라이언트가 클러스터와의 연결을 즉시 잃게 됩니다. 서비스를 비활성화하려면 활성화한 서비스와 관련된 다음 명령을 실행합니다.

isi services apache2 disable
isi services isi_hdfs_d disable
isi services isi_iscsi_d disable
isi services ndmpd disable
isi services nfs disable
isi services smb disable
isi services vsftpd disable

iSCSI 클라이언트가 있는 경우 2단계를 수행하기 전에 iSCSI 클라이언트가 LUN을 마운트 해제했는지 확인합니다. 다음의 isi iscsi list 명령을 사용하여 클러스터에서 모든 iSCSI 클라이언트의 연결이 끊어졌는지 확인합니다.

2. 노드 저널에 저장된 데이터 쓰기를 isi_for_array isi_flush 명령을 실행합니다. 각 노드에 다음과 유사한 출력이 나타납니다.
   참고: isi_flush를 실행할 때는 노드에서 플러시가 완료되거나 노드의 전원이 꺼지거나 패닉이 발생할 때까지 중지되지 않습니다. 문제가 있는 경우 플러시에서 ctrl+c를 사용할 수 없습니다.
    

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
mycluster-1: Cache flushing complete.

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
vinvalbuf: flush failed, 1 clean and 0 dirty bufs remaining
mycluster-2: Flushing cache...
fsync: giving up on dirty

다음의 isi_for_array isi_flush 명령을 다시 실행합니다. 플러시가 실패한 노드가 있다면 Dell Isilon 기술 지원 부서에 연락하여 도움을 요청합니다. 다음 단계로 진행하기 전에 모든 노드를 성공적으로 플러시해야 합니다.

3. 클러스터의 각 노드를 순차적으로 종료하고 출력을 모니터링합니다. 이 접근 방식은 클러스터의 다음 노드를 종료하기 전에 문제를 식별하고 해결할 수 있으므로 권장됩니다. 다음 단계를 수행하여 각 노드를 종료합니다.

1. 각 노드에 직렬 콘솔을 연결합니다.
2. 다음 명령을 실행합니다.

isi config
shutdown

Powering the system off using ACPI

3. C. 콘솔을 살펴보고 하드웨어 관련 장애 이벤트를 찾습니다. 성공한 노드 저널 저장은 다음 출력 버전에서 선택됩니다.

2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Attempting to save journal to default location
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Saving journal to /var/journal/journal.gz
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: All data saved successfully

2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: Attempting to save journal to default location
2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: A valid backup journal already exists. Not saving.

An example of a node journal save failure is highlighted in the output below:
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: ERROR: Validation failed for backup journal. Shutdown aborted
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: Failed command output:

노드 저널이 저장되지 않았다는 오류를 받으면 3단계의 단계에 따라 수동으로 저널을 저장할 수 있습니다.
 

클러스터의 모든 노드를 동시에 종료합니다.

긴급 상황이 발생하면 클러스터의 모든 노드를 동시에 종료할 수 있습니다. 그러나 이 방법을 사용하면 문제가 발생할 경우 각 노드의 상태 및 출력을 모니터링할 수 없으므로 권장되지 않습니다. 이러한 단계를 수행하도록 선택하는 경우 Dell은 3단계의 모든 단계를 수행하여 아래 절차를 수행한 후 모든 노드가 제대로 종료되었는지 확인하는 것이 좋습니다.

# isi config shutdown all

3단계: 노드가 성공적으로 종료되었는지 확인합니다.
노드 후면에 있는 전원 표시등 LED(Light-Emitting Diode)를 보고 노드가 제대로 종료되었는지 확인합니다. 모든 전원 표시등 LED가 어둡거나 꺼져 있어야 합니다. 이는 노드가 성공적으로 종료되었음을 나타냅니다.
 

노드 후면의 전원 표시등이 계속 켜져 있으면 노드가 종료되지 않은 것입니다. 노드가 종료되지 않았거나 노드 저널이 제대로 저장되지 않았음을 나타내는 콘솔 출력을 수신하는 경우(2단계-3C) 노드를 종료하기 전에 저널을 수동으로 저장하여 데이터가 디스크에 커밋되도록 해야 합니다.

1. 저널을 수동으로 저장하고 노드를 종료하려면 다음 단계를 수행합니다.
   1. 노드가 명령줄 인터페이스에 응답하는 경우 다음 명령을 실행하여 노드를 재부팅합니다.

# isi config reboot

2. 노드가 명령줄 인터페이스에 응답하지 않는 경우 노드 후면의 전원 버튼을 길게 눌러 노드를 수동으로 재부팅합니다. 이렇게 하면 노드의 전원이 꺼집니다. 30초 동안 기다린 다음 전원 버튼을 한 번 눌러 노드 백업을 다시 부팅합니다. 다음 단계로 이동합니다.

2. 노드를 재부팅한 후 다시 로그인하고 다음 단계를 사용하여 저널을 저장합니다.
   1. 다음 명령을 실행하여 노드를 다시 정상적으로 종료해 봅니다.

# isi config shutdown

2. 출력에 저널이 저장되지 않은 것으로 계속 표시되는 경우 다음 명령을 실행하여 저널을 수동으로 저장합니다.

# isi_save_journal

3. 저널이 여전히 저장되지 않으면 파일 시스템 /ifs를 마운트 해제한 후 다음 명령을 실행하여 저널을 강제로 저장합니다.

# isi_kill_busy && umount /ifs

4. isi_checkjournal 명령을 실행하여 저널이 저장되었는지 확인합니다.

# isi_checkjournal

5. 저널이 성공적으로 저장되었다고 출력에 표시될 때까지 다음 단계로 이동하지 않습니다.

필요한 경우 Dell 기술 지원 부서에 문의하십시오.
 

4단계: 전원을 분리합니다.
클러스터가 성공적으로 종료되고 노드의 전원이 꺼진 후에만 클러스터에서 전원을 분리할 수 있습니다.
 

NVRAM 배터리
클라이언트가 노드에 파일을 쓸 때 쓰기는 먼저 노드의 저널 카드에서 호스팅되는 NVRAM(Nonvolatile RAM)에 저장됩니다. 나중에 OneFS가 이러한 쓰기를 디스크에 커밋합니다. 예기치 않은 운영 중단 시 NVRAM에 저장된 데이터를 보호하기 위해 각 노드에는 NVRAM 배터리(이중화를 위해 2개)가 장착되어 있습니다. 전원이 꺼져 있지만 전원 공급 장치와 연결된 노드는 NVRAM 배터리를 갱신하고 있습니다. 노드에서 전원이 분리되면 NVRAM 배터리가 방전되기 시작합니다. 현재 세대의 노드(X200, S200, X400, NL400)의 배터리 지속 시간은 약 5일입니다. 이전 세대 노드에서 NVRAM 배터리 지속 시간은 약 3일입니다.

Dell Technologies는 정전 중에 NVRAM 배터리에 상당한 시간을 의존하지 않도록 노드를 적절히 종료할 것을 권장합니다.
 

노드의 NVRAM 배터리가 완전히 방전되면 노드는 읽기 전용 모드로 부팅하여 약 30분 동안 읽기 전용 모드를 유지하고 NVRAM 배터리가 완전히 충전될 때까지 기다립니다. 배터리가 재충전되면 노드가 자동으로 정상 읽기/쓰기 모드로 돌아갑니다.
 

5단계: 클러스터 내 각 노드의 전원을 켭니다.
Isilon Cluster를 재시작할 준비가 되면 이러한 단계를 수행해야 합니다.

1. 각 노드에 전원을 복구합니다.
2. 전면 패널 또는 각 노드 후면의 전원 버튼을 눌러 부팅합니다.
3. 모든 노드의 전원을 켠 후 isi status -q 명령을 사용하여 클러스터의 상태를 검토합니다. 계속하기 전에 DASR 상태 열에서 모든 노드가 OK이고 R(Read-only) 모드가 아닌지 확인합니다. 정상 클러스터의 경우 다음과 유사한 출력이 표시됩니다.

Cluster Name: mycluster
Cluster Health:     [ OK ]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-OK- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

4. 2단계-1b에서 생성된 활성화된 서비스 목록을 확인하고 다음 명령 중 하나 이상을 실행하여 비활성화된 서비스를 활성화합니다.

isi services apache2 enable
isi services isi_hdfs_d enable
isi services isi_iscsi_d enable
isi services ndmpd enable
isi services nfs enable
isi services smb enable
isi services vsftpd enable

5. 클라이언트가 클러스터에 연결하고 일반적인 워크플로를 수행할 수 있는지 확인합니다. 클러스터가 정상적으로 작동해야 합니다.

1. Upload a full log collect:

# isi_gather_info --esrs

2. 원격 대응(고객 지원) 팀에서 Isilon 상태 점검을 수행하거나 요청합니다.

상태 점검을 실행하는 단계입니다.

PowerScale: IOCA Cluster Analysis 툴 실행 방법

3. 원격 대응 지원 팀을 이용한 상태 점검 요청

이는 지원되는 코드 버전의 클러스터에 대한 유지 보수 계약을 유효한 모든 고객이 사용할 수 있습니다.

이러한 요구 사항을 충족하는 경우 Dell 온라인 지원 사이트에서 "Isilon 상태 점검"을 요청하는 SR(Service Request)을 엽니다.

*상태 점검은 클러스터 문제를 해결하거나 클러스터의 구성, 성능, 워크플로를 평가하기 위한 것이 아닙니다.

• PowerScale: IOCA Cluster Analysis 툴 실행 방법
• PowerScale: Isilon: PowerScale/Isilon 노드의 일련번호를 찾는 방법