PowerScale: ICAP 서버 과부하로 인한 NFS 성능 문제

이 KB에 설명된 NFS의 성능 영향은 ICAP 서버로 구성된 클러스터에 적용됩니다. 먼저 ICAP 바이러스 백신 서버 설정을 확인합니다.
 

# isi antivirus icap settings view
 
           Fail Open: Yes
        Glob Filters: -
Glob Filters Enabled: No
Glob Filters Include: No
       Path Prefixes: /ifs/nasprod2024/smb
              Repair: No
       Report Expiry: 1W
       Scan On Close: Yes       <<<-- Enabled
        Scan On Open: Yes     <<<-- Enabled
Scan Cloudpool Files: No
   Scan Size Maximum: 100.00M
             Service: Yes
          Quarantine: Yes
            Truncate: No

일반 성능 스크립트에서 "av" 또는 "av_wait"에서 대기 중인 nfs 스레드를 확인합니다.
https://confluence.cec.lab.emc.com/display/ISILON/General+Performance+Troubleshooting
 

>>> Wait Channel Values<<<
11 av_wait
20 kqread
20 av
4 sbwait
1 opwres
4 sigwait
107 ucond

영향을 받은 기간 동안 영향을 받은 노드의 로그 메시지를 확인합니다.
 

1. /var/log/messages의 ICAP 서버 오버로드 메시지
    

2025-05-06T17:42:20.639078-07:00 <0.5> nasprod2024-4(id4) /boot/kernel.amd64/kernel: [bam_av.c:1176](pid 14848="nfs")(tid=100543) Scan 1:155d:543d::HEAD failed with timeout (probably due to ICAP server overload); doing opdata cleanup with state: dequeued
2025-05-06T17:42:20.639138-07:00 <0.5> nasprod2024-4(id4) /boot/kernel.amd64/kernel: [bam_av.c:1176](pid 14848="nfs")(tid=100524) Scan 1:0c2e:9531::HEAD failed with timeout (probably due to ICAP server overload); doing opdata cleanup with state: dequeued

2025-05-06T17:00:03.571382-07:00 <0.5> nasprod2024-1(id1) /boot/kernel.amd64/kernel: /lib/libthr.so.3:_pthread_create+0x906
2025-05-06T17:00:03.571392-07:00 <0.5> nasprod2024-1(id1) /boot/kernel.amd64/kernel: --------------------------------------------------
2025-05-06T17:00:03.571403-07:00 <0.6> nasprod2024-1(id1) /boot/kernel.amd64/kernel: pid 68624 (isi_avscan_d), jid 0, uid 0: exited on signal 11 from pid 0 (unknown) (core dumped)
2025-05-06T17:00:03.905443-07:00 <3.3> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b71b3000] Setting process flag P_NO_SEMLOCK for avscan
2025-05-06T17:00:03.905857-07:00 <3.4> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b71b3000] isi_avscan_d starting up
2025-05-06T17:00:03.949657-07:00 <3.4> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b71b3000] isi_avscan_d completed start up, ready...

3. Avscan 로그에 ICAP 서버 과부하 징후 표시
    

2025-05-06T17:38:58.867768-07:00 <3.6> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b7998200] Scan request timeout exceeded and dropped for 1:17c5:0b6e::HEAD, policy id: SCAN_ON_OPEN, report id: SCAN_ON_OPEN.
2025-05-06T17:38:58.868241-07:00 <3.6> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b71b4900] Scan request timeout exceeded and dropped for 1:17b7:6f7d::HEAD, policy id: SCAN_ON_OPEN, report id: SCAN_ON_OPEN.
2025-05-06T17:38:58.868439-07:00 <3.6> nasprod2024-1(id1) isi_avscan_d[63725]: [0x4d07b7997300] Scan request timeout exceeded and dropped for 1:0e78:89b3::HEAD, policy id: SCAN_ON_OPEN, report id: SCAN_ON_OPEN.

isi_get를 사용하여 스캔한 경로를 확인합니다. 예를 들어 메시지 로그의 위 LIN 1:0c2e:9531은 NFS 내보내기 경로와 일치해야 합니다. 
 

A valid path for LIN 1:0c2e:9531::HEAD is /ifs/nasprod2024/nfs/libarc-p1/mysql/#ib_16384_0.dblwr

고객의 ICAP 서버가 파일을 열고 닫을 때 파일을 검색하느라 오버로드됩니다. ICAP 가이드에서는 최소 1:1 비율을 권장합니다.

PowerScale OneFS CLI 관리 가이드 - ICAP 서버

즉각적인 완화를 위해 "scan on open"을 비활성화한 다음 성능을 테스트합니다.
 

# isi antivirus icap settings modify --scan-on-open=false

문제가 지속되면 "닫을 때 검사"를 비활성화한 다음 성능을 테스트합니다.
 

# isi antivirus icap settings modify --scan-on-close=false

영구적인 문제를 해결하고 두 설정을 모두 활성화하려면 ICAP 서버 수를 늘립니다.
 
닫을 때 검사는 권장되는 1:1 ICAP 서버 대 노드 비율입니다.
 
열 때 검사는 권장되는 2:1 ICAP 서버 대 노드 비율입니다.