Isilon: 이벤트 알림: var 파티션이 용량 근처에 있습니다. 이벤트 ID: 100010001

이벤트
다음 이벤트 알림 중 하나가 발생합니다.

The /var partition is near capacity (95% used)

The /var partition is near capacity (85% used)

The /var partition is near capacity (75% used)

ps9500x3-2# cd /var
ps9500x3-2# ls
.snap           at              backups         db              ifs             lib             patch           spool
account         audit           cache           empty           journal         log             preserve        tmp
agentx          authpf          crash           games           journal-peer    mail            run             unbound
apache2         backup          cron            heimdal         krb5kdc         msgs            rwho            yp


 .snap          Snapshots. Do not touch.
 account        Account information. Do not touch.
 agentx         Empty but preserved for Agent Extensibility (AgentX) Protocol
 apache2        Apache Files. Do not touch.
 at             Variable data. Do not touch.
 audit          Audit Files. Do not touch.
 authpf         Authentication gateway. Do not touch.
 backup         System configuration backup files. Do not touch
 backups        Group configuration backups. Do not touch
 cache          System cache. Do not touch.
 crash          Crash files, older files can be deleted if needed
 cron           Cron jobs, do not touch
 db             Database files. Do not touch
 empty          Do not touch.
 games          Empty but preserved.
 heimdal        Kerberos 5 protocol. Do not touch.
 ifs            Do not touch unless directed by support
 journal        System Journal database
 journal-peer   System Journal-peer database
 krb5kdc        Kerberos KDC (Key Distribution Center)
 lib            Likewise database files. Do not touch
 log            Various System log files, can be cleared but zero's out the system logs.
 mail           Mail sub-system files.     
 msgs           Message logs
 patch          System patch database. Do not touch
 preserve       Do not touch
 run            Do not touch
 rwho           Do Not Touch
 spool          System Spool files.  Do not touch.
 tmp            Healthcheck items and vi recover. Do not touch.
 unbound        Do Not Touch
 yp             Do Not Touch

집중해야 할 두 디렉토리는 /var/crash 및 /var/logs로, 커져서 /var 파티션에서 대부분의 디스크 공간을 소비할 수 있습니다.

/var/crash의 이전 충돌 파일은 더 이상 필요하지 않은 경우 제거할 수 있습니다.

로그가 너무 커지면 /var/logs를 0으로 만들고 재설정할 수 있습니다. 로그가 재설정되면 더 이상 과거 문제를 해결하고 연구할 수 없습니다.

/var 파티션에 대한 df 출력을 검토합니다. 출력에 따라 다음 작업 중 하나 이상을 수행합니다.
 

ps9500x3-2# df
Filesystem            1K-blocks    Used     Avail Capacity  Mounted on
/dev/mirror/root0       1957292  871082    929628    48%    /
devfs                         1       1         0   100%    /dev
/dev/mirror/var0         978604   51394    848922     6%    /var
/dev/mirror/var-crash   2946284      10   2710572     0%    /var/crash
/dev/mirror/keystore      61228      46     56284     0%    /keystore
/dev/md0                  61166    2158     54116     4%    /tmp/ufp
/dev/md1.uzip            435751  406426     -5535   101%    /base
OneFS                 246327840 2362592 173903776     1%    /ifs
ps9500x3-2#

로그 순환:

newsyslog -f

/var 파티션이 정상 사용 수준으로 돌아가는 경우 최근에 기록된 로그 목록을 검토하여 특정 로그가 자주 순환되는지 확인합니다. 로그가 순환되면 대용량 로그와 이전 로그를 압축하거나 제거할 수 있고 이에 따라 파티션 사용량이 자동으로 줄어들어 전체 파티션 문제를 해결할 수 있습니다.
 

사용 가능한 inode의 백분율을 확인합니다.

df -i |grep var |grep -v crash

Filesystem            1K-blocks      Used       Avail Capacity iused       ifree %iused  Mounted on
/dev/mirror/var0          1013068   49160      882864      5%   1650      139276  100%   /var

/var 파티션에 속하지 않은 파일 식별:

1. 알림을 생성한 노드에서 다음 명령을 실행하여 5MB보다 큰 /var 파티션의 파일을 나열합니다.

find -x /var -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

2. 출력에서 일반적으로 /var 파티션에 속하지 않는 파일을 찾습니다. OneFS 설치 프로그램 파일, 로그 수집 또는 사용자가 생성한 파일을 예로 들 수 있습니다.
3. 파일을 제거하거나 /ifs 디렉토리로 파일을 이동합니다. 

/var 파티션에서 수동으로 파일 제거:

추가 파일이 식별되면 /var 디렉토리를 정리하는 데 필요한 명령에는 일반적으로 Make Directory(mkdir), Copy(cp), Move(mv) 및 Remove(rm)가 포함됩니다. 사용자는 계속하기 전에 이러한 기본 UNIX/Linux 명령을 숙지해야 합니다.

파일을 삭제하거나 원래 위치에서 이동하기 전에 항상 파일의 백업 복사본을 만드십시오.

백업 데이터를 이동하거나 복사할 디렉토리를 생성합니다. 여기서 <dest> 는 대상 디렉토리입니다. 이 디렉토리는 삭제할 모든 파일의 백업 복제본을 먼저 복사해야 하는 위치입니다. 

# mkdir /ifs/data/Isilon_Support/<dest>

필요에 따라 파일을 복사, 이동 또는 삭제합니다.파일

또는 디렉토리를 복사하려면:

# cp  <file>   /ifs/data/Isilon_Support/<dest>

디렉터리를 재귀적으로 복사합니다.

# cp  -R <directory>   /ifs/data/Isilon_Support/<dest>

파일 또는 디렉토리를 이동하려면 다음을 수행합니다.

# mv <file>  /ifs/data/Isilon_Support/<dest>

# mv <directory>   /ifs/data/Isilon_Support/<dest>

파일을 제거/삭제하려면 다음을 수행합니다.

# rm <file>

프로세스가 큰 파일을 열어 두고 있는지 확인합니다.

fstat 명령을 사용하여 노드 또는 디렉토리에서 열려 있는 파일을 나열하거나 프로세스에서 연 파일을 나열할 수 있습니다. 열려 있는 파일 목록을 사용하면 대용량 파일을 쓰는 프로세스를 모니터링할 수 있습니다. fstat 명령을 사용하여 노드에서 열려 있는 파일을 나열하는 방법(문서 21402, Isilon: fstat 명령을 사용하여 노드에서 열려 있는 파일을 나열하는 방법입니다.

위의 작업을 수행해도 문제가 해결되지 않으면 다음 해결 방법으로 이동하십시오.

롤오버 파일 크기 제한 및 파일 압축

1. 클러스터의 노드에서 SSH 연결을 열고 "root" 계정을 사용하여 로그인합니다.
2. 다음 명령을 실행하여 /etc/newsyslog.conf 파일의 백업을 생성합니다.

cp /etc/newsyslog.conf /ifs/newsyslog.conf
cp /etc/newsyslog.conf /etc/newsyslog.bak

3. 텍스트 편집기에서 /ifs/newsyslog.conf 파일을 엽니다.
4. 다음 줄을 찾습니다.

/var/log/wtmp 644 3 * @01T05 B

5. 이 줄을 다음과 같이 변경합니다.

/var/log/wtmp 644 3 10000 @01T05 ZB

6. /ifs/newsyslog.conf 파일을 저장하고 닫습니다.
7. 다음 명령을 실행하여 업데이트된 파일을 클러스터의 모든 노드에 복사합니다.

isi_for_array 'cp /ifs/newsyslog.conf /etc/newsyslog.conf'

8. 로그 파일은 필요한 경우 매시 및 30분에 cron 작업을 사용하여 자동으로 순환됩니다(/etc/crontab).

#minute hour    mday    month   wday    who     command
#
# rotate log files every half-hour, if necessary
0,30    *       *       *       *       root    newsyslog