Avamar v7 이상 - 데이터가 사용 중일 때 "Hash Referenced Bit Maps"로 인해 정리할 수 없는 "skipped-hashes"를 보고하는 가비지 컬렉션

Hash Referenced Bit Maps 기능은 Avamar v7.x 기능과 함께 도입된 기능으로, GC(Garbage Collection) 유지 보수 작업 중에 백업을 수행할 수 있습니다. 

이 기능 이전에는 데이터 충돌 가능성 때문에 가비지 수집을 동시에 실행할 수 없었습니다. 

가비지 수집 단계에서 새 기능은 추가되거나 변경된 데이터에 대한 정보를 메모리에 유지합니다("참조된 해시의 맵"). 가비지 컬렉션은 이 정보를 확인하여 제거해서는 안 되는 해시(및 참조하는 데이터)를 확인합니다.  

이 기능의 요구 사항은 이러한 "맵"이 재설정될 수 있도록 백업이 발생하지 않는 동안 최소 5분의 "조용한" 시간이 필요하다는 것입니다. 이 재설정이 발생하면 이후 가비지 수집 주기 동안 잠긴 데이터를 검사할 수 있습니다. 이 데이터는 변경되지 않은 상태로 계속 유지됩니다.

이 조용한 시간은 일일 Avamar 백업 및 유지 보수 일정을 설계할 때 고려해야 합니다. 
맵이 재설정되지 않으면 가비지 컬렉션이 만료된 데이터를 정리하지 못할 수 있습니다.
해시 참조 맵에 재설정 기회가 없는 경우 가비지로 제거해야 하는 데이터가 처리되지 않고 용량 사용량이 증가할 수 있습니다. 장시간 동안 맵을 재설정할 수 없는 경우 가비지 컬렉션 로그에 "skipped-hashes"의 양이 증가할 수 있습니다.

백업이 만료되었지만 가비지 컬렉션이 삭제할 수 있는 모든 데이터를 복구하지 못했습니다. 그 당시 일부 데이터가 사용 중이기 때문입니다.

이를 확인하려면 아래 명령을 실행합니다.
명령은 가비지 컬렉션 유지 보수 로그를 7일 동안 덤프하고 이를 구문 분석하여 표시합니다.

• 몇 개의 해시를 건너뛰었습니까?
• 삭제된 데이터의 양
• 가비지 컬렉션 패스 수
• 가비지 컬렉션 실행 기간

dumpmaintlogs --types=gc --days=7 | grep passes | cut -d ' ' -f1,10,14,15,17

2014/02/11-11:03:23.01310 skipped-hashes="3118" megabytes-recovered="120" passes="10" elapsed-time="134"
2014/02/12-11:05:33.78790 skipped-hashes="4051" megabytes-recovered="88" passes="10" elapsed-time="264"
2014/02/12-16:18:16.79236 skipped-hashes="5098" megabytes-recovered="199" passes="16" elapsed-time="268"
2014/02/12-16:28:20.35698 skipped-hashes="5099" megabytes-recovered="0" passes="1" elapsed-time="97"
2014/02/12-17:14:22.88473 skipped-hashes="5452" megabytes-recovered="26" passes="20" elapsed-time="162"
2014/02/12-20:46:06.80518 skipped-hashes="6789" megabytes-recovered="83" passes="21" elapsed-time="184"
2014/02/12-21:09:30.70374 skipped-hashes="89139" megabytes-recovered="9432" passes="26" elapsed-time="536"
2014/02/12-23:30:13.07016 skipped-hashes="96510" megabytes-recovered="604" passes="21" elapsed-time="210"
2014/02/12-23:34:15.11324 skipped-hashes="96511" megabytes-recovered="1" passes="3" elapsed-time="99"
2014/02/13-13:41:02.20624 skipped-hashes="97301" megabytes-recovered="0" passes="1" elapsed-time="81"
2014/02/14-11:03:45.31704 skipped-hashes="98220" megabytes-recovered="131" passes="2" elapsed-time="157"
2014/02/14-16:49:14.94905 skipped-hashes="98220" megabytes-recovered="67" passes="2" elapsed-time="105"
2014/02/14-21:15:27.77268 skipped-hashes="98224" megabytes-recovered="0" passes="1" elapsed-time="106"
2014/02/14-21:25:51.71154 skipped-hashes="98224" megabytes-recovered="0" passes="1" elapsed-time="101"
2014/02/14-22:07:19.81136 skipped-hashes="98229" megabytes-recovered="0" passes="1" elapsed-time="125"
2014/02/14-22:15:21.50825 skipped-hashes="98275" megabytes-recovered="1" passes="5" elapsed-time="115"
2014/02/14-22:27:13.88500 skipped-hashes="98278" megabytes-recovered="0" passes="1" elapsed-time="98"
2014/02/14-23:58:47.70116 skipped-hashes="102294" megabytes-recovered="1" passes="4" elapsed-time="110"
2014/02/15-11:02:29.45054 skipped-hashes="102538" megabytes-recovered="0" passes="1" elapsed-time="82"
2014/02/16-00:56:27.25596 skipped-hashes="0" megabytes-recovered="900395" passes="59" elapsed-time="17417"
2014/02/17-11:32:42.66479 skipped-hashes="0" megabytes-recovered="57540" passes="28" elapsed-time="1890"

분석:

출력은 해시 참조 맵이 2014년 2월 16일에 재설정될 때까지 시간이 지남에 따라 증가하는 건너뛴 해시 수를 보여줍니다.
또한 해시가 확보되고 가비지 컬렉션이 만료된 데이터에 대해 처리할 수 있게 된 후에 "메가바이트-복구"된 데이터의 양이 뛰는 것을 볼 수 있습니다.

즉각적인 솔루션

1. 맵을 재설정하고 가비지 수집을 다시 실행할 수 있는지 확인합니다.
2. 시스템에 데이터를 추가하는 avtar 세션(백업 또는 수신 복제 데이터)이 실행되지 않는지 확인합니다. GUI 작동 모니터를 사용하고 "avmaint sessions --full" 명령에서만 표시되는 중단된 세션을 확인합니다.
3. 모든 백업 및 수신 복제 세션을 중지합니다.
4. 해시 참조 비트 맵을 재설정할 수 있는 충분한 시간을 허용하려면 5분 이상 기다립니다.  
5. GC가 다시 실행되면 GC 유지 보수 로그를 확인하여 건너뛴 해시=0건너뛴 해시가 0

으로 재설정되지 않은 경우 지원 부서와 함께 위의 단계를 다시 확인합니다. 가비지 컬렉션이 MSG_ERR_TRYAGAINLATER 경우 지원 부서에서 인덱스 스트라이프 분할 작업으로 인한 것인지 확인할 수 있습니다. 
 

장기 솔루션

해시 참조 비트 맵을 재설정할 수 있도록 백업 및 유지 보수 일정을 설계합니다.

즉, 백업 스케줄이 24/7로 실행되어서는 안 됩니다. 백업 또는 수신되는 복제 데이터가 시스템에 기록되지 않는 짧은 시간을 제공하는 스케줄을 작성합니다. 

참고: 

• 해시 참조 비트 맵이 재설정할 수 있는지 확인하는 유일한 시간은 avtar 세션이 종료된 직후입니다. avtar 세션이 진행 중이면 다음 경우에만 맵이 재설정됩니다.

• 건너뛴 해시 수가 일시적으로 높을 수 있는 한 가지 이유는 인덱스 스트라이프 분할 때문입니다. 분할 타겟으로 이동된 해시가 보호되기 때문에 이 문제가 발생합니다. 인덱스 스트라이프 분할은 여전히 증가하거나 데이터로 채워지는 시스템에서 발생합니다. 
• 인덱스 스트라이프가 분할되는 경우 MSG_ERR_TRYAGAINLATER 가비지 컬렉션이 실패할 수도 있습니다.  
• MCS는 Avamar 서버에서 발생하는 모든 avtar 세션을 반드시 인식하지 못할 수 있습니다.