Avamar . Размер резервной копии клиента Linux может вводить в заблуждение из-за поведения «/var/log/lastlog» и разреженного поведения при обработке файлов.

Поведение, описанное в этой статье, может повлиять на отчеты о размере резервной копии Avamar.
Это представляет интерес, когда мы должны сообщать об объеме данных, защищенных при резервном копировании Avamar. Например, поставщик услуг вы выставляет счета конечным пользователям за сумму клиента.

Размер резервной копии клиента Linux, в которой включен /var/log/lastlog, может быть больше общего дискового пространства, доступного для клиента.

Примере:
Клиент Linux настроен для резервного копирования только каталога /var/log, который содержит 39 Мбайт данных.

root@linuxclient:~/#: du -hs /var/log
39M /var/log

Каталог /var/log и резервная копия содержат «lastlog»,  

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
48K -rw-rw-r-- 1 root root 272G Apr 30 11:46 /var/log/lastlog

Примечание. Последний журнал потребляет 48 Кбайт пространства на диске, в то время как обычный размер, о которых сообщается, составляет 272 Гбайт. Это разреженный файл. По завершении резервного копирования avtar отправляет заявку на резервное копирование 272 Гбайт данных.
 

2015-04-30 12:08:09 avtar Info <5163>: Backup complete, wrapping-up session with Server
2015-04-30 12:08:10 avtar Info <5156>: Backup #494 timestamp
2015-04-30 12:21:58, 131 files, 16 directories, 272.0 GB (5 files, 6.830 KB, 0.00% new)
2015-04-30 12:08:10 avtar Info <7539>: Label "MOD-1430395268242", scheduled to expire after 06/29/15 (2015-06-29 12:01:07 UTC), none backup
2015-04-30 12:08:10 avtar Info <6083>: Backed-up 272.0 GB in 20.83 minutes: 783 GB/hour (377 files/hour)

Сообщаемое значение для объема данных, для которых выполняется резервное копирование, превышает размер файловой системы Linux.

root@linuxclient:~/#: df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 7.9G 2.4G 5.1G 32% /
/dev/sda1 122M 13M 103M 12% /boot
none 3.0G 0 3.0G 0%
/dev/shm /dev/sda3 1.5G 125M 1.3G 9% /var

Файл /var/log/lastlog изменяется при входе пользователя (человека или иным образом) в систему. Avtar должен обрабатывать весь файл из-за ограничений на обработку разреженных файлов, описанных в статье Avamar, и разреженных файлов.

Временное решение 1. Исключите /var/log/lastlog из резервной копии. 

Если пользователю необходимо выполнить резервное копирование последнего журнала для аудита, рассмотрите возможность создания запланированного ежедневного crontab, чтобы отправить выходные данные последнего журнала в выходной файл,
например,

lastlog > /var/log/lastlog_$(date +%d%m%Y).log

Обычное резервное копирование<> lastlog_ файлов, но исходный, разреженный последний журнал не выполняется.


Временное решение проблемы 2. Уменьшите диапазон идентификаторов userID и сжать «lastlog».

Следует учитывать, требуется ли такой высокий идентификатор пользователя. Вероятно ли использовать все идентификаторы userID в данном диапазоне?
Если нижний идентификатор пользователя одинаково работоспособен, полезно выполнить следующее. 

• Отредактируйте файл /etc/passwd, чтобы убедиться, что диапазон идентификаторов userID как можно меньше.
• Переименуйте файл последнего журнала и создайте его повторно с помощью сенсорного последнего журнала. Задайте владельца и разрешения так же, как исходный файл.
• Подключите к системе вместе с пользователем, чтобы обновить только что созданный файл последнего журнала.

root@linuxclient:/var/log/#: ls -ltrhs | grep lastlog
36K -rw-r----- 1 root tty 272G Apr 28 09:44 lastlog.old
8.0K -rw-r----- 1 root tty 143K Apr 28 09:50 lastlog

Примечание 1.
С точки зрения производительности резервное копирование большого разреженного файла занимает значительное количество времени. Из-за характера «lastlog» файл, скорее всего, будет изменен и должен быть полностью обработан каждый день. Fили более подробную информацию о разреженных файлах см .в разделе Avamar и разреженные файлы.

Примечание 2.
Файл /var/log/lastlog — это разреженный файл, размер которого зависит от диапазона идентификаторов userID, которые существуют в файле /etc/passwd.

В приведенном выше примере у /etc/passwd изначально были идентификаторы userID, которые ходили до 502.  

Файл был разрежен, но в умеренной степени так. Сообщаемая емкость файла была небольшой.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
16K -rw-rw-r-- 1 root root 143K Apr 30 11:26 /var/log/lastlog

Добавление пользователя с большим идентификатором пользователя приводит к значительному увеличению размера последнего журнала в отчете. Как показано ниже, чем выше идентификатор userID, тем более разреженный (и чем больше размер отчета) последнего журнала.

Добавьте пользователя с высоким идентификатором пользователя.

root@linuxclient:/var/log/#: useradd sparsetest -u 999999 

Пользователь sparsetest создан.

root@linuxclient:/var/log/#: tail -1 /etc/passwd sparsetest:x:999999:999999::/home/sparsetest:/bin/bash

Размер файла последнего журнала увеличивается в отчете.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
32K -rw-rw-r-- 1 root root 279M Apr 30 11:34 /var/log/lastlog

Добавьте пользователя с еще более высоким идентификатором пользователя.

root@linuxclient:/var/log/#: useradd sparsetest2 -u 999999999

Файл последнего журнала становится еще более разреженным.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
48K -rw-rw-r-- 1 root root 272G Apr 30 11:46 /var/log/lastlog