Avamar - Розмір резервної копії клієнта Linux може вводити в оману через '/var/log/lastlog' та розріджену поведінку обробки файлів.

Поведінка, описана в цій статті, може вплинути на створення звітів про розмір резервної копії Avamar.
Це представляє інтерес, коли ми повинні звітувати про обсяг даних, захищених резервною копією Avamar. Прикладом може бути ситуація, коли постачальник послуг виставляє рахунок кінцевим користувачам за суму клієнта.

Повідомлений розмір резервної копії клієнта Linux, куди включено /var/log/lastlog, може бути більшим, ніж загальний дисковий простір, доступний клієнту.

Приклад:
Клієнт Linux налаштований на резервне копіювання лише каталогу /var/log, який містить 39 МБ даних.

root@linuxclient:~/#: du -hs /var/log
39M /var/log

Каталог /var/log і резервна копія містять 'lastlog',  

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
48K -rw-rw-r-- 1 root root 272G Apr 30 11:46 /var/log/lastlog

Примітка: lastlog займає 48 Кбайт місця на диску, тоді як звичайний повідомлений розмір становить 272 ГБ. Це розріджений файл. Після завершення резервного копіювання avtar стверджує, що створив резервну копію 272 ГБ даних.
 

2015-04-30 12:08:09 avtar Info <5163>: Backup complete, wrapping-up session with Server
2015-04-30 12:08:10 avtar Info <5156>: Backup #494 timestamp
2015-04-30 12:21:58, 131 files, 16 directories, 272.0 GB (5 files, 6.830 KB, 0.00% new)
2015-04-30 12:08:10 avtar Info <7539>: Label "MOD-1430395268242", scheduled to expire after 06/29/15 (2015-06-29 12:01:07 UTC), none backup
2015-04-30 12:08:10 avtar Info <6083>: Backed-up 272.0 GB in 20.83 minutes: 783 GB/hour (377 files/hour)

Повідомлене значення обсягу даних, для яких створюється резервна копія, перевищує розмір файлової системи Linux.

root@linuxclient:~/#: df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 7.9G 2.4G 5.1G 32% /
/dev/sda1 122M 13M 103M 12% /boot
none 3.0G 0 3.0G 0%
/dev/shm /dev/sda3 1.5G 125M 1.3G 9% /var

Файл /var/log/lastlog змінюється кожного разу, коли користувач (людина чи інший) входить до системи. Avtar повинен обробляти весь файл через обмеження на обробку розріджених файлів, описані в статті Avamar, і розріджених файлів.

Спосіб вирішення проблеми 1: Виключити /var/log/lastlog з резервної копії. 

Якщо користувач повинен створити резервну копію lastlog для цілей аудиту, розгляньте можливість створення запланованого щоденного crontab для надсилання виводу lastlog у вихідний файл
, наприклад,

lastlog > /var/log/lastlog_$(date +%d%m%Y).log

Резервну копію звичайного файла lastlog_<date буде збережено, а початкового, розрідженого lastlog — ні.


>Спосіб вирішення проблеми 2: Зменшіть діапазон ідентифікаторів користувачів і скоротіть 'lastlog'.

Подумайте, чи потрібен такий високий ідентифікатор користувача. Чи може він споживати всі ідентифікатори користувачів у вказаному діапазоні?
Якщо нижчий ідентифікатор користувача однаково функціональний, може бути корисним наступне; 

• Відредагуйте /etc/passwd, щоб переконатися, що діапазон ідентифікаторів користувачів є якомога меншим.
• Перейменуйте файл lastlog, а потім повторно створіть його за допомогою сенсорного lastlog. Встановіть право власності та дозволи на те, щоб вони збігалися з оригінальним файлом.
• Підключіться до системи з користувачем, щоб оновити щойно створений файл lastlog.

root@linuxclient:/var/log/#: ls -ltrhs | grep lastlog
36K -rw-r----- 1 root tty 272G Apr 28 09:44 lastlog.old
8.0K -rw-r----- 1 root tty 143K Apr 28 09:50 lastlog

Примітка #1:
З точки зору продуктивності, резервне копіювання великого розрідженого файлу займає значну кількість часу. Через природу 'lastlog', файл, швидше за все, буде змінений і повинен повністю оброблятися щодня. Fабо більше інформації про розріджені файли дивітьсяв Avamar  і розріджених файлах.

Примітка #2:
Файл /var/log/lastlog є розрідженим файлом, розмір якого залежить від діапазону ідентифікаторів користувача, який існує у файлі /etc/passwd.

У наведеному вище прикладі /etc/passwd спочатку мав ідентифікатори користувача, які сягали 502.  

Файл був мізерним, але поміркованим. Розмір файлу, про який повідомлялося, був невеликим.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
16K -rw-rw-r-- 1 root root 143K Apr 30 11:26 /var/log/lastlog

Додавання користувача з великим ідентифікатором користувача призводить до значного збільшення розміру lastlog у звіті. Як показано нижче, чим вищий ідентифікатор користувача, тим розрідженіший (і більший повідомлений розмір) lastlog.

Додайте користувача з високим ідентифікатором користувача.

root@linuxclient:/var/log/#: useradd sparsetest -u 999999 

Створено розріджений користувачем.

root@linuxclient:/var/log/#: tail -1 /etc/passwd sparsetest:x:999999:999999::/home/sparsetest:/bin/bash

Розмір файлу lastlog збільшується у звіті.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
32K -rw-rw-r-- 1 root root 279M Apr 30 11:34 /var/log/lastlog

Додайте користувача з ще вищим ідентифікатором користувача.

root@linuxclient:/var/log/#: useradd sparsetest2 -u 999999999

Файл lastlog стає ще більш розрідженим.

root@linuxclient:/var/log/#: ls -ltrhs /var/log/lastlog
48K -rw-rw-r-- 1 root root 272G Apr 30 11:46 /var/log/lastlog