Data Domain: Una introducción a la limpieza o la recolección de elementos no utilizados para la retención a largo plazo o en el nivel de nube en los restauradores de Data Domain (DDR)

Data Domain Operating System (DDOS) 6.0 presenta una nueva característica conocida como retención en la nube o retención a largo plazo (LTR). Esta característica permite agregar un segundo nivel de almacenamiento basado en objetos aprovisionado por un proveedor de servicios en la nube a ciertos modelos de restauradores de Data Domain (DDR) con una licencia CLOUD_CAPACITY asociada.

En los sistemas donde se utiliza LTR, los archivos que ingiere DDR se escriben inicialmente en el nivel activo (almacenamiento conectado localmente). A continuación, se configuran las políticas de transferencia de datos o los umbrales de antigüedad según el Mtree. De este modo, los archivos que requieren retención a largo plazo se migran posteriormente del nivel activo al nivel de nube mediante el proceso de transferencia de datos (una tarea programada periódicamente).

Los archivos en el nivel de nube se pueden eliminar como de costumbre; sin embargo, el espacio asociado en la nube o el almacenamiento de objetos no se recupera inmediatamente para su uso. Para eliminar los datos superfluos de la nube, se debe limpiar el nivel de nube.

Estructura del nivel de nube:

El nivel de nube se subdivide en “unidades de nube”. Tenga en cuenta la siguiente información:

• El nivel de nube puede contener hasta dos unidades de nube
• Cada unidad de nube puede ser tan grande como el tamaño máximo soportado en el nivel activo para el modelo determinado de DDR
• Cada unidad de nube se puede aprovisionar desde un proveedor de almacenamiento de objetos diferente

Por ejemplo:

# cloud unit list
Name                      Profile        Status
-----------------------   ------------   ------
B-unit                    LTR-ECS-Ben    Active <=== ECS provider
cloud-unit-virtustream1   virtustream1   Active <=== Virtustream provider
-----------------------   ------------   ------

Conceptos básicos de la limpieza de la nube:

• La limpieza de la nube solo funciona con una sola unidad de nube durante cada ejecución. Para determinar la unidad de nube que se debe limpiar, se puede buscar el siguiente mensaje en los registros de DDFS (/ddr/var/log/debug/ddfs.info). En este caso, se debe limpiar la unidad de nube cloud-unit-virtustream1:

• Si un sistema contiene varias unidades de nube configuradas, la limpieza de la nube realizará una limpieza round robin de estas unidades para intentar limpiar una sola unidad cada vez que se ejecute la limpieza de la nube
• La limpieza de la nube se puede iniciar de forma manual o automática a través de una programación. Para iniciarla manualmente, se utiliza el siguiente comando:

• La limpieza del nivel activo y la limpieza de la nube no se pueden ejecutar en paralelo (debido a que ambas utilizan las mismas estructuras de memoria dentro de DDFS)
• Si se está ejecutando una limpieza del nivel activo (iniciada manualmente o a través de una programación) y se intenta iniciar una limpieza de la nube, se producirá un error como el siguiente:

• Si la limpieza de la nube se inició automáticamente (es decir, a través de una programación) y se inicia una limpieza del nivel activo, se anulará la limpieza de la unidad de nube para permitir la ejecución de la limpieza del nivel activo. Esto se indica mediante lo siguiente en los registros de DDFS:

• Si la limpieza de la nube se inició manualmente y se intenta iniciar una limpieza del nivel activo, la limpieza del nivel activo no se iniciará; se dejará que la limpieza de la nube se ejecute hasta su finalización, es decir:

• Una unidad de nube debe haber experimentado un 1 % de “rotación” de datos como mínimo (es decir, >= 1 % de los datos actualmente en la unidad de nube se debe considerar superfluo y, por lo tanto, extraíble) para que se inicie la limpieza de la nube. Si este no es el caso y la limpieza de la nube se inicia manualmente, se mostrará lo siguiente en la línea de comandos:

• Si un sistema contiene dos unidades de nube y la limpieza programada de la primera unidad falla por algún motivo (por ejemplo, una rotación insuficiente), se intentará iniciar automáticamente la limpieza en la segunda unidad (es decir, no es necesario esperar a la siguiente ejecución programada de limpieza de la nube para que se limpie la segunda unidad)
• La limpieza de la nube se puede regular (de forma similar a la limpieza del nivel activo) para determinar qué acción se debe realizar cuando el sistema se encuentra afectado por otra carga de trabajo significativa (por ejemplo, ingesta, restauración, replicación).

Programación de la limpieza de la nube:

En DDOS 6.0 y las versiones posteriores, la forma de programar la limpieza del nivel activo no ha cambiado; de manera predeterminada, la ejecución de la limpieza del nivel activo se programa una vez por semana a las 06:00 del martes, es decir:

# filesys clean show schedule
Filesystem cleaning is scheduled to run "Tue" at "0600".

De manera predeterminada, la limpieza de la nube se programa para ejecutarse después de cada 4.ª invocación de la limpieza de nivel activo programada. Para mostrar la programación de la limpieza de la nube, se debe utilizar el siguiente comando:

# cloud clean frequency show
Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.

Como resultado, en un sistema con la configuración predeterminada, la limpieza de la nube se iniciará cada 4 semanas. Si el sistema tiene dos unidades de nube, cada unidad se limpiará una vez cada 8 semanas.

Para cambiar la frecuencia de limpieza de la nube, se puede utilizar el siguiente comando:

# cloud clean frequency set 2
Cloud tier cleaning frequency is set to run after every 2 active tier cleaning cycles.

Para restablecer la limpieza de la nube a su programación predeterminada posterior a cada 4 limpiezas del nivel activo, se puede utilizar el siguiente comando:

# cloud clean frequency reset
Cloud tier cleaning frequency is reset to default (every 4 active tier cleaning cycles).

Tenga en cuenta que la programación de la limpieza de la nube no incluye los ciclos de limpieza del nivel activo iniciados manualmente. Como resultado, en el sistema anterior, incluso si la limpieza del nivel activo se ejecutara manualmente todos los días, la limpieza del nivel de nube solo comenzaría una vez cada 4 semanas.

También es posible deshabilitar por completo la limpieza de la nube programada mediante el siguiente comando:

# cloud clean frequency set never
Cloud tier cleaning frequency is set to "never".

En este caso, la limpieza de la nube solo se ejecutará cuando se inicie manualmente.

Para detener una limpieza de la nube que se encuentra en ejecución, se puede utilizar el siguiente comando:

# cloud clean stop

Para determinar cuándo se ejecutó por última vez la limpieza de la nube, se puede utilizar el siguiente comando:

# cloud clean status
Cloud tier cleaning finished at 2016/08/01 20:54:43.

Algoritmo de limpieza de la nube:

La limpieza de la nube utilizará el mismo algoritmo de limpieza que se configuró para el nivel activo. En DDOS 6.0 (y las versiones posteriores), esto se configura de manera predeterminada en la recolección física perfecta de elementos no utilizados (PPGC); sin embargo, esto se puede cambiar a la recolección física de elementos no utilizados (PGC) mediante los parámetros del sistema.

Tenga en cuenta que la recolección física de elementos no utilizados no se debe deshabilitar, ya que el uso del algoritmo de limpieza tradicional/completa para limpiar una unidad de nube puede provocar una alarma o el reinicio de DDFS

El algoritmo utilizado para la limpieza de la nube se muestra en los registros de DDFS cuando se inicia la limpieza, es decir:

06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Algorithm selected: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Algorithm selected: Full Cleaning <=== Traditional GC

Tenga en cuenta a partir de la salida anterior que no es posible distinguir entre PPGC o PGC; el algoritmo específico utilizado es evidente debido a la cantidad de fases ejecutadas por la limpieza. En general:

GC tradicional/completa: 10 fases
PGC: 12 fases
PPGC: 6 fases

Para obtener más información sobre cómo cambiar el algoritmo de limpieza que se utiliza en un sistema, comuníquese con su proveedor de soporte contratado

Diferencias entre las fases de copia de la limpieza del nivel activo y la limpieza de la nube:

La fase de copia de la limpieza es la fase en la que se eliminan físicamente los datos superfluos en un DDR o se recupera espacio. Tenga en cuenta que existen diferencias de funcionamiento entre la fase de copia en los niveles activo y de nube:

Nivel activo:

• Los datos escritos en el nivel activo de un DDR se encuentran dentro de contenedores de 4,5 Mb
• De manera predeterminada, un contenedor solo se considerará para “copia” por la limpieza si contiene <= 92 % de datos “activos” (es decir, a los que se hace referencia activamente)
• Los datos activos se extraerán del contenedor y se escribirán en un contenedor nuevo (junto con los datos activos de otros contenedores copiados) al final del sistema de archivos
• Los índices en disco se actualizarán para reflejar el nuevo contenedor con los datos activos
• A continuación, se eliminará el contenedor original (con los datos activos e inactivos) y el espacio de disco subyacente quedará disponible para su uso

Nivel de nube:

• Los datos escritos en el nivel de nube de un DDR se estructuran de manera diferente. En lugar de colocarse dentro de contenedores de 4,5 Mb, los fragmentos individuales de datos (las regiones de compresión de 64 Kb) se escriben en la unidad de nube (NOTA: Para DDOS 6.1.2.0 y las versiones posteriores, los objetos almacenados en la unidad de nube serán más grandes, consulte Data Domain: Tamaño de objetos grandes para el nivel de nube para obtener detalles)
• En lugar de extraer los datos activos de una región de compresión existente y copiarlos hacia delante, la limpieza de la nube solo considerará las regiones de compresión que contienen únicamente datos inactivos para su eliminación

Esta diferencia se debe al costo inherente de la lectura y escritura de una gran cantidad de datos en el almacenamiento de nube; sin embargo, esto supone que una unidad de nube podría llenarse artificialmente (es decir, contener una gran cantidad de regiones de compresión, cada una con una cantidad muy pequeña de datos activos que impiden su eliminación).

En una situación como esta, es posible configurar parámetros del sistema para forzar una “limpieza de desfragmentación” de la unidad de nube. Esto copiará hacia delante los datos activos de las regiones de compresión existentes para consolidar los datos activos en la menor cantidad posible de regiones de compresión, lo que permitirá liberar espacio.

Para obtener más información sobre cómo ejecutar una “limpieza de desfragmentación”, comuníquese con su proveedor de soporte contratado.