Data Domain: Cómo resolver problemas relacionados con la alta utilización de espacio o la falta de capacidad disponible en los restauradores de Data Domain (DDR)

 

• Este es el área del disco en el que residen los datos o archivos recientemente recopilados y, en la mayoría de los archivos de DDR, permanecen aquí hasta que caduca o es eliminada por una aplicación de copia de seguridad del cliente.
• En DDR configurados con retención extendida (ER) o retención a largo plazo (LTR), el proceso de transferencia de datos se puede ejecutar periódicamente para migrar archivos antiguos desde el nivel activo a los niveles de archivo o de nube.
• La única forma de recuperar espacio en el nivel activo que utilizó los archivos eliminados o migrados es mediante la ejecución del proceso de limpieza o recolección de elementos no utilizados (GC).

• Es posible que el nivel activo comience a quedarse sin espacio disponible, lo que provoca que se muestren alertas o mensajes como los siguientes:

• Si el nivel activo llega a llenarse al 100 %, no se podrá escribir ningún dato nuevo en el DDR, lo cual puede causar que fallen las copias de seguridad y la replicación: en este escenario, se pueden mostrar alertas o mensajes como los siguientes:

• En algunas circunstancias, que el nivel activo se llene puede provocar que el sistema de archivos de Data Domain (DDFS) sea de solo lectura, estado en el cual no se pueden eliminar los archivos existentes.

• explicar por qué el nivel activo puede llenarse;
• describir un conjunto simple de comprobaciones que se pueden realizar para determinar la causa de la alta utilización del nivel activo y los pasos correctivos correspondientes.

• Este artículo no es exhaustivo (es decir, es posible que exista una pequeña cantidad de situaciones en las que el nivel activo de un DDR esté altamente utilizado o lleno por una razón que no se analice en este documento), sin embargo, su objetivo es abarcar las causas y los problemas más comunes.
• En este artículo, no se abarca la alta utilización de los niveles de archivo o de nube.

  El nivel activo de un DDR puede experimentar una utilización, mayor a la esperada por una serie de motivos:

• Los savesets y archivos de copia de seguridad no han caducado ni han sido eliminados correctamente por las aplicaciones de copia de seguridad del cliente debido a una política de retención o a una configuración de aplicación de copia de seguridad incorrectas.
• El retraso de la replicación que hace que una gran cantidad de datos antiguos se mantenga en el nivel activo pendiente de replicación a réplicas.
• Los datos que se escriben en el nivel activo tienen una tasa de compresión general inferior a la esperada.
• El tamaño del sistema no se ha ajustado correctamente; es decir, es muy pequeño para la cantidad de datos que se intenta almacenar en él.
• Las copias de seguridad constan de una gran cantidad de archivos muy pequeños. Estos archivos consumen mucho más espacio del que se espera cuando se escribe inicialmente; sin embargo, este espacio debe recuperarse durante la recopilación de elementos no utilizados o la limpieza.
• Transferencia de datos que no se ejecuta de forma periódica en sistemas configurados con ER/LTR que causan que los archivos antiguos que se deben migrar a los niveles de archivo y nube permanezcan en el nivel activo
• La limpieza y la recopilación de elementos no utilizados no se ejecutan de forma periódica
• Instantáneas de mtrees excesivas o antiguas existentes en el DDR que impidan la recuperación de espacio desde los archivos o datos eliminados

Paso 1: Determinar si se debe ejecutar la limpieza del nivel activo

El sistema operativo de Data Domain (DDOS) intenta mantener un contador denominado “Cleanable GiB” para el nivel activo. Esta es una estimación de la cantidad de espacio físico (post-comp) que potencialmente se podría recuperar en el nivel activo mediante la ejecución de limpieza o la recolección de elementos no utilizados. Este contador se muestra mediante los comandos "filesys show space" y "df":
 
Si:

• El valor para "Cleanable GiB" es grande
• DDFS pasó a estar en un 100 % lleno (y, por lo tanto, es de solo lectura)

Debe realizarse una limpieza y permitir que se ejecute hasta su finalización antes de continuar con los pasos que se indican en este documento. Para iniciar la limpieza, se debe utilizar el comando “filesys clean start”, es decir:
 
Para confirmar que se inició el borrado de la manera esperada, se puede usar el comando “filesys status”, es decir:
 
Tenga en cuenta la siguiente información:

• Si la limpieza no se puede iniciar, comuníquese con su proveedor de soporte contratado para obtener más ayuda. Esto puede indicar que el sistema detectó un "error de segmento perdido" que causa la desactivación de la limpieza.
• Si la limpieza ya está en ejecución, se mostrará el siguiente mensaje cuando se intente iniciar:

• Sin espacio en el nivel activo se liberará o se eliminará hasta que la limpieza alcance su fase de copia (de manera predeterminada, la fase 9 en DDOS 5.4.x y versiones anteriores, la fase 11 en DDOS 5.5.x y versiones posteriores). Para obtener más información sobre las fases utilizadas por la limpieza, consulte: https://support.emc.com/kb/446734
• La limpieza no puede recuperar la cantidad de espacio indicada por "Cleanable GiB", ya que este valor es básicamente un cálculo. Para obtener más información sobre esto, consulte: https://support.emc.com/kb/485637
• Es posible que la limpieza no recupere todo el espacio potencial en una sola ejecución. Esto se debe a que en los DDR que contienen conjuntos de datos muy grandes, la limpieza trabajará en la parte del sistema de archivos que contiene los datos más superfluos (es decir, a fin de ofrecer el mejor resultado de espacio libre en función del tiempo que la limpieza toma para ejecutarse). En algunos casos, es posible que sea necesario ejecutar la limpieza varias veces antes de que se recupere todo el espacio potencial.
• Si el valor de "Cleanable GiB" era muy grande, esto puede indicar que la limpieza no se está ejecutando en intervalos regulares. Compruebe que se haya establecido un programa para limpieza:

Una vez que se complete la limpieza, utilice los comandos "filesys show space" y "df" para determinar si se resolvieron los problemas de utilización. Si la utilización aún es alta, proceda a realizar los pasos restantes que se indican en este artículo.

Paso 2: Comprobar si hay grandes cantidades de retraso de replicación en contraste con los contextos de replicación

La replicación nativa de Data Domain está diseñada según el concepto de "contextos de replicación". Por ejemplo, cuando se deben replicar los datos entre sistemas:

• Los contextos de replicación se crean en DDR de origen y de destino.
• Los contextos se inicializan.
• Una vez finalizada la inicialización, la replicación enviará de forma periódica actualizaciones o deltas del origen al destino para mantener los datos de los sistemas sincronizados

Si un contexto de replicación de origen se retrasa, puede hacer que los datos antiguos se mantengan en el disco en el sistema de origen (tenga en cuenta que los contextos de replicación retrasada no pueden causar una utilización excesiva en el sistema de destino):

• Contextos de replicación de directorios (se utiliza cuando se replica un solo árbol de directorio en /data/col1/backup entre sistemas):

•  Contextos de replicación de mtree (se utiliza cuando se replican mtree distintos de /data/col1/backup entre sistemas):

• Contextos de replicación de recopilaciones (se utiliza cuando se replica todo el contenido de un DDR en otro sistema):

 Para determinar si los contextos de replicación están retrasados, se deben realizar los siguientes pasos:

• Determine el nombre de host del sistema actual:

• Determine la fecha y la hora en el sistema actual:

• Enumere los contextos de replicación configurados en el sistema, junto con su "synced as of time". Tenga en cuenta que los contextos de interés son aquellos en los que el "destino" NO contiene el nombre de host del sistema actual (que indica que el sistema actual es el origen) y "synced as of time" es significativamente antiguo:

Los contextos para los cuales el sistema actual es el origen y que están mostrando un retraso o contextos significativos que ya no son necesarios se deben romper. Esto se puede realizar mediante la ejecución del siguiente comando en el sistema de origen y destino:
 
Por ejemplo, para interrumpir los contextos “interesantes” que se muestran anteriormente, se ejecutarán los siguientes comandos en el origen y el destino:
 
Tenga en cuenta la siguiente información:

• Una vez que se interrumpen los contextos, se debe realizar una limpieza de nivel activo para recuperar el espacio potencial en el nivel activo.
• Si se utiliza replicación de mtree una vez que los contextos se interrumpan, las instantáneas de replicación de mtree pueden permanecer en disco. Asegúrese de que se siga el paso 5 luego del vencimiento de cualquier instantánea superflua antes de ejecutar la limpieza.
• Si el mtree de origen/destino está configurado para migrar datos a los niveles de archivo o nube, se debe tener cuidado cuando se interrumpen los contextos de replicación de mtree correspondientes, ya que es posible que no se puedan volver a crear o inicializar nuevamente en el futuro. El motivo de esto es que, cuando un contexto de replicación de mtree se inicializa, se crea una instantánea de mtree en el sistema de origen y contiene los detalles de todos los archivos en el mtree (independientemente del nivel). Luego, esta instantánea se replica por completo en el nivel activo del destino. Como resultado, si el nivel activo del destino no tiene suficiente espacio libre para recopilar todos los datos de mtrees desde el origen, la inicialización no podrá realizarse. Para obtener más información sobre este problema, comuníquese con su proveedor de soporte contratado.
• Si se interrumpe un contexto de replicación de recopilaciones, el contexto no se podrá volver a crear ni inicializar sin destruir primero la instancia de DDFS en el DDR de destino (y perder todos los datos en este sistema). Como resultado, una nueva inicialización puede ocupar un ancho de banda y un tiempo considerable, ya que todos los datos del origen se deben replicar físicamente en el destino.

Paso 3: Comprobar que ya no se requieren mtrees

El contenido de DDFS se divide lógicamente en mtrees. Es común que las aplicaciones y los clientes de copia de seguridad individuales escriban en un mtrees individual. Si se da de baja una aplicación de copia de seguridad, ya no podrá escribir datos en el DDR ni eliminarlos de él, lo cual puede dejar mtrees antiguos o superfluos en el sistema. Los datos de estos mtrees continuarán existiendo indefinidamente utilizando el espacio en disco en el DDR. Como resultado, se debe eliminar el mtrees superfluo. Por ejemplo:

• Obtenga una lista de mtrees en el sistema:

• Los mtrees que ya no se requieran deben eliminarse con el comando “mtree delete”, es decir:

• El espacio consumido en el disco por el mtree eliminado se recuperará la próxima vez que se ejecute la limpieza o la recolección de elementos no utilizados del nivel activo.

Tenga en cuenta la siguiente información:

• En los mtrees que son destinos de replicación de mtree (es decir, tienen un estado de RO/RD en el resultado de la lista de mtree) se debe interrumpir el contexto de replicación correspondiente dañado antes de que se elimine el mtree.
• Es posible que los mtrees que se utilizan como unidades de almacenamiento lógicas (LSU) de DDBoost o como grupos de bibliotecas de cintas virtuales (VTL) no se puedan eliminar mediante el comando “mtree delete”. Consulte la Guía de administración de Data Domain para obtener más información sobre la eliminación de dichos mtrees.
• Los mtrees que están configurados para el bloqueo de retención (es decir, que tienen un estado de RLCE o RLGE) no se pueden eliminar: en lugar de archivos individuales dentro del mtree, deben revertir cualquier bloqueo de retención y eliminarse individualmente. Consulte la Guía de administración de Data Domain para obtener más información.

Paso 4: Comprobar las instantáneas de mtree antiguas o superfluas

Una instantánea de Data Domain representa una instantánea de un punto en el tiempo del mtree correspondiente. Como resultado:

• La instantánea hará referencia a cualquier archivo que exista dentro del mtree cuando se cree la instantánea.
• Aunque la instantánea sigue existiendo, incluso si estos archivos se retiran o eliminan, la limpieza no podrá recuperar ningún espacio físico que utilicen en el disco, ya que los datos deben permanecer en el sistema en caso de que posteriormente se acceda a la copia del archivo en la instantánea.

Para determinar si algún mtree tiene instantáneas antiguas o superfluas, se deben realizar los siguientes pasos:

• Obtenga una lista de mtrees en el sistema mediante el comando “mtree list”, como se muestra en el paso 3.
• Enumere las instantáneas que existen para cada mtree mediante el comando “snapshot list”:

• Donde haya instantáneas, utilice la salida de “snapshot list mtree [mtree name]” para determinar las instantáneas que:

• Si se vuelve a ejecutar el comando de lista de instantáneas, estas instantáneas ahora se mostrarán como caducadas:

Tenga en cuenta la siguiente información:

• No es posible determinar cuántos datos físicos tiene una instantánea individual o un conjunto de instantáneas en el disco; el único valor para el “espacio” asociado con una instantánea es una indicación del tamaño (lógico) comprimido previamente del mtree cuando se creó la instantánea (como se muestra en el resultado anterior).
• Las instantáneas que se denominan “REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS” se administran mediante la replicación de mtree y, en circunstancias normales, no deben caducar manualmente (la replicación caducará automáticamente estas instantáneas cuando ya no se requieran). Si esas instantáneas son extremadamente antiguas, esto indica que el contexto de replicación correspondiente probablemente muestre un retraso significativo (como se describe en el paso 2)
• Las instantáneas que se denominan "REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS" se crean mediante la replicación de mtree cuando se interrumpe un contexto de replicación de mtree. Su objetivo es que se puedan usar para evitar una resincronización completa de los datos de replicación si el contexto dañado se vuelve a crear posteriormente (por ejemplo, si el contexto se interrumpió por error). Si no se restablecerá la replicación, estos contextos pueden caducar manualmente, como se describe anteriormente
• Las instantáneas vencidas continuarán existiendo en el sistema hasta que la próxima vez que se ejecute la limpieza o la recolección de elementos no utilizados, en este punto, se eliminarán físicamente y se eliminarán de los resultados de “snapshot list mtree [mtree name]”. A continuación, la limpieza puede recuperar cualquier espacio que las instantáneas estuvieran utilizando en el disco.

Paso 5: Comprobar si hay una cantidad inesperada de archivos antiguos en el sistema

Los autosoportes del DDR contienen histogramas que muestran un desglose de archivos en el DDR por antigüedad, por ejemplo:
 
Esto puede ser útil para determinar si hay archivos en el sistema que no hayan sido caducados o eliminados según lo previsto por la aplicación de copia de seguridad del cliente. Por ejemplo, si el sistema anterior fue escrito por una aplicación de copia de seguridad en la que el período de retención máximo para cualquier archivo era de 6 meses, es evidente inmediatamente que la aplicación de copia de seguridad no ha vencido ni elimina los archivos según lo esperado, ya que hay aproximadamente 80 000 archivos de más de 6 meses en el DDR.

Tenga en cuenta lo siguiente:

• Es responsabilidad de la aplicación de copia de seguridad realizar todas las tareas de caducidad/eliminación de archivos
• Un DDR nunca caducará/eliminará archivos automáticamente, a menos que la aplicación de copia de seguridad indique explícitamente que el archivo continuará existiendo en el DDR utilizando espacio indefinidamente.

Como resultado, los problemas de este tipo deben ser primero investigados por el equipo de soporte de los proveedores de la aplicación de copia de seguridad.

Si es necesario, el soporte de Data Domain puede proporcionar informes adicionales para:

• Dar el nombre o la hora de modificación de todos los archivos en un DDR ordenados por antigüedad (de modo que se pueda determinar el nombre o la ubicación de los datos antiguos);
• separar los histogramas de la antigüedad de los archivos en informes separados para los niveles activo, de archivo o nube (donde las funciones ER/LTR están activadas).

Para realizarlo debe hacer lo siguiente:

• Recopile la evidencia como se describe en el párrafo "Recopilación de sfs_dump" de la sección de notas de este documento.
• Abra una solicitud de servicio con su proveedor de soporte contratado.

Una vez que se eliminan los archivos antiguos o superfluos, se debe ejecutar la recolección de elementos no utilizados para recuperar espacio de manera física en el nivel activo

Paso 6: Comprobar si hay copias de seguridad que incluyan una gran cantidad de archivos pequeños

Debido al diseño de archivos pequeños de DDFS (básicamente, cualquier archivo que tenga un tamaño inferior a aproximadamente 10 Mb) puede consumir demasiado espacio cuando se escribe inicialmente en el DDR. Esto se debe a la arquitectura “SISL” (diseño de segmentos informados) que hace que los archivos pequeños consuman varios bloques individuales de 4,5 Mb de espacio en el disco. Por ejemplo, un archivo de 4 Kb puede consumir realmente hasta 9 Mb de espacio en el disco físico cuando se escribe inicialmente.

Posteriormente, este espacio excesivo se vuelve a producir cuando se ejecuta la limpieza o la recolección de elementos no utilizados (ya que los datos de archivos pequeños se agregan a una cantidad más pequeña de bloques de 4,5 Mb), pero pueden provocar que los modelos más pequeños de DDR muestren una utilización excesiva y que se llenen cuando se ejecutan dichas copias de seguridad.

Los autosoportes contienen histogramas de archivos desclasificados por tamaño, por ejemplo:
 
Si hay evidencias de copias de seguridad que escriben una gran cantidad de archivos pequeños, el sistema puede verse afectado por aumentos temporales significativos en la utilización entre cada invocación de limpieza y recolección de elementos no utilizados. En este escenario, se recomienda cambiar la metodología de copia de seguridad para incluir todos los archivos pequeños en un único archivo de mayor tamaño (por ejemplo, un archivo tar) antes de escribirlos en el DDR. Tenga en cuenta que el archivo no se debe comprimir ni cifrar (ya que esto dañará la tasa de compresión o la tasa de deduplicación de esos datos).

Paso 7: Comprobar si hay una tasa de deduplicación más baja que la prevista

El propósito principal de un DDR es la deduplicación y la compresión, además de los datos recopilados por parte del dispositivo. La relación de deduplicación/compresión depende en gran medida del caso de uso del sistema y el tipo de datos que contiene, sin embargo, en muchos casos, habrá una tasa de compresión general "esperada" en función de los resultados obtenidos a través de la realización de pruebas de concepto o u otro tipo de pruebas. Para determinar la tasa de compresión general actual del sistema (y, por lo tanto, si cumple con las expectativas), se puede usar el comando “filesys show compression”. Por ejemplo:
 
En el ejemplo anterior, el sistema está logrando una tasa de compresión general de 65,3x para el nivel activo (que es extremadamente buena). Sin embargo, si este valor muestra que la tasa de compresión general no cumple con las expectativas, es probable que sea necesario investigar más. Tenga en cuenta que investigar la tasa de compresión inferior a la esperada es un asunto complejo que puede tener muchas causas raíz. Para obtener más información sobre la investigación posterior, consulte el siguiente artículo: https://support.emc.com/kb/487055

Paso 8: Verificar si el sistema es un origen para la replicación de recopilaciones

Cuando se usa la replicación de recopilaciones, si el sistema de origen es físicamente más grande que el destino, el tamaño del sistema de origen se limita artificialmente a que coincida con el de destino (es decir, habrá un área del disco en el origen que se marcará como inutilizable). El motivo de esto es que, cuando se usa la replicación de recopilaciones, es necesario que el destino sea una copia de nivel de bloque del origen sin embargo, si el origen es físico más grande que el destino, existe la posibilidad de que se escriban demasiados datos en el origen, los cuales no se pueden replicar en el destino (ya que ya está lleno). Este escenario se evita al limitar el tamaño del origen para que coincida con el destino.

• Mediante los comandos del paso 2, compruebe si el sistema es un origen para la replicación de recopilaciones. Para hacerlo, ejecute “estado de replicación” y determine si hay contextos de replicación que inicien “col://” (que indica la replicación de recopilaciones) que no contienen el nombre de host del sistema local en el destino (esto indica que este sistema debe ser un origen para el contexto de replicación)
• Si el sistema es un origen para la replicación de colecciones, compruebe el tamaño de cada nivel activo de los sistemas mediante el inicio de sesión en ambos y la ejecución del comando “filesys show space”: compare el tamaño de “post-comp” de los niveles activos en cada uno.
• Si el origen es significativamente mayor que el destino, su tamaño activo de nivel será artificialmente limitado
• Para permitir que todo el espacio en el origen sea utilizable para los datos, se debe realizar lo siguiente:

Paso 9: Verificar si la transferencia de datos se ejecuta periódicamente

Si el DDR está configurado con retención extendida (ER) o retención a largo plazo (LTR), tendrá un segundo nivel de almacenamiento conectado (nivel de archivo para ER o nivel de nube para LTR). En este escenario, es probable que las políticas de transferencia de datos se configuren en relación con mtrees para migrar los datos más antiguos o no modificados que requieren retención a largo plazo del nivel activo al nivel alternativo de almacenamiento, de modo que el espacio utilizado por estos archivos en el nivel activo se pueda recuperar de físicamente mediante recolección de elementos no utilizados o limpieza. Si las políticas de transferencia de datos se configuran incorrectamente o si no se ejecuta el proceso de transferencia de datos de forma periódica, los datos antiguos permanecerán en el nivel activo más de lo esperado y continuarán utilizando el espacio físico en el disco.

• En primer lugar, confirme si el sistema está configurado para ER o LTR mediante la ejecución de “filesys show space” y la comprobación de la existencia de un nivel de archivo o de nube: Tenga en cuenta que, para poderse utilizar, estos niveles alternativos de almacenamiento deben tener un tamaño posterior a la compensación de >0 Gb:

• Si el sistema está configurado con ER/LTR, compruebe las políticas de transferencia de datos en relación con mtrees para asegurarse de que estos sean según lo esperado y que estén establecidos de modo que los datos antiguos se extraigan al nivel alternativo de almacenamiento:

• Si el sistema está configurado con ER/LTR, compruebe que la transferencia de datos esté programada para ejecutarse a intervalos regulares para migrar físicamente archivos y datos desde el nivel activo al almacenamiento alternativo:

• Si el sistema está configurado para ER/LTR, compruebe la última vez que se ejecutó la transferencia de datos:

• Una vez que se completa la transferencia de datos, se debe ejecutar la limpieza del nivel activo (tenga en cuenta que puede configurarse para que se inicie automáticamente al finalizar la transferencia de datos) para asegurarse de que el espacio utilizado por los archivos migrados en el nivel activo se libere físicamente:

Paso 10: Agregar almacenamiento adicional al nivel activo

Si se realizaron todos los pasos anteriores, la operación de limpieza de nivel activo se completó, pero aún no hay suficiente espacio disponible en el nivel activo, es probable que el sistema no tenga el tamaño correcto para la carga de trabajo que recibe. En este caso, se debe realizar una de las siguientes acciones:

• Reduzca la carga de trabajo que llega al sistema; por ejemplo:

• Agregue almacenamiento adicional al nivel activo del sistema y amplíe su tamaño:

El soporte de Data Domain puede generar una cantidad de informes que muestran información como la siguiente:

• Una lista de todos los archivos en un nivel específico (es decir, activo/archivo/nube) ordenados por antigüedad
• Tamaño estimado y tasa de compresión por mtree/major del directorio principal
• Una lista de todos los archivos en un mtree específico ordenados por antigüedad
• y otros criterios.

Para permitirlo, se debe recopilar la siguiente información:

• Un paquete de soporte nuevo del DDR: consulte lo siguiente para obtener más información: https://support.emc.com/kb/323283
• El resultado de “sfs_dump” o “sfs_dump-c”:

• Un informe de ubicación de archivos (obligatorio si el sistema está configurado para ER o LTR):

Con el fin de obtener ayuda para recopilar lo anterior o con cualquiera de los pasos de esta limpieza de archivo, comuníquese con su proveedor de soporte contratado.