Isilon OneFS: El pool de SSD está casi al 100 % de ocupación o significativamente más lleno que el pool de discos duros asociado; ID de evento: 100010018

Degradación del rendimiento debido al llenado de las SSD en un flujo de trabajo que aprovecha estrategias basadas en SSD para mejorar el rendimiento, como el almacenamiento de réplicas de metadatos o datos "activos" en SSD.
Este artículo se aplica a todas las versiones de OneFS.

Las estrategias de SSD distintas de L3 incluyen la posibilidad de llenar las SSD más rápido que el disco duro. Acercarse al 100 % de ocupación de SSD puede provocar una degradación considerable del rendimiento.
Tenga en cuenta que los problemas de “SSD lleno”, tema de este artículo de la base de conocimientos, no se aplican si todos los nodos con SSD las utilizan para la caché L3.

Condiciones necesarias para experimentar un problema de rendimiento:

• El almacenamiento SSD con el uso de “isi status” debe mostrar “Utilizado/Tamaño” en al menos algunos nodos:
• La tasa de ocupación de las SSD es mayor que la del disco duro asociado; por ejemplo, el disco duro está al 70 % de capacidad, mientras que las SSD alcanzan el 80 %
  .Si la capacidad utilizada en las SSD es similar a la del disco duro, y un pool de nodos o un clúster completo se acerca al límite de capacidad, consulte la Guía de solución de problemas para clientes de Isilon: Solucionar problemas de un clúster o pool lleno

Factores que contribuyen a llenar las SSD más rápido que las unidades de disco duro

• Las instantáneas pueden ser un factor significativo en los siguientes casos
  • Se generan instantáneas de directorios con alta frecuencia, incluso varias por hora, especialmente de carpetas con una alta tasa de cambios, como la ingesta, la eliminación o el cambio de nombre. Estos factores se indican cuando la vista de informes de trabajos de SnapshotDelete muestra una gran cantidad de “LIN eliminados”, por ejemplo, medio millón por trabajo.
  • Cuando cualquier directorio “activo”, es decir, una carpeta con múltiples cambios de archivos por minuto, tiene una política de SyncIQ programada como “cuando se modifica el origen”
  • Una gran cantidad de instantáneas acumuladas, como más de 40 guardadas en una ruta determinada, o cinco mil o más en un momento dado.
  • La limpieza de instantáneas se ve afectada por un problema de gestión de instantáneas. Afecta solo a determinadas versiones de OneFS. Consulte el artículo de la base de conocimientos: Las listas de gobernanza de instantáneas grandes pueden dar lugar a la asignación de una gran cantidad de bloques de extensión IFM y al llenado de las SSD, disponible en https://support.emc.com/kb/520985 (se requiere una cuenta de soporte de Dell para acceder a este artículo)
  • TreeDelete se utiliza con frecuencia en flujos de trabajo en directorios protegidos mediante instantáneas locales o de SyncIQ, y una gran cantidad de ellas (aproximadamente más de medio millón de LIN) se eliminan de forma rutinaria cuando se ejecuta TreeDelete, lo que significa que los LIN eliminados se agregan a la lista de cambio de las instantáneas. Cuando la versión de OneFS se ve afectada por el problema de la lista de gobernanza de instantáneas, los metadatos de gobernanza de instantáneas pueden conservar los LIN y crecer más rápido que los metadatos de los LIN suprimidos mediante la eliminación de archivos.
• La política de pool de archivos predeterminada o las políticas de pool de archivos personalizadas pueden afectar a un porcentaje significativo de archivos en los siguientes casos
  • “Estrategia de SSD para datos: metadatos”, lo que significa escribir una copia de los metadatos en SSD.
  • “Estrategia de SSD para datos: escritura de metadatos”, es decir, escribir todas las réplicas de metadatos del clúster en SSD
  • “Estrategia de SSD para datos: datos”, o sea, escribir todos los datos de archivos en SSD (poco frecuente y desaconsejable a menos que todo o la mayor parte del almacenamiento sea SSD)
  • “Estrategia de SSD para instantáneas: metadatos”, es decir, escribir una copia de los metadatos de SSD en SSD
  • “Estrategia de SSD para instantáneas: escritura de metadatos”, es decir, escribir todas las réplicas de metadatos de las instantáneas en SSD
  • “Estrategia de SSD para instantáneas: datos”, o sea, escribir los archivos de instantáneas en SSD (poco frecuente y desaconsejable a menos que todo o la mayor parte del almacenamiento sea SSD)
  • Se aplicaron reglas de pool de archivos personalizadas para aprovechar las SSD en carpetas o datos específicos “activos” como destino de datos o escritura de metadatos. La importancia no es habitual, pero cuando se encuentra, a menudo implica una carpeta a la que se prestó especial atención antes de personalizarla con fin de mejorar el rendimiento de la aplicación.
• Otros posibles factores que contribuyen a que las SSD se llenen más rápido que los discos duros:
  • Perfil de archivo pequeño. Un porcentaje significativo de los archivos tiene un tamaño inferior a 128 KB, lo que implica más cantidad de “metadatos” (LIN, es decir, ID de archivos) por volumen de almacenamiento
  • Se introdujeron sysctl personalizados para mejorar el rendimiento mediante el almacenamiento de réplicas, como btrees del sistema, réplicas delta del sistema y bloques de contabilidad de cuotas. Esto es poco frecuente y, para los clústeres con más del 2 % de SSD, estos btrees rara vez suman más de 1 % o 2 % del SSD.
  • El volumen de almacenamiento del clúster incluye menos del 2 % de SSD, como una proporción significativa de nodos diseñados para archivado nearline (NL) con poco o ningún disco SSD.
  • Acumulación de una gran cantidad de archivos ChangeListCreate (CLC) en el Dell PowerScale Cluster.

Deben estar presentes todas las condiciones necesarias, además de cualquiera de los factores que contribuyen o una combinación de ellos.

Comandos y recursos para descubrir e identificar los principales factores que contribuyen al problema de que las SSD se llenen más rápido que el disco duro:
La sintaxis corresponde a OneFSv8.0.x y, por lo general, es la misma o similar para OneFSv7.2.x y 8.1.x. Consulte la Guía del administrador de la CLI para conocer la versión de OneFS.

Comando                Dónde/por qué se utiliza
isi status -q   identifica si los nodos incluyen “Utilizado/Tamaño” (con posibilidad de conflicto) o, de lo contrario, utilizan SSD como caché L3 o no tienen SSD de almacenamiento.

" isi sync policies list -v |grep -vi target |egrep 'Name:|Path:|Schedule:' |paste - - - |tr -s "

" para la frecuencia de programación, incluida cualquier política programada como “cuando se modifica el origen”
isi snapshot snapshots list   muestra las instantáneas acumuladas, sus SnapID y los totales.
isi job status  enumera los trabajos de SnapshotDelete y TreeDelete completados recientemente, incluidos los ID de cada trabajo.
isi job reports view <ID>   para revisar los LIN eliminados y el total de LIN de un ID de trabajo de muestra.
isi filepool default-policy view   muestra las estrategias de SSD predeterminadas para los metadatos de datos y los metadatos de instantáneas.
isi filepool policies list -v  muestra las políticas personalizadas con los detalles de la estrategia de SSD.
isi storagepool list  proporciona nombres de pools de almacenamiento en el clúster, utilizados para ver y modificar las políticas de pools de archivos.
isi statistics ... protocolo, cliente, temperatura y sistema proporcionan estadísticas sobre el flujo de trabajo actual; por ejemplo, para calcular la relación de lectura:escritura del protocolo y determinar los "elementos más activos", como los archivos y carpetas más populares (en operaciones por segundo). Utilice "man isi-statistics" para obtener una sinopsis de la información disponible.
cat /etc/mcp/override/sysctl.conf muestra el ajuste de sysctl personalizado persistente. Cualquiera con "ssd" (por ejemplo, efs.bam.layout.ssd) puede indicar que se realizó un ajuste en el comportamiento de la SSD. Comuníquese con el equipo de cuentas o con el soporte de Dell para obtener orientación sobre el ajuste de sysctl y consulte el artículo de la base de conocimientos 462759, OneFS: Cómo configurar sysctls y hacer que los cambios en sysctl persistan tras reinicios y actualizaciones de nodos y clústeres; consulte https://support.emc.com/kb/462759 (se requiere una cuenta de soporte de Dell para acceder a este artículo)

• El artículo de la base de conocimientos 520985 informa sobre las versiones de OneFS susceptibles a problemas de listas de gobernanza de instantáneas grandes; consulte https://support.emc.com/kb/520985 (se requiere una cuenta de soporte de Dell para acceder a este artículo)
• Los datos de InsightIQ FSAnalyze (FSA) pueden mostrar el porcentaje de archivos "pequeños", es decir, de menos de 128 k.

isi_changelist_mod -l Mostrará una lista de changelists existentes en el clúster.

Para crear la solución más eficaz, identifique la mayor cantidad posible de factores clave que contribuyen al llenado de las SSD, según el "descubrimiento" de causas mencionado anteriormente.

Objetivo:
El objetivo es la resolución de problemas mediante tácticas simples con el menor impacto negativo en el rendimiento. El riesgo se mitiga cuando la SSD presenta un nivel de ocupación cercano al del disco duro, siempre que este último no se encuentre también excesivamente lleno.

Acción:
Los siguientes ejemplos de planes de acción se clasifican a partir de los escenarios útiles más frecuentes en la parte superior. Según los factores que contribuyen al problema, combine tácticas para crear un plan de acción proactivo y eficaz. Tenga en cuenta que cada vez que se modifica una política de pool de archivos, se debe ejecutar un trabajo de SmartPools (o SetProtectPlus) para que los cambios surtan efecto, lo cual puede tardar días.

Situación A: Muchas instantáneas que contribuyen al problema

Muchas instantáneas, programaciones frecuentes de instantáneas/sincronización, trabajos de SnapshotDelete o TreeDelete a menudo informan la eliminación de >500 000 LIN. La política predeterminada de pools de archivos para los datos son los metadatos (no la escritura de metadatos ni los datos). La versión de OneFS tiene un problema de gobernanza de instantáneas.

Recomendado:

Transfiera los metadatos de instantáneas a un disco duro y deje en la SSD los metadatos del clúster que no son instantáneas.

Procedimiento:

1. Establezca la estrategia de metadatos de SSD predeterminada del pool de archivos en "evitar"

   isi filepool default-policy modify --snapshot-ssd-strategy avoid

2. Ejecute SmartPools (o SetProtectPlus si SmartPools no tiene licencia)

   isi job start smartpools

Resultado:

Transfiere los metadatos de las instantáneas al disco duro. Si bien esta táctica puede reducir el rendimiento de lectura/espacio de nombres en las instantáneas, conserva los metadatos del clúster en el disco SSD.

Situación B: Las réplicas de metadatos se almacenan en SSD y es poco probable que los (meta)datos de las instantáneas sean un factor importante

Relativamente pocas instantáneas o poco frecuentes, la política predeterminada de pools de archivos es la escritura de metadatos; las políticas de pools de archivos personalizadas no redireccionan una cantidad significativa a las SSD.

Recomendado:

Modifique la política predeterminada de pools de archivos (y políticas personalizadas de tamaño considerable) para transferir las réplicas de metadatos de la SSD al disco duro. Luego, con la SSD de "repuesto" (porcentaje disponible por debajo del porcentaje de llenado del disco duro), cree o modifique políticas de pool de archivos personalizadas para restaurar las réplicas de metadatos a la SSD solo en las carpetas de escritura/cambio "más activas" con más probabilidades de beneficiarse, hasta que el porcentaje de llenado de la SSD coincida con el disco duro. Esta táctica requiere una licencia de SmartPools y se beneficia principalmente del uso de "isi statistics heat" para determinar las carpetas de los elementos más activos.

Procedimiento:

1. Establezca una política predeterminada de pool de archivos para que la estrategia de metadatos en SSD se establezca en metadatos

   isi filepool default-policy modify --data-ssd-strategy metadata

2. Ejecute un trabajo de SmartPools

   isi job start smartpools

3. Una vez que la SSD esté por debajo del porcentaje de ocupación del disco duro después de quitar las réplicas, utilice políticas de pool de archivos discretos a fin de aprovechar las SSD ahora disponibles para la escritura de metadatos en carpetas con un alto porcentaje de escritura.
   En el siguiente ejemplo, se crea una política de pools de archivos que aprovecha la escritura de metadatos en SSD en archivos en un directorio "activo" /ifs/data/SQL/finance en un destino de almacenamiento local denominado Performance_2.

   isi filepool policies create Save_SQL_Fin_Data --begin-filter --path=/ifs/data/SQL/finance --end-filter --data-access-pattern random --data-storage-target Performance_2 --data-ssd-strategy=metadata-write

4. Ejecute un trabajo de SmartPools

   isi job start smartpools

5. Repita los pasos B4-B5 hasta que la ocupación de la SSD esté a unos pocos puntos porcentuales de la ocupación del disco duro.

Resultado:

Transfiere las réplicas de metadatos de la SSD al disco duro y deja solo una copia de los metadatos en la SSD, lo que podría liberar hasta el 80 % de la capacidad de la SSD en situaciones en las que los metadatos de la SSD constituyen el principal factor que contribuye al problema.
Es probable que el primer paso reduzca el rendimiento de escritura y, al mismo tiempo, conserve los beneficios para las operaciones de lectura/namespace_read con una copia de los metadatos restantes en SSD.
Los pasos posteriores aprovechan la capacidad sobrante creada en la SSD para volver a la estrategia de escritura de metadatos en las carpetas de escritura/cambio más activas, lo que restaura gran parte del rendimiento de escritura perdido después del cambio de política predeterminada y, al mismo tiempo, reduce en gran medida el riesgo de que los discos SSD alcancen el 100 % de capacidad.

Situación C: Muchas instantáneas Y réplicas de metadatos utilizan SSD

Combinación de A y B, es decir, muchas instantáneas, y la política predeterminada del pool de archivos para el disco SSD de datos es la escritura de metadatos.

Recomendado:

Utilice el procedimiento A para eliminar primero los datos de las instantáneas de las SSD, si es probable que las instantáneas sean un factor significativo. Compruebe el estado de la capacidad para ver si el problema se resolvió y, a continuación, utilice el procedimiento B, si es necesario. Por lo general, los metadatos del clúster para las lecturas de espacios de nombres son más beneficiosos para el rendimiento del cliente que los metadatos de las instantáneas.

Situación D: No se resolvió con las resoluciones anteriores y el flujo de trabajo de lectura predomina sobre el de escritura

La cantidad de SSD puede ser insuficiente para todos los LIN si, por ejemplo, el flujo de trabajo se centra principalmente en archivos pequeños y la combinación de clústeres incluye nodos de clase NL con pocas o ninguna SSD. Si ninguna de las opciones anteriores logra que la SSD alcance un nivel seguro, igual o inferior a los del disco duro, considere la posibilidad de convertir las SSD a caché L3 para evitar el sobrellenado y aprovechar la SSD disponible a fin de extender la vida útil de la caché L2.

Recomendado:

Convierta las SSD a caché L3 e inicie un trabajo de Smartpools.

1. Convierta las SSD desde la estrategia de metadatos para que se utilicen completamente como caché L3.

   isi storagepool nodepools modify <storagepool name> --l3 true -f

   1. Opcional: Si namespace_read son las operaciones de protocolo predominantes, un clúster tiene un gran porcentaje de archivos pequeños o pequeñas cantidades de SSD, como los de clase NL, ajuste l3 para almacenar solo metadatos y no datos.
      Opcional: Agregue esta línea a /etc/mcp/override/sysctl.conf:

      efs.l3:efs.l3.meta_only=1

2. Ejecute un trabajo de SmartPools

   isi job start smartpools

Resultado:

Transfiere todos los datos y metadatos de las SSD y los almacena en el disco duro; convierte las SSD en una extensión de la caché L2, rellenándola con los datos y metadatos vencidos más recientemente de la caché L2.
El uso de SSD para la caché L3 puede, según el flujo de trabajo, mejorar el rendimiento. La estrategia de SSD L3 tiende a ser mejor cuando el tráfico del cliente tiene una relación de lectura:escritura de 70:30 o superior y es mejor aun cuando varios clientes leen repetidamente los mismos datos. Por ejemplo, si L2 presenta una ocupación cercana al 80 %, pero con un tiempo de vida breve, lo que significa que muchos de los errores de caché de L2 se deben a un vencimiento rápido de la caché, el uso de SSD para L3 esencialmente prolongará la vida útil de los metadatos y datos almacenados en caché de L2 y mejorará el rendimiento mediante la reducción de los errores de caché. La configuración opcional anterior de usar L3 solo para metadatos prolonga la vida útil de la caché de los metadatos, pero con la desventaja de no guardar también los datos vencidos en L2 en la caché L3. L3 con la opción de solo metadatos puede ofrecer un rendimiento similar al de la estrategia de metadatos de SSD, con la excepción de que solo se almacenan los metadatos a los que se accedió más recientemente. Esto significa que el beneficio de la aceleración del espacio de nombres se reduce a medida que los datos se vuelven más fríos (datos de acceso menos frecuente).

Situación E: Acumulación de una gran cantidad de archivos ChangeListCreate (CLC) en el Dell PowerScale Cluster.

Siga la resolución descrita en KB:000259887 PowerScale: Los archivos generados por ChangeListCreate llenan las SSD y pueden causar problemas de rendimiento