PowerScale: escalamiento del rendimiento de la partición para rastrear las cargas de trabajo principales de 5K

El rendimiento particionado (PP) en PowerScale OneFS proporciona un seguimiento de la carga de trabajo superior por conjunto de datos, lo que permite a los administradores identificar las cargas de trabajo más activas (por uso de CPU, ancho de banda o conteos de operaciones de protocolo/disco) en el clúster.

Los clientes que deseen realizar un seguimiento de hasta 5000 cargas de trabajo principales activas por conjunto de datos pueden hacerlo aplicando los cambios de configuración descritos en este artículo.

Consideraciones importantes

• Esta es una configuración opcional. El comportamiento predeterminado del clúster no se modificó.
• La configuración se aplica en todo el clúster y afecta a todos los conjuntos de datos configurados.
• Las consultas de cargas de trabajo a escalas más altas tardan más en responderse. Se recomienda encarecidamente el uso de la marca --numeric con las consultas de la CLI para evitar tiempos de espera agotados.

Requisitos previos

• OneFS 9.15 o versiones posteriores
• Acceso a la CLI con privilegios raíz
• Esta configuración se validó en clústeres todo flash con hasta 40 nodos.
• Comprensión de la configuración del conjunto de datos del clúster y el conteo de iniciadores activos

Paso 1: Aplicar la configuración de PAPI

En el primer nodo del clúster, ejecute el siguiente comando: El parámetro ?force=true es obligatorio. Reemplace <VALUE> con el max_stat_size correspondiente de la guía de dimensionamiento que aparece a continuación.

curl -sk -u root -H 'Content-Type: application/json' -X PUT \ 'https://<node_IP>:8080/platform/25/performance/settings?force=true' \ -d '{"top_n_collection_count": 5000, "max_top_n_collection_count": 5000, "max_stat_size": <VALUE>}'

Configure los siguientes parámetros:

• max_top_n_collection_count - Límite superior de la recopilación de cargas de trabajo superior. El valor predeterminado es 1,024. Valor recomendado: 5,000
• top_n_collection_count: Conteo de recopilación de cargas de trabajo superior activo. El valor predeterminado es 1,024. Valor recomendado: 5,000
• max_stat_size - Tamaño máximo de la muestra de estadísticas en bytes. El valor predeterminado es 524 288 (512 KiB). El valor recomendado varía según la configuración del clúster; consulte la guía de dimensionamiento que aparece a continuación.

Determinación del max_stat_size correcto

El parámetro max_stat_size controla el tamaño máximo de una sola muestra de estadísticas. Este valor se debe configurar en función de la cantidad de nodos iniciadores activos y los conjuntos de datos configurados del clúster. Si se establece en un valor demasiado alto, el servicio de estadísticas puede superar los límites de memoria durante las consultas de carga de trabajo.

El valor se determina mediante la siguiente fórmula:

max_stat_size = min(2700000, 68000000 / (active_initiator_nodes × configured_datasets))

En la siguiente tabla, se proporcionan algunos ejemplos para seleccionar el max_stat_size adecuado para la implementación:

• Para clústeres con entre 1 y 6 nodos de iniciador y entre 1 y 4 conjuntos de datos, utilice 2 700 000.
• Para clústeres con 7 a 25 nodos de iniciador y un conjunto de datos, utilice 2,700,000.
• Para clústeres con 7 a 12 nodos de iniciador y 2 conjuntos de datos, utilice 2 700 000.
• Para clústeres con 7 a 8 nodos de iniciador y 3 conjuntos de datos, utilice 2 700 000.
• Para 7 nodos de iniciador con 4 conjuntos de datos, utilice 2,428,571.
• Para 20 nodos de iniciador con 2 conjuntos de datos, utilice 1,700,000.
• Para 20 nodos de iniciador con 3 conjuntos de datos, utilice 1,133,333.
• Para 20 nodos de iniciador con 4 conjuntos de datos, utilice 850 000.
• Para 40 nodos de iniciador con un conjunto de datos, utilice 1,700,000.
• Para 40 nodos de iniciador con 2 conjuntos de datos, utilice 850 000.
• Para 40 nodos de iniciador con 3 conjuntos de datos, utilice 566 666.
• Para 40 nodos de iniciador con 4 conjuntos de datos, utilice 425 000.

Nota: para clústeres grandes o conjuntos de datos con varias métricas, es posible que no sea compatible con las 5000 cargas de trabajo completas.

Paso 2: Aplicar syscttls del kernel

Ejecute los siguientes comandos para aplicar la configuración en todos los nodos del clúster:

isi_sysctl_cluster "efs.acct.options.max_clients=13000"
isi_sysctl_cluster "efs.acct.options.max_db_actors=16384"
isi_sysctl_cluster "efs.acct.options.max_actor_records=10000"

• efs.acct.options.max_clients : establece la cantidad máxima de clientes rastreados por CPU en la etapa de canalización de ruta directa. El valor predeterminado es 1,000. Valor recomendado: 13,000
• efs.acct.options.max_db_actores : establece el máximo de actores de base de datos por nodo en la etapa de canalización de intercalación. El valor predeterminado es 8,192. Valor recomendado: 16,384
• efs.acct.options.max_actor_records : establece la cantidad máxima de registros de actores por nodo en la etapa de canalización de front-end. El valor predeterminado es 1,024. Valor recomendado: 10,000

Paso 3: Verificar la configuración del sistema

Después de aplicar los ajustes, verifique la configuración de PAPI:

curl -sk -u root -X GET 'https://<node_IP>:8080/platform/25/performance/settings'

Confirme que top_n_collection_count y max_top_n_collection_count muestren 5000 y que max_stat_size coincida con el valor seleccionado en la guía de dimensionamiento anterior.

Verifique los valores de sysctl:

isi_sysctl_cluster "efs.acct.options.max_clients"
isi_sysctl_cluster "efs.acct.options.max_db_actors"
isi_sysctl_cluster "efs.acct.options.max_actor_records"

Paso 4: Consultar cargas de trabajo

Cuando realice consultas de cargas de trabajo en la escala 5K, utilice la marca --numeric para evitar tiempos de espera agotados causados por la resolución de rutas y la sobrecarga de búsqueda:

isi statistics workloads --numeric

Notas importantes:

El ajuste max_stat_size demasiado alto

Si max_stat_size se establece en una proporción superior a la recomendada para la configuración del clúster, puede provocar:

• Fallará la consulta de carga de trabajo activa.
• Pérdida temporal de las estadísticas recopiladas.
• Impacto en los servicios que dependen de estadísticas, incluida SmartQoS.

Utilice siempre el valor de la tabla de dimensionamiento que coincida con el conteo de nodos de iniciador y el conteo de conjuntos de datos del clúster.

Cambios en la configuración del clúster o del conjunto de datos

Si agrega nodos al clúster o crea conjuntos de datos adicionales después de habilitar 5000 cargas de trabajo, aumenta la memoria necesaria para las consultas de cargas de trabajo. Después de realizar dichos cambios:

• Vuelva a comprobar la tabla de dimensionamiento para confirmar que el max_stat_size sigue siendo adecuado para la nueva configuración.
• Si la nueva configuración requiere una max_stat_size inferior, actualice la configuración mediante el comando PAPI en el paso 1.