PowerScale OneFS: Solución de problemas de rendimiento

Los equipos cliente se ejecutan lentamente. Los trabajos específicos, especialmente los que se ejecutan en el clúster, fallan o tardan más de lo esperado.

Por lo general, los problemas de rendimiento se deben al tráfico de red, problemas de configuración de red, la carga de procesamiento de clientes o clústeres, o una combinación de estos factores. En este artículo, se describen varias maneras eficaces de solucionar problemas de rendimiento.

Solución de problemas con InsightIQ

Índice:

• Uso de Isilon InsightIQ
• Solución de problemas sin InsightIQ
• Rendimiento de la red
• Distribución de conexiones de clientes
• Rendimiento del clúster
• Procesamiento de clústeres
• Operaciones en cola
• CPU

Uso de Isilon InsightIQ

El uso de Isilon InsightIQ es la mejor manera de monitorear el rendimiento y solucionar problemas de rendimiento.

El dispositivo virtual Isilon InsightIQ le permite monitorear y analizar la actividad del clúster Isilon a través de vistas de gráficos flexibles y personalizables en la aplicación web InsightIQ. Estos gráficos proporcionan información detallada sobre el hardware, el software, y el sistema de archivos y las operaciones de protocolo del clúster. InsightIQ transforma los datos en información visual que enfatiza cualquier valor atípico de rendimiento, lo que permite diagnosticar rápidamente los cuellos de botella u optimizar los flujos de trabajo.

Para obtener detalles sobre el uso de InsightIQ, consulte PowerScale InsightIQ: centro de información. 

Solución de problemas sin InsightIQ

Si no utiliza InsightIQ, puede ejecutar varios comandos para investigar los problemas de rendimiento. Para solucionar los problemas de rendimiento, primero examine el rendimiento de la red y del clúster; luego, analice el procesamiento del clúster y, por último, revise las tasas de CPU de los nodos individuales.

Rendimiento de la red

Utilice una herramienta de prueba de red como Iperf o Iperf3 para determinar las funcionalidades de rendimiento del clúster y los equipos cliente de la red.

Usando Iperf, ejecute los siguientes comandos en el clúster y el cliente. Estos comandos definen un tamaño de ventana que es lo suficientemente grande como para revelar si el enlace de red es una posible causa de problemas de latencia.

• Clúster: iperf -s -w 262144
• Cliente: iperf -c <cluster IP> -w 262144

Con Iperf3, ejecute los siguientes comandos en el clúster y el cliente. Estos comandos definen un tamaño de ventana que es lo suficientemente grande como para revelar si el enlace de red es una posible causa de problemas de latencia.

• Clúster: iperf3 -s -w 262144
• Cliente: iperf3 -c <cluster IP> -w 262144

Distribución de conexiones de clientes

Compruebe cuántos clientes de Network File System (NFS) y Server Message Block (SMB) están conectados al clúster para asegurarse de que no favorezcan a un nodo.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con root cuenta.
2. Ejecute el comando isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d para comprobar los clientes NFS. 
   La salida muestra la cantidad de clientes conectados por nodo y cuántos de esos clientes están activos en cada nodo.
3. Ejecute el comando isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d comando para comprobar los clientes SMB.
   La salida muestra la cantidad de clientes conectados por nodo y cuántos de esos clientes están activos en cada nodo.

Rendimiento del clúster

Evalúe el rendimiento del clúster mediante la realización de pruebas de escritura y lectura que miden la cantidad de tiempo que se tarda en leer y escribir en un archivo. Realice al menos una prueba de escritura y una prueba de lectura, como se indica a continuación.

Escribe una prueba.

1. Abra una conexiónSSH en cualquier nodo del clúster e inicie sesión con root cuenta.
2. Cambie a la variable /ifs Directorio: cd /ifs
3. Desde la interfaz de línea de comandos (CLI) del clúster o desde una computadora cliente UNIX o Linux, utilice el comando dd para escribir un nuevo archivo en el clúster.
   Ejecute el siguiente comando: dd if=/dev/zero of=1GBfile bs=1024k count=1024
   Este comando crea un archivo de muestra de 1 GB e informa la cantidad de tiempo que tardó en escribirse en el disco.
4. A partir del resultado de este comando, extrapole cuántos MB por segundo se pueden escribir en el disco en flujos de trabajo de un solo flujo.
5. Si tiene un cliente MAC y desea realizar un análisis más detallado,
   1. Abra Activity Monitor.
   2. Ejecute el comando cat /dev/zero > /pathToFile comando, donde pathToFile es la ruta de archivo del archivo de destino.
      Este comando ayuda a medir el rendimiento de las operaciones de escritura en el clúster Isilon. (Aunque es posible ejecutar el comando dd comando de un cliente MAC, los resultados pueden ser incoherentes).
   3. Monitoree los resultados del comando en la pestaña Red del Activity Monitor.

Lea la prueba.
Cuando mida el rendimiento de las operaciones de lectura, asegúrese de no realizar pruebas de lectura en el archivo que creó durante la prueba de escritura. Debido a que ese archivo se almacenó en caché, los resultados de las pruebas de lectura serían inexactos. En su lugar, pruebe una operación de lectura de un archivo que no se haya almacenado en caché. Busque un archivo en el clúster de más de 1 GB y haga referencia a ese archivo en la prueba de lectura.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con root cuenta.
2. Desde la CLI en el clúster, o bien desde una computadora cliente UNIX o Linux, utilice el comando dd para leer un archivo en el clúster.
   Ejecute el comando dd if=/pathToLargeFile of=/dev/null bs=1024k comando donde pathToFile es la ruta de archivo del archivo de destino.
   Este comando lee el archivo de destino e informa la cantidad de tiempo que tardó en leerse.
3. Si tiene un cliente MAC y desea realizar un análisis más detallado,
   1. Abra Activity Monitor.
   2. Ejecute el comando time cp /pathToLargeFile > /dev/null comando donde pathToFile es la ruta de archivo del archivo de destino.
      Este comando ayuda a medir el rendimiento de las operaciones de lectura en el clúster Isilon. (Aunque es posible ejecutar el comando dd comando de un cliente MAC, los resultados pueden ser incoherentes).
   3. Monitoree los resultados del comando en la pestaña Red del Activity Monitor.

Procesamiento de clústeres

Trabajos de refraccionado.
Antes de examinar las operaciones de entrada/salida (I/O) (IOPS) del clúster:

• Determine los trabajos que se ejecutan en el clúster. Si se están ejecutando trabajos de reseccionamiento, como Auto-Balance, Collect o MultiScan, considere por qué se están ejecutando esos trabajos y si deben continuar ejecutándose.
• Tenga en cuenta el tipo de datos que se consumen. Si los equipos cliente trabajan con grandes archivos de video o máquinas virtuales (VM), el trabajo reseccionado requiere una mayor cantidad de IOPS de disco de lo normal.
• Considere pausar temporalmente un trabajo de reseccionamiento. Esto puede mejorar el rendimiento y puede ser una solución viable a corto plazo para un problema de rendimiento.

I/O de
discoEl análisis de I/O del disco puede ayudar a determinar si se están sobreutilizando ciertos discos.

Por clúster

1. Abra una conexión SSH en cualquier nodo en el clúster e inicie sesión con la cuenta “raíz”.
2. Ejecute el comando isi statistics pstat para determinar las I/O del disco.
3. En el resultado de este comando, divida la IOPS del disco por la cantidad total de discos en el clúster. Por ejemplo, para un clúster de 8 nodos que utiliza nodos Isilon IQ 12000x, los cuales alojan 12 unidades por nodo, divida la IOPS del disco por 96.
   Para los nodos de la serie X y la serie NL, se espera ver IOPS de disco de 70 o menos para flujos de trabajo aleatorios en su totalidad o IOPS de disco de 140 o menos para flujos de trabajo completamente secuenciales. Debido a que los nodos de la serie NL tienen menos RAM y menor velocidad de CPU que los nodos de la serie X, estos últimos pueden manejar IOPS de disco más altas.

Por nodo y por disco

1. Abra una conexión SSH en cualquier nodo en el clúster e inicie sesión con la cuenta “raíz”.
2. Ejecute el comando isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top para determinar las IOPS del disco por nodo, lo que puede ayudar a descubrir discos que están sobreutilizados.
3. Ejecute el comando isi_stats_tool -a get_key_info|grep node.disk.xfer para determinar cómo consultar estadísticas por disco.

Operaciones en cola

Otra manera de determinar si se están sobreutilizando discos es determinar cuántas operaciones se ponen en cola para cada disco en el clúster. Para un flujo de trabajo basado en SMB de un solo flujo, una cola de cuatro puede indicar un problema, mientras que para las operaciones de espacio de nombres NFS de alta simultaneidad, la cola es mayor.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con root cuenta.
2. Ejecute el comando isi statistics drive list --nodes=all --sort=queued -d para determinar cuántas operaciones se ponen en cola para cada disco del clúster.
3. Determine cuánto tiempo estuvo la operación en la cola: isi statistics drive list --nodes=all --sort=queued -d 

CPU

Con frecuencia, los problemas de CPU se rastrean a las operaciones que los clientes realizan en el clúster. Al usar el comando isi statistics , puede determinar las operaciones realizadas en el clúster, catalogadas por protocolo de red o computadora cliente.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con root cuenta.
2. Ejecute el comando isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top comando para determinar qué operaciones se están realizando en toda la red y evaluar cuál de esas operaciones está tardando más tiempo.
   La salida de este comando proporciona estadísticas detalladas para todos los protocolos de red, organizadas por el tiempo que tarda el clúster en responder a los clientes. Aunque es posible que los resultados de este comando no identifiquen qué operación es la más lenta, pueden indicarle la dirección correcta.
3. Ejecute el comando isi statistics system --nodes all --format top para obtener más información sobre el procesamiento de CPU, como qué CPU de nodos son las más utilizadas.
4. Ejecute el comando isi_for_array -sX 'top -u -n |grep PID -A4' para obtener los cuatro procesos en cada nodo que consumen la mayoría de los recursos de CPU.

• Centros de información de PowerScale OneFS
• Parches actuales de PowerScale OneFS