PowerScale OneFS: Solución de problemas de rendimiento

Las computadoras cliente funcionan lentamente. Los trabajos específicos, especialmente los que se ejecutan en el clúster, fallan o tardan más de lo esperado.

Por lo general, los problemas de rendimiento se deben al tráfico de red, problemas de configuración de red, la carga de procesamiento de clientes o clústeres, o una combinación de estos. En este artículo, se describen varias maneras eficaces de solucionar problemas de rendimiento.

Tabla de contenido sobre la solución de problemas con InsightIQ

:

• Uso de Isilon InsightIQ
• Solución de problemas sin InsightIQ
• Rendimiento de la red
• Distribución de conexiones de clientes
• SmartConnect
• Rendimiento del clúster
• Procesamiento de clústeres
• Operaciones en cola
• CPU

Uso de Isilon InsightIQ

El uso de Isilon InsightIQ es la mejor manera de monitorear el rendimiento y solucionar problemas de rendimiento.

El dispositivo virtual Isilon InsightIQ le permite monitorear y analizar la actividad del clúster Isilon a través de vistas de gráficos flexibles y personalizables en la aplicación web InsightIQ. Estos gráficos proporcionan información detallada sobre el hardware, el software, y el sistema de archivos y las operaciones de protocolo del clúster. InsightIQ transforma los datos en información visual que enfatiza cualquier valor atípico de rendimiento, lo que permite diagnosticar rápidamente los cuellos de botella u optimizar los flujos de trabajo.

Para obtener detalles sobre el uso de InsightIQ, consulte la Guía del usuario de InsightIQ.

Solución de problemas sin InsightIQ

Si no utiliza InsightIQ, puede ejecutar varios comandos para investigar los problemas de rendimiento. Para solucionar los problemas de rendimiento, primero examine el rendimiento de la red y del clúster; luego, analice el procesamiento del clúster y, por último, revise las tasas de CPU de los nodos individuales.

Rendimiento de la red

Utilice una herramienta de prueba de red como Iperf para determinar las funcionalidades de rendimiento del clúster y los equipos cliente de la red.

Usando Iperf, ejecute los siguientes comandos en el clúster y el cliente. Estos comandos definen un tamaño de ventana que es lo suficientemente grande como para revelar si el enlace de red es una posible causa de problemas de latencia.

• Clúster:

iperf -s -w 262144

• Cliente:

iperf -c <cluster IP> -w 262144

Distribución de conexiones de clientes

Compruebe cuántos clientes NFS y SMB están conectados al clúster para asegurarse de que no favorezcan a un nodo.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando para comprobar los clientes NFS:

   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs

   La salida muestra la cantidad de clientes conectados por nodo y cuántos de esos clientes están activos en cada nodo.
3. Ejecute el siguiente comando para comprobar los clientes SMB:

   isi statistics query - nodes=all --stats=node.clientstats.connected.smb,
   node.clientstats.active.smb1,node.clientstats.active.smb2

   La salida muestra la cantidad de clientes conectados por nodo y cuántos de esos clientes están activos en cada nodo.

SmartConnect

Compruebe que el nodo en el que se ejecuta SmartConnect no esté sobrecargado con tráfico de red.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando:

   isi_for_array -sq 'ifconfig|grep em -A3'

   La salida muestra una lista de todas las direcciones IP vinculadas a la interfaz externa.
3. Compruebe si hay nodos que tengan una dirección IP adicional a la del resto.
4. Ejecute el siguiente comando para comprobar el estado de los nodos que observó en el paso 3:

   isi status

   Compruebe la columna de rendimiento de la salida para determinar la carga de los nodos observada en el paso 3.

Rendimiento del clúster

Evalúe el rendimiento del clúster mediante la realización de pruebas de escritura y lectura que miden la cantidad de tiempo que se tarda en leer y escribir en un archivo. Realice al menos una prueba de escritura y una prueba de lectura, como se indica a continuación.

Prueba de escritura

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Cambie al directorio /ifs :

   cd /ifs

3. Desde la interfaz de línea de comandos (CLI) del clúster o desde una computadora cliente UNIX o Linux, utilice el comando dd para escribir un nuevo archivo en el clúster. Ejecute el siguiente comando:

   dd if=/dev/zero of=1GBfile bs=1024k count=1024

   Este comando crea un archivo de muestra de 1 GB e informa la cantidad de tiempo que tardó en escribirse en el disco.
4. A partir del resultado de este comando, extrapole cuántos MB por segundo se pueden escribir en el disco en flujos de trabajo de un solo flujo.
5. Si tiene un cliente MAC y desea realizar un análisis más detallado,
   1. Inicie Activity Monitor.
   2. Ejecute el siguiente comando, en que pathToFile es la ruta de acceso del archivo de destino:

      cat /dev/zero > /pathToFile

      Este comando ayuda a medir el rendimiento de las operaciones de escritura en el clúster Isilon. (Aunque es posible ejecutar el comando dd comando de un cliente MAC, los resultados pueden ser incoherentes).
   3. Monitoree los resultados del comando en la pestaña Red del Activity Monitor.

Prueba
de lecturaCuando mida el rendimiento de las operaciones de lectura, asegúrese de no realizar pruebas de lectura en el archivo que creó durante la prueba de escritura. Debido a que ese archivo se almacenó en caché, los resultados de las pruebas de lectura serían inexactos. En su lugar, pruebe una operación de lectura de un archivo que no se haya almacenado en caché. Busque un archivo en el clúster de más de 1 GB y haga referencia a ese archivo en la prueba de lectura.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Desde la CLI en el clúster, o bien desde una computadora cliente UNIX o Linux, utilice el comando dd para leer un archivo en el clúster. Ejecute el siguiente comando, en que pathToFile es la ruta de acceso del archivo de destino:

   dd if=/pathToLargeFile of=/dev/null bs=1024k

   Este comando lee el archivo de destino e informa la cantidad de tiempo que tardó en leerse.
3. Si tiene un cliente MAC y desea realizar un análisis más detallado,
   1. Inicie Activity Monitor.
   2. Ejecute el siguiente comando, en que pathToFile es la ruta de acceso del archivo de destino:

      time cp /pathToLargeFile > /dev/null

      Este comando ayuda a medir el rendimiento de las operaciones de lectura en el clúster Isilon. (Aunque es posible ejecutar el comando dd comando de un cliente MAC, los resultados pueden ser incoherentes).
   3. Monitoree los resultados del comando en la pestaña Red del Activity Monitor.

Procesamiento de clústeres

Trabajos
de reseccionamientoAntes de examinar las operaciones de entrada/salida (I/O) (IOPS) del clúster:

• Determine los trabajos que se ejecutan en el clúster. Si se están ejecutando trabajos de reseccionamiento, como Auto-Balance, Collect o Multi-Scan, considere por qué se están ejecutando esos trabajos y si deben continuar ejecutándose.
• Tenga en cuenta el tipo de datos que se consumen. Si los equipos cliente trabajan con grandes archivos de video o máquinas virtuales (VM), el trabajo reseccionado requiere una mayor cantidad de IOPS de disco de lo normal.
• Considere pausar temporalmente un trabajo de reseccionamiento. Esto puede mejorar considerablemente el rendimiento y puede ser una solución viable a corto plazo para un problema de rendimiento.

I/O de
discoEl análisis de I/O del disco puede ayudar a determinar si se están sobreutilizando ciertos discos.

Por clúster

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando para determinar las I/O del disco:

   isi statistics pstat

3. En el resultado de este comando, divida la IOPS del disco por la cantidad total de discos en el clúster. Por ejemplo, para un clúster de 8 nodos que utiliza nodos Isilon IQ 12000x, los cuales alojan 12 unidades por nodo, divida la IOPS del disco por 96.
   
   Para nodos de la serie X y la serie NL, se esperaría ver IOPS de disco de 70 o menos para flujos de trabajo aleatorios en su totalidad o IOPS de disco de 140 o menos para flujos de trabajo completamente secuenciales. Debido a que los nodos de la serie NL tienen menos RAM y menor velocidad de CPU que los nodos de la serie X, estos últimos pueden manejar IOPS de disco más altas.

Por nodo y por disco

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando para determinar las IOPS del disco por nodo, lo que puede ayudar a descubrir discos que están sobreutilizados:

   isi statistics query --nodes=all --stats=node.disk.xfers.rate.sum --top

3. Ejecute el siguiente comando para determinar cómo consultar estadísticas por disco:

   isi statistics describe --stats=all | grep disk
   

Operaciones en cola

Otra manera de determinar si se están sobreutilizando discos es determinar cuántas operaciones se ponen en cola para cada disco en el clúster. Para un flujo de trabajo basado en SMB de un solo flujo, una cola de 4 puede indicar un problema, mientras que para las operaciones de espacio de nombres NFS de alta simultaneidad, la cola es mayor.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando para determinar cuántas operaciones se ponen en cola para cada disco del clúster:

   isi_for_array -s sysctl hw.iosched | grep total_inqueue

3. Determine la latencia causada por las operaciones de la cola:

   sysctl -aN hw.iosched|grep bios_inqueue|xargs sysctl -D

CPU

Con frecuencia, los problemas de CPU se rastrean a las operaciones que los clientes realizan en el clúster. Al usar el comando isi statistics , puede determinar las operaciones realizadas en el clúster, catalogadas por protocolo de red o computadora cliente.

1. Abra una conexión SSH en cualquier nodo del clúster e inicie sesión con la cuenta "raíz".
2. Ejecute el siguiente comando para determinar qué operaciones se están realizando en toda la red y evaluar cuál de esas operaciones tarda más tiempo:

   isi statistics protocol --orderby=TimeAvg --top

   La salida de este comando proporciona estadísticas detalladas para todos los protocolos de red, organizadas por el tiempo que tarda el clúster en responder a los clientes. Aunque es posible que los resultados de este comando no identifiquen qué operación es la más lenta, pueden indicarle la dirección correcta.
3. Ejecute el siguiente comando para obtener más información sobre el procesamiento de CPU, como qué CPU de nodos son las más utilizadas:

   isi statistics system --top

4. Ejecute el siguiente comando para obtener los cuatro procesos en cada nodo que consumen la mayoría de los recursos de CPU:

   isi_for_array -sq 'top -d1|grep PID -A4'

• Centros de información de PowerScale OneFS
• Parches actuales de PowerScale OneFS