Data Domain: Solución de problemas de rendimiento de Data Domain Virtual Edition

Redes y conectividad del dispositivo de alojamiento de VM:

I/O de Ethernet:

Cuando se utilizan agregados de Ethernet para las conexiones de transferencia de datos al dispositivo host, no puede suponer que la existencia de una configuración de agregado de Ethernet equilibra la carga correctamente. Se deben implementar técnicas de equilibrio de carga y ancho de banda adecuados para garantizar una I/O sin restricciones al dispositivo de alojamiento de VM.

Conectividad del dispositivo de alojamiento de VM con el almacenamiento en disco:

El tipo de conectividad y el protocolo tienen un gran impacto en las funcionalidades del rendimiento de una VM de DDVE. Aquí se enumeran los tipos de conectividad más comúnmente utilizados entre el dispositivo de alojamiento de VM y el almacenamiento en disco. La opción 1 ofrece el mejor nivel de rendimiento y la opción 5 es la peor opción de conectividad. La configuración de la caché de escritura de HBA también puede afectar drásticamente la funcionalidad del rendimiento entre el dispositivo host y el almacenamiento en disco. Se recomienda habilitar la caché de escritura en el HBA para garantizar el mejor rendimiento desde el dispositivo host hasta el almacenamiento en disco.

1. Almacenamiento de conexión directa: discos SAS/SSD en RAID 5 o RAID 6 + caché de escritura de HBA habilitada (preferido para obtener el mejor rendimiento)
2. Almacenamiento de conexión directa: JBOD sin RAID + caché de escritura de HBA habilitada (rendimiento aceptable, pero falta la protección de RAID recomendada)
3. Almacenamiento RAID externo conectado a FC (activo/activo de 16 GB o más rápido) (rendimiento aceptable, pero pueden limitarlo las funcionalidades del rendimiento de FC)
4. iSCSI 10 G (almacenamiento en disco externo) (no recomendado)
5. NFS 10 G (almacenamiento en disco externo) (no recomendado)

Comprobación de los arreglos de almacenamiento físico, estadísticas y rendimiento:

Comparación de la calidad, el tamaño y la cantidad de discos:

Las unidades de mayor densidad, por ejemplo, 4+ TB, tienen menos IOPS por TB que las unidades más pequeñas. Por este motivo, una DDVE implementada en una mayor cantidad de unidades de TB más pequeñas ofrece un rendimiento más rápido que una DDVE implementada en unas pocas unidades de TB grandes. Se debe a la alta dependencia de DDVE en el rendimiento de lectura aleatoria. La carga de trabajo normal de DDVE puede hacer que esta batalla entre el tamaño y la cantidad de discos físicos sea aún más pronunciada, así que intente asegurarse de que el sistema de almacenamiento tenga un buen equilibrio y cumpla con las expectativas establecidas en la Guía de prácticas recomendadas de DDVE correspondiente. En este artículo, no nos centraremos en los tipos de SSD y HDD físicos e individuales ni en sus capacidades de rendimiento. Esta información se puede obtener del fabricante del disco. Basta con decir que los discos físicos de mayor rendimiento equivalen a un mejor rendimiento de la VM de DDVE.

Solución de problemas de almacenamiento:

Verifique la latencia en los discos físicos asociados con la VM de DDVE.

Para VMware, se puede lograr si selecciona la VM, selecciona la pestaña Performance y, a continuación, selecciona Datastore en el menú desplegable. Muestra todos los almacenes de datos pertinentes para la VM de DDVE en particular. Por último, seleccione el botón Advanced para obtener una visualización gráfica y granular de la latencia de los almacenes de datos asociados con la VM de DDVE.

Figura 1: Rendimiento del almacén de datos

Para determinar la carga de I/O de un almacén de datos, calcule las IOPS que procesa el almacén de datos.

Comience con el mismo gráfico que antes, pero seleccione Chart Options, desmarque Write latency and Read latency y, a continuación, seleccione los dos valores Average read requests per second y Average write requests per second. El gráfico resultante muestra cuántas IOPS está realizando el almacén de datos y podría darle una idea de la carga general que el “desarrollador” de almacenamiento de DDVE coloca en un almacén de datos. Este resultado también puede ser útil para distinguir si el almacén de datos se comparte con la carga de trabajo desde una aplicación que no sea DDVE.

Figura 2: Opciones de gráficos

Para obtener una vista más granular de IOPS, compruebe las relaciones de lectura/escritura.

Por diseño, DDVE generalmente lee desde el almacenamiento en disco de 2 a 4 veces más que la escritura. La excepción ocurre durante la generación 0 (propagación) de respaldos, cuando se escriben datos completamente nuevos y no se pueden deduplicar. Debido a las razones mencionadas antes, el almacenamiento físico utilizado por DDVE debe ser capaz de manipular de manera eficiente las cargas de trabajo aleatorias predominantemente centradas en lectura, pero mixtas y aleatorias del sistema de archivos de Data Domain.

Los arreglos de almacenamiento en disco físico (SSD, disco magnético, etc.) pueden presentar una funcionalidad muy diferente para procesar de forma eficiente las lecturas en comparación con las escrituras. La capacidad de un sistema de almacenamiento en disco físico de proporcionar un rendimiento excepcional de IOPS de lectura aleatoria junto con latencias bajas (menos de 40 milisegundos) son los factores más fundamentales para determinar si un almacén de datos cumple con las características de rendimiento aceptables para una VM de DDVE.

Si se requiere una investigación más profunda sobre los arreglos de almacenamiento o el rendimiento del almacén de datos, se emplearía una herramienta de línea de comandos denominada vscsiStats. Consulte el soporte de VMware para obtener más detalles sobre cómo se puede aprovechar vscisistats y conocer en detalle los tamaños de los bloques, las latencias y las estadísticas del rendimiento de lectura/escritura.

Verificación de que el aprovisionamiento de recursos cumpla con los requisitos de DDVE:

Con frecuencia, la causa de un problema de rendimiento de la VM de DDVE se puede atribuir a algunos ajustes configurados que limitan los recursos disponibles para la VM de DDVE. En general, los pools de recursos con limitaciones solo servirán para limitar el rendimiento general de una VM de DDVE y, por lo tanto, no se recomendarán. Por el contrario, existen algunas reservas de recursos que mejoran el rendimiento general de una VM de DDVE. Siempre consulte las guías de administración y prácticas recomendadas de DDVE para la configuración cuando implemente, solucione problemas o ajuste una VM de DDVE y, así, mejorará el rendimiento.

Para comenzar la verificación de la asignación de recursos, seleccione la pestaña Resource Allocation. A continuación, seleccione la VM de DDVE en la que desea solucionar problemas del pool de la VM. En la sección View, seleccione CPU y compruebe todas las máquinas virtuales dentro de ese grupo (suponiendo que la VM problemática también esté allí). Asegúrese de que el valor de MHz límite esté configurado en Unlimited. No se recomienda limitar los recursos de CPU para una VM de DDVE, ya que reduce el rendimiento.

Figura 3: Asignación de recursos

Continúe con la verificación de los recursos de la memoria asignados a la VM de DDVE. Verifique que los recursos de la memoria estén correctamente “reservados” y configurados en Unlimited para garantizar un mejor rendimiento. No se recomienda establecer límites en la asignación de la memoria para DDVE, ya que reduce el rendimiento.

Figura 4: Recursos de la memoria

En la pestaña Storage, verifique que no haya limitaciones en las IOPS de almacenamiento. Seleccione el botón Storage y vea los discos/almacenes de datos. El valor “Limit-IOPS” para cada disco asociado con una VM de DDVE se debe configurar con el valor Unlimited.

Figura 5: Recursos de almacenamiento

Para las tres categorías de recursos ya mencionadas, tome nota de los valores de % shares. Los valores de % shares indican qué porcentaje de los recursos compartidos extrae esa VM en particular de todo el pool de recursos. Los “valores de los recursos compartidos” son relativos, no absolutos. Sin embargo, asegúrese de que no haya una gran variación entre los valores en todos los dispositivos del pool. Por ejemplo, se podría esperar 1000, 2000 o 3000; sin embargo, valores como 10, 5, 4000 indicarían una disparidad anormal y un reparto desigual de los recursos. Si una sola VM tiene un valor muy diferente, debe considerar una modificación en la configuración del “valor de los recursos compartidos”.

Comprobación de las estadísticas de rendimiento de la VM de DDVE:

Una VM de DDVE que se ejecuta de manera eficiente necesita acceso sin restricciones a los recursos para garantizar el máximo rendimiento. DDVE hace un uso extensivo de la memoria y la CPU, y no se puede limitar sin inconvenientes. Una vez que una VM de DDVE está en producción, podemos aprovechar los gráficos y tablas en la pestaña Performance para evaluar el uso de los recursos. Podemos usarlos para determinar qué tan eficientemente funciona.

CPU

Seleccione la VM de DDVE en la que desea solucionar problemas. A continuación, seleccione la pestaña Performance. Donde dice switch to, seleccione CPU en el menú desplegable. Desde esta vista, puede evaluar la cantidad y el porcentaje de CPU que consume la VM de DDVE. Si el porcentaje de CPU utilizado por la VM de DDVE es un porcentaje alto del recurso general, podemos suponer que es posible que el dispositivo de alojamiento no sea adecuado para ejecutar la VM de DDVE en todo su potencial.

Figura 6: Rendimiento de la CPU

Memoria

Si la VM parece responder lentamente, es posible que la CPU tenga un problema de programación. Para evaluar la eficiencia de la CPU, comience con el gráfico anterior y seleccione nuevamente Chart Options. Desmarque todos los contadores y, a continuación, seleccione Ready. Muestra el tiempo de disponibilidad de las VirtualCPU. El valor en milisegundos indica la hora en que una VM está lista para iniciarse, pero el hipervisor no puede asignar una CPU a la tarea de manera oportuna. Para obtener un rendimiento óptimo de las VM de DDVE, nos gustaría que fuera inferior a 8 milisegundos. 

Figura 7: Tiempo de disponibilidad de la CPU

El rendimiento y la disponibilidad de la memoria también podrían ser un factor limitante en el rendimiento general de las VM de DDVE. Si una VM de DDVE no está configurada con la cantidad necesaria de memoria física reservada, se genera una alerta activa. Compruebe las alertas activas mediante la ejecución # alerts show current en la CLI de DDVE y resuelva según sea necesario.

Si una VM de DDVE no tiene suficientes recursos de memoria disponibles, responde intercambiando sus páginas de memoria al disco. Es una condición no deseada y da como resultado un rendimiento gravemente degradado. Para evaluar el uso de la memoria activa de una VM de DDVE, comience por seleccionar la pestaña Performance y, a continuación, seleccione Memory en la casilla Switch to.

De manera predeterminada, en el gráfico, se muestran los valores de memoria consumida, expandida, otorgada y activa. Para obtener un rendimiento óptimo, asegúrese de que la memoria activa sea aproximadamente el 35-50 % del valor de la memoria otorgada. Siempre que el valor de la memoria activa se acerque al 60 % de la memoria otorgada, puede ingresar a una situación en la que el intercambio se produce dentro de la VM de DDVE.

Figura 8: Rendimiento de la memoria

Verificación de que una VM de DDVE cumpla con las “prácticas recomendadas” y las configuraciones recomendadas:

Cuando se solucionan problemas de rendimiento, se deben comprobar muchas cosas y recopilar muchos registros de la propia VM de DDVE. Antes de abrir un caso de soporte de DDVE, comience por verificar que la configuración de DDVE cumpla con las prácticas recomendadas y los ajustes recomendados. Consulte la documentación en el sitio de soporte para conocer la versión de DDVE y la plataforma de alojamiento que está ejecutando.

Recopilación de las estadísticas de rendimiento:

1. Recopile los resultados de los siguientes comandos y herramientas de la CLI para evaluar el almacenamiento en disco subyacente y asegurarse de que la configuración cumpla con el nivel de rendimiento necesario para admitir la capacidad de DDVE elegida.

• Realice una prueba de evaluación del disco (DAT) en cada desarrollador de discos conectado a DDVE. En la sección Monitoreo de rendimiento de la guía de administración de DDVE, hay instrucciones detalladas sobre cuándo y cómo usar la herramienta DAT.
• Realice la prueba DAT según el tipo de I/O recopilado. La variable with-vnvram opción se debe elegir si utiliza principalmente CIFS/NFS para escribir respaldos. Algunos usuarios usan Boost para los respaldos y, a continuación, usan NFS para obtener acceso de lectura En ese caso, el uso de la with-vnvram marca no es necesario.
• El uso de la herramienta DAT no es compatible con la DDVE implementada en la nube (Microsoft Azure, Amazon AWS).

2. Comandos de la CLI de DDVE a fin de recopilar información para la solución de problemas de rendimiento:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (verifique que las asignaciones de grupos de ejes cumplan con las prácticas recomendadas)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (revise la latencia y las IOPS por dispositivo)
• #system show performance (utilice la mejor sintaxis para limitar la vista del resultado de la CLI durante la carga normal de I/O de DDVE)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (se pueden ingresar varios desarrolladores para obtener una vista completa)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Recopilación de la información de rendimiento de DDVE mediante la CLI #vserver Recopilación de la información de rendimiento de DDVE mediante la CLI #vserver

• #se # vserver resultado durante la carga de I/O. (El resultado es parte de la carga del paquete si VServer se configura e inicia antes de crear el paquete).

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Cree y cargue un paquete de soporte actual que incluya lo siguiente: vserver y disk_perf registros.

Videos útiles:

Plantilla para abrir una SR con el soporte de DD y solucionar los problemas de rendimiento de la VM de DDVE

Configuración del host de VM

¿Fabricante del host, modelo, versión y nombre de host del sistema operativo?
¿Proveedor de hipervisor (VMware, Hyper-V, otro)?
¿Versión y número de compilación del servidor Hyper-V/ESXi del host?
¿Versión y número de compilación de vSphere Client o Hyper-V Manager?
¿Es una configuración en clúster o de HA?
¿Algún cambio reciente en las configuraciones de host o VM?
¿El dispositivo host tiene caché con batería de reserva, NVRAM u otro tipo de mecanismo para conservar los datos en el apagado no programado?

Almacenamiento del host de VM

¿Configuración de RAID de almacenamiento y tipo, velocidad y tamaño de disco (por ejemplo, RAID 6, 3 TB, 7200 RPM, SATA)?
¿Tipo de conectividad del sistema de almacenamiento (NFS, FCP, iSCSI, SAS)?
¿Se comparten los volúmenes de almacenamiento y los almacenes de datos que utiliza DDVE con cargas de trabajo que no son de Data Domain?
¿El caché de escritura está habilitado o deshabilitado en el almacenamiento que utiliza DDVE?
¿Algún cambio reciente en la configuración de almacenamiento?
¿Utiliza aprovisionamiento grueso o delgado para dispositivos de disco DDVE?

Configuración de Data Domain Virtual Edition

¿Versión y tamaño del sistema operativo de DDVE (por ejemplo, DDVE 3.0, 6.0.1.10, 64 TB)?
¿Protocolo de transferencia de datos de DDVE (por ejemplo, Boost, NFS, CIFS, NDMP, FCP)?
¿Cargas de trabajo de DDVE (por ejemplo, nube, replicación, respaldo, VTL)?
¿Versiones de plug-in y aplicación de respaldo?

Descripción detallada del problema

Redes:
Rendimiento:
Instalación y configuración:
Sistema del archivo DD:
¿Datos no disponibles o pérdida de datos?
¿Tiene un caso abierto actualmente con algún otro proveedor relacionado con DDVE?

Registros necesarios

Paquete de soporte: #support bundle create default Data Domain: Cómo recopilar/cargar un paquete de soporte (SUB) desde un restaurador de Data Domain (DDR)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
Paquete de registros de VMware “opcional”: consulte el artículo en el sitio de autoservicio de VMware