RecoverPoint com PowerMax: Todos os grupos de consistência em erro ou pausados pelo estado do sistema
Resumo: Todos os grupos de consistência em erro ou pausados pelo estado do sistema.
Sintomas
Interrupções de replicação (como falha de WAN) podem ser um contribuinte, pois os snapshots se enchem enquanto a replicação é pausada.
Todos os grupos de consistência replicados de um array VMAX3 ou PowerMax específico entram em Erro ou Pausado pelo estado do sistema.
Erro na CLI (get_system_status) e alertas da interface do usuário:
Items: ERROR: One or more links of group CG1 are set to replicate snaps and an error occurred in the snap-based replication process. The following errors were received from the storage: Link = Site1 -> Site2, error = [An internal Snap or Clone error has occurred. Please see the symapi log file]
No Site Control RecoverPoint Appliance (RPA) Symapi log (/var/symapi/log/symapi-xxxxxx.log):
01/02/2020 18:20:26.504 4002 STARTING a SNAPVX 'ESTABLISH' operation for Device List, snapshot 'RPc786dd98_xxxx_000xxxxxxxxxxxxxxx'. 01/02/2020 18:20:26.505 4002 Symm 0001xxxxxxxx Number of Devices: xx 01/02/2020 18:20:26.505 4002 Source Devices: [ 0xxx-0xxx ] 01/02/2020 18:20:26.513 4002 6 EMC:RecoverPoint execute_9244_syscall syscall: 0x81, 00xxx(S), SYMAPI: SYMAPI_C_SNAP_INTERNAL_ERROR, Order17: SNAPVX_FAILURE(0x4D), Extended RC: Unknown(0x000800C5), flag: 0x00 01/02/2020 18:20:26.686 4002 STARTING a SNAPVX 'ESTABLISH' operation for Device List, snapshot 'RPc786dd98_xxxx_000xxxxxxxxxxxxxxx'. 01/02/2020 18:20:26.687 4002 Symm 0001xxxxxxxx Number of Devices: 1 01/02/2020 18:20:26.687 4002 Source Devices: [ 0xxx ] 01/02/2020 18:20:26.692 4002 7 EMC:RecoverPoint execute_9244_syscall syscall: 0x81, 00xxx(S), SYMAPI: SYMAPI_C_SNAP_INTERNAL_ERROR, Order17: SNAPVX_FAILURE(0x4D), Extended RC: Unknown(0x000800C5), flag: 0x00 01/02/2020 18:20:27.520 4002 6 EMC:RecoverPoint execute_9244_syscall syscall: 0x81, 00xxx(S), SYMAPI: SYMAPI_C_SNAP_INTERNAL_ERROR, Order17: SNAPVX_FAILURE(0x4D), Extended RC: Unknown(0x000800C5), flag: 0x00 ... 01/02/2020 18:20:29.532 4002 The SNAPVX 'ESTABLISH' operation FAILED. 01/02/2020 18:20:29.532 4002 The Snapvx operation FAILED. 01/02/2020 18:20:29.702 4002 The SNAPVX 'ESTABLISH' operation FAILED. 01/02/2020 18:20:29.702 4002 The Snapvx operation FAILED.
Causa
O RecoverPoint usa operações do SnapVX em arrays VMAX3/PowerMax e o SRP (Storage Resource Pool, pool de recursos de armazenamento) no array fica cheio, causando falha em todos os snapshots.
O RecoverPoint está sofrendo com o enchimento do SRP no array, semelhante ao artigo VMAX3, VMAX All Flash, & PowerMax: Alerta de limite do Pool de recursos de armazenamento (SRP)
Resolução
Solução temporária:
Conforme discutido no artigo VMAX3, VMAX All Flash, & PowerMax: Alerta de limite do SRP (Storage Resource Pool, pool de recursos de armazenamento), a primeira etapa é disponibilizar algum espaço para o SRP.
Devido aos problemas nos snapshots do SnapVX, para que a replicação do RecoverPoint funcione, os grupos devem ser desativados e, posteriormente, reativados.
A ação de desabilitar os grupos deve liberar algum espaço no SRP, já que os snapshots locais são apagados. No entanto, os mesmos snapshots são criados novamente quando os grupos são habilitados novamente, portanto, mais ações devem ser tomadas para permitir espaço no SRP.
Resolução:
Para evitar que esse problema ocorra, sempre deve haver espaço disponível no SRP do array local. Monitore o espaçamento usado no SRP com as ferramentas do VMAX (Solutions Enabler/Unisphere for VMAX)
As etapas mencionadas no artigo VMAX3, VMAX All Flash, & PowerMax: O alerta de limite do SRP (Storage Resource Pool, pool de recursos de armazenamento) pode ser usado antes que o espaço seja consumido para evitar que o problema ocorra.