Data Domain: Operações "MULTI COPY" ao usar o ECS como Cloud Tier
Summary: Este artigo explica um detalhe de implementação quando o ECS é usado com o Data Domain for Cloud Tier. Ele aborda possíveis mal-entendidos ao analisar os registros do Data Domain e do ECS. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
O DELL ECS pode ser usado como um provedor de serviços em nuvem com a opção DD Cloud Tier (retenção a longo prazo, LTR). Para obter detalhes sobre o DD LTR, consulte o artigo 23144 da KB da Dell, Data Domain Restorer (DDR) e Retenção a longo prazo (LTR) para a nuvem: Perguntas frequentes (FAQs/FAQs)
O ECS e os provedores de serviços em nuvem pública (como AWS, Azure e GCP) funcionam exatamente da mesma forma, exceto para pequenos detalhes de implementação. As limpezas do Cloud Tier funcionam de maneira diferente no ECS porque a nuvem do ECS é local, de propriedade do cliente e, portanto:
O ECS tem uma extensão do S3 implementada chamada "Copy Range". Isso pode ser visto em outros locais, como MULTI COPY.
Este é um conjunto de cabeçalhos estendidos, que não estão presentes no padrão S3 e, portanto, só são compatíveis com o ECS. Ele permite que o ECS crie um novo objeto puxando intervalos de bytes de objetos existentes. Todo o trabalho é feito por meio do ECS e não do client.
Essa operação fora do padrão compatível apenas com o ECS é usada pelo DD somente durante a fase de "cópia" limpa do Cloud Tier. Ele permite que o DD execute a coleta de lixo (GC) em unidades de nuvem baseadas no ECS da mesma forma que é executado no nível ativo (que é mais eficaz na recuperação de espaço não utilizado).
Ele não é usado ao gravar novos dados na nuvem durante a movimentação de dados (ele usa PUT), nem ao recuperar ou ler dados da unidade de nuvem (quando usa GET).
O ECS e os provedores de serviços em nuvem pública (como AWS, Azure e GCP) funcionam exatamente da mesma forma, exceto para pequenos detalhes de implementação. As limpezas do Cloud Tier funcionam de maneira diferente no ECS porque a nuvem do ECS é local, de propriedade do cliente e, portanto:
- A latência e o desempenho são mais rápidos do que para provedores de serviços em nuvem pública
- Os usuários não incorrem em despesas adicionais ao consumir largura de banda ou executar operações no ECS
- O ECS é desenvolvido pela DELL e tem extensões para o padrão de protocolo S3. Isso permite que ele execute a limpeza do Cloud Tier com mais eficiência do que para provedores de serviços em nuvem pública
O ECS tem uma extensão do S3 implementada chamada "Copy Range". Isso pode ser visto em outros locais, como MULTI COPY.
Este é um conjunto de cabeçalhos estendidos, que não estão presentes no padrão S3 e, portanto, só são compatíveis com o ECS. Ele permite que o ECS crie um novo objeto puxando intervalos de bytes de objetos existentes. Todo o trabalho é feito por meio do ECS e não do client.
Essa operação fora do padrão compatível apenas com o ECS é usada pelo DD somente durante a fase de "cópia" limpa do Cloud Tier. Ele permite que o DD execute a coleta de lixo (GC) em unidades de nuvem baseadas no ECS da mesma forma que é executado no nível ativo (que é mais eficaz na recuperação de espaço não utilizado).
Ele não é usado ao gravar novos dados na nuvem durante a movimentação de dados (ele usa PUT), nem ao recuperar ou ler dados da unidade de nuvem (quando usa GET).
Cause
Copy Range/MULTI COPY, sendo uma extensão para o protocolo S3, não é um método novo.
Copy Range/MULTI COPY é um conjunto de novos cabeçalhos adicionados às chamadas PUT. O ECS sabe como interpretar isso, mas não outras implementações de nuvem.
Nos DDs, há locais onde MULTI COPY é relatado, em vez de PUT. Isso é para separar o PUT regular (que é usado para gravar dados na nuvem durante a movimentação de dados) dos que estão sendo gerados durante o CT GC (que seria o chamado MULTI COPY, mas eles são COLOCADOS sob a proteção).
Por exemplo, podemos ver que os seguintes valores foram relatados para um cliente, com 7 dias de diferença:
O DD relataria quantidades de operações concluídas para PUT, GET, DELETE, MULTI COPY e LIST.
MULTI COPY não é um método S3 válido, nem mesmo para o ECS. MULTI COPY é realmente PUT com alguns cabeçalhos especiais adicionados pelo DD ao executar a operação com o ECS.
Ao verificar no lado do ECS, os clientes e o suporte do ECS não veem as operações "MULTI COPY" de modo geral.
Eles só veem, se aplicável, PUT, GET, DELETE e LIST. O DD relata PUT separadamente ao fazer a movimentação de dados para a nuvem. O DD relata MULTI COPY (que são gerados por PUT durante o CT GC, para criar novos objetos a partir de intervalos de bytes lidos de objetos existentes na nuvem).
Por esse motivo, os clientes e o suporte do ECS veem PUT sendo executado a partir do DD durante o DD CT GC. Isso pode ser mal compreendido como novos dados (movimentação de dados do DD), mas pode ser devido ao DD CT GC em andamento (que faz MULTI COPY, ou seja, PUT com parâmetros especiais).
Cada operação MULTI COPY registrada nas estatísticas do DD resulta em uma e apenas uma operação PUT registrada no lado do ECS.
Durante o DD CT GC, o processo entra na fase de "exclusões em segundo plano".
É quando o DD CT GC finaliza todas as cópias encaminhadas usando MULTI COPY. Agora, ele solicita que o ECS exclua todos os objetos de origem dos intervalos de bytes lidos.
Nas estatísticas acima, a quantidade de DELETE durante a semana supera o número combinado de novos objetos (PUT, para novos dados e MULTI COPY, para encaminhamentos de cópia durante o CT GC).
Isso resulta em um ganho líquido de espaço no nível da nuvem Neste exemplo, 557.408 + 18.453.552 - 25.148.128 = -6.137.168, que é mais de 20 TiB pós-compactação com o tamanho normal de objeto para unidades de nuvem baseadas em ECS.
Copy Range/MULTI COPY é um conjunto de novos cabeçalhos adicionados às chamadas PUT. O ECS sabe como interpretar isso, mas não outras implementações de nuvem.
Nos DDs, há locais onde MULTI COPY é relatado, em vez de PUT. Isso é para separar o PUT regular (que é usado para gravar dados na nuvem durante a movimentação de dados) dos que estão sendo gerados durante o CT GC (que seria o chamado MULTI COPY, mas eles são COLOCADOS sob a proteção).
Por exemplo, podemos ver que os seguintes valores foram relatados para um cliente, com 7 dias de diferença:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
O DD relataria quantidades de operações concluídas para PUT, GET, DELETE, MULTI COPY e LIST.
MULTI COPY não é um método S3 válido, nem mesmo para o ECS. MULTI COPY é realmente PUT com alguns cabeçalhos especiais adicionados pelo DD ao executar a operação com o ECS.
Ao verificar no lado do ECS, os clientes e o suporte do ECS não veem as operações "MULTI COPY" de modo geral.
Eles só veem, se aplicável, PUT, GET, DELETE e LIST. O DD relata PUT separadamente ao fazer a movimentação de dados para a nuvem. O DD relata MULTI COPY (que são gerados por PUT durante o CT GC, para criar novos objetos a partir de intervalos de bytes lidos de objetos existentes na nuvem).
Por esse motivo, os clientes e o suporte do ECS veem PUT sendo executado a partir do DD durante o DD CT GC. Isso pode ser mal compreendido como novos dados (movimentação de dados do DD), mas pode ser devido ao DD CT GC em andamento (que faz MULTI COPY, ou seja, PUT com parâmetros especiais).
Cada operação MULTI COPY registrada nas estatísticas do DD resulta em uma e apenas uma operação PUT registrada no lado do ECS.
Durante o DD CT GC, o processo entra na fase de "exclusões em segundo plano".
É quando o DD CT GC finaliza todas as cópias encaminhadas usando MULTI COPY. Agora, ele solicita que o ECS exclua todos os objetos de origem dos intervalos de bytes lidos.
Nas estatísticas acima, a quantidade de DELETE durante a semana supera o número combinado de novos objetos (PUT, para novos dados e MULTI COPY, para encaminhamentos de cópia durante o CT GC).
Isso resulta em um ganho líquido de espaço no nível da nuvem Neste exemplo, 557.408 + 18.453.552 - 25.148.128 = -6.137.168, que é mais de 20 TiB pós-compactação com o tamanho normal de objeto para unidades de nuvem baseadas em ECS.
Resolution
Esse é o comportamento esperado.
Algumas operações PUT realizadas pelo DD no ECS são um tipo especial, chamado "MULTI COPY" no lado do DD, mas aparecem como PUT regular no lado do ECS.
A MULTI COPY só é gerada a partir do DD durante o CT GC. Eles criam um único objeto novo na nuvem lendo intervalos de bytes de objetos existentes no ECS. Tudo isso acontece no próprio ECS.
Isso tem as seguintes consequências:
Algumas operações PUT realizadas pelo DD no ECS são um tipo especial, chamado "MULTI COPY" no lado do DD, mas aparecem como PUT regular no lado do ECS.
A MULTI COPY só é gerada a partir do DD durante o CT GC. Eles criam um único objeto novo na nuvem lendo intervalos de bytes de objetos existentes no ECS. Tudo isso acontece no próprio ECS.
Isso tem as seguintes consequências:
- Durante o DD CT GC, em algum momento, o ECS vê muitas operações PUT (que são o DD MULTI COPY). Isso é perfeitamente esperado e causa um aumento transitório no uso do armazenamento no ECS
- Depois que o GC do DD CT tiver concluído os encaminhamentos de cópia, ele emite DELETE para o ECS e começa a liberar espaço. A liberação de espaço do ECS em seu próprio armazenamento pode ser atrasada devido ao funcionamento do GC do ECS
- Pode ser difícil dizer o PUT para novos dados além de PUT para DD CT GC. Verifique com o suporte do ECS se for necessário obter assistência com isso.
- MULTI COPY é uma extensão do padrão S3 e só acontece com unidades de nuvem baseadas em ECS
- MULTI COPY solicitando que o ECS leia de objetos existentes para criar um novo objeto, isso pode resultar em falhas ou alertas de corrupção sendo publicados no DD. A expectativa é que todos os objetos de origem existam no ECS. Caso contrário, o DD CT GC é interrompido e relata alertas de falha de GC do DD CT, falha na verificação de integridade ou corrupção. Nesse caso, entre em contato com o suporte do Dell Data Domain.
- Mesmo que as extensões MULTI COPY sejam implementadas no ECS, elas não são compatíveis com os usuários do IAM. Somente usuários de objeto (regulares), conforme criado a partir do ECS, podem usar as extensões MULTI COPY. Se o perfil de nuvem do DD estiver configurado com credenciais de usuário do IAM ou um usuário de objeto regular for alterado para um usuário do IAM posteriormente, tudo funcionaria bem no DD com o ECS, exceto para limpeza. Isso eventualmente falharia com o seguinte alerta:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.