Data Domain. Операции «MULTI COPY» при использовании ECS в качестве Облачного уровня
Summary: В этой статье описываются подробные сведения о внедрении ECS с Data Domain for Cloud Tier. При просмотре журналов Data Domain и ECS в нем рассматриваются потенциальные забои.
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Dell ECS может использоваться в качестве поставщика облачных решений с DD Cloud Tier (Long-Term Retention, LTR). Подробные сведения о DD LTR см. в статье 23144 базы знаний Dell Data Domain Restorer (DDR) и Долгосрочное хранение (LTR) в облаке: Часто задаваемые вопросы (часто задаваемые вопросы и ответы)
ECS и поставщики общедоступного облака (например, AWS, Azure и GCP) работают точно так же, за исключением незначительных сведений о внедрении. Cloud Tier очищает работу в ECS по-разной из-за того, что облако ECS является локальным, принадлежит заказчику и поэтому:
ECS имеет расширение S3, которое называется «Диапазон копий». Это может наблюдаться в других местах, таких как MULTI COPY.
Это набор расширенных заголовков, не представленный в стандарте S3 и поддерживаемый только ECS. Это позволяет ECS создать новый объект, потянув за диапазоны байтов от существующих объектов. Вся работа выполняется через ECS, а не на клиенте.
Эта нестандартная операция, поддерживаемая ECS, используется DD только на этапе «чистого копирования» Cloud Tier. Это позволяет DD запускать сбор мусора на облачных устройствах на базе ECS таким же образом, как и на активном уровне (что более эффективно при повторном выделении неиспользуемого пространства).
Он не используется при записи новых данных в облако во время перемещения данных (оно использует PUT), а также при извлечении или считы считы с облачного модуля (при использовании GET).
ECS и поставщики общедоступного облака (например, AWS, Azure и GCP) работают точно так же, за исключением незначительных сведений о внедрении. Cloud Tier очищает работу в ECS по-разной из-за того, что облако ECS является локальным, принадлежит заказчику и поэтому:
- Задержка и производительность быстрее, чем для поставщиков общедоступного облака
- Пользователи не понести дополнительных расходов при использовании пропускной способности или выполнении операций в ECS
- ECS разработано Dell и имеет расширения для стандарта протокола S3. Это позволяет использовать Cloud Tier эффективнее, чем для поставщиков общедоступного облака.
ECS имеет расширение S3, которое называется «Диапазон копий». Это может наблюдаться в других местах, таких как MULTI COPY.
Это набор расширенных заголовков, не представленный в стандарте S3 и поддерживаемый только ECS. Это позволяет ECS создать новый объект, потянув за диапазоны байтов от существующих объектов. Вся работа выполняется через ECS, а не на клиенте.
Эта нестандартная операция, поддерживаемая ECS, используется DD только на этапе «чистого копирования» Cloud Tier. Это позволяет DD запускать сбор мусора на облачных устройствах на базе ECS таким же образом, как и на активном уровне (что более эффективно при повторном выделении неиспользуемого пространства).
Он не используется при записи новых данных в облако во время перемещения данных (оно использует PUT), а также при извлечении или считы считы с облачного модуля (при использовании GET).
Cause
Диапазон копий/MULTI COPY, который является расширением протокола S3, не является новым методом.
Диапазон копирования/MULTI COPY — это набор новых заголовков, добавляемого в PUT-вызовы. ECS знает, как интерпретировать это, но не другие облачные реализации.
В DD есть места, где сообщается MULTI COPY, а не PUT. Это необходимо для того, чтобы отделить обычный PUT (который используется для записи данных в облако во время перемещения данных) от тех, которые генерируются во время CT GC (т. е. так называемой MULTI COPY, но они находятся под капотом).
Например, можно увидеть, что заказчику были переданы следующие значения за 7 дней с даты:
DD будет сообщать о объемах операций, выполненных для PUT, GET, DELETE, MULTI COPY и LIST.
Multi COPY — это не допустимый метод S3, даже не для ECS. MULTI COPY на самом деле PUT с некоторыми специальными заголовками, добавленным DD при выполнении операции с ECS.
При проверке на стороне ECS клиенты и служба поддержки ECS не видят операций «MULTI COPY».
Они только видят, если применимо, PUT, GET, DELETE и LIST. При перемещении данных в облако DD сообщает PUT отдельно. DD сообщает MULTI COPY (которые создаются во время CT GC для создания новых объектов из байтов, считываемых из существующих объектов в облаке).
По этой причине заказчики и служба поддержки ECS видят, что PUT выполняется из DD во время DD CT GC. Это может быть понятно как новые данные (перемещение данных из DD), но это может быть связано с текущей версией DD CT GC (которая выполняет MULTI COPY, т. е. PUT со специальными параметрами).
Каждая операция MULTI COPY, записываемая в статистику DD, приводит к одной и только одной операции PUT на стороне ECS.
Во время DD CT GC процесс входит в фазу «фонового удаления».
Это когда DD CT GC завершил все переадресации копирования с помощью MULTI COPY. Теперь ecS запрашивает удаление всех исходных объектов, от которых мы считываем байт.
В приведенной выше статистике количество delete в течение недели пересылает общее количество новых объектов (PUT, для новых данных и MULTI COPY, для переадресации копий во время CT GC).
Это приводит к чистому большему объему пространства на облачном уровне В данном примере 557 408 + 18 453 552 — 25 148 128 = -6 137 168, что превышает 20 ТиБ после сжатия с обычным размером объекта для облачных единиц на базе ECS.
Диапазон копирования/MULTI COPY — это набор новых заголовков, добавляемого в PUT-вызовы. ECS знает, как интерпретировать это, но не другие облачные реализации.
В DD есть места, где сообщается MULTI COPY, а не PUT. Это необходимо для того, чтобы отделить обычный PUT (который используется для записи данных в облако во время перемещения данных) от тех, которые генерируются во время CT GC (т. е. так называемой MULTI COPY, но они находятся под капотом).
Например, можно увидеть, что заказчику были переданы следующие значения за 7 дней с даты:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
DD будет сообщать о объемах операций, выполненных для PUT, GET, DELETE, MULTI COPY и LIST.
Multi COPY — это не допустимый метод S3, даже не для ECS. MULTI COPY на самом деле PUT с некоторыми специальными заголовками, добавленным DD при выполнении операции с ECS.
При проверке на стороне ECS клиенты и служба поддержки ECS не видят операций «MULTI COPY».
Они только видят, если применимо, PUT, GET, DELETE и LIST. При перемещении данных в облако DD сообщает PUT отдельно. DD сообщает MULTI COPY (которые создаются во время CT GC для создания новых объектов из байтов, считываемых из существующих объектов в облаке).
По этой причине заказчики и служба поддержки ECS видят, что PUT выполняется из DD во время DD CT GC. Это может быть понятно как новые данные (перемещение данных из DD), но это может быть связано с текущей версией DD CT GC (которая выполняет MULTI COPY, т. е. PUT со специальными параметрами).
Каждая операция MULTI COPY, записываемая в статистику DD, приводит к одной и только одной операции PUT на стороне ECS.
Во время DD CT GC процесс входит в фазу «фонового удаления».
Это когда DD CT GC завершил все переадресации копирования с помощью MULTI COPY. Теперь ecS запрашивает удаление всех исходных объектов, от которых мы считываем байт.
В приведенной выше статистике количество delete в течение недели пересылает общее количество новых объектов (PUT, для новых данных и MULTI COPY, для переадресации копий во время CT GC).
Это приводит к чистому большему объему пространства на облачном уровне В данном примере 557 408 + 18 453 552 — 25 148 128 = -6 137 168, что превышает 20 ТиБ после сжатия с обычным размером объекта для облачных единиц на базе ECS.
Resolution
Это ожидаемое поведение.
Некоторые операции PUT, выполняемые DD в ECS, являются специальными типами, называемыми «MULTI COPY» на стороне DD, но они отображаются как обычные PUT на стороне ECS.
Multi COPY создается только из DD во время CT GC. Они создают один новый объект в облаке, считывая байт в диапазоне от существующих объектов в ECS. Все это происходит в системе ECS.
Это имеет следующие последствия:
Некоторые операции PUT, выполняемые DD в ECS, являются специальными типами, называемыми «MULTI COPY» на стороне DD, но они отображаются как обычные PUT на стороне ECS.
Multi COPY создается только из DD во время CT GC. Они создают один новый объект в облаке, считывая байт в диапазоне от существующих объектов в ECS. Все это происходит в системе ECS.
Это имеет следующие последствия:
- Во время DD CT GC ECS в какой-то момент видит множество операций PUT (которые являются DD MULTI COPY). Это абсолютно ожидаемое решение, приводящее к кратковременном увеличению коэффициента использования ресурсов хранения в ECS
- После завершения переадресации DD CT GC выдает DELETE в ECS и начнет освобождать место. EcS, освобождя пространство в собственной системе хранения, может быть отложен из-за работы ECS GC
- Кроме PUT для DD CT GC, может быть трудно определить, какие новые данные необходимы для put for DD CT. Если в этом случае требуется помощь, обратитесь в службу поддержки ECS.
- MULTI COPY — это расширение стандарта S3 и происходит только с облачными устройствами на базе ECS.
- MULTI COPY с запросом ECS на чтение из существующих объектов для создания нового объекта, это может привести к сбоям или оповещениям о повреждении, которые будут размещаться в DD. Ожидаемый результат — все исходные объекты существуют в ECS. Если нет, DD CT GC прекращает работу и сообщает оповещения о сбое DD CT GC, сбое проверки целостности или повреждении. В этом случае обратитесь в службу поддержки Dell Data Domain.
- Даже если в ECS реализованы расширения MULTI COPY, они не поддерживаются для пользователей IAM. Только (обычные) пользователи объектов, созданные в ECS, могут использовать расширения MULTI COPY. Если профиль облака DD настроен с учетными данными пользователя IAM или обычный пользователь объекта будет изменен на пользователя IAM позже, в DD с ECS все будет работать нормально, за исключением чистой. В конечном итоге это завершается сбоем со следующим оповещением:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.