Data Domain: Dla rozwiązania Data Domain Virtual Edition (DDVE) wdrożonego w chmurze (ATOS) może zabraknąć miejsca w lokalnym magazynie metadanych

Data Domain Virtual Edition (DDVE) to czysto programowane urządzenie pamięci masowej, które może być wdrożone lokalnie lub w chmurze. Active Tier on Object Storage (ATOS) to inna nazwa wdrożonego w chmurze systemu DDVE.
Wdrożony lokalnie system DDVE obsługuje rozwiązania VMware, Hyper-V, KVM i VxRail.
Wdrożony w chmurze system Data Domain Virtual Edition działa na następujących platformach:

• Amazon Web Services (AWS) (chmura i chmura gov)
• Azure (chmura i chmura gov)
• Platformy VMware Cloud on AWS
• Google Cloud Platform (GCP)

DDVE w chmurze to nie to samo co Cloud Tier. Cloud Tier to inny produkt, który można wdrożyć tylko na lokalnych sprzętowych urządzeniach DD i w systemach DDVE.
Jeśli system DDVE wdrożony w chmurze zapełni swój lokalny magazyn metadanych, zostanie wyświetlony następujący alert:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

Rozwiązanie DDVE wdrożone w chmurze (ATOS) obsługuje dwa rodzaje magazynów danych:

• Magazyn blokowy (używany do danych i metadanych lub na potrzeby systemu DDVE z obsługą metadanych w magazynie obiektowym, zwanego również ATOS).
• Magazyn Hot Blob, zwany również magazynem obiektowym (używany tylko dla danych).

Dyski metadanych w systemie DDVE wdrożonym jako ATOS są wypełniane następującymi elementami: indeks, odwołania do segmentów LP, kontenery CMETA (metadanych) i dane menedżera katalogów (DM)
Większość wdrożeń używa magazynów Hot Blob lub obiektowych, ponieważ takie jest aktualne zalecenie dotyczące wdrożeń w chmurze. Wszystkie dane są zapisywane w magazynie obiektowym, ale 10% miejsca jest zdefiniowane jako magazyn blokowy na metadane systemu plików DD. Rozmiar lokalnych metadanych jest spekulacją opartą na rozmiarze pojemności licencjonowanej. W momencie wdrażania szacuje się wykorzystanie metadanych na poziomie 10% przy współczynniku deduplikacji wynoszącym 10x. System DDVE o wykorzystaniu magazynu metadanych na poziomie 100% nie może pozyskiwać kopii zapasowych.

W następujących scenariuszach dla systemu DDVE może zabraknąć miejsca w lokalnym magazynie metadanych:

• Współczynnik deduplikacji wyższy niż 10x, gdyż wówczas wymagania dotyczące metadanych są wyższe niż wdrożona pojemność przeznaczona na metadane (domyślnie 10%).
• Duża liczba migawek lub stare migawki mogą zwiększać rozmiar metadanych

Większą ilość metadanych można zauważyć w systemach DDVE typu ATOS pełniących rolę miejsc docelowych replikacji plików (Controlled Clone Replication CCR / Managed File Replication MFR):

• Jeśli nie wszystkie pliki podstawowe są replikowane, docelowy system DDVE typu ATOS ma większe wykorzystanie metadanych.
• W tym scenariuszu replikacja NIE wykorzystuje w pełni optymalizacji Virtual Synthetics, ponieważ wymaga ona więcej miejsca do przechowywania metadanych.
• Taki problem zauważono w NW CCR, gdzie nie wszystkie pliki podstawowe zdawały się być replikowane. Powoduje to większe wykorzystanie metadanych w miejscu docelowym.

Rozwiązaniem tego problemu byłoby dodanie kolejnych dysków jako lokalnego magazynu metadanych.

Tylko platformy AWS i Azure zezwalają na zwiększenie rozmiaru dysku metadanych, gdy maksymalna dozwolona liczba dysków została już przydzielona. Pojemność istniejących dysków metadanych można zwiększać o 1 TiB. Nie dotyczy to pierwszego dysku metadanych. Szczegółowe informacje można znaleźć w sekcji „Powiększanie magazynu metadanych” w przewodniku.

• PowerProtect DD Virtual Edition 7.x — podręcznik instalacji i administracji Azure Cloud
• PowerProtect DD Virtual Edition 7.x — podręcznik instalacji i administracji Amazon Web Services

WAŻNE INFORMACJE DOTYCZĄCE DODAWANIA DYSKÓW METADANYCH:

• Użycie dysków metadanych o różnych rozmiarach powoduje brak równowagi indeksu.
• Każdy dysk metadanych dodany do warstwy aktywnej powinien mieć własną grupę jednostek dyskowych, czym oprogramowanie zajmuje się automatycznie. Maksymalna znana liczba grup jednostek dyskowych wynosi 16.
• W przypadku przekroczenia maksymalnej liczby grup jednostek dyskowych (16) dyski metadanych będą korzystały z tej samej grupy jednostek dyskowych. Operacje we/wy są wykonywane na dyskach należących do tych samych grup jednostek dyskowych w sposób sekwencyjny.
• Zalecane rozmiary można znaleźć w podręczniku. Większość zaleca zwiększanie o 1 TiB; wyższe rozmiary są możliwe w zależności od dostawcy rozwiązań chmurowych.
• Dyski metadanych można rozszerzać tylko na platformach AWS i Azure. Rozszerzenie dysków metadanych u dowolnego dostawcy sprawia, że system DDVE staje się bezużyteczny z powodu uszkodzenia lub braku wykorzystania dodatkowego miejsca.

1. Sprawdź wykorzystanie metadanych. Jeśli osiągnęło 100%, zachodzi potrzeba przypisanych kolejnych dysków.

   • Patrz poniższy przykład. Niektóre dane wyjściowe mogą się różnić w zależności od dostawcy rozwiązań chmurowych — patrz podręcznik instalacji i administracji:
   • Wyświetl wykorzystanie metadanych.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Proces dodawania kolejnych dysków metadanych różni się w zależności od dostawcy rozwiązań chmurowych. Więcej informacji na ten temat można znaleźć w podręcznikach poszczególnych dostawców rozwiązań chmurowych podanych na dole.

   • Wyświetl używane dyski.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Przejdź do konsoli AWS/GCP/AZURE i dodaj pamięć masową (magazyn) do systemu DDVE. W tym przypadku dodawany jest dysk o pojemności 1 TiB. Jest on widoczny jako dev5. Pamiętaj, aby nie zwiększać pojemności ani nie ruszać żadnego z pozostałych istniejących dysków.
      PODRĘCZNIKI dotyczące rozwiązania DDVE w chmurze (tylko dla wersji poniżej DDVE V4)
      DDVE V4 na platformie Microsoft Azure — podręcznik instalacji i administracji.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE V4 na platformie Google Cloud (GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE V4 na platformie Amazon Web Services (AWS) — podręcznik instalacji i administracji
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      UWAGA: W chwili pisania tego artykułu mogą już istnieć nowe lub zaktualizowane podręczniki instalacji i administracji.
   2. Zakładając na tym etapie, że dodano nowy dysk o pojemności 1 TiB, jest on widoczne w danych wyjściowych jako dysk dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Dodaj nowy dysk do warstwy aktywnej. W tym przykładzie dev5:

      # storage add tier active dev5

      UWAGA: Dodanie kolejnych dysków do lokalnego magazynu metadanych systemu DDVE typu ATOS z interfejsu wiersza poleceń może spowodować wyświetlenie komunikatu „Local storage size exceeds the maximum required metadata capacity for this configuration”:

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      W takim przypadku zapoznaj się z poniższym artykułem, aby uzyskać rozwiązanie:
      Data Domain: Rozmiar magazynu lokalnego przekracza maksymalną pojemność metadanych wymaganą w tej konfiguracji.
   4. Rozszerz system plików.

      # filesys expand

3. Upewnij się, że teraz można zapisywać w systemie plików, który wcześniej był tylko do odczytu z powodu braku miejsca na metadane.

   • Sprawdź, czy kopie zapasowe działają prawidłowo.
   • Sprawdź, czy replikacja danych przychodzących została wznowiona i czy widoczny jest ruch.

Informacje te przetłumaczono na inne języki:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• Rozszerzenie systemu plików można wykonać online.
• Wykorzystanie metadanych jest wprost proporcjonalne do współczynnika deduplikacji. Obciążenia robocze o wysokim współczynniku deduplikacji tworzą większe indeksy, więc potrzeby w zakresie metadanych są większe.
• Stare i duże migawki przechowują dane i zwiększają współczynnik deduplikacji, powodując, że w systemie szybciej zaczyna brakować metadanych.
• Istnieją jedynie wytyczne dotyczące wymaganych metadanych podczas wdrażania. Są one następujące: 10% pojemności dysków metadanych przy założeniu współczynników deduplikacji 10x. Wyższe współczynniki deduplikacji wymagają większej pojemności dysków metadanych.
• Pomoc techniczna DD nie posiada wytycznych dotyczących wymaganych lokalnych magazynów metadanych dla współczynników deduplikacji wyższych niż 10x. Pojemności dysków metadanych zaleca się dodawać co 1 TiB, aż do osiągnięcia równowagi między wykorzystaniem systemu plików i wykorzystaniem metadanych.
• Nie jest znana metoda przewidywania przyszłego wykorzystania metadanych na podstawie potencjalnych współczynników deduplikacji.
• Nierównowaga indeksu może również wystąpić na dyskach o tym samym rozmiarze. Najczęstszym powodem jest zwiększanie pojemności nowych dysków po prawie całkowitym wykorzystaniu dostępnych metadanych. Starsze dyski nadal przechowują większość struktur metadanych, z żądaniem większej liczby operacji we/wy. Ponieważ starsze dane wygasły, metadane powinny się równoważyć między dyskami.