DDOS – Messung der physischen Kapazität oder Reporting der physischen Kapazität – Häufig gestellte Fragen
Summary: Häufig gestellte Fragen zu Data Domain Operating System (DD OS), Physical Capacity Measurement (PCM) oder Physical Capacity Reporting (PCR).
Instructions
Mit Version 5.7 des Data Domain Operating System (DD OS) werden neue Funktionen eingeführt, die als Physical Capacity Measurement (PCM) oder Physical Capacity Reporting (PCR) bezeichnet werden.
In diesem Artikel werden häufige Anwendungsbeispiele und Fragen zu dieser Funktion beschrieben. In diesem Dokument werden die Begriffe PCM und PCR synonym verwendet.
Was ist die Messung der physischen Kapazität (Physical Capacity Measurement, PCM)?
PCM ist eine neue Funktion, die in DD OS 5.7 und höher unterstützt wird und die Berechnung der genauen Festplattenauslastung durch eine Verzeichnisstruktur, eine Sammlung von Verzeichnisstrukturen, MTree oder eine Sammlung von MTrees ermöglicht.
Inwiefern unterscheidet sich dies von den Funktionen früherer Versionen von DDOS?
Wenn eine Datei auf einem DDR aufgenommen wird, zeichnen wir verschiedene Statistiken über die Datei auf. Eine dieser Statistiken sind "Post-LC-Byte" oder die physische Menge an Speicherplatz, die eine Datei einnimmt, wenn sie in das System geschrieben wird. Wir können Post-LC-Bytes für eine Datei oder einen Verzeichnisbaum anzeigen, indem wir die filesys show compression Befehl – zum Beispiel:
sysadmin@dd9500# filesys show compression /data/col1/jf1 Total files: 4; bytes/storage_used: 1.3 Original Bytes: 4,309,378,324 Globally Compressed: 3,242,487,836 Locally Compressed: 3,293,594,658 Meta-data: 13,897,112
Dies weist darauf hin, dass die obige Verzeichnisstruktur vier Dateien enthält, die bei der Aufnahme insgesamt 3.293.594.658 Byte (3,07 GB) physischen Speicherplatz belegt haben.
Beim PCM sollen inkonsistente Ergebnisse vermieden werden, die durch veraltete Statistiken verursacht werden. Da PCM Berichte über die Festplattenauslastung zu einem bestimmten Zeitpunkt erstellen kann, gelten die oben genannten Einschränkungen nicht mehr und die Ergebnisse sind garantiert genauer.
Gibt es bekannte Fakten oder Setups, in denen die vom PCM berechneten Ergebnisse bekanntermaßen nicht optimal genau sind?
PCM führt Stichproben durch, um den Speicherplatz zu berechnen, der von Dateien im Pfadsatz verwendet wird. Das bedeutet, dass einige Dateien bei eindeutigen Segmenten möglicherweise nicht in der Enumeration enthalten sind, da aus Performancegründen Dateien, die kleiner als eine bestimmte Größe sind, nicht berücksichtigt werden. Die Mindestgröße der einzelnen Dateien in den Pfadsätzen, die PCM-Jobs für die Aufzählung berücksichtigen (und daher auch die, für die sie den verwendeten Speicherplatz berücksichtigen), hängt von der durchschnittlichen Segmentgröße des Dateisystems ab:
- Wenn die durchschnittliche Segmentgröße 4.000 beträgt, werden Dateien mit 4 MB und kleiner von PCM ignoriert
- Wenn die durchschnittliche Segmentgröße 8.000 beträgt, werden Dateien mit 8 MB und kleiner von PCM ignoriert
- Wenn die durchschnittliche Segmentgröße 12.000 beträgt, werden Dateien mit 12 MB und kleiner von PCM ignoriert
Real-World-Kundendaten zeigen, dass die durchschnittliche Segmentgröße für die häufigsten Anwendungsfälle bei etwa 9 KB liegt. Eine ungefähre Zahl für Dateien, die bei der Berechnung des verwendeten Speicherplatzes durch ein PCM nicht berücksichtigt werden, wären also Dateien, die kleiner als 9 MB sind.
Sind zusätzliche Lizenzen für PCM erforderlich?
Nein. PCM ist keine lizenzierte Funktion und daher sind keine zusätzlichen Lizenzen erforderlich, um PCM zu verwenden.
Wird PCM auf allen Plattformen unterstützt?
Nein. PCM wird auf allen Hardware- und Virtual Data Domain-Appliances (DDVE) unterstützt, mit Ausnahme von DDVEs
mit aktivem Tier auf Objektspeicher (ATOS).PCM misst und listet nur die Dateien auf dem aktiven Tier auf: Dateien, die sich in Cloudeinheiten befinden (oder bei Legacy-Extended Retention-Dateien in Archiver-Einheiten), sind bei der Größenberechnung für PCM-Jobs nicht enthalten.
Gibt es weitere Voraussetzungen, die erfüllt sein müssen, bevor PCM verwendet werden kann?
Standardmäßig ist PCM in DDOS 5.7 deaktiviert. Bevor er verwendet werden kann, muss er aktiviert und sein Cache wie unten gezeigt initialisiert werden:
sysadmin@dd9500# compression physical-capacity-measurement enable and-initialize physical-capacity-measurement enabled. Initialization started.
Hinweis: Der PCM-Cache wird verwendet, um zukünftige PCM-Jobs zu beschleunigen, wobei die Initialisierung des Caches viel Zeit in Anspruch nehmen kann. Trotzdem können PCM-Jobs in die Warteschlange gestellt werden, während der PCM-Cache initialisiert wird.
Wie berechnet PCM die Gesamtnutzung?
PCM verwendet MTree-Snapshots, um die physische Auslastung für eine Gruppe von Dateien zu bestimmen. Wenn daher ein PCM-Job gestartet wird, geschieht Folgendes:
- Ein MTree-Snapshot wird anhand der zugrunde liegenden MTrees erstellt.
sysadmin@dd9500# snapshot list mtree /data/col1/jf2 Snapshot Information for MTree: /data/col1/jf2 ---------------------------------------------- Name Pre-Comp (GiB) Create Date Retain Until Status --------------------------------- -------------- ----------------- ----------------- ------- pcr_snap_1440284055_1440360259_19 6.0 Aug 23 2015 13:04 Dec 31 1969 16:00 expired --------------------------------- -------------- ----------------- ----------------- -------
- PCM sucht Dateien aus dem Snapshot, die im PCM-Job enthalten sein sollen (d. h. in den angegebenen Pfadsätzen oder MTrees).
- PCM durchläuft die Segmentstruktur dieser Dateien, um im Wesentlichen eine Liste der eindeutigen Segmentfingerabdrücke zu erstellen, die von allen Dateien referenziert werden.
- PCM findet dann entsprechende Segmente auf der Festplatte (innerhalb des Containersatzes) und berechnet die Summe der Größe dieser Segmente.
-
Die Summe der Größe dieser Segmente stellt die aktuelle Festplattenauslastung durch die entsprechenden Dateien dar.
- Zusätzlich zu den oben genannten Informationen kann die vorkomprimierte Größe des Dateisatzes aus den entsprechenden Dateimetadaten ermittelt werden.
- Sobald PCM-Jobs abgeschlossen sind, laufen die zugrunde liegenden PCM-Snapshots für ein späteres Entfernen ab.
Wie funktionieren PCM-Jobs?
PCM-Jobs werden von einem Nutzer (oder nach einem Zeitplan) übermittelt und einer PCM-Arbeitswarteschlange hinzugefügt. Je nach System-Workload können PCM-Jobs dann aus der Warteschlange ausgewählt und sofort gestartet oder auf einen späteren Zeitpunkt verschoben werden.
Im Folgenden finden Sie Beispiele für mögliche Verzögerungen von PCM-Jobs:
- Die Bereinigung des aktiven Tier wird auf dem System ausgeführt – PCM-Jobs und Bereinigung des aktiven Tier können nicht parallel ausgeführt werden. Infolgedessen werden PCM-Jobs, die sich während der Ausführung der Bereinigung des aktiven Tier in die Warteschlange stellen, zurückgestellt, bis die Bereinigung des aktiven Tier abgeschlossen ist.
- Es werden bereits einige PCM-Jobs für zugrunde liegende MTrees ausgeführt – PCM verwendet MTree-Snapshots und es gibt strenge Grenzwerte für die Anzahl der PCM-Snapshots, die ein bestimmter Nutzer zu einem bestimmten Zeitpunkt für einen einzelnen MTree erstellen kann. Wenn diese Grenzwerte durch einen neuen PCM-Job überschritten werden, wird der Job zurückgestellt, bis der vorhandene Job abgeschlossen ist.
Ist es möglich, die vom PCM auf einem System verwendeten Ressourcen zu steuern?
PCM verwendet einen Drosselungsmechanismus, der dem der aktiven Tier-Bereinigung ähnelt, d. h. die PCM-Drosselung kann von 0 (nicht aggressiv) auf 100 (aggressiv) festgelegt werden. Je höher die Drosselung, desto mehr Ressourcen werden von PCM verwendet und desto größere Auswirkungen können PCM-Jobs auf andere Workloads auf dem System haben.
Standardmäßig ist die PCM-Drosselung auf 20 eingestellt, d. h.:
sysadmin@dd9500# compression physical-capacity-measurement throttle show Throttle is set to 20 percent (default).
Die PCM-Drosselung kann wie folgt geändert werden, wobei die Änderung der Drosselung sofort erfolgt (d. h., es ist kein DDFS-Neustart erforderlich, damit PCM die neue Drosselungseinstellung übernimmt):
sysadmin@dd9500# compression physical-capacity-measurement throttle set 50 Throttle set to 50 percent.
Was sind Pathsets?
PCM-Jobs können auf zwei Arten ausgeführt werden, nämlich:
- Für einen vordefinierten "Pfadsatz" (d. h. eine nutzerdefinierte Sammlung von Verzeichnissen)
- Für einen einzigen MTree
Bevor Jobs für einen bestimmten Pfadsatz ausgeführt werden können, muss der Pfadsatz wie folgt erstellt oder definiert werden:
sysadmin@dd9500# compression physical-capacity-measurement pathset create jfall paths /data/col1/jf1,/data/col1/jf2 Pathset "jfall" created.Bestimmte Verzeichnisse können wie folgt zu einem vorhandenen Pfadsatz hinzugefügt oder daraus entfernt werden:
sysadmin@dd9500# compression physical-capacity-measurement pathset del jfall paths /data/col1/jf2 Path(s) deleted from pathset "jfall". sysadmin@dd9500# compression physical-capacity-measurement pathset add jfall paths /data/col1/jf2 Path(s) added to pathset "jfall".
Alle Pfadsätze, die erstellt wurden, werden wie folgt angezeigt:
sysadmin@dd9500# compression physical-capacity-measurement pathset show list Pathset Number of paths Measurement-retention (days) --------------- --------------- ---------------------------- jf1 1 180 jf2 1 180 jfall 2 180 phys-gandhi3 1 180 phys-gandhi5-fc 1 180 phys-gandhi5 1 180 phys2-gandhi3 2 180 --------------- --------------- ---------------------------- 7 pathset(s) found.
Um bestimmte Pfade anzuzeigen, die innerhalb einer Pfadgruppe definiert sind, wird das Symbol pathset show detailed Der Befehl wird verwendet:
sysadmin@dd9500# compression physical-capacity-measurement pathset show detailed jfall Pathset: jfall Number of paths: 2 Measurement-retention: 180 day(s) Paths: /data/col1/jf1 /data/col1/jf2 sysadmin@dd9500#
Um einen Pfad zu löschen, legen Sie das pathset destroy Befehl verwendet werden:
sysadmin@dd9500# compression physical-capacity-measurement pathset destroy jfall
Hinweis: Dadurch wird der gesamte Verlauf für den angegebenen Pfadsatz entfernt.
Wie wird ein PCM-Job gestartet?
Ein neuer PCM-Auftrag wird an die PCM-Arbeitswarteschlange gesendet, indem die sample start Befehl, d. h.:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jfall Measurement task(s) submitted and will begin as soon as resources are available.
Im obigen Beispiel wurde ein vordefinierter Pfadsatz verwendet. Um einen PCM-Job für einen einzelnen MTree zu senden, wird der MTree angegeben, d. h.:
sysadmin@dd9500# compression physical-capacity-measurement sample start mtrees /data/col1/backup Measurement task(s) submitted and will begin as soon as resources are available.
Standardmäßig werden PCM-Jobs mit der Priorität "normal" übermittelt. Es ist auch möglich, eine Priorität der Dringlichkeit anzugeben:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jf1 priority urgent Measurement task(s) submitted and will begin as soon as resources are available.
Aufträge mit der Priorität "dringend" werden vor denen mit der Priorität "normal" in die Warteschlange gestellt (was bedeutet, dass sie abgeholt und vor allen eingereichten Aufträgen mit der Priorität "normal" bearbeitet werden).
Eine Liste der übermittelten oder ausgeführten Jobs wird mithilfe der Schaltfläche sample show current Befehl, z. B.:
sysadmin@dd9500# compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 47244640259 PS jf2 sysadmin Scheduled 2015/08/23 12:24:12 2015/08/23 12:24:12 -- Urgent 0 47244640258 PS jf1 sysadmin Scheduled 2015/08/23 12:24:09 2015/08/23 12:24:09 -- Urgent 0 47244640257 PS jfall sysadmin Scheduled 2015/08/23 12:23:06 2015/08/23 12:23:06 -- Normal 0 ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- sysadmin@dd9500#
Können PCM-Jobs geplant werden?
Ja – Wenn ein bestimmter PCM-Job regelmäßig ausgeführt werden muss, wird er nach Bedarf automatisch ausgeführt. Zum Beispiel:
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched pathsets jfall,jf1,jf2 time 1400 Schedule "jf_sched" created.
Hinweis: Zeitpläne werden so erstellt, dass sie täglich, an bestimmten Wochentagen oder an bestimmten Tagen jedes Monats ausgeführt werden.
Ein vorhandener Zeitplan wird mithilfe der schedule modify Befehls:
sysadmin@dd9500# compression physical-capacity-measurement schedule modify jf_sched priority urgent time 1700 day Wed,Fri Schedule "jf_sched" modified.
Darüber hinaus können einem vorhandenen Zeitplan Pfadsätze wie folgt hinzugefügt oder entfernt werden:
sysadmin@dd9500# compression physical-capacity-measurement schedule del jf_sched pathsets jf2 Schedule "jf_sched" modified. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched pathsets jf2 Schedule "jf_sched" modified.
Hinweis: Ein Zeitplan darf nicht nur Pfadsätze ODER MTrees enthalten (d. h., die beiden können nicht kombiniert werden):
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched2 mtrees /data/col1/backup time 1400 Schedule "jf_sched2" created. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched2 pathsets jfall **** Failed to add: this schedule is only for mtrees.
Um Details zu vorhandenen Zeitplänen anzuzeigen, verwenden Sie das schedule show all Befehl verwendet wird, z. B.:
sysadmin@dd9500# compression physical-capacity-measurement schedule show all Name: jf_sched Status: enabled Priority: urgent Frequency: weekly on Wed, Fri Time: 17:00 Pathset(s): jfall jf1 jf2 Name: jf_sched2 Status: enabled Priority: normal Frequency: daily Time: 14:00 MTree(s): /data/col1/backup
Vorhandene Zeitpläne können sofort deaktiviert oder aktiviert werden, d. h.:
sysadmin@dd9500# compression physical-capacity-measurement schedule disable jf_sched2 Schedule "jf_sched2" disabled. sysadmin@dd9500# compression physical-capacity-measurement schedule enable jf_sched2 Schedule "jf_sched2" enabled.
Ein Zeitplan kann auch wie folgt gelöscht werden:
sysadmin@dd9500# compression physical-capacity-measurement schedule destroy jf_sched2 Schedule "jf_sched2" destroyed.
Hinweis: Dadurch wird der Verlauf für die entsprechenden MTrees/Pfadsätze NICHT entfernt (das bedeutet, dass neue PCM-Jobs nicht automatisch geplant werden).
Wie werden geplante Jobs gestartet?
Wenn ein PCM-Zeitplan hinzugefügt und aktiviert wird, führt dies dazu, dass ein entsprechender Eintrag zu /etc/crontabDas heißt:
# # collection.1.crontab.pcr.jf_sched.0 # 00 17 * * Wed,Fri root /ddr/bin/ddsh -a compression physical-capacity-measurement sample start force priority urgent objects-from-schedule jf_sched
Hinweis: Der Cronjob wird aus
/etc/crontab Wenn der Zeitplan deaktiviert oder zerstört wird.
Kann ich die Ausführung eines PCM-Jobs beenden?
Ja. Ausgeführte PCM-Jobs können entweder mit der Aufgaben-ID oder pathset/MTree-Namen abgebrochen werden. Wir sehen beispielsweise, dass sich zwei PCM-Jobs in der Warteschlange befinden:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051585 PS jfall sysadmin Scheduled 2015/08/30 16:00:48 2015/08/30 16:00:48 -- Normal 0 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Diese Jobs können mithilfe der Task-ID (zum Beenden eines einzelnen Jobs) abgebrochen werden:
SE@dd9500## compression physical-capacity-measurement sample stop task-id 124554051585 ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Übrig bleibt nur ein einziger laufender Job:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Oder Name des Pfadsatzes:
SE@dd9500## compression physical-capacity-measurement sample stop pathsets jfall ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Wir haben keine Jobs:
SE@dd9500## compression physical-capacity-measurement sample show current No measurement tasks found.
Wie können Details zu abgeschlossenen Aufträgen angezeigt werden?
Details zu abgeschlossenen Jobs werden mit dem Symbol sample show history verwenden. So zeigen Sie beispielsweise Details für einen einzelnen Pfadsatz an:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 7.
Der Parameter "detailed-history" zeigt auch die Start- und Endzeiten jedes Jobs an:
SE@dd9500## compression physical-capacity-measurement sample show detailed-history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp Task ID Task Start Time Task End Time (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 47244640257 2015/08/23 12:25:19 2015/08/23 12:25:23 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 51539607553 2015/08/23 13:05:45 2015/08/23 13:05:48 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 77309411329 2015/08/26 14:02:50 2015/08/26 14:02:50 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 85899345921 2015/08/27 14:03:06 2015/08/27 14:03:06 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 94489280513 2015/08/28 14:02:50 2015/08/28 14:02:51 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 103079215105 2015/08/29 14:01:40 2015/08/29 14:01:41 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 115964116993 2015/08/30 14:04:12 2015/08/30 14:04:12 ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- Total number of measurements retrieved = 7.
Hinweis: Beide Befehle können so geändert werden, dass nur Ergebnisse über einen bestimmten Zeitraum abgerufen werden:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall last 2days Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Oder zwischen bestimmten Daten oder Uhrzeiten:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall start 08231010 end 08231400 Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Wie lange wird ein bestimmter Verlauf für einen bestimmten Pathset/MTree aufbewahrt?
Standardmäßig werden die Ergebnisse jedes PCM-Pfadsatzes 180 Tage lang aufbewahrt. Dies kann durch Modifikation des entsprechenden Pfadsatzes geändert werden:
SE@dd9500## compression physical-capacity-measurement pathset modify jfall measurement-retention 14 Measurement-retention changed to 14 day(s).
Der PCM-Verlauf wird in der historischen Systemdatenbank gespeichert. Wenn die historische Datenbank verloren geht oder beschädigt wird, gehen daher auch Details des gesamten PCM-Verlaufs verloren.
Gibt es irgendwelche Vorbehalte, die bei der Verwendung von PCM zu beachten sind?
PCM-Jobs werden angehalten, wenn auf dem System weniger als 10 % Speicherplatz verfügbar sind.
PCM-Jobs werden angehalten, während der Bereinigungszyklus ausgeführt wird.
Wie bereits erwähnt, ist PCM ein Tool zur Berechnung der physischen Auslastung durch einen bestimmten Satz von Verzeichnissen/MTrees. Bei der Berechnung der Ergebnisse für einen bestimmten Pfadsatz oder eine Gruppe von MTrees zählt PCM nur einmal die Größe jedes eindeutigen Datensegments, das vom Pfadsatz oder Satz von MTrees verwendet wird.
Wenn sich Dateien, aus denen dieselben Daten dedupliziert werden, in mehreren verschiedenen PCM-Jobs befinden, kann jedes der Segmente, aus denen die Dateien bestehen, mehrmals gezählt werden (einmal von jedem PCM-Job). Das bedeutet, dass zwar die Ergebnisse jedes einzelnen PCM-Jobs korrekt sind, die Ergebnisse mehrerer PCM-Jobs jedoch nicht summiert werden können, um eine genaue physische Auslastung für die Summe der Pfadsätze/MTrees in den Jobs zu erhalten.
Aufgrund der Art und Weise, wie PCM-Jobs zusammengestellt werden, dem verwendeten Pfadsatz oder MTree-Post-Comp-Speicherplatz auf der Festplatte:
- PCM-Jobs berücksichtigen keine toten Daten (von gelöschten Dateien belegter Festplattenspeicher, der möglicherweise noch nicht durch die Ausführung von GC zurückgewonnen wurde).
- PCM berücksichtigt keine Daten, die in Snapshots gesperrt sind, die für den gemessenen MTree oder die Pfadsätze erstellt wurden.
Ich habe z. B. einen MTree namens /data/col1/jf1 in dem ich drei 1Gb-Dateien erstelle, d.h.:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # for i in 1 2 3 ; do
> dd if=/dev/urandom of=/data/col1/jf1/${i} bs=1024k count=1024
> done
Dann kopiere ich diese Dateien in einen zweiten MTree (/data/col1/jf2):
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/1 /data/col1/jf2/4 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/2 /data/col1/jf2/5 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/3 /data/col1/jf2/6
Schließlich erstelle ich eine neue 1-GB-Datei im Verzeichnis /data/col1/jf2:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # dd if=/dev/urandom of=/data/col1/jf2/7 bs=1024k count=1024 1024+0 records in 1024+0 records out
Wenn die lokale Komprimierung von Daten außer Acht gelassen und nur die Deduplizierung in Betracht gezogen wird, ist klar, dass jeder MTree die folgende Menge an physischem Speicherplatz verwendet hat, als die Dateien geschrieben wurden:
/data/col1/jf1: 3 Gbit
/data/col1/jf2: 1 GB (für die neue Datei – kopierte Dateien wären mit vorhandenen Daten dedupliziert worden und hätten daher nur minimalen physischen Speicherplatz verbraucht).
Infolgedessen ist die Summe der physischen Speicherplatzauslastung von /data/col1/jf1 und /data/col1/jf2 sollte bei etwa 4 GB liegen.
Es werden drei PCM-Pfadsätze erstellt:
JF1 mit /data/col1/jf1
jf2 mit /data/col1/jf2
jfall mit data/col1/jf1 und /data/col1/jf2
Die PCM-Jobs werden ausgeführt und geben wie folgt aus:
Pathset: jf1 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:09 3.0 3.2 0.96x 0.98x 0.94x (-6.21%) ------------------- ------------ ------------- ----------- ---------- -------------- Pathset: jf2 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:12 4.0 4.2 0.98x 0.98x 0.96x (-4.14%) ------------------- ------------ ------------- ----------- ---------- --------------
Diese Werte sind korrekt, da jeder PCM-Job nur physische Daten betrachtet, die von den Dateien im entsprechenden Pfadsatz referenziert werden. Das bedeutet, dass Daten für Dateien, die kopiert wurden, doppelt gezählt werden (einmal von jedem PCM-Job).
Es mag vernünftig erscheinen, dass die vollständige physische Auslastung durch die /data/col1/jf1 und /data/col1/jf2 MTrees können wir die Werte von "physical used" aus den obigen Ausgaben summieren.
Um einen genauen Wert für die physische Gesamtauslastung von /data/col1/jf1 und /data/col1/jf2wählen, ist es erforderlich, einen einzelnen PCM-Job auszuführen, der beide MTrees abdeckt (d. h. use jfall). Dadurch wird sichergestellt, dass doppelte Segmente nur einmal gezählt werden und nicht doppelt wie im obigen Beispiel, d. h.:
Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) ------------------- ------------ ------------- ----------- ---------- --------------
Zusammenfassend lässt sich sagen, dass die Ausgabe mehrerer PCM-Jobs nicht summiert werden kann, um eine genaue physische Auslastung für einen Satz von Pfadsätzen/MTrees zu erhalten. Stattdessen sollte ein einziger PCM-Pfadsatz definiert werden, der alle erforderlichen MTrees/Verzeichnisse abdeckt, da dadurch sichergestellt wird, dass doppelte Daten nur einmal gezählt werden. Wenn dies nicht geschieht und z. B. für jeden MTree auf einem System ein separater PCM-Job ausgeführt werden soll, ist es in der Summe der Ergebnisse durchaus möglich, dass die gesamte verwendete physische Kapazität die Rohkapazität des Systems übersteigt.
Können PCM-Jobs nur von der DDSH Kommandozeile oder kann auch eine UI verwendet werden?
In diesem Dokument wird die Data Domain-Befehlszeilenschnittstelle (DDSH) verwendet, um PCM-Jobs zu konfigurieren, einzureichen und zu überprüfen.