Data Domain: Auflisten von Dateien im Data-Domain-Dateisystem, sfs-dump

• Vergleichen mit einer Liste von Dateien, die von einer Backupanwendung gemanagt werden, um nach Dateien zu suchen, die aus dieser Backupanwendung verwaist sind
• Auflisten aller Dateien über einem bestimmten Altersschwellenwert, um festzustellen, ob die Backupanwendung die Backupaufbewahrung ordnungsgemäß durchsetzt

• Für DDOS vor 7.13.0.0, 7.10.1.15, 7.7.5.25 und 6.2.1.110

se sfs_dump

• Für DDOS 7.13.0.0, 7.10.1.15, 7.7.5.25 und 6.2.1.110 oder höher

filesys sfs-dump

sfs_dump

Wie Sie eine detaillierte Auflistung der Dateien in einer Data Domain über die CLI abrufen und wie Sie die Informationen der in der Data Domain gespeicherten Dateien verarbeiten, hängt von der ausgeführten DDOS-Version ab. Nachdem die Textausgabedatei mit den Details zu den Dateien erfasst wurde, ist die Verarbeitung dieser Ausgabe in ein brauchbareres Format immer gleich, da das Ausgabeformat für alle DDOS-Versionen gleich ist (oder mithilfe eines Skripts in ein gängiges Format konvertiert werden kann).

Bei allen DDOS-Versionen müssen sich NutzerInnen bei Data Domain als Admin-NutzerIn über einen SSH-Client anmelden, der auf Client-Seite die Protokollierung der Konsolenausgabe in eine Textdatei unterstützt (PuTTY eignet sich gut hierfür). NutzerInnen müssen den SSH-Client so konfigurieren, dass die Ausgabe in eine Textdatei auf dem Client-Computer protokolliert wird (dabei darf es keine Beschränkung hinsichtlich der Anzahl der protokollierten Zeilen oder der Länge der einzelnen Zeilen geben). Die SSH-Sitzungsprotokolldatei (und damit die DD-Dateiauflistungen) wird nicht auf die Data Domain geschrieben, sondern (normalerweise) auf den Desktop-Computer, von dem aus die SSH-Verbindung initiiert wurde.

Stellen Sie bei der Erfassung der SSH-Sitzungsausgabe sicher, dass Sie der Datei einen aussagekräftigen Namen geben (z. B. den Data-Domain-Hostnamen und den MTree-Namen, der ausgelesen werden soll) und dass ausreichend Speicherplatz für die Protokolldatei vorhanden ist, die bei Systemen mit 1 Million Dateien ca. 200 MB betragen kann.

Der genaue Befehl, der über die DD-CLI zum Erfassen von Dateiauflistungen ausgeführt werden muss, hängt von der verwendeten DDOS-Version ab. Die Befehle sind unten aufgelistet.
 

DDOS-Versionen vor 7.13.0.0, 7.10.1.15, 7.7.5.25 und 6.2.1.110:

#### To produce the output directly as CSV
# se sfs_dump -c <mtree-path>

#### To produce the output as default format
# se sfs_dump <mtree-path>

# se sfs_dump -c

name    mtime   fileid  size    seg_bytes       seg_count       redun_seg_count pre_lc_size     post_lc_size
/data/col1/backup/file       1656995350000000000     78      33554431        33668007        4016    0       33668007        34208564

DDOS-Version 7.13.0.0, 7.10.1.15, 7.7.5.25 und 6.2.1.110 oder höher:

se sfs_dump

# filesys sfs-dump mtree <mtree-path>

• Der neue Befehl bietet keine Unterstützung für die Option -c für die Ausgabe der Dateiinformationen im CSV-Format (Spalten).
• Mit dem neuen Befehl kann jeweils nur ein MTree ausgelesen werden. Es gibt keine Unterstützung für das Auslesen des gesamten Dateisystems in einem einzigen Aufruf.

# mtree list

filesys sfs-dump

# filesys sfs-dump mtree <mtree-path>

Wenn Sie die Dateidetails für mehr als einen MTree abrufen, wählen Sie aus, ob alle Auslesungen in dieselbe Ausgabedatei übertragen werden sollen, oder wechseln Sie in der SSH-Client-Konfiguration zu einer anderen Datei, bevor Sie den Befehl für jeden MTree ausführen.

Alternativ kann die Erfassung der Ausgabe auch unbeaufsichtigt durchgeführt werden, indem Sie den Befehl wie folgt über SSH ausführen:

#### Releases 7.13.0.0, 7.10.1.15, 7.7.5.25 and 6.2.1.110 onwards only
# ssh sysadmin@DD-HOSTNAME "filesys sfs-dump mtree /data/col1/backup" > sfs-dump-DD-backup.txt

In beiden Fällen zeigt die Ausgabe eine Zeile pro Datei im folgenden Format an:

/data/col1/backup/file: mtime: 1580211658000000000 fileid: 175 size: 136794 type: 9 seg_bytes: 138282 seg_count: 18 redun_seg_count: 14 (78%) pre_lc_size: 15045 post_lc_size: 8760 (58%) mode: 02000100644 start_offset: 0 end_offset: 18446744073709551615

DDOS-Version 8.1.0.0, 7.13.1.10, 7.10.1.30 und 7.7.5.40 oder höher:

• Die Möglichkeit, die Option -c hinzuzufügen, damit die Ausgabe in einem CSV-ähnlichen Format gedruckt wird (durch Spalten getrennte Felder)
• Die Möglichkeit, die Dateiinformationen für alle Dateien im Dateisystem gleichzeitig zu erfassen

#### File listing for all the files in a given MTree path
# filesys sfs-dump mtree <mtree-path>

#### File listing for all the files in a given MTree path, with CSV-like output
# filesys sfs-dump -c mtree <mtree-path>

#### File listing for all the files in the FS
# filesys sfs-dump

#### File listing for all the files in the FS, with CSV-like output
# filesys sfs-dump -c

Verarbeitung der Daten von sfs_dump oder filesys sfs-dump in nützliche Informationen:

/data/col1/backup/file: mtime: 1580211658000000000 fileid: 175 size: 136794 type: 9 seg_bytes: 138282 seg_count: 18 redun_seg_count: 14 (78%) pre_lc_size: 15045 post_lc_size: 8760 (58%) mode: 02000100644 start_offset: 0 end_offset: 18446744073709551615

Field 01 : filename with full path (/data/col1/backup/file)
Field 03 : file last modification time as UNIX epoch in nanoseconds (nanoseconds since January 1st 1970 at midnight)
Field 05 : file (inode) ID, inode numbers are per MTree (175)
Field 07 : pre-comp size for the file in bytes (136794)
Field 09 : type of file (9)
Field 11 : segment store bytes (this is NOT the file size), please ignore (138282)
Field 13 : segment count, or the number of segments the file consists of (18)
Field 15 : number of file segments which are redundant, or not unique (14)
Field 16 : percentage of non-unique segments to total segments (78%)
Field 18 : combined size of the file's unique segments after deduplication (15045)
Field 20 : combined size of the file's unique segments after deduplication and local compression (8760)
Field 21 : ratio of post-deduplicated + post-compressed unique segments size to post-deduplicated unique segment size (58%), shows how well local compression worked
Field 23 : file mode, please ignore

• Für die Dateideduplizierung („gcomp“ oder globale Komprimierung genannt) wird der Faktor 9,09 (von 136.794 auf 15.045 Bytes) verwendet.
• Für die lokale Dateikomprimierung („lcomp“ oder lokale Komprimierung genannt) wird der Faktor 1,72 (von 15.045 auf 8.760 Bytes) verwendet.
• Für die geschätzte Gesamtreduzierung der Dateigröße („Komprimierungsverhältnis“ genannt) wird der Faktor 15,62 (von 136.794 auf 8.760 Bytes) verwendet.

/data/col1/backup/file       1656995350000000000     78      33554431        33668007        4016    0       33668007        34208564

Field 01 : filename with full path (/data/col1/backup/file)
Field 02 : file last modification time as UNIX epoch in nanoseconds (nanoseconds since January 1st 1970 at midnight)
Field 03 : file (inode) ID, inode numbers are per MTree
Field 04 : pre-comp size for the file in bytes (33554431)
Filed 05 : segment store bytes (this is NOT the file size), please ignore (33668007)
Field 06 : segment count, or the number of segments the file consists of (4016)
Field 07 : number of file segments which are redundant, or not unique (0)
Field 08 : combined size of the file's unique segments after deduplication (33668007)
Field 09 : combined size of the file's unique segments after deduplication and local compression (34208564)

• Für die Dateideduplizierung („gcomp“ oder globale Komprimierung genannt) wird der Faktor 0,99 (von 33.554.431 auf 33.668.007 Bytes) verwendet.
• Für die lokale Dateikomprimierung („lcomp“ oder lokale Komprimierung genannt) wird der Faktor 0,98 (von 33.668.007 auf 34.208.564 Bytes) verwendet.
• Für die geschätzte Gesamtreduzierung der Dateigröße („Komprimierungsverhältnis“ genannt) wird der Faktor 0,98 (von 33.554.431 auf 34.208.564 Bytes) verwendet.

mtree show compression

# cat sfs-dump-noCSV.txt | grep ^/ | awk '
BEGIN {print "name\tmtime\tfileid\tsize\tseg_bytes\tseg_count\tredun_seg_count\tpre_lc_size\tpost_lc_size"}
{
    colon_index = index($0, ":")
    filename = substr($0, 1, colon_index - 1)
    gsub(/^[[:space:]]+|[[:space:]]+$/, "", filename)
    n = split(substr($0, colon_index + 1), fields, " ")
    print filename "\t" fields[2] "\t" fields[4] "\t" fields[6] "\t" fields[10] "\t" fields[12] "\t" fields[14] "\t" fields[17] "\t" fields[19]
}' > sfs-dump-CSV.csv

Importieren der CSV-formatierten Ausgabe von sfs_dump in ein Arbeitsblatt (Beispiel für Excel):

1. Öffnen Sie Excel und erstellen Sie ein leeres neues Arbeitsblatt.
2. Gehen Sie oben zum Menü Daten und klicken Sie dann auf das Symbol Aus Text/CSV.
3. Verwenden Sie das Dialogfeld, um die Dateidaten im CSV-Format (sfs-dump-CSV.csv wie im Beispielkonvertierungsskript für das Nicht-CSV-Format) zu finden, wählen Sie sie aus und klicken Sie auf Importieren.
4. Wenn das Format der Eingabedatei korrekt ist und Excel das Format aus den ersten 200 Zeilen auslesen kann (was es sollte), sollte ein Dialogfeld die Vorschau des zu erzeugenden Arbeitsblatts anzeigen. Überprüfen Sie die Informationen, um sicherzustellen, dass alles korrekt angezeigt wird, einschließlich der ersten Zeile als Kopfzeile.
5. Wenn in der Vorschau alles in Ordnung ist, klicken Sie unten im Dialogfeld auf die Schaltfläche Laden und Ihr neues Arbeitsblatt wird Ihnen mit der korrekten Formatierung angezeigt, wobei die Feldüberschriften mit Such- und Filteroptionen versehen sind.

Hinzufügen weiterer berechneter Felder

Zeitstempelkonvertierung:

1. Klicken Sie mit der rechten Maustaste auf die Zelle J2 und wählen Sie Zellen formatieren aus.
2. Wählen Sie in der Liste Kategorie auf der linken Seite Benutzerdefiniert aus.
3. Falls noch nicht vorhanden, erstellen Sie das Format für das für Menschen lesbare Datum-/Uhrzeitformat (das Beispiel enthält die EST-Zeichenfolge am Ende. Sie können sie durch Ihre eigene Zeitzonendefinition ersetzen oder EST ganz weglassen): jjjj-mm-tt hh:mm:ss "EST"
4. Klicken Sie auf OK, wenn Sie fertig sind. Jetzt verfügt Zelle J2 über ein benutzerdefiniertes Format für Daten.
5. Fügen Sie die folgende Formel zu Zelle J2 hinzu. Ersetzen Sie in der Formel das (-6*3600) durch den korrekten Zeitzonenunterschied zu UTC für die konfigurierte Zeitzone in der Data Domain zum Zeitpunkt des Abrufens der sfs-dump-Daten. Zum Beispiel ist die östliche US-Zeit im Sommer 6 Stunden hinter UTC zurück, daher hier „-6“.

(((B2/1000000000+(-6*3600))/86400)+25569)
(((B2/1000000000)/86400)+25569)

• Kopieren Sie die folgende Formel und fügen Sie sie über Inhalte einfügen als Text in Zelle K2 ein, um eine Spalte für die Deduplizierung bzw. gcomp pro Datei zu erstellen:

  =IF(H2=0,0,D2/H2)

• Kopieren Sie die folgende Formel und fügen Sie sie über Inhalte einfügen als Text in Zelle L2 ein, um eine Spalte für die lokale Komprimierung bzw. lcomp pro Datei zu erstellen:

  =IF(I2=0,0,H2/I2)

• Kopieren Sie die folgende Formel und fügen Sie sie über Inhalte einfügen als Text in Zelle M2 ein, um eine Spalte für das gesamte Dateikomprimierungsverhältnis pro Datei zu erstellen:

  =K2*L2

• A enthält den Dateinamen.
• B enthält den Datumsstempel (in UNIX-Epochen in Nanosekunden) für den Zeitpunkt, an dem die Datei zuletzt geschrieben wurde.
• D enthält die Originalgröße der Datei.
• H enthält die Größe nach der globalen Komprimierung.
• I enthält die Größe nach der globalen und der lokalen Komprimierung.
• J enthält den Datumsstempel für den Zeitpunkt, an dem die Datei zuletzt geschrieben wurde, in für Menschen lesbarer Form.
• K enthält die globale Komprimierung (Deduplizierung) für die Datei.
• L enthält die lokale Komprimierung für die Datei.
• M enthält die gesamte Komprimierung für die Datei.

• So zeigen Sie beispielsweise nur Dateien im MTree /data/col1/backup an, die älter als 30 Tage sind:

1. Klicken Sie in der Kopfzeile Name auf den Pfeil nach unten, wählen Sie Textfilter aus, dann Beginnt mit und geben Sie dann /data/col1/backup/ in das Feld ein. Der abschließende Schrägstrich ist wichtig. Klicken Sie auf OK.
2. Klicken Sie in der Kopfzeile Zuletzt geschriebenes Datum auf den Pfeil nach unten, wählen Sie Datumsfilter und dann Vor aus. Verwenden Sie die Datumsauswahl auf der rechten Seite des Dialogfelds, um ein Datum auszuwählen, das 30 Tage zurückliegt. Klicken Sie auf OK.

Befehl für Dateispeicherort (aktiv und Cloud)

#### For the DD FS as a whole
# filesys report generate file-location

#### For an individual MTree or subdirectory
# filesys report generate file-location path /data/col1/test

Die Ausgabe sieht in beiden Fällen folgendermaßen aus:

-------------------------      ----------------------      ----------------------      ---------------------------
File Name                      Location(Unit Name)         Size                        Placement Time
-------------------------      ----------------------      ----------------------      ---------------------------
/data/col1/test/file1.bin                  Cloud-Unit                  200.00 GiB      Sat Mar  5 13:24:10 2022
/data/col1/test/file2.bin                      Active                   10.00 TiB      Sat May 14 00:48:17 2022
-------------------------      ----------------------      ----------------------      ---------------------------

sfs_dump -c

# split  -b <size> <filename> <new filename prefix>  (splits by file size)
# split  -l <size> <filename> <new filename prefix>  (splits by number of lines)
# split  -n <size> <filename> <new filename prefix>  (splits by number of pieces)

Um beispielsweise eine Eingabetextdatei in Blöcke von jeweils 200 MiB aufzuteilen, sodass die Teile benannt werden, führen Sie zuerst Folgendes aus:

"sfs_dump.out.split"

Und anschließend:

# split -b 200M sfs_dump.out sfs_dump.out.split

Skript für die Verwendung von "filesys sfs-dump" für die Ausgabe der Dateidaten des gesamten Dateisystems

#!/bin/bash

#### WARNING
####     This script is provided to you by Dell Technologies with NO GUARANTEE, as best-effort sample code to get a full FS sfs-dump collected
####     for DDOS releases which do not support "se sfs-dump", or as an alternative to it, in releases which support "filesys fs-dump"
####     That this script does not work for you, or if you need help setting it up, extending it, or resolving any issues, is not entitled to support
####     This script is not part of Dell PowerProtect / Data Domain, and hence it is not supported

#### Replace values below to suit your needs
USERNAME="sysadmin"
DD_HOSTNAME="10.60.36.172"
#### NO CHANGES NEEDED BEYOND THIS POINT

clear
echo "Script collects a full FS sfs-dump from \"${DD_HOSTNAME}\", using the command \"filesys sfs-dump\", one MTree at a time"
echo "    * Script has to be configured by settting the \"USERNAME\" and \"DD_HOSTNAME\" variables within the top of the script"
echo "    * Script expects passwordless SSH connection as \"USERNAME\" to the \"DD_HOSTNAME\" configured"
echo "    * To configure passwordless SSH login to a DataDomain, check KB at https://www.dell.com/support/kbdoc/000004033 "
echo "    * Test passwordless login is configured and working prior to going ahead with this script"
echo "    * If passwordless login is not configured, script will ask for the \"${USERNAME}\" password "
echo "          - Once for getting the MTree list"
echo "          - And once for each one of the MTrees in \"${DD_HOSTNAME}\" "
echo
echo -n "Are you sure you want to continue? (y/n) : "
read -n 1 answer
echo
if [ "${answer}" = "y" ]; then
    echo "Going ahead with the script."
    echo
else
    echo "Stopping script now. Re-run when passwordless login to \"${DD_HOSTNAME}\" as \"${USERNAME}\" works. Bye."
    exit 1
fi

echo -n "1/6 : Collecting list of MTrees from DD..."
ssh ${USERNAME}@${DD_HOSTNAME} "mtree list" 2>/dev/null | grep ^/ | awk '{print $(NF-3)}' > mtree-list.txt
echo "Done."

n_mtrees=$( wc -l mtree-list.txt | cut -d" "  -f1 )
echo -n "2/6 : Collecting per-Mtree sfs-dump information for ${n_mtrees} MTrees ..."
for mtree in `cat mtree-list.txt`; do
    name=$(echo $mtree | cut -d/ -f4)
    ssh ${USERNAME}@${DD_HOSTNAME} "filesys sfs-dump mtree ${mtree}" 2>/dev/null | grep ^/ > sfs-dump-${name}.txt
    echo -n "."
done
echo "Done."

echo -n "3/6 : Putting all the files together..."
for file in `ls sfs-dump-*.txt`; do 
    if [ -s "${file}" ]; then cat ${file} >> sfs-dump-noCSV.txt; fi
done
echo "Done."

echo -n "4/6 : Converting sfs-dump output to CSV format..."
cat sfs-dump-noCSV.txt | grep ^/ | grep -v ^$ | awk '
BEGIN {print "name\tmtime\tfileid\tsize\tseg_bytes\tseg_count\tredun_seg_count\tpre_lc_size\tpost_lc_size"}
{
    colon_index = index($0, ":")
    filename = substr($0, 1, colon_index - 1)
    gsub(/^[[:space:]]+|[[:space:]]+$/, "", filename)
    n = split(substr($0, colon_index + 1), fields, " ")
    print filename "\t" fields[2] "\t" fields[4] "\t" fields[6] "\t" fields[10] "\t" fields[12] "\t" fields[14] "\t" fields[17] "\t" fields[19]
}' > sfs-dump-CSV.csv
echo "Done."

echo -n "5/6 : Cleaning up..."
for mtree in `cat mtree-list.txt`; do name=$(echo $mtree | cut -d/ -f4); rm -f sfs-dump-${name}.txt ; done
rm sfs-dump-noCSV.txt
rm mtree-list.txt
echo "Done."


echo -n "6/6 : Summary"
echo
n_files=$( wc -l sfs-dump-CSV.csv | cut -d" "  -f1 )
echo
echo "Collecting whole FS sfs-dump data from ${HOSTNAME} completed"
echo "File includes output for ${n_mtrees} MTrees, with a combined $(( ${n_files} - 1 )) files across Active and Cloud Tiers (if applicable)"
echo "Start of file shown below for your convenience :"
echo "===================="
head -5 sfs-dump-CSV.csv
echo "===================="
echo
echo "Done."

exit 0

Skript zum Kombinieren der Ausgabe von Nicht-CSV-basiertem „sfs-dump“ und „filesys report generate file-location“ in einer CSV-Datei mit denselben Informationen wie im obigen Skript sowie Informationen zum Datei-Tier und zur Platzierungszeit

#!/bin/bash

#### WARNING
####     This script is provided to you by Dell Technologies with NO GUARANTEE, as best-effort sample code to match the output from commands :
####       * sfs-dump (in non CSV format)
####       * filesys report generate file-location
####     So that a new CSV with the file paths appearing on both is created for all the data in sfs-dump file with the added tier and placement time information from location report
####
####     This script is not part of Dell PowerProtect / Data Domain, and hence it is not supported
####
####     Usage : extend-sfs-dump-with-tier.sh sfs-dump-output.csv file-location-output.log
####     Output : static "sfs-dump-output-tiers.csv" file name (may be changed below)

#### Replace values below to suit your needs
OUTPUT_FILENAME="sfs-dump-output-tiers.csv"
#### NO CHANGES NEEDED BEYOND THIS POINT

clear

if [ ! $# == 2 ]; then
    echo "Combine output from sfs-dump and tier location report into a CSV file with tier and placement time information"
    echo
    echo "Usage : $0 SFS-DUMP-OUTPUT-FILE    REPORT-FILE-LOCATION-FILE"
    echo "NOTE : SFS-DUMP-OUTPUT-FILE has to be in non-CSV format"
    exit 1
fi

INPUT_SFSDUMP="$1"
INPUT_LOCATION="$2"


echo -n "1/6 : Sanity checking input files..."
if [ ! -s "${INPUT_SFSDUMP}" ]; then
    echo "Input file ${INPUT_SFSDUMP} does not exist"
    exit 1
fi
if [ ! -s "${INPUT_LOCATION}" ]; then
    echo "Input file ${INPUT_LOCATION} does not exist"
    exit 1
fi
n_files_sfsdump=`grep ^/ ${INPUT_SFSDUMP} | wc -l`
n_files_location=`grep ^/ ${INPUT_LOCATION} | wc -l`
if [ ${n_files_sfsdump} -eq ${n_files_location} ]; then
    echo -n "both have the same amount of files (${n_files_location}). "
else
    echo -n "sfs-dump has ${n_files_sfsdump} files whereas location report has ${n_files_location} files, this may be normal if the difference is small. "
fi
echo "Done."


echo -n "2/6 : Sanitize \"file-location\" input..."
cat ${INPUT_LOCATION} | awk 'BEGIN {rejected="temp-location-rejected.log"; accepted="temp-location-accepted.log"} { if ( $0 ~ "Missing -unit") { gsub(/Missing -unit/, "Missing-Cloud-Unit", $0); print $0 > rejected } else { if ($0 ~ "^/" ) print $0 > accepted } }'
if [ -s "temp-location-rejected.log" ]; then
    REJECTS_EXIST="yes"
    echo -n "Some files in location report sit in unavailable or deleted cloud units, you may need to re-run this script after fixing the issue and gathering a new location report. "
    cat temp-location-rejected.log temp-location-accepted.log | sed -e 's/\t/:\t/' | sort > temp-location-report-sorted.log
    rm temp-location-rejected.log
else
    cat temp-location-accepted.log | sed -e 's/\t/:\t/' | sort > temp-location-report-sorted.log
    REJECTS_EXIST="no"
fi
rm temp-location-accepted.log
echo "Done."


echo -n "3/6 : Sanitize \"sfs-dump\" input..."
cat ${INPUT_SFSDUMP} | grep ^/ | sort > temp-sfs-dump.log
echo "Done."


echo -n "4/6 : Merging information for sfs-dump and location report..."
join -1 1 -2 1 temp-sfs-dump.log temp-location-report-sorted.log > temp-merged-information.log
rm temp-sfs-dump.log
rm temp-location-report-sorted.log
n_files_combined=`grep ^/ temp-merged-information.log | wc -l`
if [ ${n_files_combined} -eq 0 ]; then
    echo "No files matched from input files. sfs-dump output must NOT be in CSV format. Exiting."
    rm temp-merged-information.log
    exit 1
fi
echo -n "Input files matched on ${n_files_combined} files. "
echo "Done."


echo -n "5/6 : Converting merged sfs-dump / location-report output to CSV format..."
cat temp-merged-information.log | grep ^/ | grep -v ^$ | awk '
BEGIN {print "name\tmtime\tfileid\tsize\tseg_bytes\tseg_count\tredun_seg_count\tpre_lc_size\tpost_lc_size\ttier\tplacement_time"}
{
    colon_index = index($0, ":")
    filename = substr($0, 1, colon_index - 1)
    gsub(/^[[:space:]]+|[[:space:]]+$/, "", filename)
    n = split(substr($0, colon_index + 1), fields, " ")
    print filename "\t" fields[2] "\t" fields[4] "\t" fields[6] "\t" fields[10] "\t" fields[12] "\t" fields[14] "\t" fields[17] "\t" fields[19] "\t" fields[27] \
        "\t" fields[length(fields)-4] " " fields[length(fields)-3] " " fields[length(fields)-2] " " fields[length(fields)-1] " " fields[length(fields)]
}' > ${OUTPUT_FILENAME}
rm temp-merged-information.log
echo "Done."


echo -n "6/6 : Summary"
echo
echo
echo "Merging information from sfs-dump (${INPUT_SFSDUMP}) and location-report ${INPUT_LOCATION} output completed."
echo "Output file (${OUTPUT_FILENAME}) includes information for a total ${n_files_combined} files, out of ${n_files_sfsdump} in input sfs-dump, and ${n_files_location} in input location report."
if [ "${REJECTS_EXIST}" == "yes" ]; then
    echo "Note there are some files in disconnected or deleted cloud units, for which the \"tier\" field has been replaced with \"Missing-Cloud-Unit\"."
fi
echo
echo "Start of file shown below for your convenience :"
echo "===================="
head -5 ${OUTPUT_FILENAME}
echo "===================="
echo
echo "You may follow the instructions in https://www.dell.com/support/kbdoc/000081345 to process this CSV file in an spreadhseet"
echo
echo "Done."

exit 0

Für Veritas-NetBackup-NutzerInnen:

/data/col1/MTREE_NAME/POLICY-NAME_1400502741_C1_F1:1400502741:VM_PRD-02:4:1::
/data/col1/MTREE_NAME/POLICY-NAME_1400502741_C1_F2:1400502741:VM_PRD-02:4:1::
/data/col1/MTREE_NAME/POLICY-NAME_1400502741_C1_HDR:1400502741:VM_PRD-02:4:1::

--- iterate-dd-for-fs-sfs-dump.sh       2024-01-23 06:32:16.521409000 -0500
+++ iterate-dd-for-fs-sfs-dump-NBU.sh   2024-02-27 03:26:42.808246000 -0500
@@ -55,11 +55,11 @@
 cat sfs-dump-noCSV.txt | grep ^/ | grep -v ^$ | awk '
 BEGIN {print "name\tmtime\tfileid\tsize\tseg_bytes\tseg_count\tredun_seg_count\tpre_lc_size\tpost_lc_size"}
 {
-    colon_index = index($0, ":")
-    filename = substr($0, 1, colon_index - 1)
+    colon_index = index($0, ":::")
+    filename = substr($0, 1, colon_index + 1)
     gsub(/^[[:space:]]+|[[:space:]]+$/, "", filename)
     n = split(substr($0, colon_index + 1), fields, " ")
-    print filename "\t" fields[2] "\t" fields[4] "\t" fields[6] "\t" fields[10] "\t" fields[12] "\t" fields[14] "\t" fields[17] "\t" fields[19]
+    print filename "\t" fields[3] "\t" fields[5] "\t" fields[7] "\t" fields[11] "\t" fields[13] "\t" fields[15] "\t" fields[18] "\t" fields[20] "\t"
 }' > sfs-dump-CSV.csv
 echo "Done."