PowerFlex: Initiera om replikering efter replikeringsavbrott
Summary: Konsekvensgruppen för replikering kan tas bort av olika orsaker och replikeringen mellan käll- och målplatserna stoppas. Den gemensamma nämnaren för alla ärenden är att journalens kapacitet upphör. ...
Symptoms
Från kommandoraden hittar vi varningsmeddelanden om "volymer i konsekvensgrupper för bruten replikering".
# scli --query_all_replication_pairs
query_all_replication_pairs returned 0 Replication Pairs.
WARNING: The System contains 2 volumes in broken replication consistency groups
# scli --query_all_replication_consistency_groups
Protection Domain aef4ce8300000000 Name: RHEL7-PD
WARNING: The Protection Domain contains 2 volumes in broken replication consistency groups
Från användargränssnittet visas följande fel "RCG:er (Replication Consistency Groups)" för RCG:er (Replication Consistency Groups).

Syftet med dessa loggfiler är att möjliggöra smidig ominitiering av replikeringen mellan platserna. Loggfilerna används för att snabbt starta om replikeringsprocessen när orsaken till avbrottet har lösts.
Cause
Exempel på orsaker som kan orsaka replikeringsavbrott:
a. Långt nätverksfel mellan käll- och målplatser
b. Plötslig minskning av kapaciteten på käll- eller målplatserna – till exempel i ett scenario med ej tillgängliga data (DU)
När replikeringen har brutits tar MDM-enheten automatiskt bort alla konsekvensgrupper för replikering (RCG) mellan käll- och målplatserna. Och den genererar replikeringsloggfiler som innehåller all information som är relaterad till de borttagna RCG:erna.
Resolution
a. Leta reda på loggfilerna för den automatiskt genererade replikeringsavbrottsfilen under den primära MDM:en med nästa format –
Automatisk DeletedOnEndOfJournalCapacityRplCg_<RCG_ID>_<RCG_name>
Exempel:
# cd /opt/emc/scaleio/mdm/logs
# ls -l AutoDelete*
-rw-r--r-- 1 root root 953 Apr 14 12:15 AutoDeletedOnEndOfJournalCapacityRplCg_4ca1bc9600000000_Rep_Beta1
b. Kontrollera att problemet som gjorde att replikeringen bröts är åtgärdat.
c. Initiera om replikeringen med någon av följande två metoder: Använda skript eller manuellt.
Använda skript:
-
Generera en fil som innehåller alla relevanta kommandon från de automatiskt genererade loggfilerna för att initiera om replikeringen
Exempel:
for i in `ls /opt/emc/scaleio/mdm/logs/AutoDeletedOnEndOfJournalCapacity*`;do sed -e '1,/Recreation CLIs/d' $i >> full_replication_restore_$(date +%s); done -
Validera att filen har skapats och dess innehåll
Exempel:
[root@112AX-7 logs]# cat full_replication_restore_1587387678 scli --add_replication_consistency_group --replication_consistency_group_name rcg_sanity --destination_system_object_id 416af83800000000 --protection_domain_id b3dd0a5900000000 --remote_protection_domain_id 4ff0744e00000000 --rpo 60 --target_volume_access_mode no_access scli --add_replication_pair --replication_consistency_group_name rcg_sanity --source_volume_id 0da61f0d00000003 --destination_volume_id 1981bbaf00000005 --copy_type full scli --add_replication_consistency_group --replication_consistency_group_name rcg_SANITY2 --destination_system_object_id 416af83800000000 --protection_domain_id b3dd0a5900000000 --remote_protection_domain_id 4ff0744e00000000 --rpo 60 --target_volume_access_mode no_access scli --add_replication_pair --replication_consistency_group_name rcg_SANITY2 --source_volume_id 0da61f2500000000 --destination_volume_id 1981bbb000000006 --copy_type full scli --add_replication_consistency_group --replication_consistency_group_name rcg_sanity3 --destination_system_object_id 416af83800000000 --protection_domain_id b3dd0a5900000000 --remote_protection_domain_id 4ff0744e00000000 --rpo 60 --target_volume_access_mode no_access scli --add_replication_pair --replication_consistency_group_name rcg_sanity3 --source_volume_id 0da61f2600000001 --destination_volume_id 1981bbb100000007 --copy_type full [root@112AX-7 logs]# -
Gör den genererade filen körbar och logga sedan in som administratör på den primära MDM-enheten och kör den skapade filen.
Exempel:
# scli --login --username admin --password xxxxxxxxxx Logged in. User role is SuperUser. System ID is xxxxxxxxxxxxxxx # # chmod +x full_replication_restore_1587387678 ; ./full_replication_restore_1587387678 Successfully created Replication Consistency Group rcg_sanity. Object ID 357a6c4f00000001 Successfully created the Pair, ID = a1f1819900000001 Successfully created Replication Consistency Group rcg_SANITY2. Object ID 357a6c5300000003 Successfully created the Pair, ID = a1f1819a00000002 Successfully created Replication Consistency Group rcg_sanity3. Object ID 357a6c5500000005 Successfully created the Pair, ID = a1f1819b00000003 - Kontrollera att replikeringen har skapats genom att köra
-
scli --query_all_replication_consistency_groups scli --query_all_replication_pairs
-
Manuellt:
-
Kontrollera att varje RCG som tagits bort automatiskt har en automatiskt genererad loggfil:
Exempel:
# ls /opt/emc/scaleio/mdm/logs/AutoDeletedOnEndOfJournalCapacity* /opt/emc/scaleio/mdm/logs/AutoDeletedOnEndOfJournalCapacityRplCg_357a454600000001_rcg_sanity /opt/emc/scaleio/mdm/logs/AutoDeletedOnEndOfJournalCapacityRplCg_357a6c4b00000002_rcg_SANITY2 /opt/emc/scaleio/mdm/logs/AutoDeletedOnEndOfJournalCapacityRplCg_357a6c4c00000003_rcg_sanity3 -
Upprepa nästa steg för varje fil i listan i steg 1 ovan
a. Kontrollera att CLI-kommandona har genererats och validera att den har relevant information under Rekreations-CLIExempel:
#cat AutoDeletedOnEndOfJournalCapacityRplCg_357a6c4900000001_rcg_sanity REPLICATION CONSISTENCY GROUP LocalId:357a6c4900000001 RemoteId:4ca1e3ab00000001 Name:rcg_sanity PeerMdmId:416af83800000000 RpoSeconds:60 Direction:LOCAL_TO_REMOTE DRState:NONE DeletionDecisionTime:20/04 08:37:35 DeletionReason:AUTOMATIC_ON_END_OF_CAPACITY FailureDomainId:b3dd0a5900000000 RemoteFailureDomainId:4ff0744e00000000 PAIR 0 LocalId:a1f1819600000001 RemoteId:2dfad1c100000001 LocalVolumeId:0da61f0d00000003 LocalVolumeName:test1 RemoteVolumeId:1981bbaf00000005 RemoteVolumeName:test1 Recreation CLIs: scli --add_replication_consistency_group --replication_consistency_group_name rcg_sanity --destination_system_object_id 416af83800000000 --protection_domain_id b3dd0a5900000000 --remote_protection_domain_id 4ff0744e00000000 --rpo 60 --target_volume_access_mode no_access scli --add_replication_pair --replication_consistency_group_name rcg_sanity --source_volume_id 0da61f0d00000003 --destination_volume_id 1981bbaf00000005 --copy_type fullb. Kör alla kommandon som visas under avsnittet "Recreation CLIs"
Exempel:
# scli --add_replication_consistency_group --replication_consistency_group_name rcg_sanity --destination_system_object_id 416af83800000000 --protection_domain_id b3dd0a5900000000 --remote_protection_domain_id 4ff0744e00000000 --rpo 60 --target_volume_access_mode no_access Successfully created Replication Consistency Group rcg_sanity. Object ID 357a6c4f00000001 [root@112AX-7 logs]# scli --add_replication_pair --replication_consistency_group_name rcg_sanity --source_volume_id 0da61f0d00000003 --destination_volume_id 1981bbaf00000005 --copy_type full Successfully created the Pair, ID = a1f1819900000001 [root@112AX-7 logs]# -
Kontrollera att replikeringen har skapats genom att köra
-
scli --query_all_replication_consistency_groups scli --query_all_replication_pairs
-