VMAX，PowerMax：IBMi 主機平台的不中斷遷移

支援環境：
適用於 IBMi 的 NDM 適用於連接至執行版本 5978.444.444 或更新版本 PowerMaxOS 的 VMAX 或 PowerMax 陣列的支援 IBMi 主機系統。

這適用於在 IBM Power Server 平台 Power6 或更新版本上執行，以及執行 IBMi 作業系統 i6.1.1 版或更新版本的 IBMi 邏輯磁碟分割 （LPAR）。VMAX 或 PowerMax 的一般 e-Lab 支援矩陣提供詳細資料，並列出支援的光纖通道 （FC） IBMi I/O 配接卡 （IOA），又稱為主機匯流排配接卡 （HBA）。當 IBMi 是從 IBM Virtual I/O Server (VIOS) 指派虛擬 I/O 資源的用戶端 LPAR 時，也支援 NDM。透過 IBM VIOS/VFC （NPIV） 功能，虛擬 FC 配接卡 （vFC） 會指派給用戶端 LPAR，以便使用支援的 SAN 交換器連線至儲存陣列。

vFC 充當主機磁碟連接的傳遞;從主機端來看，這是完全透明的，並且存儲陣列中支援的所有功能也可以在該虛擬化適配器設置中使用。

後台和高級遷移方案：
Symmetrix Remote Data Facility （SRDF） 是在 1990 年代初期開發的一種災難回復 （DR） 複寫技術，適用於 Dell 企業儲存陣列。已經運作多年，執行陣列間的儲存式遷移。也就是「依次」連接新舊陣列，並在透過實作新儲存陣列執行技術更新時，複製資料磁碟區。雖然對所安裝的主機系統來說，磁碟區或邏輯單元 （LUN） 的 SRDF 複製程式透明可見，但傳統來說，從來源磁碟區 （R1） 完成複製程序時，通常需要一個簡短的離線「切換」時間。目標 (新) 磁碟區 (R2) 已啟用讀取/寫入，且主機系統的 FC 連線指向 (透過 SAN 分區和遮罩) 新的陣列。

SRDF/Metro 隨著 VMAX All Flash 儲存陣列系列一起推出。SRDF/Metro 為兩個陣列的來源 （R1） 和目標 （R2） 磁碟區提供真正的主動/主動主機存取。SRDF/Metro 可搭配支援的主機多路徑磁碟機來存取磁碟。這包括對磁碟路徑的原生 IBMi 動態多路徑 (DMP) 保護。IBMi DMP 會自動偵測是否有同一個磁碟裝置的多個 FC 路徑。它也提供基本但有效的「循環制」負載平衡方案，將磁片 I/O 工作負荷分散到可用的 FC 配接卡路徑。當連線可能失敗時，IBMi DMP 會將磁片 I/O 作業重新導向至剩餘的其中一個使用中路徑，以提供自動路徑故障復原。恢復失敗的連接時，IBMi 會自動恢復這些路徑，並再次開始向這些路徑發送磁碟 I/O。

NDM 與 METRO 和預先複製選項的基礎是基礎 SRDF/Metro 技術，可讓您同時存取新舊儲存裝置。

建立階段：
建立 SRDF/Metro 複寫裝置配對 （R1>R2） 時，目標陣列中的 R2 裝置會顯示相同的 R1 裝置身分。實質上，兩個裝置都會顯示相同的磁碟序列 ID 和裝置 WWPN。一開始，新的 R2 裝置處於 AA-NR/DEV-INACT （有效/作用中-未就緒/裝置非作用中） 的狀態。R1>R2 裝置配對同步後，便可透過啟用 R2 磁碟區的讀取和寫入存取，進入使用中/使用中狀態。

READY_TARGET階段：
當啟用從 IBMi LPAR 到 R2 裝置的路徑 （SAN 分區已就位，並透過 NDM readytgt 命令啟動新陣列遮罩） 時，IBMi 主機會探索到現有磁碟裝置的新 FC 路徑。在 IBMi NDM 案例中，會顯示使用中/使用中的 R1 + R2 裝置。

認可階段：
移除對 R1 裝置的存取權限後，IBMi 主機現在會失去對舊陣列路徑的存取權，但會繼續使用新陣列的路徑在 R2 裝置上執行。完成此作業後，即可移除舊陣列的 SAN 分區。應執行 IBMi 系統上的「reset multipath」公用程式，以停止使用舊的非作用中路徑，並停止與這些現在「遺失」路徑相關的任何錯誤訊息。可能需要初始程式載入 （IPL） 又稱為重新開機，才能從 IBMi 主機的裝置組態資料庫 （IBMi 儲存管理資訊儲存庫） 中永久移除舊的非作用中路徑及其關聯的 DMPxxx 磁碟硬體資源，但這不是強制 IPL，也可以等到下一個計劃的 IPL。若要移除這些「過時」裝置：STRSST>啟動維修工具>硬體服務管理員>失敗且未報告硬體： 選取要使用選項 4 移除的所有舊磁碟資源 DMPxxx，然後按下 Enter 確認。

使用 Dell STM
時的考慮事項STM （也常稱為 VMAX 適用之 IBMi 複寫控制的「儲存複製服務工具組」），PowerMax 儲存裝置在一或多個 IBMi 主機上作為原生軟體應用程式執行。它可以控制支援的 SRDF 組態的遠端複寫，以及 VMAX、PowerMax 陣列上 SnapVX 快照的本機複製。STM有兩種風格：標準功能版本和擴展功能版本。

STM 使用跨 FC 路徑與儲存陣列的頻內通訊，它使用小型專用裝置，也稱為其系統呼叫的閘道管理員。IBMi 的閘道管理員是特殊的小型 D910 GK 類型裝置，保留在未設定的磁碟機區段中。這些閘道管理員不支援多重路徑，多個單一路徑閘道管理員通常會出現在用於一般 ASP1 磁碟的相同備援路徑集上。建議使用至少四個閘道管理員。閘道管理員不是 NDM 遷移程序的一部分，因此在遷移後，會移除舊陣列閘道管理員的存取權，並顯示新陣列的新閘道管理員。

標準功能：
這適用於僅使用 *SYSBAS 儲存組態的系統。*SYSBAS 表示系統 ASP1 + 任何其他使用者 ASP （ASP 2-32）。STM 僅安裝在源節點上，它控制 *SYSBA 中所有磁碟的複製對，作為一個不可分割的實體。  當基礎磁碟配置發生更改時;亦即由 NDM「取消欺騙」作業導致的磁碟序號變更，在 IBMi 來源主機上執行 STM DISCOVER 命令就足夠了。當顯示新陣列的閘道管理員時，執行探索選項。這會更新主機上整合式檔案系統 （IFS） 中的本機 symapi 資料庫 （location= /var/symapi/db）。STM 畫面現在也會反映新的磁碟序號。如果在 STM 內的複製設備配對中發現任何問題，也可以僅使用安裝選項從新的配置設置開始。這不會影響已在 VMAX-PowerMax 儲存陣列上設定的複寫配對設定。要進行乾淨的刮擦安裝/設置，請首先記錄當前配置中的相關路徑和步驟（GO MAINCTL>1，圖像>選擇選項 2，對於系統圖像> ，請為 PATH 螢幕創建螢幕截圖，如以下範例所示：

退出 STM，刪除 /var/symapi 資料夾及其子資料夾。刪除 EMCCTL 程式庫。再次執行 STM 安裝程式。執行 CRTSYMAPI。繼續執行，再次關聯先前配置的相同路徑。STM 現在會偵測並顯示 VMAX-PowerMax 儲存陣列的使用中複寫配對狀態。STM業務現已準備就緒，可以恢復。

擴充功能：
這適用於使用 IBMi PowerHA 叢集設定的系統，並具有一或多個「可切換」iASP （獨立 ASP）。在此情況下，只會複製 iASP，而且此 iASP 或其複本會呈現至 PowerHA 叢集內的節點。每個叢集節點都已在其獨立的 *SYSBAS （ASP1） 上處於活動狀態。iASP 設定為共用叢集裝置網域中的可切換資源。群集中通常有兩個或四個節點;如下列 4 節點叢集的範例圖表所示，該叢集以生產節點為來源，兩側各有一個遠端 DR 目標節點和一個 SnapVX 備份節點：

使用 iASP 或其複本時，不需要來自任何節點的 IPL。當 iASP 磁碟顯示在叢集中的任何節點時，需要 VARY ON 命令才能讓該節點可以使用 iASP。在 PowerHA 設定中，STM 來源版本會安裝在來源節點上 （在 EMCCTL 程式庫中）。在所有其他節點 （SRDF 或 SnapVX 目標複本） 上，會安裝目標版本 （在 EMCCTLC 程式庫中）。當所有節點都處於活動狀態時，STM 中會針對特定作業內建相依性和檢查與平衡，如果該節點的 iASP 仍處於「開啟」狀態，則會禁止移除節點的磁碟存取。對於節點間通信，所有節點上的 EMCCTL 子系統中都運行了一個 STM 伺服器作業。此工作會在節點內跨叢集 IP 介面進行通訊。典型的 STM 操作可以從群集中的任何節點運行。這要求每個節點上都有一組相同的 STM 磁碟、適配器和路徑配置檔。在 PowerHA 的 STM 初始設置期間，這些檔是從源節點使用 MAINCTL 選項-16 配置的，這也將這些文件傳播到目標節點，即 STM 安裝庫 EMCCTL 和 EMCCTLC 中的 IASPS、ISRCIOA 和 IMAGE 檔。您也可以顯示這些檔案，亦即使用 DSPPFM EMCCTL/IMAGE 顯示。這些檔案包含用於 iASP 組態的磁碟和磁碟配接卡相關資訊。適配器ID和磁碟序列號存儲在這些檔中，並在STM操作中使用。

現在，請考慮 NDM 取消欺騙操作完成後發生的磁碟序列號更改的影響。STM 配置檔仍包含舊的磁碟序列號。在這些配置檔更新之前，大多數 STM 操作不再起作用。更新和傳播這些檔案可以按照與初始 STM 安裝期間相同的程序來完成，當時在個別路徑步驟中將 iASP 磁碟提供給目標節點時執行 MAINCTL>選項-16 （設定 iASP）。更新這些檔案後，STM iASP 作業會再次如預期運作。如果發生任何問題，請考慮僅針對來源和目標節點再次執行 STM 的暫存安裝，包括用來設定 iASP 路徑/步驟的選項 16，以及建立或傳播 STM 組態檔案。

擁有 Dell 支援帳戶的註冊使用者可以檢視 IBM i 適用的 SRDF/TimeFinder Manager ，以取得這些 STM 版本的進一步相關資訊。

裝置識別重設後下一個 IPL 的注意事項，也稱為「取消欺騙」操作
NDM 取消欺騙操作會更改磁碟序列號。這只有在 IBMi LPAR 關閉時才能執行。在遷移後在計劃的離線維護槽中完成此操作時，需要考慮一些注意事項。IBMi LPAR 的啟動由 IBM PowerServer 硬體管理主控台 （HMC） 控制，HMC 為 IBM PowerVM 虛擬化提供 Hypervisor 功能。在此 HMC 上，每個 LPAR 至少具有一個 LPAR 概要檔，其中包含有關 LPAR 配置的詳細資訊，即 CPU/MEM、適配器等。LPAR 第一次進行 IPL （IPL= 初始程式載入 = 開機順序） 時，它會從所選設定檔中讀取組態詳細資料。配置檔中的特殊選項卡稱為“標記的 I/O”。  標記的 I/O 設定定義 LPAR 必須在 B 類型 IPL 期間搜尋載入來源 （LS） （= bootdisk），以及在 D 類型 IPL 期間搜尋「備用重新啟動裝置」，即 DVD 或磁帶。如果 LPAR 首次成功進行 IPL 編輯，則不必再次讀取配置檔，因為最後一個 IPL 資訊存儲在虛擬機監控程式上。在下一個IPL中，將使用預設設置“當前配置”，除非再次專門選擇LPAR配置檔。如果 LS 控制器或 IPL 之間的 LS 磁碟詳細資料有特定變更，則 LPAR 不接受變更的 LS 磁碟，IPL 會失敗。如果出現以下情況，就會發生這種情況：LPAR 會使用「目前組態」選項啟動，或者如果標記的 I/O LS 配接卡設為「無」。LS 磁碟序號的變更使得 LPAR 不接受此變更，且需要選取正確設定檔的啟用。

下面的螢幕截圖顯示了選擇了有效 LS 適配器的傳統 HMC LPAR 概要文件檢視：

下圖在具有 VIOS 3.x /4.x 的 HMC v10 的現代版本視圖中顯示了相同的資訊。

 

PowerMax 和 VMAX 中包含其他實用資訊：不中斷與最小中斷的遷移最佳實務與作業指南

======================================================================================

實際 IBMi NDM 程序：

#NDM (Non Disruptive Migration) procedure for IBMi host environments.
#From VMAX>>>VMAX, VMAX>>>PMAX, PMAX>>>PMAX
#Written: Q4-2021
#Author: Wopke Hoekstra CSA IBMi Global Practice
#Version: 5
==========================================================================================

# Just for reference: PowerMax OS 5978 Levels:

Name        Release Level/Code  
Elm         5978.144.144
Elm SR      5978.221.221
Foxtail     5978.444.444
Foxtail SR  5978.479.479
Hickory     5978.669.669
Hickory SR  5978.711.711
==========================================================================================
#PREREQS:
# MINIMUM Microcode Requirements: Foxtail (NDM IBMi support and NDM METRO-Mode available)
# MINIMUM of 2 RF directors per array are required
# Central external UniSphere/SE (SymCLI) server required with access to the source and target arrays
# MINIMUM SE version of 9.1
====================================================================================================

#Actual Customer Environment where this procedure was used:
# "OLD" VMAX: SN# ckxxxxxxxxx/ckxxxxxxxxx / 5978.479.479
# "NEW" PMAX: SN# ckxxxxxxxxx/ckxxxxxxxxx / 5978.479.479 

============================================================================================================
#Suggested NDM procedure: METRO NDM with Pre-Copy
#Also refer to the DELL EMC PowerMax NDM Whitepaper: Paragraph 3.2.4 / page 120
============================================================================================================

#PROCEDURE: Metro-based NDM with precopy 
#NOTE: (NDM with precopy allows end users to copy application data from the source array to target array while the application is still running on the source array)

#SAN requirements:
#Existing Host FC IOA ports/WWPN's will be used to also zone to the new target array's FA-ports. NO NEED for additional host FC connections.
#NOTE: The NEW array needs to be connected to the same SAN Fabric's as the OLD array.
#For each zone; add the desired target-array's FA-port WWPN into the existing zone (already containing the host initiator WWPN and OLD array FA-port WWPN)
#Or alternatively create new zones with same initiators to the new target-array's FA-ports

#NOTE: For LPAR's using VIOS/VFC(NPIV) connections and when the environment is setup for Live Partition Mobility, the vFC's secondary WWPN will be included in the zoning/masking.
#The secondary WWPN's will not be active and are not in the source array's Login History Table. NDM does not accept inactive WWPN's to be in the IG of the source host, hence the NDM VALIDATE and CREATE commands will fail.
#WORKAROUND: Temporarily remove the secondary WWPN's from the source LPAR IG. After the migration, simply add these secondary WWPN's back into the new IG on the target array. 

#Setup-phase: 
#symdm –src_sid <SN of Source> -tgt_sid <SN of target> environment -setup
symdm -sid 008 -tgt_sid 661 environment setup
#NDM RDFGroup will be created.

Now modify the SAN zoning to include the target-array FA-ports.
#NOTE: No devices are presented from the target-array yet.
#NOTE: You can already check if the existing initiator-WWPN's are actively logging in to the new array
symaccess -sid 661 list logins -dirport 1d:4

#To check the environment at any time:
#symdm –src_sid <SN of Source> -tgt_sid <SN of target> environment -validate
symdm -src_sid 336 -tgt_sid 662 environment -validate
symdm -src_sid 008 -tgt_sid 661 environment -validate

Other commands to display further details:
symdm -sid 336 -environment list
symcfg -sid 336 list -rdfg all
symcfg -sid 008 list -rdfg all

#NOTE: Take a copy of the source-array's masking database before the activity:
symaccess -sid 336 list view -all -v -detail>masking336_24Nov2021.txt
symaccess -sid 008 list view -all -v -detail>masking008_24Nov2021.txt

#Create Phase (with precopy: (run validation prior to execution))
#This creates an SRDF/Metro session with NDM attributes and puts the SRDF/Metro pair into adaptive copy disk mode. 
#It starts syncing data from R1 to R2. 
#Bias is on the Metro-based NDM source.
#symdm create –src_sid <SN of Source> -tgt_sid <SN of target> -sg <SG to be Migrated> [-tgt_srp <target SRP>] [-tgt_pg <target PG>] -precopy 
#First validate:
symdm create -src_sid 008 -tgt_sid 661 -sg SG_IBMPROD1_1 -precopy -validate
#Then execute:
symdm create -src_sid 008 -tgt_sid 661 -sg SG_IBMPROD1_1 -precopy

#Check NDM status:
#symdm –sid xxx list (-v) (-detail)
#symdm –sid<SN of SRC or TGT> -sg <SG to be Migrated> list –v –pairs_info -detail (shows device pairing)
#symrdf list -sid xxx (-rdfg xxx) (-sg xxx)
#symstat –sid <SRC SN> –rdfg<RDFG of Migration> –type RDF –i xx
symdm -sid 008 list

#ReadyTGT Phase: 
#Moves RDF pair state from adaptive copy mode to Active/Active(in case of witness protection) or Active/Bias (without witness protection).
#Target devices are moved into a read/write mode, It puts the NDM pair in Active/Active or Active/Bias mode
#Masking view is created on the target array using the masking elements created during the create command.
#symdm –sid <SRC or TGT SN> -sg <SG to be Migrated> readytgt
symdm -sid 008 -sg SG_IBMPROD1_1 readytgt

#Check status:
#symdm –sid xxx list (-v) (-detail)
#symrdf list -sid xxx (-rdfg xxx) (-sg xxx)
symdm -sid 008 list

#On the IBMi LPAR, check for new detected FC paths (to the devices on new PowerMax)
#Logon to LPAR, go into System Service Tools: STRSST and go to "work with disks"> "disk configuration"> "9.Disk Paths"
#Let the system discover the paths, this may take a few minutes, just hit F5 to refresh the disk path status screen and verify all disks have the new paths added.

#Commit Phase (this is the actual cutover to the new array):
#symdm –sid <SRC or TGT SN> -sg <SG to be Migrated> commit
symdm -sid 008 -sg SG_IBMPROD1_1 commit

#The masking views will be removed on the old source array.
#On the IBMi LPAR, check for the old paths going into "failed" status (these failing paths are the paths to the old source array)
#Zoning cleanup: Remove the old array's FA-ports from the respective zones for this LPAR.
#Use SST procedure to run MULTIPATH RESETTER macro (this will prevent further error messages being sent to the QSYSOPR MSGQ until the system is IPL-ed)
#After next planned IPL, the path status will be correct again, with only the new active paths listed.

#ONLINE MIGRATION COMPLETED!
============================

#Remove NDM environment (ONLY after last migration is completed):
#symdm -sid xxx -environment -list
#symdm –src_sid <SN of Source> -tgt_sid <SN of target> environment -remove
symdm -sid 008 -tgt_sid 661 environment -remove
============================================================================================================

#Reset Device external Identity (un-Spoof) (Optional OFFLINE operation).
#Resetting the target's device external identity back to the original array-based identity of the NEW array (changes the IBMi disk serial number (= Vol.ID + Array-ID))
#THIS REQUIRES A SHUTDOWN OF THE IBMi LPAR!
#Can be done as planned activity when the IBMi LPAR is doing an offline activity, and will be re-IPL-ed... I.e. for full backup, scheduled IPL, etc.

#NOTE: When STM (SRDF/TimeFinder Manager for IBMi) is used on the migrated LPAR, it requires a reconfiguration or as a minimum a DISCOVER command action, due to the changing of the LPAR's disk serial numbers.
#Refer to KB article 193832 for more info and procedure.

只能取消遮罩設備，因此首先記錄並保存當前遮罩視圖的詳細資訊，然後刪除MV，取消欺騙，然後重新創建MV。

symaccess -sid xxx show view -name xxxxxxxx >masking_xxxxxxxx.txt
symaccess -sid xxx delete view -name xxxxxxxx 

顯示磁碟識別碼詳細資訊：

symdev -sid xxx list -identity_set
symdev -sid xxx list -identity -sg <sg-name>

若為單一裝置：

symdev -sid xxx reset -identity -dev xxx -nop

適用於各種裝置：

symdev -sid xxx reset -identity -devs xxx:xxx -nop

symaccess -sid xxx create view -name xxxxxxxx -sg xxxxxxxx -pg xxxxxxxx -ig xxxxxxxx 
symdev -sid xxx list -identity -sg <sg-name>

從 IBM HMC 中驗證在 LPAR 概要檔的「標記的 I/O」 -選項卡中，LS 控制器是否已設置為正確的 FC 適配器。

請勿在選取「無」的情況下，將「標記的 I/O」LS 控制器設定留空。

具有 B-Normal 的 IPL 選項，然後選取 IPL 的 LPAR 設定檔，請勿將其保留至「目前組態」的預設選項。

現在對 LPAR 執行 IPL，待系統重新上線後，請從 SST

確認磁碟序號序列 ID 現在應該會反映新陣列的符號開發 ID 和陣列序號。

=== End of Procedure ===