VNX シミュレーター (VNX Simulator)

3. ネットワーク設定(仮想スイッチの作成)

VNXは機器を管理するコントロール・ステーションとNASサービスを提供するData Moverの2つのコンポーネントがあり、VNX Simulatorはその2つをシミュレートしています。

実機では、コントロール・ステーション(以下CS)に管理用NICが1つ、Data Mover(以下DM)には複数のNASサービス用NICが搭載されています。

VNX Simulatorでは初期状態で3つのNICが存在していますが、このNICをCS用、DM用に割り当てる事になります。

VMwareではゲストOSのNICをVMwareサーバーに搭載されている物理NICに接続するだけでなく、仮想的に作成した内部スイッチ等にも接続可能です。今回はCSのNICをVMwareサーバーの物理NICに、DMのNASサービス用NICを仮想スイッチに接続します。

※DMを仮想スイッチに接続する事で外部ネットワーク上のIPアドレスを消費する事無く環境構築が行えます。
仮想スイッチ上にNFS/CIFSクライアントを接続する場合も仮想スイッチ上のIPアドレスを割り当てるだけで環境構築が行えます。

[仮想スイッチの作成]

VMware vSphere上、"構成"→"ネットワーク"→"ネットワークの追加"を開きます。

vSphere標準スイッチを作成します。

物理NICには接続しないためNICのチェックボックスは全て外します。

ネットワークラベルを設定し、仮想スイッチを作成。

vSphereの"設定の編集"を開くと各仮想ハードウェアが表示されますが、VMware5.1上で使用できない仮想デバイスがいくつかあるため再作成、削除等を行います。

下の"CD/DVDドライブ"、"オーディオ"、"ネットワーク アダプタ"がそれに該当します。

  → 削除し、下記設定で再作成します。

  → 使用しないため削除します。

  → 削除し、再作成します。

今回ネットワークデバイス1(eth0)及びネットワークデバイス2(eth1)はDMのNASサービス用NICとして、仮想スイッチに接続し、

ネットワークデバイス1(eth0)及びネットワークデバイス2(eth1)は下記設定で

VMware5.1から、複数のファイルでvmdkを構成するときに使用するvmkernel multiextent moduleが読み込まれなくなったため設定が終了したVNX Simulatorを起動しようとしても下記エラーで起動できません。

(1.でご説明した通りデータストアブラウザでは1つのファイルに見えるのですが、実際には複数ファイルのまま格納されています)

[エラー]

仮想マシン sim008_7.1.47.5 のパワーオン時に ESX ホストからエラーを受信しました。
ディスク「/vmfs/volumes/xxxx/xxxx/EMC Linux 5.2.vmdk」、またはディスク「/vmfs/volumes/xxxx/xxxx/EMC Linux 5.2.vmdk」が依存しているスナップショット ディスクの 1 つを開くことができません。
ファイルのロックに失敗しました

VMware社のナレッジベースにも対処方の記載がありますが、具体的な処理について記載します。

この手順はVMwareサーバーにコマンドラインログインし実施する必要があります。扱いに慣れていない方はVMwareサーバー管理者に依頼される事をお勧めします。

[VMware社ナレッジベース]

Powering on a virtual machine after upgrading to ESXi 5.1 fails with the error: File [VMFS volume] VM-name/VM-name.vmdk was not found

データストア内VNX Simulatorを格納しているディレクトリに移動

#cd /vmfs/volumes/xxxx

ディレクトリ内の内容

#ls -al
drwxr-xr-x    1 nfsnobod nfsnobod      4096 Feb 27 02:59 .
drwxrwxrwx    1 root     root          4096 Feb 27 01:58 ..
-rw-------    1 nfsnobod nfsnobod 259588096 Feb 27 01:59 EMC Linux 5.2-s001.vmdk
-rw-------    1 nfsnobod nfsnobod  40894464 Feb 27 01:59 EMC Linux 5.2-s002.vmdk
-rw-------    1 nfsnobod nfsnobod 419561472 Feb 27 02:02 EMC Linux 5.2-s003.vmdk
-rw-------    1 nfsnobod nfsnobod 433913856 Feb 27 02:05 EMC Linux 5.2-s004.vmdk
-rw-------    1 nfsnobod nfsnobod 1317076992 Feb 27 02:13 EMC Linux 5.2-s005.vmdk
-rw-------    1 nfsnobod nfsnobod 595066880 Feb 27 02:17 EMC Linux 5.2-s006.vmdk
-rw-------    1 nfsnobod nfsnobod 300548096 Feb 27 02:19 EMC Linux 5.2-s007.vmdk
-rw-------    1 nfsnobod nfsnobod 169148416 Feb 27 02:21 EMC Linux 5.2-s008.vmdk
-rw-------    1 nfsnobod nfsnobod   1441792 Feb 27 02:21 EMC Linux 5.2-s009.vmdk
-rw-------    1 nfsnobod nfsnobod 147914752 Feb 27 02:22 EMC Linux 5.2-s010.vmdk
-rw-------    1 nfsnobod nfsnobod  72286208 Feb 27 02:23 EMC Linux 5.2-s011.vmdk
-rw-------    1 nfsnobod nfsnobod   7340032 Feb 27 02:23 EMC Linux 5.2-s012.vmdk
-rw-------    1 nfsnobod nfsnobod  46792704 Feb 27 02:23 EMC Linux 5.2-s013.vmdk
-rw-------    1 nfsnobod nfsnobod  43450368 Feb 27 02:23 EMC Linux 5.2-s014.vmdk
-rw-------    1 nfsnobod nfsnobod 986578944 Feb 27 02:30 EMC Linux 5.2-s015.vmdk
-rw-------    1 nfsnobod nfsnobod 1009385472 Feb 27 02:35 EMC Linux 5.2-s016.vmdk
-rw-------    1 nfsnobod nfsnobod  45744128 Feb 27 02:36 EMC Linux 5.2-s017.vmdk
-rw-------    1 nfsnobod nfsnobod 245891072 Feb 27 02:37 EMC Linux 5.2-s018.vmdk
-rw-------    1 nfsnobod nfsnobod  57540608 Feb 27 02:38 EMC Linux 5.2-s019.vmdk
-rw-------    1 nfsnobod nfsnobod 466485248 Feb 27 02:40 EMC Linux 5.2-s020.vmdk
-rw-------    1 nfsnobod nfsnobod     65536 Feb 27 02:40 EMC Linux 5.2-s021.vmdk
-rw-------    1 nfsnobod nfsnobod      1284 Feb 27 02:58 EMC Linux 5.2.vmdk
-rw-------    1 nfsnobod nfsnobod         0 Feb 27 02:57 Other Linux 2.6.x kernel 64-bit.vmsd
-rw-------    1 nfsnobod nfsnobod      2774 Feb 27 02:58 Other Linux 2.6.x kernel 64-bit.vmx
-rw-------    1 nfsnobod nfsnobod       286 Feb 27 02:58 Other Linux 2.6.x kernel 64-bit.vmxf

vmkernel multiextent moduleをロード

# vmkload_mod multiextent

Module multiextent loaded successfully

変換開始

#vmkfstools -i "EMC Linux 5.2.vmdk" "EMC Linux 5.2-new.vmdk" -d zeroedthick

Destination disk format: VMFS zeroedthick
Cloning disk 'EMC Linux 5.2.vmdk'...

Clone: 100% done.

(100% doneと出力されても暫く処理が継続します。プロンプトが戻ってくるまで待って下さい)

オリジナルファイルを削除

# vmkfstools -U "EMC Linux 5.2.vmdk"

※私が実施した際には、下記エラーで削除が行えませんでした。

"Failed to delete virtual disk: Device or resource busy (1048585)."

いろいろと確認しましたが解決できず、最終的にVMwareサーバーを再起動して対応。

変換後のファイルの名称変更

#vmkfstools -E "EMC Linux 5.2-new.vmdk" "EMC Linux 5.2.vmdk"

vmkernel multiextent moduleをアンロード

# vmkload_mod  -u multiextent

(VMwareサーバーを再起動された場合は既にアンロードされています)

[追記]

構成済みVNX Simulatorのコピー

VMware ESXiの有償ライセンスを使用されている方は、ゲストOSのクローン作成が可能です。
現在の状態でコピーを作成しておくと、複数台のSimulatorを使用してのテストに備える事が出来ます。
※複数のSimulatorでリモートReplicationを構成し、Disastor Recoveryのテストも可能。

vShereクライアントのゲストOSを右クリック→"クローンの作製"

無償版の場合はクローン機能を使用する事が出来ないので、データストアのVNX Simulatorが格納されたフォルダ内のデータ、ログファイル以外を別ディレクトリにコピーします。
コピー完了の後コピー先ディレクトリ内の"*.vmx"ファイルを右クリック "インベントリへの追加" よりコピーしたゲストOSをインベントリに追加します。

6. 電源投入と管理用IPアドレスの設定

[電源投入]

Simulatorの電源を投入します。コンソールを確認すると下記の通り起動画面が表示され

ログインプロンプトが表示されます。

ユーザー名 : nasadmin
パスワード : nasadmin
でログインします。

[管理用IPアドレス設定]

$su (rootになります)

# /usr/sbin/netconfig -d eth3
(eth3の設定)

環境に合わせIPアドレスを設定しOKを押します。
(各項目間の移動はTabキーで)

# /sbin/service network restart
(ネットワークサービスを再起動し、設定を反映します。少々時間がかかります。)

以上で、ネットワーク経由でVNX Simulatorにアクセスできるようになりました。
ターミナルソフトを用いて設定したIPアドレスにSSHアクセスし、接続を確認して下さい。

下記の通りVNX Simulator上でコントロールステーションとData Moverが動作している事を確認頂けます。

# /nas/sbin/getreason
10 - slot_0 primary control station
5 - slot_2 contacted
(仮想Data Moverの状態確認。コントロールステーションとData Mover一台が表示されます。)

7. Data Mover用ネットワークインターフェイス(NIC)の設定

# cd /opt/blackbird/tools

上記ディレクトリにあるconfigure_nicコマンドを用い、設定を行います。

usage: configure_nic
        [-h|help]
                - display this page
        [-l|list]
                - list all NIC devices for the server slot
        [-a|add ] [-r|reboot]
                - add a new NIC device to the mover,
                  the new device will be linked to a Linux interface ,
                  reboot the VM if -reboot is specified
        [-d|delete ] [-r|reboot]
                - delete a specific NIC device on the mover,
                  reboot the VM if -reboot is specified

-listオプションで現在の設定を確認する事が出来ます。
インストール状態ではserver_2 Data Moverのcge0, cge1はVNX Simulatorのeth0に接続されています。

# ./configure_nic server_2 -list
---------------------------------------------------------------
                server_2: network devices:
Slot   Device Driver    Stub       Ifname    Irq     Id Vendor
---------------------------------------------------------------
   3     cge0  bbnic  direct         eth0 0x0018 0x1645 0x14e4
   4     cge1  bbnic  direct         eth0 0x0019 0x1645 0x14e4
---------------------------------------------------------------

server_2 Data Moverに新しくNICを作成し、eth0に接続してみます。

# ./configure_nic server_2 -add eth0
server_2: added new device cge2 in slot 5.
          Use server_ifconfig to configure the newly added device
          after reboot the virtual machine.
---------------------------------------------------------------
                server_2: network devices:
Slot   Device Driver    Stub       Ifname    Irq     Id Vendor
---------------------------------------------------------------
   3     cge0  bbnic  direct         eth0 0x0018 0x1645 0x14e4
   4     cge1  bbnic  direct         eth0 0x0019 0x1645 0x14e4
   5     cge2  bbnic  direct         eth0 0x001a 0x1645 0x14e4
---------------------------------------------------------------

変更を反映するためにはVNX Simulatorの再起動が必要です。

このように、Data MoverのNICを個別のネットワークに接続する事が可能です。
eth0, eth1を用いて2台のスイッチにNICを接続し、接続スイッチを分けた状態でFail Safe Network構成も可能ですので活用して下さい。

8. VNX Simulatorの設定

VNX Simulatorを使用するため、ホスト名、時刻等を設定します。
(実機ではUnishereから設定しますが、設定が反映されない等が見られたため一部の設定を除きCLIで設定します)

[CSホスト名、DNSサーバー、ロケールの設定]
上記設定はUnishereから行います。

ブラウザより"https://eth3のIPアドレス"を開きUnishereを起動し
ユーザー名:root
パスワード:nasadmin
でログインします。

SystemよりVNXを選択　→　"System" → "Storage Hardware" → "Control Station Properties"

[hostsファイルの設定]
/etc/hosts にeth3に割り当てたIPアドレスと上記で設定したホスト名を追加。

[DNSサーバー設定]
/etc/resolv.conf を編集。

[CSの時刻設定]
# date

[DMの時刻設定]
# server_date ALL

[CSのNTPサーバー設定]
/etc/ntp.conf を編集。

"server xxxx.xxxx.xxxx"の行をコメントアウトし、NTPサーバーのIPアドレスを新たに"server xxx.xxx.xxx.xxx"として指定。

# /sbin/chkconfig --level 2 ntpd on
# /sbin/chkconfig --level 3 ntpd on
# /sbin/chkconfig --level 4 ntpd on
# /sbin/chkconfig --level 5 ntpd on
(NTPサービスの自動起動を設定)

# /sbin/service ntpd start
(NTPサービスを起動)

以上でVNX Simulatorの基本設定は終了です。
Unishere / CLIはほぼ実機と変わらず使用する事が可能です。

9. 構成済みVNX Simulatorのコピー

※内容を電源投入前に移動しました。

10. クライアントOSからのアクセス

WindowsやLINUXクライアントをゲストOSとして用意し、そのNICを3.で作成した仮想スイッチに接続する事でバーチャル・ラボ環境を構築する事ができます。

CIFSアクセスを確認しましょう。

【NASサービス用インターフェイスの作成と確認】
7.で作成したcge2が追加され、3つのNICが確認できます。

$ server_sysconfig server_2 -pci
server_2 : PCI DEVICES:
Slot: 3
  Broadcom Gigabit Ethernet Controller
    0:  cge0  IRQ: 24
    speed=auto duplex=auto
    Link: Up
Slot: 4
  Broadcom Gigabit Ethernet Controller
    0:  cge1  IRQ: 25
    speed=auto duplex=auto
    Link: Up
Slot: 5
  Broadcom Gigabit Ethernet Controller
    0:  cge2  IRQ: 26
    speed=auto duplex=auto
    Link: Up
Slot: 6
  Agilent SCSI Controller
    0:  scsi-0  IRQ: 18
    0:  scsi-16  IRQ: 18

デバイスcge0にインターフェイスcge0-0を作成し、IPアドレスを設定します。

$ server_ifconfig server_2 -create -Device cge0 -name cge0-0 -protocol IP 192.168.1.80 255.255.255.0 192.168.1.255
server_2 : done

$ server_ifconfig server_2 -a
server_2 :
-----------
cge0-0 protocol=IP device=cge0
         inet=192.168.1.xx netmask=255.255.255.0 broadcast=192.168.1.255
        UP, Ethernet, mtu=1500, vlan=0, macaddr=0:50:56:84:80:5b

これでData MoverのNASサービス用ポートにIPアドレスが設定され、アクセスが可能となりました。

以下、基本的な操作、OSの機能にかかわる操作は割愛していきます。

【ファイルシステムの作成】
"Storage" → "File Systems"よりファイルシステムを作成。
fs01をPool:clar_r5_performanceから作成しました。

【CIFSアクセス】
仮想スイッチにWindows2008クライアントを接続し、"sim.com"という名称のドメインを作成しました。今回、CIFSアクセスの設定はUnisphereから行います。

既定状態ではライセンスが有効となっていないため、UnishereからCIFS/NFS等の設定が行えません。
"Setting" → "Manage License"より必要な機能を有効にして下さい。

【Unicode有効とCIFSサービスの開始】
"Storage"をクリック、右欄より"Configure CIFS"を選択。
"Unicode Enabled:"にチェック。
"CIFS Service Started"にチェック。

【CIFSサーバーのドメインへのJoin】
"Storage" → "CIFS"より設定を行います。

1. "DNS"タブよりDNSを登録します。

2. "CIFS Servcers"タブよりCIFSサーバーを作成(Check to join domainにチェックを付けると作成と同時にドメインにJoinします)。

ドメインコントローラーの"Active Directoryユーザーとコンピューター"を確認すると
OU "EMC Celerra>Computers"にCIFSサーバーが作成されています。

CLIでは下記の通り

$ server_cifs server_2
server_2 :
256 Cifs threads started
Security mode = NT
Max protocol = SMB2
I18N mode = UNICODE
Home Directory Shares DISABLED
Usermapper auto broadcast enabled

Usermapper[0] = [127.0.0.1] state:active (auto discovered)

Enabled interfaces: (All interfaces are enabled)

Disabled interfaces: (No interface disabled)

DOMAIN SIM FQDN=sim.com SITE=Default-First-Site-Name RC=3
SID=S-1-5-15-a8462a0f-39f2aa4c-a7fb5abd-ffffffff
>DC=WIN2008-001(192.168.1.xxx) ref=4 time=1 ms (Closest Site)

CIFS Server SIM_CIFS01[SIM] RC=2
Full computer name=sim_cifs01.sim.com realm=SIM.COM
Comment='EMC-SNAS:T7.1.47.5'
if=cge0-0 l=192.168.1.xx b=192.168.1.255 mac=0:50:56:84:80:5b
  FQDN=sim_cifs01.sim.com (Updated to DNS)
Password change interval: 0 minutes
Last password change: Thu Mar 28 06:31:54 2013 GMT
Password versions: 2

3. "Shares"タブよりファイルシステムのCIFSシェアを作成。

4. Windowsクライアントより"\\CIFSサーバー名"を開くと作成したCIFS共有が確認できます。

10. Simulatorへのディスク追加

インストールした直後のSimulatorはESXiに作成されたデータストアを使いきっていません。
Simulatorに仮想的にディスクドライブを追加し、Simulatorでファイルシステムとして使用できる容量を追加しましょう。

【作業前のボリューム(LUN)構成】
$ nas_disk -l
id  inuse  sizeMB    storageID-devID  type  name          servers
1    y      11263  BB005056848EFE-0000 CLSTD root_disk    1
2    y      11263  BB005056848EFE-0001 CLSTD root_ldisk    1
3    y      2047  BB005056848EFE-0002 CLSTD d3            1
4    y      2047  BB005056848EFE-0003 CLSTD d4            1
5    y      2047  BB005056848EFE-0004 CLSTD d5            1
6    y      14335  BB005056848EFE-0005 CLSTD d6            1
7    y      2310  BB005056848EFE-0010 CLSTD d7            1
8    n      2310  BB005056848EFE-0011 CLSTD d8            1
9    n      2310  BB005056848EFE-0012 CLSTD d9            1
10    n      2310  BB005056848EFE-0013 CLSTD d10          1
11    n      2310  BB005056848EFE-0014 CLSTD d11          1
12    y      2310  BB005056848EFE-0015 CLSTD d12          1
13    y      2310  BB005056848EFE-0016 CLSTD d13          1
14    n      2310  BB005056848EFE-0017 CLSTD d14          1
15    n      2310  BB005056848EFE-0018 CLSTD d15          1
16    y      2310  BB005056848EFE-0019 CLSTD d16          1

/nas/sbin/setup_clariionコマンドを使用してディスクドライブエンクロージャーを追加、LUNを作成します。

【容量追加作業】
# /nas/sbin/setup_clariion -init
Found CLARIION(s) BB005056848EFE
Setup CLARiiON BB005056848EFE storage device...
Clariion Array: BB005056848EFE  Model: CX600  Memory: 3965
Reloading crontab
Enclosure(s) 0_0,1_0 are installed in the system.
Enclosure info:
----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
1_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    9  9  9  9  9  10  10  10  10  10  11  11  11  11  11  R5
----------------------------------------------------------------

----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
0_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    0  0  0  0  0 200  8  8  8  8  8  8  8  8  8  R5
----------------------------------------------------------------

Enclosure Configuration Menu:
1. Add New Enclosure
2. Delete Existing Enclosure
3. Continue to Diskgroup Template Menu
Please select a choice in the range of 1-3 or 'q' to quit [3]: 1

Enter Enclosure as "BUS_ENCL" (where BUS=0 to 3; ENCL=0 to 7) [2_0]:2_0
Enter the physical disk size for Enclosure 2_0 (in GB) [146]:146
Enter the physical disk type (FC or ATA) [FC]:FC

Enclosure(s) 0_0,1_0,2_0 are installed in the system.
Enclosure info:
----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
2_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB  UB
----------------------------------------------------------------

----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
1_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    9  9  9  9  9  10  10  10  10  10  11  11  11  11  11  R5
----------------------------------------------------------------

----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
0_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    0  0  0  0  0 200  8  8  8  8  8  8  8  8  8  R5
----------------------------------------------------------------

エンクロージャー 2_0が追加されました。
次はエンクロージャーにディスクドライブを追加します。

Enclosure Configuration Menu:
1. Add New Enclosure
2. Delete Existing Enclosure
3. Continue to Diskgroup Template Menu
Please select a choice in the range of 1-3 or 'q' to quit [3]: 3

The following 3 template(s) available:
1. CX_Standard_Raid_5
2. User_Defined
3. None

Configuration for BB005056848EFE
Please select a template in the range of 1-3 or 'q' to quit: 2

Continue to configure BB005056848EFE as User_Defined [yes or no]?: yes

The following 5 template(s) available:
1. FC_RAID5_4+1_4+1_4+1
2. FC_RAID5_HS_4+1_8+1
3. FC_RAID1_HS_R1_R1_R1_R1_R1_R1_R1
4. FC_RAID5_4+1_4+1_HS_HS_HS_HS_HS
5. None

Enclosure 2_0
Please select a template in the range of 1-5 or 'q' to quit: 1

Enclosure info:
----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
2_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC  *12 *12 *12 *12 *12 *13 *13 *13 *13 *13 *14 *14 *14 *14 *14  R5
----------------------------------------------------------------
"*" indicates a diskgroup/spare which will be configured

2_0 configured using FC_RAID5_4+1_4+1_4+1
Template: User_Defined

Summary:
  3 disk group(s) are created.  12,13,14
  0 spare(s)      are created.

Enclosure(s) 0_0,1_0,2_0 are installed in the system.
ディスクドライブ追加完了。

Do you want to continue and configure as shown [yes or no]?: yes

Enter pathname for disk storage location or 'r' return to previous menu
[/opt/blackbird/storage/disks]:(Enterキー)

Data LUN Creation Menu:
  Pathname entered --> /opt/blackbird/storage/disks
  Number of new LUNs --> 6 <=== 今回はLUNを6個作成

1. Create LUNs using available storage size in this path (9307 MB in total) <=== 追加可能容量が表示されます。
2. Create LUNs mimicking CLARiiON storage size (Sparse LUNs only)
3. Create LUNs using user-specified storage size

Please select a choice the range of 1-3 or 'r' return to previous menu [1]: 1

Each of the Data LUNs will be sized equally as 1551 MB!

Do you want to reserve this storage size by zeroing all LUNs
(WARNING!! Zeroing LUNs may take a while to complete) [yes or no]?: yes

Enclosure 0_0.
Enclosure 1_0.
Enclosure 2_0.
Zeroing 1551 MB of LUN 26 ...

Enclosure 0_0.
Enclosure 1_0.
Enclosure 2_0.
Zeroing 1551 MB of LUN 26 ...
Zeroing 1551 MB of LUN 27 ...
Created disk group  12, luns 26,27
Zeroing 1551 MB of LUN 28 ...
Zeroing 1551 MB of LUN 29 ...
Created disk group  13, luns 28,29
Zeroing 1551 MB of LUN 30 ...
Zeroing 1551 MB of LUN 31 ...
Created disk group  14, luns 30,31

Enclosure(s) 0_0,1_0,2_0 are installed in the system.
Enclosure info:
----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
2_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    12  12  12  12  12  13  13  13  13  13  14  14  14  14  14  R5
----------------------------------------------------------------

----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
1_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    9  9  9  9  9  10  10  10  10  10  11  11  11  11  11  R5
----------------------------------------------------------------

----------------------------------------------------------------
      0  1  2  3  4  5  6  7  8  9  10  11  12  13  14
----------------------------------------------------------------
0_0: 146 146 146 146 146 146 146 146 146 146 146 146 146 146 146
FC    0  0  0  0  0 200  8  8  8  8  8  8  8  8  8  R5
----------------------------------------------------------------

Configuration completed!
Setup of CLARiiON BB005056848EFE storage device complete.
Discovering storage on sim008 (may take several minutes)
done

【作業後のボリューム(LUN)構成】
太字で示されたLUNが新規に作成されたLUNです。

$ nas_disk -l
id  inuse  sizeMB    storageID-devID  type  name          servers
1    y      11263  BB005056848EFE-0000 CLSTD root_disk    1
2    y      11263  BB005056848EFE-0001 CLSTD root_ldisk    1
3    y      2047  BB005056848EFE-0002 CLSTD d3            1
4    y      2047  BB005056848EFE-0003 CLSTD d4            1
5    y      2047  BB005056848EFE-0004 CLSTD d5            1
6    y      14335  BB005056848EFE-0005 CLSTD d6            1
7    y      2310  BB005056848EFE-0010 CLSTD d7            1
8    n      2310  BB005056848EFE-0011 CLSTD d8            1
9    n      2310  BB005056848EFE-0012 CLSTD d9            1
10    n      2310  BB005056848EFE-0013 CLSTD d10          1
11    n      2310  BB005056848EFE-0014 CLSTD d11          1
12    y      2310  BB005056848EFE-0015 CLSTD d12          1
13    y      2310  BB005056848EFE-0016 CLSTD d13          1
14    n      2310  BB005056848EFE-0017 CLSTD d14          1
15    n      2310  BB005056848EFE-0018 CLSTD d15          1
16    y      2310  BB005056848EFE-0019 CLSTD d16          1
17    n      1550  BB005056848EFE-001A CLSTD d17          1
18    n      1550  BB005056848EFE-001B CLSTD d18          1
19    n      1550  BB005056848EFE-001C CLSTD d19          1
20    n      1550  BB005056848EFE-001D CLSTD d20          1
21    n      1550  BB005056848EFE-001E CLSTD d21          1
22    n      1550  BB005056848EFE-001F CLSTD d22          1

ファイルシステムとして使用可能な容量が拡張されました。

11. Data Moverの停止・起動

パラメーターを変更した場合等、Data Moverの再起動が必要な場合があります。
もちろんSimulatorを再起動する事で対処可能ですが、起動するまでに時間がかかったりと不便です。
Simulator内のData Moverだけを停止、起動する事が出来ますのでご紹介します。

# cd /opt/blackbird

【停止】
# ./stop 2 <=== スロット番号(server_2はSlot 2です)
13-04-17 18:02:18
(null)Requested to halt slot 2
13-04-17 18:02:18
(null)Control ports = /dev/pts/20
13-04-17 18:02:18
(null)Sending 'H' message for slot 2 to /dev/pts/20
13-04-17 18:02:18
(null)Finish sending 'H' for slot 2 to /dev/pts/20

# /nas/sbin/getreason
10 - slot_0 primary control station
   - slot_2 powered off

【起動】
# ./start 2
start_server serial 2
Server slot = 2
Server cabtype = IP Dart
Server Memory = 1600MB
starting process slot_2/blackbird_serv_2 ...
start args -i 2 -h 25 -w 80 -s /dev/pts/20 -C3 -f slot_2/boot.cfg -L -S1600
13-04-19 15:50:35
(null)Requested to boot slot 2
13-04-19 15:50:35
(null)Control ports = /dev/pts/20
13-04-19 15:50:35
(null)Sending 'B' message for slot 2 to /dev/pts/20
13-04-19 15:50:35
(null)Finish sending 'B' for slot 2 to /dev/pts/20

# /nas/sbin/getreason
10 - slot_0 primary control station
0 - slot_2 reset

# /nas/sbin/getreason
10 - slot_0 primary control station
3 - slot_2 loaded

VNX Simulatorの新バージョンがリリースされました。
下記リンクからダウンロード頂けます。

VNX File Simulator (OE 7.1.65.8) - Single Data Mover
VNX File Simulator (OE 7.1.65.8) - Two Data Movers

13. VNX Replicationの構成準備

VNXが提供する様々な特殊機能の中で、現在最も利用されていると考えられるVNX Replication。

VNX Replicationには、1つの筺体内でファイルシステムをReplicateするローカル・レプリケーション及び、異なる筺体間でファイルシステムをReplicateするリモート・レプリケーションがあります。特にリモート・レプリケーションではVirtual Data Mover(VDM)を用い、それをReplicateする事でCIFSサーバーごと遠隔地に環境を移す(スイッチ・オーバー / フェイル・オーバー)事が可能で、この機能を用いて災害対策サイトを構築する事が可能です。

今回は、リモート・レプリケーション構築方法をご紹介します。

リモート・レプリケーションではVNX Simulatorが2台必要となります。VNX Simulatorは初回起動時にそのVNX Simulatorが持つ固有の値を内部に設定します。一度起動したVNX Simulatorのコピーを用意した場合、内部の値が同値のため正常にレプリケーション・ペアとして設定できない場合があります。電源投入前のVNX Simulatorのコピーを作成し、レプリケーション・ペアとして構成して下さい。

(上記項番9.にてコピーの取得を記載しましたが、記載内容をVNX Simulator電源投入前に移動しました)

【リモート・レプリケーション】

新しくリリースされたVNX Simulator7.1.65.8を使用します。各コントロールステーション名は"sim011" "sim012"としました。
これまでの説明と同じくコントロール・ステーションは管理用ネットワーク、Data Moverは仮想スイッチに接続しています。

[リモート・システムの登録]
各VNXに対向側システムを登録します。
(GUIでも登録が可能ですが、今回はCLIで登録します。)

[nasadmin@sim011 ~]$ nas_cel -create sim012 -ip 10.32.10.74 -passphrase nasadmin
operation in progress (not interruptible)...
id        = 1
name      = sim012
owner      = 0
device    =
channel    =
net_path  = 10.32.10.74
celerra_id = BB00505684E28C0000
passphrase = nasadmin

[root@sim012 nasadmin]# nas_cel -create sim011 -ip 10.32.10.73 -passphrase nasadmin
operation in progress (not interruptible)...
id        = 1
name      = sim011
owner      = 0
device    =
channel    =
net_path  = 10.32.10.73
celerra_id = BB00505684E06E0000
passphrase = nasadmin

[Interconnectの作成]

VNXはInter Connectと呼ばれる仮想コネクションを用いてリモート・システムにReplicateを行います。Replicationセッション作成の前段階として、Inter Connectを作成します。

Unisphereの"Data Protection"→"Replications"→"DM Interconnects"を開き"Create"をクリックします。

下記の通り、設定を行います。

キャプチャはsim012で行っています。"Destination System"に上記で登録したリモートシステムがリストされます。相手側システムを選択。
※対向側システムでも同様Inter Connectの作成を行います。

[InterconnectのValidate]

Interconnectが対向側のシステムと正常に通信出来ているかを確認します。
Unisphereの"Data Protection"→"Replications"→"DM Interconnects"を開き作成したInterconnectを選択。"Varidate"をクリックします。
接続に問題無ければ下記ダイアログが出力されます。対向側システムでも同様にValidateを行い、双方の通信に問題無い事を確認します。

以上でReplicationセッションの作成が可能な状態となりました。

[nasadmin@sim011 ~]$ nas_cel -interconnect -list
id    name              source_server  destination_system  destination_server
20001  loopback          server_2        sim011              server_2
20003  011to012          server_2        sim012              server_2
[nasadmin@sim011 ~]$ nas_cel -interconnect -info id=20003
id                                = 20003
name                              = 011to012
source_server                      = server_2
source_interfaces                  = 192.168.1.70
destination_system                = sim012
destination_server                = server_2
destination_interfaces            = 192.168.1.80
bandwidth schedule                = uses available bandwidth
crc enabled                        = yes
number of configured replications  = 0
number of replications in transfer = 0
status                            = The interconnect is OK.

[nasadmin@sim012 ~]$ nas_cel -interconnect -list
id    name              source_server  destination_system  destination_server
20001  loopback          server_2        sim012              server_2
20003  011to012          server_2        sim011              server_2
[nasadmin@sim012 ~]$ nas_cel -interconnect -info id=20003
id                                = 20003
name                              = 011to012
source_server                      = server_2
source_interfaces                  = 192.168.1.80
destination_system                = sim011
destination_server                = server_2
destination_interfaces            = 192.168.1.70
bandwidth schedule                = uses available bandwidth
crc enabled                        = yes
number of configured replications  = 0
number of replications in transfer = 0
status                            = The interconnect is OK.

[ファイルシステムのReplicate]

ファイルシステムのReplicationセッションを作成します。

Unisphereの"Data Protection"→"Replications" "Replications"タブ下の"Create"ボタンを押します。
下記ウィンドウが開き、作成するReplicationの種類を選択出来ます。今回は"Replicate a File System"を選択します。

作成するReplicationセッションについての各種情報を入力します。

ウィンドウ上部にWarningメッセージが表示されますが、VNX Simulatorの実機と異なる部分について警告が表示されています。無視して下さい。

Replication Name: Replicationセッションの情報を設定します。ファイルシステム名/VDM名を含めるなど、判別し易い名称にします。

Source File System: コピー元ファイルシステム

Source Checkpoint Storage Pool: Replicationセッションに使用するチェックポイントを取るStprage Poolを指定します。

Destination System: コピー先システム

Source Data Mover Interconnect: 13.で作成したInterconnect。

Source Interface: データ転送に使用するネットワークインターフェイス。負荷分散の理由等により、Replicationセッションがデータ転送に使用するNICを限定する場合に使用します。

Destination Interface: 対向側システムがデータ転送に使用するネットワークインターフェイス。

Create Destination:

Create Using Storage Pool: 自動的に対向側システムにコピー先ファイルシステムを作成。

Use Existing File System: 対向側システムに既存のファイルシステムをコピー先として使用します。このオプションを使用する場合は、事前に対向側システムにコピー元ファイルシステムと同サイズのファイルシステムを作成しておく必要があります。

Destination Pool: 対向側システムにコピー先ファイルシステムを自動作成する場合に使用するStorage Poolを指定します。

Destination Checkpoint Storage:

Same as Destination Filesyste: Replicationセッションに使用するチェックポイントをコピー先ファイルシステムと同じStorage Poolから作成します。

Customize: Replicationセッションに使用するチェックポイントの作成元Storage Poolを指定します。

Update Policy:

Time Out of Sync: 自動的に更新差分を転送します。

Manual Refresh: 手動による更新差分転送。

Time Out of Sync: 設定値を最大非同期間隔としてデータ転送を行います。

Use tape Transport: コピー元データが多くWAN回線でのデータコピーが現実的では無い場合に、初回コピーするデータを一旦Tapeに書き対向側システムに持っていく場合のオプション。

設定値を入力し、"OK"を押すとreplicationセッションの作成が開始されます。

VNX SimulatorでのReplicationセッション作成は実機より時間がかかります。"System"→"Monitoring and Alerts"→"Background Tasks"より、タスクの状態を確認してください。

Replicationセッションが作成されました。

Replicationのコピー先ファイルシステムはRead Only属性。書き込みは行えませんがCIFS/NFS共有を行う事によって参照可能です。

[VDMのReplicate]

【VDMとは】
VDM(Virtual Data Mover)とはハードウェア単位のData Mover上に、それとほぼ同じ動作をするData Moverを仮想的に作成してしまおうというソリューションです。VDMは1つの物理Data Mover上に複数作成する事ができます。

【VDMを利用する利点】
VDMは主にCIFS環境で利用します。VDMはReplicationを用いて別筺体にReplicateが可能なため、VDMを利用する事によって別筺体に全く同じCIFSサーバーをコピーし災害に備える事ができます。

また、VDMを用いる事でCIFSサーバーを介してユーザーがアクセスするファイルシステムを区分する事が出来るため、その目的でも利用されます。

※災害対策サイトを構築する場合、災害対策サイトでの業務継続性を担保するための様々な考慮事項があります。ここではVDMのReplicationとその利用について説明しますが、その他災害対策サイト構築に必要な情報が記載されているわけではない事をご認識下さい。

[VDMの作成]

"Storage"→"Shared Folders"→"CIFS"を開き、VDMsタブをクリック"Create"ボタンよりVDMを作成します。

[nasadmin@sim011 ~]$ nas_server -list -vdm
id       acl  server    mountedfs       rootfs  name
1        0    1                         16      vdm01

[nasadmin@sim011 ~]$ nas_server -info -vdm vdm01
id        = 1
name      = vdm01
acl       = 0
type      = vdm
server    = server_2
rootfs    = root_fs_vdm_vdm01
I18N mode = UNICODE
mountedfs =
member_of =
status    :
  defined = enabled
   actual = loaded, ready
Interfaces to services mapping:

[VDMでのCIFSサーバー作成とドメインへの登録]

"Storage"→"Shared Folders"→"CIFS"を開き、CIFS Serversタブをクリック"Create"ボタンよりCIFSサーバーを作成します。
新たに作成するCIFSサーバーにはNASサービス用インターフェイスを割り当てる必要があるため、新たにNASサービス用インターフェイスを作成します。

※VDMのReplicationを利用する場合、Replicate先のData MoverにもReplicate元Data MoverでVDMが使用するインターフェイスと指定したインターフェイスと同名のインターフェイスが必要となります。Replicate元、Replicate先に同名のインターフェイスを作成しCIFSサーバーに設定して下さい。

[VDMのReplication作成]

"Data Protection"→"Replications"の"Replications"タブを開き"Create"ボタンよりVDMのReplicationを作成します。
作成方法は[ファイルシステムのReplicate]で説明した方法とほぼ同じです。

[nasadmin@sim012 ~]$ nas_server -l -v
id       acl  server    mountedfs       rootfs  name
1        0    1                         16      vdm01

[nasadmin@sim012 ~]$ nas_server -i -v vdm01
id        = 1
name      = vdm01
acl       = 0
type      = vdm
server    = server_2
rootfs    = root_fs_vdm_vdm01_1
I18N mode = UNICODE
mountedfs =
member_of =
status    :
  defined = enabled
   actual = mounted
Interfaces to services mapping:

Replicationターゲット側のVDMは上記の通り"mounted"ステータスです。mountedステータスのVDMはCIFSサービスを提供していません。
本番サイトが被災し運用が停止した場合にはReplicationステータスを変更し、ターゲットサイトのファイルシステムをRead OnlyステータスからRead Writeステータスに、VDMもmountedステータスからloadedに変更する事でターゲットサイトでの運用を可能とします。

お世話になります。

こちらのシミュレータをダウンロードするには、何か特別な権限が必要でしょうか？

ログインが必要といわれてしまい、ダウンロードが行えません。

環境は、Windows XP、IE8です。powerlink経由でログインしています。

ご確認お願いします。

特別な権限は必要ないはずです。（先ほど一番弱い権限でEMCオンラインサポートサイトにログインをして、VNX Simulatorのファイルがダウンロードできることを確認しました。）

オンラインサポートサイト（http://support.emc.com)へアクセスし、ログインして（※）最初に表示される画面で「VNX Simulator」と検索してみてください。希望のファイルが入手できると思います。

（※）PowerlinkのユーザID、パスワードでログイン可能です

VNX Simulatorの新バージョンがリリースされました。

下記リンクからダウンロード頂けます。

VNX File Simulator (OE 8.1.0.15) Single/Dual Data Mover (OVA package)

VNX File Simulator (OE 8.1.0.15) Single/Dual Data Mover (zip package)

OVAパッケージがリリースされましたので、セットアップが簡単になりました。

現在のところ、OVAパッケージ版のみの確認となりますがセットアップ直後はSlot 3のData Moverは停止している状態です。rootになり、"11. Data Moverの停止・起動"に記載した方法でSlot 3のData Moverを起動する事でDual Data Mover構成で動作します。