VPLEXプロダクトでの29.AAA1.58対応方法

ナレッジベース記事：000522973
製品：VPLEX Series,VPLEX VS1,VPLEX VS2
対象読者：レベル30 = お客様
最終発行日：Thu Oct 25 06:55:49 GMT 2018

問題：
監視対象であるVplex arrayがDell EMC へ15日間Call Homeしていない。ｃarrayと Dell EMCとの接続断が疑われ、監視ができていない可能性がある。
原因：コールホーム設定のアップデート、もしくは環境内での問題
（Secure Remote Services gateway / client, customer SMTP server, customer firewall ports, customer network など）

原因の可能性として考えられる要素：
＊ストレージ側での変更（アップグレード、構成変更）
＊SRS gateway環境の接続断、再インストール、移行、サービス停止
＊お客様環境SMTPサーバー変更、問題の発生
＊お客様環境でのネットワーク変更、問題

解決策：29.AAA1.58 error codeでのメール受信があった場合の対応方法（必要であればサポートへの連絡をしてください。④参照）

① コールホーム設定、環境の確認
a) MyService360での現状のコールホーム確認　

https://support.emc.comから該当Vplex シリアル番号でサーチ（こちらのコールホーム日時が原因究明に役立つことがあります）

'Details' にて詳細情報を確認

'Last ConnectHome'の日時をチェック

b) Dell EMCと該当Vplexとのコールホーム接続を妨げるような変更等があったかどうか。
注：Vplexはコールホームを7日毎にテスト、また8日のバッファー（猶予期間）を設けています。そしてそれ以降（7-15日）に
29.AAA1.58 email を送信することになっているのでその間が原因調査の上では重要な期間になります。（+ 24 h の時差もあり。）

＊電源断などの電力系問題の有無、もしくは計画停電などの有無
＊該当機器へのアップグレード、ハードウェア交換、コールホーム設定などの作業は発生していないかどうか
＊SMTP serverのIP変更、ホスト名変更などはないか（⇒あった場合は②のサポートへの連絡をしてください）
＊SMTP serverルール変更（relay, permissions, white listなど）をしたかどうか、変更を元に戻すことによって該当機器でのコールホーム事象の解決はできますが
不可であれば該当機器でのコールホームを許す形での新しいルール設定をする必要があります。
＊firewall設定の変更の有無、変更ありで元へ戻すことができないのであればDell EMCへのコールホームが可能になる形での再設定が必要になります。
（Secure Remote Services Port Requirements　にある必要ポートのOpenが必要（document は@ https://support.emc.com の Product Support -> Secure Remote Services Virtual Edition -> Documentation.にて確認ください）

② 現状のコールホーム設定確認
1. Vplex management serverへservice ユーザーとしてログイン
2. 'vplexcli'を入力して再度ログイン
3. vplexcli:にて以下コマンド発行

ll /managementserver/　（接続しているCluster IDの確認。この時のシリアル番号はManagement Serverのそれなので無視）
ls -t /engines/*::top-level-assemblyにてcluster IDの最初の番号が一致するか確認
4. /notifications/call-home コマンドにて設定確認
5. LsにてコールホームがEnable であることを確認。（'set enabled true'→Enable, 'set enabled false --force'→Disable）
6. configuration event-notices-reports-show コマンドにて設定詳細を確認。（IPアドレス、メールアドレスの確認）
7. configuration event-notices-reports-config　にて必要事項のアップデート、変更。（これによりすべての既存の設定が上書きになるので変更時は注意が必要）

デフォルトのrecipient はemailalert@emc.com. で変更すべきではありません。SMTP serverではVNXからemc.com' もしくは'emailalert@emc.com' へのリレーが可能になるように設定が必要です。(通常SMTPサーバにSPのIPアドレスを追加) 大部分のコールホーム問題はこちらで解決します。ただしデフォルトのsender であるconnectemc@emc.com.は変更可能です。
8．configuration event-notices-reports-showにて設定が正しいか確認
9．/notifications/call-homeへ移動してtestコマンドでテストコールホームを作成　
- 成功した場合は① にあるMyService360,でのSR作成を確認。
-成功してもMyService360での確認ができない場合は③(a. Troubleshootセクションから)を参照。

③ VPLEXのトラブルシュートとヘルスチェック
＊トラブルシュート　
Firewallの確認>
Vplex management server とSRS gateway もしくはSMTP server間でport 25がOpenしていることを確認（ コマンド：'telnet 1.2.3.4 25' （1.2.3.4= IP address、XX＝Port ） このコマンドはvplexcliではないので'exit' にて最初の下層へ戻ることは必要です。
SMTPサーバ（port25 ） との接続では以下のコマンド発行
HELO or EHLO
MAIL FROM:connectemc@emc.com (or other valid sender address from your domain)
RCPT TO:emailalert@emc.com
DATA
Test email.
.
quit

ConnectEMC logの確認>
＊cd /var/log/ConnectEMC/logs/　コマンド発行。'ls -l'にてタイムスタンプ確認
-rw-r----- 1 service users 1174289 Jun 6 08:48 ConnectEMC_00.log
-rw-r----- 1 service users 1491622 Aug 12 2017 ConnectEMC_01.log
-rw-r----- 1 service users 2049450 Nov 30 2017 ConnectEMCEmail_00.log
-rw-r----- 1 service users 2048781 Aug 17 2017 ConnectEMCEmail_01.log
-rw-r----- 1 service users 710 Aug 22 14:20 ConnectEMC_Email.log
-rw-r----- 1 service users 569560 Aug 22 14:20 ConnectEMCEmail.log
-rw-r----- 1 service users 747 Aug 22 14:20 ConnectEMC_EmailNotify.log
-rw-r----- 1 service users 122878 Aug 22 14:33 ConnectEMC.log
-rw-r----- 1 service users 5474 Aug 22 14:20 EMAIL-cURL.log
（EmailNotify logはEmail Notificationなので関係なし）
cat ConnectEMC_Email.log　にて『failed, success, complete』などのキーワードを確認

＊念のため以下のサービスをきちんと起動させておく
***Note management services リスタートは一時的にVPLEX Management GUI と vplexcliのサービス断を引き起こします.***
sudo /etc/init.d/VPlexManagementConsole restart
sudo /etc/init.d/VPlexManagementConsole status
Telnet 1.2.3.4 XX＜XX＝コールホーム設定サーバIPアドレス）コマンドにてVNXコントロールステーションとESRS　Gateway サーバ、SMTPサーバ間のポート確認
（VPlexManagementConsoleのリスタートでは30秒ほどのサービス断が、management serviceのリスタートでは数分サービス断が起こります）

＊call home fileでのVPLEXシリアル番号登録確認（シリアル番号登録違いによるコールホーム問題が多い）

cd /opt/emc/connectemc/archive
ls –ltr

→ファイル名がVPLEX serial numberではなく『NOSERIALNUM』の場合はSR作成してサポート応対が必要。その場合は以下のKBをレファレンスとして提示。

VPLEX: Call-Home filename shows NOSERIALNUM instead of expected TLA, leading to automated SYR cases. (000462461)　

VPLEXヘルスチェック>
Vplexcliにて 'health-check'コマンド発行

④サポートへの連絡方法
Web からのSRのOpen 方法
Severity 3 でのSR作成をしてください。また以下の例文での作成をすることにより適切なサポートチームへのエスカレーションが実現します。
S/N: Symptom: 29.AAA1.58

例:

SYMMETRIX S/N: XXXXXXXXXXX Symptom: 29.AAA1.58
VNX-BLOCK S/N: XXXXXXXXXXXXXX Symptom: 29.AAA1.58
VNX-FILE S/N: XXXXXXXXXXXXXX Symptom: 29.AAA1.58
VPLEX S/N: XXXXXXXXXXXXXX Symptom: 29.AAA1.58
XTREMIO S/N: XXXXXXXXXXXXXX Symptom: 29.AAA1.58
電話もしくはメールでの連絡方法＞
US Toll Free: 1-800-782-3797 Ext 3275427 Option 2
International: 1-508-621-2196 Ext 3275427 Option 2
SR詳細情報

Array SN: APM00XXXXXXXXX is not calling home to Dell EMC. (送信されてきたエラーメールの添付をお願いします。).
（メールテンプレート）
Product: XXXXXX
Serial Number: XXXXXXXXXXXXXX
Site ID: XXXXXX
Symptom Code: 29.AAA1.58
Severity: Warning

追加情報　以下のURLを参照

こちらの記事は以下のKBを元に作成されています。詳細情報はこちらを確認ください。
522973 : VPLEX Symptom Code: 29.AAA1.58 (Array not calling home to Dell EMC) - Customer Troubleshooting Guide