PowerFlex管理プラットフォーム: Javaヒープ領域が原因でPowerFlex Gateway APIコールが失敗する

• PowerFlex Manager (PFMP)へのAPI呼び出しが断続的に失敗し、OpenStackやその他の統合に影響します。
• block-gateway-0 ポッド レポート OutOfMemoryErrorにリダイレクトされ、リクエストは block-gateway-1.

  06:30:21.635 [|https-jsse-nio-443-exec-4-ReceiveLoop-254285513] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-254285513 #e1a663711aca639e [xxx.xxx.xxx.xxx:8611]: IOException in receive loop: message=null, e=java.io.EOFException, cause=null 06:30:21.635 [|https-jsse-nio-443-exec-5-ReceiveLoop-838015790] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-838015790 #ed300a36c5228121 [xxx.xxx.xxx.xxx:8611]: IOException in receive loop: message=null, e=java.io.EOFException, cause=null 06:30:23.475 [|https-jsse-nio-443-exec-11] ERROR c.e.s.s.w.c.SpecialImplController - Got an exception in handleException org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space

• 結局 block-gateway-1 PODもレポートします OutOfMemoryError.

  07:03:30.663 [|https-jsse-nio-443-exec-15] WARN  o.s.w.s.m.m.a.ExceptionHandlerExceptionResolver - Failure in @ExceptionHandler com.emc.s3g.scaleio.web.controller.RestApiController#handleException(Exception, HttpServletRequest, HttpServletResponse) java.lang.OutOfMemoryError: Java heap space 07:03:42.234 [|https-jsse-nio-443-exec-5-ReceiveLoop-793498724] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-793498724 #7f7d737257ceb2e0 [10.41.209.52:8611]: Problem with message deserialization java.lang.OutOfMemoryError: Java heap space 07:03:42.234 [|https-jsse-nio-443-exec-12] ERROR c.e.s.s.s.ConnectionServiceImpl - Got rc MESSAGE_DESERIALIZATION_FAILED for command QueryPoll

• catalina.out ログに障害が示されます HostConfig.checkResources()これは、リソースの検証中にメモリが枯渇していることを示唆しています。

  16-Jan-2025 06:31:21.628 SEVERE [Catalina-utility-2] org.apache.catalina.core.ContainerBase.threadStart Exception processing background thread         Caused by: java.lang.OutOfMemoryError: Java heap space                 at org.apache.catalina.startup.HostConfig.checkResources(HostConfig.java:1298)

• リソース メトリックは、影響を受けるゲートウェイ ポッドによる重大な CPU またはメモリの消費を示していません。

  Namespace                   Name                                                     CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age ---------                   ----                                                     ------------  ----------  ---------------  -------------  --- powerflex                   block-legacy-gateway-1                                   0 (0%)        0 (0%)      0 (0%)           0 (0%)         56d powerflex                   ciam-service-8c98989cb-5prsg                             100m (0%)     0 (0%)      128Mi (0%)       0 (0%)         56d powerflex                   block-legacy-gateway-0                                   0 (0%)        0 (0%)      0 (0%)           0 (0%)         56d

問題

• PFMPへのAPI呼び出しが断続的に失敗し、自動化と管理の操作に影響する可能性があります。
• Javaヒープ領域の枯渇により、ゲートウェイpodが応答しなくなります。
• サービスをリストアするには、手動による介入が必要です。

影響を受けたシステムを再起動します block-gateway 次のコマンドを使用して、ポッドを作成します。

kubectl -n powerflex rollout restart statefulset block-legacy-gateway

問題が発生するバージョン

PFMP v4.6.0.xおよびv4.6.1

修正バージョン

PFMP v4.6.2以降