PowerFlex 관리 플랫폼: Java 힙 공간으로 인해 PowerFlex Gateway API 호출 실패

• PFMP(PowerFlex Manager)에 대한 API 호출이 간헐적으로 실패하여 OpenStack 및 기타 통합에 영향을 미칩니다.
• block-gateway-0 Pod 보고서 OutOfMemoryError로 리디렉션되고 요청이 block-gateway-1참조하십시오.

  06:30:21.635 [|https-jsse-nio-443-exec-4-ReceiveLoop-254285513] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-254285513 #e1a663711aca639e [xxx.xxx.xxx.xxx:8611]: IOException in receive loop: message=null, e=java.io.EOFException, cause=null 06:30:21.635 [|https-jsse-nio-443-exec-5-ReceiveLoop-838015790] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-838015790 #ed300a36c5228121 [xxx.xxx.xxx.xxx:8611]: IOException in receive loop: message=null, e=java.io.EOFException, cause=null 06:30:23.475 [|https-jsse-nio-443-exec-11] ERROR c.e.s.s.w.c.SpecialImplController - Got an exception in handleException org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space

• 결국 block-gateway-1 Pod는 보고서도 보고합니다. OutOfMemoryError참조하십시오.

  07:03:30.663 [|https-jsse-nio-443-exec-15] WARN  o.s.w.s.m.m.a.ExceptionHandlerExceptionResolver - Failure in @ExceptionHandler com.emc.s3g.scaleio.web.controller.RestApiController#handleException(Exception, HttpServletRequest, HttpServletResponse) java.lang.OutOfMemoryError: Java heap space 07:03:42.234 [|https-jsse-nio-443-exec-5-ReceiveLoop-793498724] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-793498724 #7f7d737257ceb2e0 [10.41.209.52:8611]: Problem with message deserialization java.lang.OutOfMemoryError: Java heap space 07:03:42.234 [|https-jsse-nio-443-exec-12] ERROR c.e.s.s.s.ConnectionServiceImpl - Got rc MESSAGE_DESERIALIZATION_FAILED for command QueryPoll

• catalina.out 로그가 다음 위치에서 실패를 나타냄 HostConfig.checkResources(), 리소스 유효성 검사 중 메모리 소진을 제안합니다.

  16-Jan-2025 06:31:21.628 SEVERE [Catalina-utility-2] org.apache.catalina.core.ContainerBase.threadStart Exception processing background thread         Caused by: java.lang.OutOfMemoryError: Java heap space                 at org.apache.catalina.startup.HostConfig.checkResources(HostConfig.java:1298)

• 리소스 메트릭에는 영향을 받는 게이트웨이 포드의 CPU 또는 메모리 사용량이 크게 표시되지 않습니다.

  Namespace                   Name                                                     CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age ---------                   ----                                                     ------------  ----------  ---------------  -------------  --- powerflex                   block-legacy-gateway-1                                   0 (0%)        0 (0%)      0 (0%)           0 (0%)         56d powerflex                   ciam-service-8c98989cb-5prsg                             100m (0%)     0 (0%)      128Mi (0%)       0 (0%)         56d powerflex                   block-legacy-gateway-0                                   0 (0%)        0 (0%)      0 (0%)           0 (0%)         56d

영향

• PFMP에 대한 API 호출이 간헐적으로 실패하여 자동화 및 관리 작업에 영향을 줄 수 있습니다.
• Java 힙 공간 소모로 인해 게이트웨이 포드가 응답하지 않습니다.
• 서비스를 복원하려면 수동 개입이 필요합니다.

영향을 받는 디바이스 재시작 block-gateway 다음 명령을 사용하는 Pod:

kubectl -n powerflex rollout restart statefulset block-legacy-gateway

영향을 받는 버전

PFMP v4.6.0.x 및 v4.6.1

수정된 버전

PFMP v4.6.2 이상