PowerProtect: Data Manager ESDB - 데이터가 너무 커서 작업에 사용할 수 없는 데이터

PowerProtect Data Manager 활동은 다음과 같습니다. 백업, 복원 또는 복제 프로세스는 Elasticsearch 문제로 인해 영향을 받습니다.

• Elasticsearch index_activity 지수에 다음과 같은 오류가 표시됩니다.

                  "reason": Object {
                      "caused_by": Object {
                          "caused_by": Object {
                              "bytes_limit": Number(858993459),
                              "bytes_wanted": Number(859222328),
                              "durability": String("PERMANENT"),
                              "reason": String("[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]"),
                              "type": String("circuit_breaking_exception"),
                          },
                          "reason": String("CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"),
                          "type": String("execution_exception"),
                      },
                      "reason": String("java.util.concurrent.ExecutionException: CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"),
                      "type": String("exception"),
                  },
                  "shard": Number(0),
              },

• Elasticsearch 로그는 다음을 나타냅니다.

  org.elasticsearch.transport.RemoteTransportException: [local][127.0.0.1:14400][indices:data/read/search[phase/query]]
  Caused by: org.elasticsearch.search.query.QueryPhaseExecutionException: Query Failed [Failed to execute main query]
          at org.elasticsearch.search.query.QueryPhase.executeInternal(QueryPhase.java:228) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:98) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.search.SearchService.loadOrExecuteQueryPhase(SearchService.java:459) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:623) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.search.SearchService.lambda$executeQueryPhase$2(SearchService.java:484) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.action.ActionRunnable.lambda$supply$0(ActionRunnable.java:47) [elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.action.ActionRunnable$2.doRun(ActionRunnable.java:62) ~[elasticsearch-7.17.17.jar:7.17.17]
          at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:26) [elasticsearch-7.17.17.jar:7.17.17]

• index_activity indices의 Elasticsearch 크기는 21.6GB로 확인되었습니다.

  ┌─────┬────────┬────────┬───────────────────────────┬────────────────────────┬─────┬─────┬────────────┬──────────────┬────────────┬────────────────┐
  │ ##  ┆ health ┆ status ┆ index                     ┆ uuid                   ┆ pri ┆ rep ┆ docs.count ┆ docs.deleted ┆ store.size ┆ pri.store.size │
  ╞═════╪════════╪════════╪═══════════════════════════╪════════════════════════╪═════╪═════╪════════════╪══════════════╪════════════╪════════════════╡
  │ 1   ┆ green  ┆ open   ┆ index_activity            ┆ VCi1Df7tQLemZrSnYLyHZg ┆ 1   ┆ 0   ┆ 87971760   ┆ 8576108      ┆ 21.6gb     ┆ 21.6gb         │
  │ 2   ┆ green  ┆ open   ┆ index_protection_copy_set ┆ NzMVnlX_RPG0v3dUXXGznA ┆ 1   ┆ 0   ┆ 15634865   ┆ 4026853      ┆ 6gb        ┆ 6gb            │
  │ 3   ┆ green  ┆ open   ┆ index_asset_protection_de ┆ nujLQyzmRTuCsDlR5ncvBw ┆ 1   ┆ 0   ┆ 6131465    ┆ 1282123      ┆ 3.4gb      ┆ 3.4gb          │
  │     ┆        ┆        ┆ tail                      ┆                        ┆     ┆     ┆            ┆              ┆            ┆                │
  │ 4   ┆ green  ┆ open   ┆ index_protection_copy     ┆ JPGjWiwUS0Wilw87QWE_OA ┆ 1   ┆ 0   ┆ 2542590    ┆ 277569       ┆ 2.1gb      ┆ 2.1gb          │

• ESDB 프로세스 활용도가 높아 CPU가 최대 900%까지 급증했습니다.

Elasticsearch index_activity indice에서 문제가 발견되었습니다.
필드가 JVM 힙에 로드되기 위해 필요한 메모리 양을 추정할 때 노드가 오버로드됩니다. 작업 힙이 제한을 초과하는 경우 예외를 발생시켜 필드 데이터 로드를 방지합니다.

테이블에서 오래된 문서를 삭제하는 방식으로 ESDB:index_activity 지수의 용량 크기를 줄임으로써 전반적인 ESDB 성능을 개선했습니다.
이 작업은 내부 작업이므로 직접 변경하는 것을 고려하지 마십시오 !
이 활동에 지원이 필요합니다. Dell 팀에 서비스 요청을 제출하십시오.