PowerProtect: Data Manager ESDB - Data te groot, data voor activiteit
Summary: De PowerProtect Data Manager-activiteiten zijn gestopt vanwege een toename van documenten met de Elasticsearch-database. De gevonden fouten waren: Data te groot, data voor [_id] zou [859222328/819,4 MB] zijn, wat groter is dan de limiet van [858993459/819,1 MB]' ...
Symptoms
PowerProtect Data Manager-activiteiten zoals: Back-ups, herstel of replicatieprocessen worden beïnvloed door het probleem met Elasticsearch.
-
De volgende fouten worden gezien in de Elasticsearch index_activity-index:
"reason": Object { "caused_by": Object { "caused_by": Object { "bytes_limit": Number(858993459), "bytes_wanted": Number(859222328), "durability": String("PERMANENT"), "reason": String("[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]"), "type": String("circuit_breaking_exception"), }, "reason": String("CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"), "type": String("execution_exception"), }, "reason": String("java.util.concurrent.ExecutionException: CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"), "type": String("exception"), }, "shard": Number(0), }, -
De Elasticsearch-logboeken geven het volgende aan:
org.elasticsearch.transport.RemoteTransportException: [local][127.0.0.1:14400][indices:data/read/search[phase/query]] Caused by: org.elasticsearch.search.query.QueryPhaseExecutionException: Query Failed [Failed to execute main query] at org.elasticsearch.search.query.QueryPhase.executeInternal(QueryPhase.java:228) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:98) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.loadOrExecuteQueryPhase(SearchService.java:459) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:623) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.lambda$executeQueryPhase$2(SearchService.java:484) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.action.ActionRunnable.lambda$supply$0(ActionRunnable.java:47) [elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.action.ActionRunnable$2.doRun(ActionRunnable.java:62) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:26) [elasticsearch-7.17.17.jar:7.17.17] -
Elasticsearch-grootte van index_activity indice bleek 21,6 GB te zijn
┌─────┬────────┬────────┬───────────────────────────┬────────────────────────┬─────┬─────┬────────────┬──────────────┬────────────┬────────────────┐ │ ## ┆ health ┆ status ┆ index ┆ uuid ┆ pri ┆ rep ┆ docs.count ┆ docs.deleted ┆ store.size ┆ pri.store.size │ ╞═════╪════════╪════════╪═══════════════════════════╪════════════════════════╪═════╪═════╪════════════╪══════════════╪════════════╪════════════════╡ │ 1 ┆ green ┆ open ┆ index_activity ┆ VCi1Df7tQLemZrSnYLyHZg ┆ 1 ┆ 0 ┆ 87971760 ┆ 8576108 ┆ 21.6gb ┆ 21.6gb │ │ 2 ┆ green ┆ open ┆ index_protection_copy_set ┆ NzMVnlX_RPG0v3dUXXGznA ┆ 1 ┆ 0 ┆ 15634865 ┆ 4026853 ┆ 6gb ┆ 6gb │ │ 3 ┆ green ┆ open ┆ index_asset_protection_de ┆ nujLQyzmRTuCsDlR5ncvBw ┆ 1 ┆ 0 ┆ 6131465 ┆ 1282123 ┆ 3.4gb ┆ 3.4gb │ │ ┆ ┆ ┆ tail ┆ ┆ ┆ ┆ ┆ ┆ ┆ │ │ 4 ┆ green ┆ open ┆ index_protection_copy ┆ JPGjWiwUS0Wilw87QWE_OA ┆ 1 ┆ 0 ┆ 2542590 ┆ 277569 ┆ 2.1gb ┆ 2.1gb │
-
We hebben een hoog ESDB-procesgebruik waargenomen waarbij CPU-pieken tot 900%
Cause
Het probleem werd gevonden met Elasticsearch index_activity indice.
Het knooppunt wordt overbelast bij het schatten van de hoeveelheid geheugen die een veld nodig heeft om in de JVM-heap te worden geladen. Hiermee wordt voorkomen dat velddata worden geladen door een uitzondering te maken als de bewerkingsheap de limiet overschrijdt.
Resolution
De capaciteitsgrootte van de ESDB:index_activity-index is verkleind, zodat verouderde documenten uit de tabel worden verwijderd, waardoor de algehele ESDB-prestaties worden verbeterd.
Aangezien dit een interne taak is, moet u NIET overwegen om zelf wijzigingen aan te brengen!
Deze activiteit vereist supportaandacht, dien een serviceaanvraag in bij het Dell team.