PowerProtect: Data Manager ESDB - Příliš velká data, data pro aktivitu
Summary: Aktivity nástroje PowerProtect Data Manager byly zastaveny kvůli nárůstu počtu dokumentů pomocí databáze Elasticsearch. Nalezeny byly tyto chyby: Data jsou příliš velká, data pro [_id] by byla [859222328/819,4 MB], což je více než limit [858993459/819,1 MB]". ...
Symptoms
Aktivity nástroje PowerProtect Data Manager, jako jsou: Problémy s Elasticsearch ovlivňují procesy zálohování, obnovení nebo replikace.
-
V indikaci index_activity Elasticsearch se zobrazují následující chyby:
"reason": Object { "caused_by": Object { "caused_by": Object { "bytes_limit": Number(858993459), "bytes_wanted": Number(859222328), "durability": String("PERMANENT"), "reason": String("[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]"), "type": String("circuit_breaking_exception"), }, "reason": String("CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"), "type": String("execution_exception"), }, "reason": String("java.util.concurrent.ExecutionException: CircuitBreakingException[[fielddata] Data too large, data for [_id] would be [859222328/819.4mb], which is larger than the limit of [858993459/819.1mb]]"), "type": String("exception"), }, "shard": Number(0), }, -
Protokoly Elasticsearch indikují následující:
org.elasticsearch.transport.RemoteTransportException: [local][127.0.0.1:14400][indices:data/read/search[phase/query]] Caused by: org.elasticsearch.search.query.QueryPhaseExecutionException: Query Failed [Failed to execute main query] at org.elasticsearch.search.query.QueryPhase.executeInternal(QueryPhase.java:228) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:98) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.loadOrExecuteQueryPhase(SearchService.java:459) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:623) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.search.SearchService.lambda$executeQueryPhase$2(SearchService.java:484) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.action.ActionRunnable.lambda$supply$0(ActionRunnable.java:47) [elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.action.ActionRunnable$2.doRun(ActionRunnable.java:62) ~[elasticsearch-7.17.17.jar:7.17.17] at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:26) [elasticsearch-7.17.17.jar:7.17.17] -
Velikost indikátoru Elasticsearch index_activity byla zjištěna na 21,6 GB
┌─────┬────────┬────────┬───────────────────────────┬────────────────────────┬─────┬─────┬────────────┬──────────────┬────────────┬────────────────┐ │ ## ┆ health ┆ status ┆ index ┆ uuid ┆ pri ┆ rep ┆ docs.count ┆ docs.deleted ┆ store.size ┆ pri.store.size │ ╞═════╪════════╪════════╪═══════════════════════════╪════════════════════════╪═════╪═════╪════════════╪══════════════╪════════════╪════════════════╡ │ 1 ┆ green ┆ open ┆ index_activity ┆ VCi1Df7tQLemZrSnYLyHZg ┆ 1 ┆ 0 ┆ 87971760 ┆ 8576108 ┆ 21.6gb ┆ 21.6gb │ │ 2 ┆ green ┆ open ┆ index_protection_copy_set ┆ NzMVnlX_RPG0v3dUXXGznA ┆ 1 ┆ 0 ┆ 15634865 ┆ 4026853 ┆ 6gb ┆ 6gb │ │ 3 ┆ green ┆ open ┆ index_asset_protection_de ┆ nujLQyzmRTuCsDlR5ncvBw ┆ 1 ┆ 0 ┆ 6131465 ┆ 1282123 ┆ 3.4gb ┆ 3.4gb │ │ ┆ ┆ ┆ tail ┆ ┆ ┆ ┆ ┆ ┆ ┆ │ │ 4 ┆ green ┆ open ┆ index_protection_copy ┆ JPGjWiwUS0Wilw87QWE_OA ┆ 1 ┆ 0 ┆ 2542590 ┆ 277569 ┆ 2.1gb ┆ 2.1gb │
-
Zaznamenali jsme vysoké využití procesů ESDB, kdy procesorové špičky dosahují až 900 %
Cause
Problém byl zjištěn u Elasticsearch index_activity indici.
Uzel je přetížen při odhadu množství paměti, kterou pole potřebuje, aby bylo načteno do haldy JVM. Zabraňuje načítání dat pole vyvoláním výjimky, pokud halda operace překročí limit.
Resolution
Zmenšili jsme velikost kapacity indikace ESDB:index_activity tak, aby se z tabulky vyřadily zastaralé dokumenty, které zlepšují celkový výkon databáze ESDB.
Vzhledem k tomu, že se jedná o interní úkol, NEUVAŽUJTE o tom, že byste provedli jakékoli změny sami!
Tato činnost vyžaduje pozornost podpory. Vytvořte servisní požadavek u týmu Dell.