【专家问答-Pivotal特别版】Pivotal BDS开源大数据套件及解决方案

本次活动正式开启！欢迎大家积极参与！

【gpdb】常见问题--out of memory

out of memory有两种，第一种是达到数据库gp_vmem_protect_limit；第二种是达到Linux内存限制，系统内存已耗尽。

第一种情况在pg_log里会找到类似如下的消息  "VM Protect failed to allocate n bytes ..."

第二种情况在pg_log里会找到类似如下的消息   "VM Protect: failed to allocate memory from system"

您可以在以下网址注册账号，下载和试用pivotal的产品

Pivotal Network

您好，

Pivotal BDS包括greenplum database, hawq, gemfire, pivotal hadoop

greenplum database: 一个分布式数据库

hawq：运行在hadoop上的数据库，可以直接执行标准sql

gemfire: 内存数据库（12306火车票系统是国内的一个客户）

pivotal hadoop:外包hortonworks的hadoop产品，包括开源社区的hadoop组件和hawq数据库

几位专家你们好，

能不能先给大家介绍一下Pivotal BDS开源大数据套件中有哪些产品？这些产品的主要功能是什么？

【gpdb】产品和文档下载目录

产品：https://network.pivotal.io/products/pivotal-gpdb

文档：Pivotal Greenplum Database 4.3.6 Documentation

【gpdb】有问题如何找到售后支持

电话：877 477 4269

开case: 1)发邮件到customer-service@pivotal.io

        2)到网站https://support.emc.com/servicecenter/createSR/自助开

【gpdb】那些表需要"VACUUM ANALYZE"

有些系统view可以显示那些表需要"VACUUM ANALYZE"，这些view通过比较“实际的表的大小”和“经过计算的应该大小”，如果两个差别较大，则应该对其"VACUUM ANALYZE"。

• gp_bloat_diag

  View "gp_toolkit.gp_bloat_diag"

   Column    |  Type   | Modifiers

-------------+---------+-----------

bdirelid    | oid     |              - OID

bdinspname  | name    |              - Schema name

bdirelname  | name    |              - Table name

bdirelpages | integer |              - Number of table pages

bdiexppages | numeric |              - Number of expected pages

bdidiag     | text    |              - Diagnostic: "no bloat"/"moderate bloat"/"significant bloat"

Example:

lpetrov=# select * from gp_toolkit.gp_bloat_diag;

bdirelid | bdinspname | bdirelname | bdirelpages | bdiexppages |                bdidiag              

----------+------------+------------+-------------+-------------+---------------------------------------

   353016 | public     | t1         |         978 |           1 | significant amount of bloat suspected

(1 row)

gp_bloat_expected_pages

lpetrov=# \d gp_toolkit.gp_bloat_expected_pages

View "gp_toolkit.gp_bloat_expected_pages"

   Column    |  Type   | Modifiers

-------------+---------+-----------

btdrelid    | oid     |             - OID

btdrelpages | integer |             - Number of table pages

btdexppages | numeric |             - Number of expected pages

Example:

lpetrov=# select * from gp_toolkit.gp_bloat_expected_pages where btdrelid = 't1'::regclass;

btdrelid | btdrelpages | btdexppages

----------+-------------+-------------

   353016 |         978 |           1

(1 row)

您好，关于gpdb官方的到没有，不过我个人有个vmware的虚机，装的是4361的greenplum database，你可以导入直接用。要是要的话，可以传给你，我的qq 214277591

三位专家好～

我想问一下，既然是开源的产品，那有没有官方教程可以参考下教大家自己搭一套测试环境的呀？

比如我设想的过程是这样：搭环境 > 导数据 > 出结果 > 验证。类似OpenStack的DevStack一键安装的样子或者以Virtual Appliance的形式来提供就更好了。谢谢！

专家们好！

能稍微详细介绍下HAWQ吗？比如他能实现什么功能，跟Hive/Hbase 有和区别？

谢谢！

你好 ww_js，

功能方面，hawq简单来说也是用于做数据分析的，这个和hive以及hbase比较相似。差异是他们的来源不同，hawq的基本框架是基于gpdb设计的，底层使用了hdfs做持久化存储。

性能方面，hawq因为gpdb的原因，速度肯定比hive要快很多。gpdb是一个MPP架构的分布式关系数据库，在单个节点上还是使用传统的postgres数据库的模块。

hbase和分布式关系数据库的使用范畴差异较大。

谢谢

我在用GPDB的时候的确碰到过这类错误。这是第一个种还是第二种？看第一句前半部分像是第一种，看整句话又想第二种了。

VM protect failed to allocate 8388608 bytes from system, VM Protect 3398 MB available

SQL function "to_timestamp" statement 1

前辈

Pivotal BDS 这个可以理解为EMC自己的数据库呢？

谢谢David的回答，

我看你回答里面每个产品介绍里面都包含了“数据库”，请问这些看似广义上的数据库，在结构上有什么区别呢?