背景介绍：

近期研发大数据产品遇到一个需求，面对大数据平台中的巨量数据，用户需要对不同表的数据进行聚合查询，包括join,group,count等操作，需要快速的得到结果。目前主要面向离线数据，暂时不考虑实时数据。现行技术选型是基于CDH的大数据平台，通过Mapreduce或者spark引擎进行计算，实时计算效果不太理想。

分析和思考：

这种场景是一种典型的OLAP场景，在大数据底座上完成快速的数据分析工作。目前在市面上有很多种解决方案，通常有以下几种：

1.基于CDH的Parquet存储+Impala,实现对离线数据的快速查询（若有实时数据场景，考虑kudu+impala）

2.引入MPP（Massively Parallel Processing）引擎，例如：Greenplum和starrocks产品，可以独立于hadoop生态而存在。

接下来需要对上面三种工具parquet+impala,greenplum,starrocks进行验证比较。

方案比较：

测试数据：准备了两张表分别为SAD(700,0000条数据)，ITEM(SAD的子表，通过SAD_ID关联，300,0000条数据)

测试场景：join+group+order操作

测试语句：

a.数据导入到hive数仓，以parquet格式存储，通过impala 查询

数据导入(oracle-->hive)：

sqoop脚本+hive脚本

b.   安装greenplum，数据导入到greenplum

主机规划：1master+2segment （暂时不建立standby主机）