名称

内容

ts

用户点击发生时的日期时间

uid

由系统自动分配的用户识别号

rank

该URL在返回结果中的排名

order

用户点击的顺序号

url

用户点击的URL

其中，UID是根据用户使用浏览器访问搜索引擎时的cookie信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户识别号。

将原数据中包含时间的字段拆分并拼接，添加年、月、日、小时字段，以便后续在HDFS中进行分块存储。分割时间字段的shell脚本sogou-log-extend.sh的具体代码如下：

awk -F ' ' '{print $0" "substr($1,0,4)" "substr($1,4,2)" "

substr($1,6,2)" "substr($1,8,2)}' $infile > $outfile

[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-extend.sh /home

/cloudera/500w/sogou.500w.utf8 /home/cloudera/500w/sogou.500w.utf8.ext

则sogou.500w.utf8.ext文件即为在原数据的基础上添加年、月、日、小时字段的文件。

完成数据扩展后，然后过滤UID和keyword字段为空的记录。数据过滤的shell脚本sogou-log-filter.sh的具体代码如下：

awk -F " " '{if($2 != "" && $3 != "" && $2 != " " && $3 != " ") print $0}' $infile > $outfile

[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-filter.sh /home

/cloudera/500w/sogou.500w.utf8.ext /home/cloudera/500w/sogou.500w.utf8.

flt

则sogou.500w.utf8.flt即为过滤后的数据文件。

将原数据文件sogou.500w.utf8和过滤后的数据文件sogou.500w.utf8.flt加载到HDFS上。在系统终端执行如下代码：

hadoop fs -mkdir -p /sogou/20111230

hadoop fs -put https://blog.csdn.net/ban2413/article/details/sogou.500w.utf8 /sogou/20111230

hadoop fs -mkdir -p /sogou_ext/20111230

hadoop fs -put https://blog.csdn.net/ban2413/article/details/sogou.500w.utf8.flt /sogou_ext/20111230

由此，已将数据加载到HDFS系统中，然后在Hive上创建日志数据的数据表。

首先在终端启动hive，在hive环境下创建数据库sogou：

hive> create database sogou;

hive> use sogou;

然后，创建扩展4个字段（year, month, day, hour）数据的外部表：

hive> CREATE EXTERNAL TABLE sogou.sogou_ext_20111230(

> url STRING,

> COMMENT 'This is the sogou search data of extend data'

> STORED AS TEXTFILE

> LOCATION '/sogou_ext/20111230';

创建带分区的表：

hive> CREATE EXTERNAL TABLE sogou.sogou_partition(

> url STRING

> COMMENT 'This is the sogou search data by partition'

> partitioned by (

> STORED AS TEXTFILE;

最后，把HDFS中的数据灌入到刚刚创建的表中：

hive> set hive.exec.dynamic.partition.mode=nonstrict;

hive> INSERT OVERWRITE TABLE sogou.sogou_partition PARTITION(year,month,

day,hour) select * from sogou.sogou_ext_20111230;

到现在为止，已把经过预处理的数据加载到hive中，后续便可以在hive中执行SQL语句进行查询分析。

查看前10条数据：

hive> select * from sogou.sogou_ext_20111230 limit 10;

前10条数据的具体信息如下：

查询数据的总条数：

hive> select count(*) from sogou.sogou_ext_20111230;

查询非空查询条数：

hive> select count(*) from sogou.sogou_ext_20111230 where keyword is not null and keyword !='';

查询无重复总条数（根据ts、uid、keyword、url）

hive> select count(*) from (select ts,uid,keyword,url,count(*) as cnt from sogou.sogou_ext_20111230 group by ts,uid,keyword,url) a where a.cnt==1;

查询UID唯一的条数：

hive> select count(distinct(uid)) from sogou.sogou_ext_20111230;

可知，(a) 本数据文件中共包含500万条数据；

(b) 非空查询条数为5000000条，即所有的数据的keyword都不为空；

(c) 以ts、uid、keyword、url字段作为判断记录是否重复的标准，得到的无重复总条数为4998321条；

(d) UID唯一的条数共有1352664条，即在此段时间内共有1352664个用户进行来搜狗搜索。

查询每个时间段查询的条数：

hive> select year,month,day,hour,count(*) as cnt from

 sogou.sogou_ext_20111230 group by year,month,day,hour order by

 year,month,day,hour;