Spark Streaming系列-5、应用案例：百度搜索风云榜

Spark Streaming系列-5、应用案例：百度搜索风云榜

2024-10-31 23:54

传送门：大数据系列文章目录

官方网址：http://spark.apache.org/、 http://spark.apache.org/sql/
在这里插入图片描述

百度搜索风云榜（ http://top.baidu.com/）以数亿网民的单日搜索行为作为数据基础，以搜索关键词为统计对象建立权威全面的各类关键词排行榜，以榜单形式向用户呈现基于百度海量搜索数据的排行信息，线上覆盖十余个行业类别，一百多个榜单。

在这里插入图片描述

仿【百度搜索风云榜】对用户使用百度搜索时日志进行分析：【百度搜索日志实时分析】，主要业务需求如下三个方面：
在这里插入图片描述

业务一：搜索日志数据存储HDFS，实时对日志数据进行ETL提取转换，存储HDFS文件系统；
业务二：百度热搜排行榜Top10，累加统计所有用户搜索词次数，获取Top10搜索词及次数；
业务三：近期时间内热搜Top10，统计最近一段时间范围（比如，最近半个小时或最近2个小时）内用户搜索词次数，获取Top10搜索词及次数；

开发Maven Project中目录结构如下所示：
在这里插入图片描述

编程实现业务之前，首先编写程序模拟产生用户使用百度搜索产生日志数据和创建工具类StreamingContextUtils提供StreamingContext对象与从Kafka接收数据方法。

启动Kafka Broker服务，创建Topic【search-log-topic】，命令如下所示：

模拟用户搜索日志数据，字段信息封装到CaseClass样例类【SearchLog】类，代码如下：

模拟产生搜索日志数据类【MockSearchLogs】具体代码如下

运行应用程序，源源不断产生日志数据，发送至Kafka（同时在控制台打印），截图如下：
在这里插入图片描述

所有SparkStreaming应用都需要构建StreamingContext实例对象，并且从采用New KafkaConsumer API消费Kafka数据，编写工具类【StreamingContextUtils】，提供两个方法：

方法一： getStreamingContext，获取StreamingContext实例对象

在这里插入图片描述

方法二： consumerKafka，消费Kafka Topic中数据

在这里插入图片描述
具体代码如下：

实时从Kafka Topic消费数据，提取ip地址字段，调用【ip2Region】库解析为省份和城市，存储到HDFS文件中，设置批处理时间间隔BatchInterval为10秒，完整代码如下：

运行模拟日志数据程序和ETL应用程序，查看实时数据ETL后保存文件，截图如下：
在这里插入图片描述

实时累加统计用户各个搜索词出现的次数，在 SparkStreaming 中提供函数【 updateStateByKey】实现累加统计。状态更新函数【 updateStateByKey】表示依据Key更新状态，要求DStream中数据类型为【 Key/Value】对二元组，函数声明如下：
在这里插入图片描述
将每批次数据状态，按照Key与以前状态，使用定义函数【updateFunc】进行更新，示意图如下：

文档： http://spark.apache.org/docs/2.4.5/streaming-programming-guide.html#updatestatebykey-operation

针对搜索词词频统计WordCount，状态更新逻辑示意图如下：
在这里插入图片描述
以前的状态数据，保存到Checkpoint检查点目录中，所以在代码中需要设置Checkpoint检查点目录：

完整演示代码如下：

执行结果如下：
在这里插入图片描述

运行应用程序，通过WEB UI界面可以发现，将以前状态保存到Checkpoint检查点目录中，更新时在读取。
在这里插入图片描述
此外， updateStateByKey函数有很多重载方法，依据不同业务需求选择合适的方式使用。

SparkStreaming中提供一些列窗口函数，方便对窗口数据进行分析，文档：
http://spark.apache.org/docs/2.4.5/streaming-programming-guide.html#window-operations
在实际项目中，很多时候需求：每隔一段时间统计最近数据状态，并不是对所有数据进行统计，称为趋势统计或者窗口统计， SparkStreaming中提供相关函数实现功能，业务逻辑如下：
在这里插入图片描述
针对用户百度搜索日志数据，实现【近期时间内热搜Top10】，统计最近一段时间范围（比如，最近半个小时或最近2个小时）内用户搜索词次数，获取Top10搜索词及次数。

窗口函数【window】声明如下，包含两个参数：窗口大小（WindowInterval，每次统计数据范围）和滑动大小（每隔多久统计一次），都必须是批处理时间间隔BatchInterval整数倍。
在这里插入图片描述
案例完整实现代码如下，为了演示方便，假设BatchInterval为2秒， WindowInterval为4秒， SlideInterval为2秒。

SparkStreaming中同时提供将窗口Window设置与聚合reduceByKey合在一起的函数，为了更加方便编程。

以上就是本篇文章【Spark Streaming系列-5、应用案例：百度搜索风云榜】的全部内容了，欢迎阅览！文章地址：http://dfvalve.xrbh.cn/news/6226.html
资讯企业新闻行情企业黄页同类资讯首页网站地图返回首页迅博思语资讯移动站 http://keant.xrbh.cn/ , 查看更多