统计外站的搜索关键词的词频
  
   通过外站的链接主要是百度，谷歌，soso等，每天都有通过记录在日志文件中，每天会运行程序进行统计。
每天产生有10多个文件，每个文件1G左右， 每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要按照解析query中的关键词，并对统计其频度，取出搜索次数最多的前1000个关键词。

第一次直接遍历所有文件并按照Map<String,Integer>方式来统计，统计差不多共有四千万条记录，词也有一百万多个，最后排序实现。方法简单，但也有很大的缺点，占用的内存太大，可能会将服务器弄垮掉。

    　
先不统计，利用外存处理，将分析出来的每一个关键词，取出第一个字符的哈希值%500，分别放进500个临时文件中，然后才对每个文件进行统计。

    以上就是本篇文章【统计外站的搜索关键词的词频】的全部内容了，欢迎阅览 ！ 文章地址：http://dfvalve.xrbh.cn/news/741.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 迅博思语资讯移动站 http://keant.xrbh.cn/ , 查看更多