前面几篇写了相似度计算和话题模型，都是怎么找到相似的文章。2篇文章用各种方法向量化，然后余弦计算相似度，或者同在一个话题的2篇文章，把一整篇文章切成很多很多的词，有的模型或算法还要尽量在词多的情况下计算才准确。
人类有归纳总结的能力，看了一篇英超曼城对曼联比赛的报道，会总结几个出几个关键词，英超 曼联 曼城 得比，看了关键词就能知道这篇文章大概的内容，如果机器也能做到，那该多好啊！！！能，当然能，就是今天要介绍的关键词提取。
关键词提取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。在文献检索领域，依然可以在论文中看到关键词这一项。
关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的几篇文档看成一个团簇，可以大大提高聚类算法的收敛速度；从某天所有的新闻中提取出这些新闻的关键词，就可以大致了解那天发生了什么事情；或者将某段时间内几个人的微博拼成一篇长文本，然后抽取关键词就可以知道他们主要在讨论什么话题。
算法上分为2种，有监督和无监督，有监督算法需要标注数据，人工成本很大，今天我主要说的是无监督算法。
无监督提取关键词算法有很多，今天讲TF-IDF,TEXTRANK提取关键词。
前面我介绍过TF-IDF模型，怎么提取关键词呢？取整篇文章切词后TF-IDF值最高的N个词做为这篇文章的关键词！很简单吧，就是这么简单！。
TextRank算法是由google的PageRank算法转化而来的。PR(PageRank简称，下同)算法简单点说2句话，一个网页被很多网页链接时，排名就好；排名高的网页权重更高。一个网页的排名是由链接这个网页的数量及质量(排名的高低)决定的。
PR公式
TextRank公式
TextRank中没有链接的概念，用窗口来代替链接的概念，窗口就是词距，一般取5，表示与某个词的词距不大于5的集合。
TF-IDF和TextRank算法原理都不难，也有很多实现，我这次主要用jieba来实现这2种算法。
代码见https://github.com/worry1613/csdn-blog-recommend/blob/master/code/keyword.py ,jupyter上也有，在jupyter目录下。我说一下最后的结论吧：
1.和文章作者人工写的标签相比，不管是TF-IDF,还是TEXTRANK提取关键词的效果都不好，达到我个人认为还行的标准的比例也就在10%左右，100篇也就有10篇左右用算法提取的关键词还行，如果是100W篇的话，能不能达到10%还未知。
2.算法提取的关键词中，有很少的词有意义，剩下的几个大部分都无意义。
3.英文词，甚至代码中的关键词被提取出来。
下面我取出了其中的一小部分，用户标签|| TF-IDF标签 || TEXTRANK标签。
点击拨打：