文本处理方法概述 - 迅博思语资讯移动站

文本处理方法概述

2024-10-31 19:42

说明：本篇以实践为主，理论部分会尽量给出参考链接

文本处理方法概述

摘要：
　　1.分词
　　2.关键词提取

　　3.主题模型（LDA/TWE）
　　4.词的两种表现形式（词袋模型和分布式词向量）
　　5.关于文本的特征工程
　　6.文本挖掘（文本分类，文本用户画像）

内容：

　　1.分词

　　分词是文本处理的第一步，词是语言的最基本单元，在后面的文本挖掘中无论是词袋表示还是词向量形式都是依赖于分词的，所以一个好的分词工具是非常重要的。
这里以python的jieba分词进行讲解分词的基本流程，在讲解之前还是想说一下jieba分词的整个工作流程:

图1是jieba切词函数的4个可能过程，图2是一个根据DAG图计算最大概率路径，具体的代码走读请参考jieba cut源码
讲了这么多，我们还是要回归到实践中去，看下jieba的分词接口

其中全模式切词不会发生图1中的第3,4步,也不会发现新词，是一种完全依赖于词典的分词方式
精确模式是会全部计算最大概率路径和新词发现的。

我们都知道分词最重要的是字典，所以jieba也提供了若干方法对词典进行设置：

　　2.关键词提取

文本被分词之后和数据处理一样，也会有如下两个问题：

其一，并不是所有的词都是有用的；其二，一个语料库的词量是非常大的，传统的文本挖掘方法又是基于向量空间模型表示的，所以这会造成数据过于稀疏。

为了解决这两个问题一般会进行停用词过滤和关键字提取，而后者现有基于频率的TF-IDF计算方法和基于图迭代的TextRank的计算方法两种。下面看看这两种方法是怎么工作的

这里TF表示词在文章中的重要性，因为我们知道一个文章的主题一多次出现；IDF表示词的区分度，因为专业词汇在整个语料库中出现越少，越能关联文章主题。具体来说就是信息熵越低。

图1是一个文章的上下文词构造的无向加权图（UWG）,图2是叶结点的权重迭代公式，其中d是阻尼系数。可见textRank认为一个节点如果入度多且权重大，那么这个节点越重要。

具体理论和代码走读参考：关键词抽取源码，TextRank: Bringing Order into Texts；下面我们就动手试试吧！

上面jieba的TFIDF是通过需要指定IDF文件预先指定词的IDF值的，同时textrank中比较重要的参数有一个上下文窗口。jieba通过了这两个方法让我们筛选出前多少个关键词。然而sklearn提供了一种构建文档词矩阵（稀疏矩阵）的方法，可以让我们直接构建文本训练集。

待续~~~