【Datawhale 科大讯飞-基于论文摘要的文本分类与关键词抽取挑战赛】机器学习方法baseline

【Datawhale 科大讯飞-基于论文摘要的文本分类与关键词抽取挑战赛】机器学习方法baseline

2024-10-31 23:55

科大讯飞AI开发者大赛NLP赛道题目：
基于论文摘要的文本分类与关键词抽取挑战赛

【Datawhale 科大讯飞-基于论文摘要的文本分类与关键词抽取挑战赛】机器学习方法ba<em></em>seline

任务：
1.机器通过对论文摘要等信息的理解，判断该论文是否属于医学领域的文献。
2.提取出该论文关键词。

训练集：
这里读取title、abstract、author、keywords拼接在一起作为text，也就是输入数据。
在这里插入图片描述

这里将对应的文本token转化为vector，方便后面进行计算，这里的CountVectorizer()使用的是BOW模型，所以编码后的维度应该是词表的大小。

其中，train[‘text’]的shape是[6000,]
在这里插入图片描述
所以对应的train_vector的shape就是(6000, 67855)

test_vector是(2000, 67855)

这里使用的是逻辑回归的方法。本质上是在线性层上堆叠了一个非线性layer，sigmoid将最终结果scale到0-1之间，方便我们进行二分类任务。

用测试集进行验证。

提交结果，分数如下。
在这里插入图片描述

当然这还没完，之前的CountVectorizer()是基于BOW模型的。我们也可以基于 TF-IDF 进行提取。

TF 指 term frequence，即词频，指某个词在文章中出现次数与文章总次数的比值；

IDF 指 inverse document frequence，即逆文档频率，指包含某个词的文档数占语料库总文档数的比例

每个词最终的 IF-IDF 即为 TF 值乘以 IDF 值。计算出每个词的 TF-IDF 值后，使用 TF-IDF 计算得到的数值向量替代原文本即可实现基于 TF-IDF 的文本特征提取。