(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211198214.5 (22)申请日 2022.09.29 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 胡宗海　岳潭　覃杰栋　史绪钊　 范子娇　杨远洋　姜媛　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 岳燕敏 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/284(2020.01) G06F 40/289(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于预训练编码器的论文细粒度化多标签 标注方法及装置 (57)摘要 本发明提供一种基于预训练编码器的论文 细粒度化多标签标注方法及装置， 该方法包括： 获取待标注的文本数据， 对文本数据进行预处 理； 基于TF ‑IDF算法对预处理后的文本 数据进行 向量化处理， 得到文本数据的表示向量， 基于表 示向量对预处理后的文本数据进行聚类， 得到第 一聚类结果， 基于第一聚类结果及文本数据中的 各特征词的TF ‑IDF权重确定中心词； 将预处理后 的文本数据输入至训练好的深度学习网络模型 中得到文本特征向量， 基于文本特征向量对预处 理后的文本数据进行聚类， 得到第二聚类结果； 基于中心词和第二聚类结果得到校对后的最终 聚类结果， 基于最终聚类结果对文本数据进行多 标签标注。 该方法及装置提高了论文细粒度化多 标签标注的效率及准确度。 权利要求书2页 说明书8页 附图2页 CN 115269855 A 2022.11.01 CN 115269855 A 1.一种基于预训练编码器的论文细粒度化多标签标注方法， 其特征在于， 所述方法包 括： 获取待标注的文本数据， 并对所述文本数据进行 预处理； 基于TF‑IDF算法对预处理后的文本数据进行向量化处理， 得到文本数据的表示向量， 基于文本数据的所述表示向量对预处理后的文本数据进行聚类， 得到第一聚类结果， 基于 所述第一聚类结果及所述文本数据中的各 特征词的TF ‑IDF权重确定中心词； 将所述预处理后的文本数据输入至训练好的深度 学习网络模型中得到文本特征向量， 基于所述文本特 征向量对所述预处 理后的文本数据进行聚类， 得到第二聚类结果； 基于确定的所述中心词和所述第 二聚类结果得到校对后的最终聚类结果， 基于所述最 终聚类结果对所述文本数据进行多标签标注。 2.根据权利要求1所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 所述深度学习网络模 型包括GoogleNews词嵌入模 型、 卷积层、 池化层、 第一全 连接层、 Dropout层以及第二全连接层。 3.根据权利要求1所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 基于所述第一聚类结果及所述文本数据中的各特征词的TF ‑IDF权重确 定中心词， 包 括： 基于各特征词的TF ‑IDF权重对所述各 特征词进行重要性 排序； 基于排序结果确定 重要特征词； 基于word2vec算法计算各重要特 征词之间的关联度； 基于关联度计算结果确定中心词。 4.根据权利要求1所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 基于确定的所述中心词和所述第二聚类结果得到校对后的最终聚类结果， 包括： 基于确定的所述中心词通过反向梯度求导方法和聚类样本相似度计算方法从所述第 二聚类结果中确定包 含部分或全部中心词的类别作为保留类别； 基于所述保留类别中的中心词作为类别标签对所述文本特征向量进行聚类分析得到 最终聚类结果。 5.根据权利要求1所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 所述方法还 包括： 生成训练样本集， 所述训练样本集中包括多个样本数据， 各样本数据包括文本数据以 及其对应的多标签信息； 基于所述训练样本集中的样本数据对初始 的深度学习网络模型进行预训练得到训练 好的深度学习网络模型。 6.根据权利要求2所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 所述卷积层为一 维卷积， 所述Dr opout层的比例为0.5， 所述两层全连接层的神经元数 量均为300， 且第一全连接层 采用的激活函数为 Relu激活函数， 第二全连接层所采用的激活 函数为sigmo id函数。 7.根据权利要求1所述的基于预训练编码器的论文细粒度化多标签标注方法， 其特征 在于， 对所述文本数据进行 预处理， 包括： 基于JIEBA框架对文本数据进行中文分词；权　利　要　求　书 1/2 页 2 CN 115269855 A 2基于NLTK框架对文本数据进行英文分词； 去除分词后的文本数据中的停用词。 8.根据权利要求1至7中任意一项所述的基于预训练编码器的论文细粒度化多标签标 注方法， 其特 征在于， 所述文本数据为科技 论文文本数据。 9.一种基于预训练编码器的论文细粒度化多标签自动标注系统， 该系统包括处理器和 存储器， 其特征在于， 所述存储器中存储有计算机指令， 所述处理器用于执行所述存储器中 存储的计算机指 令， 当所述计算机指 令被处理器执行时该系统实现如权利要求 1至8中任意 一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至8中任意 一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115269855 A 3