(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211235989.5 (22)申请日 2022.10.10 (71)申请人 延边大学 地址 133002 吉林省延边朝鲜 族自治州延 吉市公园路97 7号 (72)发明人 赵亚慧　姜克鑫　金国哲　崔荣一　 张振国　李德　王苑儒　刘帆　 鲁雅鑫　夏明会　赵晓辉　任一平　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 张焱 (51)Int.Cl. G06N 5/02(2006.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于知识增强的文本匹配方法及系统 (57)摘要 本申请公开了一种基于知识增强的文本匹 配方法及系统， 包括以下步骤： S1、 采集外部知 识； S2、 采用预训练语言模型获取文本的词向量 和外部知识的词向量； S3、 将外部知识的词向量 与文本的词向量输入至文本匹配模块， 获得文本 特征向量与知识特征向量； S4、 将文本特征向量 与知识特征向量进行融合， 通过线性层进行分 类， 完成匹配。 在文本匹配模块采用交叉注意力 进行首次交互， 双向注意力进行二次交互以达到 深度交互的效果。 采用的融合函数在一定程度上 消除了知识引入的噪声。 相较于不加入外部知识 的模型， 本申请方法在准确率上均有提高， 加入 外部知识对 模型的整体性能起到 了促进作用。 权利要求书2页 说明书12页 附图2页 CN 115456176 A 2022.12.09 CN 115456176 A 1.一种基于知识增强的文本匹配方法， 其特 征在于， 包括以下步骤： S1、 采集外 部知识； S2、 采用预训练语言模型获取文本的词向量和所述外 部知识的词向量； S3、 将所述外部知识 的词向量与所述文本的词向量输入至文本匹配模块， 获得文本特 征向量与知识特 征向量； S4、 将所述文本特征向量与所述知识特征向量进行融合， 通过线性层进行分类， 完成匹 配。 2.根据权利要求1所述基于知识增强的文本匹配方法， 其特征在于， 从维基百科中获取 单词释义作为所述外 部知识。 3.根据权利要求1所述基于知识增强的文本匹配方法， 其特征在于， 所述预训练语言模 型采用BERT和ELMo进行词嵌入。 4.根据权利要求1所述基于知识增强的文本匹配方法， 其特征在于， 所述文本匹配模块 包括编码层、 交叉注意力层、 聚合层、 双向注意力层和池化层； 所述编码层用于获取 所述文本词向量和所述外 部知识词向量进行编码； 所述交叉注意力层用于对编码后的所述文本进行 首次交互； 所述聚合层用于聚合所述交叉注意力前后的三个视角； 所述双向注意力层用于对聚合后的所述文本进行二次交 互； 所述池化层用于获取 所述文本特 征向量和所述知识特 征向量。 5.根据权利要求4所述基于知识增强的文本匹配方法， 其特征在于， 采用最大池化和平 均池化来获取特征， 将所述最大池化输出和所述平均池化输出直接拼接， 获得所述文本特 征向量和所述知识特 征向量。 6.根据权利要求1所述基于知识增强的文本匹配方法， 其特征在于， 采用基于门控机制 的方法融合所述文本特 征向量和所述知识特 征向量。 7.根据权利要求6所述基于知识增强的文本匹配方法， 其特征在于， 所述基于门控机制 的融合方法包括： g＝sigmo id(W2[x； y； x⊙y； x‑y]) 式中， z表示文本和知识融合的结果， g表示融合比例， W1和W2表示可训练的参数矩阵， x 和y分别是文本语义信 息和知识语义信息； ⊙表示元素级乘法， 表示文本和知识聚合的结 果。 8.一种基于知识增强的文本匹配系统， 其特征在于， 包括： 外部知识获取单元、 文本处 理单元、 特征向量获取 单元和融合单 元； 所述外部知识获取 单元用于采集外 部知识； 所述文本处理单元用于采用预训练语言模型获取文本的词向量和所述外部知识的词 向量； 所述特征向量获取 单元用于获得文本特 征向量与知识特 征向量；权　利　要　求　书 1/2 页 2 CN 115456176 A 2所述融合单 元用于融合所述文本特 征向量与所述知识特 征向量， 完成匹配。权　利　要　求　书 2/2 页 3 CN 115456176 A 3