(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210884187.0 (22)申请日 2022.07.25 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号齐鲁工业大学 (72)发明人 鹿文鹏　阚保硕　张维玉　乔新晓　 郑超群　马凤英　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙园园 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/169(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 基于记忆增强机制的词义消歧方法和装置 (57)摘要 本发明公开了一种基于记忆增强机制的词 义消歧方法和装置， 属于人工智 能领域。 本发明 要解决的技术问题为如何对给定上下文中的歧 义词进行词义消歧， 采用的技术方案为： 通过构 建并训练由上下文编码器模块、 词义注释编码器 模块、 记忆增强模块、 预测模块组成的词义消歧 模型， 实现对上下文编码、 对目标歧义词的候选 词义注释编码， 通过存储同一上下文中其他歧义 词消歧后的词义注释并进行交互来增强当前目 标歧义词的表 示， 最后通过计算目标歧义词与其 候选词义注释的匹配度得分， 以达到对歧义词进 行词义消歧的目标。 该装置包括上下文编码器模 块构建单元、 词义注释编码器模块构建单元、 记 忆增强模块构建单元、 预测模块构建单元、 词义 消歧模型训练单 元。 权利要求书4页 说明书12页 附图2页 CN 115204112 A 2022.10.18 CN 115204112 A 1.一种基于记忆增强机制的词义消歧方法， 其特征在于， 该方法是通过构建并训练由 上下文编码器模块、 词义注释编码器模块、 记忆增强模块、 预测模块组成的词义消歧模型， 实现对上下文编码、 对目标歧义词的候选词义注释编码， 通过存储同一上下文中其他歧义 词消歧后的词义注释并进 行交互来增强当前目标歧义词的表示， 最后通过计算目标歧义词 与其候选词义注释的匹配度得分， 以达 到对歧义词进行词义消歧的目标； 具体如下： 上下文编码器模块首先接收给定的上下文作为输入， 将其送入预训练语言模型BERT中 进行编码， 得到上 下文的编码表示； 词义注释编码器模块首先接收目标歧义词对应的候选词义注释作为输入， 将其送入预 训练语言模型BERT中进行编码， 得到候选词义注释的编码表示； 记忆增强模块接收来自预测模块的同一上下文的其他歧义词消歧后的词义注释 的编 码表示和 来自上下文编码器的上下文的编码表示作为输入， 通过注意力机制等操作， 得到 的目标歧义词的增强表示； 预测模块将词义注释编码器模块得到的候选词义注释的编码表示和记忆模块得到的 目标歧义词的增强表示作为预测模块的输入， 以此来预测目标歧义词的词义注释， 进而判 断歧义词的正确词义。 2.根据权利要求1所述的基于记忆增强机制的词义消歧方法， 其特征在于， 所述上下文 编码器模块的构建过程具体如下， 包括： 将给定的上下文C＝{ c1,c2,...,cw,...,cn}作为上下文编码器模块的输入， 其中c1,c2, cn代表上下文中的单词， cw代表目标歧义词； 在上下文前后分别加入特定的开始符CLS和结 束符SEP； 将上 下文送入BERT 进行编码， 得到上 下文的编码表示， 记为 公式描述如下： C＝{CLS,c1,c2,...,cw,...,cn,SEP}                 (1) 其中， 公式(1)表示在上下文C前后分别加入特定的开始符CLS、 结束符SEP； 公式(2)表 示利用BERT 模型对上下文C进行编码； 表示上下文的编码表示； 表示上下文中的第i个单 词对应的编码表示； 为目标歧义词的编码表示。 3.根据权利要求2所述的基于记忆增强机制的词义消歧方法， 其特征在于， 所述词义注 释编码器模块的构建过程具体如下： 目标歧义词cw对应的候选词 义注释为 其中 代表目标歧义词 cw对应的第i个候选词义注释， 每个候选词义注释都是一个完整的句子； 在每个候选词义注 释的前后 分别加入特定的开始符CLS和结束符SEP， 此操作与上下文编码器模块对上下文C 的处理方式一致， 在此不再做公式说明； 在添加特定符号后， 将 每个候选词义注释送入BERT 进行编码， 选择特定的开始符号CLS位置的编码表示作为候选词义注释的编码表示， 记为 公式描述如下： 其中， 公式(4)表示使用BERT模型对目标歧义词cw对应的第i个候选词义注释 进行编权　利　要　求　书 1/4 页 2 CN 115204112 A 2码； CLS表 示对添加特定的开始符CLS和结束符S EP后的每个候选词义注释编码后取CLS位置 的编码表示作为每 个候选词义注释的编码表示； 表示候选词义注释 的编码表示。 4.根据权利要求3所述的基于记忆增强机制的词义消歧方法， 其特征在于， 所述记忆增 强模块用于构建存 储器、 构建交叉注意力层： 构建存储器， 存储器用来存储已经完成预测的同一上下文的其他歧义词消歧后的词义 注释的编 码表示； 存储器中的同一上下文的其他歧义词消歧后的词义注释的编 码表示统称 为记忆编码表示， 记为M， 公式描述如下： 其中， 公式(5)表示存储同一上下文的其他歧义词消歧后的词义注释的编码表示； M表 示记忆编码表示； 表示在存储器中的每一个词义注释的编码表示； cx表示给定上下文中 的第x个歧义词； y表示第x个歧义词的第y个候选词义； 记忆编码表示被送入门控循环单元GRU得到重构的记忆编码表示， 将重构的记忆编码 表示与记 忆编码表示相加得到更新后的记 忆编码表示， 记为 公式描述如下： 其中， M表示记忆编码表示； GRU表示门控循环单元； 表示相加； 表示更新后的记忆 编码表示； 构建交叉注意力层， 交叉注意力层进一步处理存储器所得到的更新后的记忆编码表示 将来自上下文编码器的上下文编码表示 与更新后的记忆编码表示 进行拼接得到目 标歧义词的辅助信息表示， 记为V， 公式描述如下： 其中， V表示 目标歧义词的辅助信息表示； 表示上下文编码表示， 来自公式(2)； 表 示更新后的记 忆编码表示， 来自公式(6)； 将得到的目标歧义词的辅助信息表示V与目标歧义词的编码表示 送入交叉注意力机 制和目标歧义词的编码表示相加得到目标歧义词的增强表示 公式描述如下： 其中， 表示目标歧义词的增强表示； f( ·)表示全连接函数； CA( ·)表示交叉注意力 机制； LN(·)表示层归一 化函数； 表示目标歧义词的编码表示。 5.根据权利要求4所述的基于记忆增强机制的词义消歧方法， 其特征在于， 所述预测模 块构建过程如下： 将词义注释编码器模块得到的候选词义注释的编码表示和记忆模块得到的目标歧义 词的增强表示， 作为预测模块的输入； 在预测模块中， 每一个候选词义注释的编码表示 与 目标歧义词的增强表示 进行点乘操作， 作为两者的匹配得分， 公式描述如下： 其中，·代表点乘操作； 表示目标歧义词cw的第i个候选词义； i的取值范围为目标歧权　利　要　求　书 2/4 页 3 CN 115204112 A 3