(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082664.8 (22)申请日 2022.09.06 (71)申请人 中国人民解 放军军事科学院系统工 程研究院 地址 100141 北京市丰台区丰 体南路2号院 (72)发明人 肖刚　杨健　韩君妹　黄伟春　 袁皓　 (74)专利代理 机构 北京融智邦 达知识产权代理 事务所(普通 合伙) 11885 专利代理师 吴强 (51)Int.Cl. G06N 5/04(2006.01) G06N 5/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06F 16/36(2019.01) G06F 40/30(2020.01) (54)发明名称 一种预训练语言模型构建方法、 系统及装置 (57)摘要 本发明提供了一种预训练语言模型构建方 法、 系统及装置， 涉及人工智 能技术及语义处理 领域， 所述方法主要包括： 基于知 识图谱， 构建以 三元组为节 点单元的子图； 基于实体和关系的描 述文本， 通过常规预训练语言模型对二者编码， 得到实体表 示向量及关系表示向量； 针对所述子 图对应的实体表示向量及关系表 示向量， 基于图 自注意力神经网络建模关系信息， 通过预测链接 任务更新所述图神经网络及实体向量的参数； 基 于对比学习技术更新模型的参数； 针对具体任务 微调模型的参数。 本方案克服了装 备领域实体稀 疏， 常规预训练语 言模型无法充分学习实体语义 的问题， 更新后的预训练语言模 型在装备领域场 景运用中具 备了更好的理解能力和推理能力。 权利要求书2页 说明书7页 附图4页 CN 115423105 A 2022.12.02 CN 115423105 A 1.一种预训练语言模型构建方法， 其特征在于， 包括： 基于知识图谱， 构建 以三元组为 节点单元的子图； 基于实体和关系， 通过预训练语言模型对二者编 码， 得到实体表示向量及 关系表示向量； 基于图自注意力神经网络建模关系信息， 并通过预测链接任务的方式更新 所述图自注意力神经网络以及实体表示向量的参数； 通过对比学习方式更新所述预训练语 言模型的参数， 得到二级预训练语言模型； 针对具体任务微调所述二级预训练语言模型 的 参数， 得到领域预训练语言模型。 2.根据权利要求1所述的预训练语言模型构建方法， 其特征在于， 所述三元组是由头实 体、 关系及尾实体结合而成， 所述关系是指头实体与尾实体之间的联系。 3.根据权利要求1所述的预训练语言模型构建方法， 其特征在于， 预训练语言模型包括 词表、 分词表示向量 参数以及模型参数： 所述词表用于记录基本语义单元， 所述预训练语言模型依据所述词表将输入文本拆分 成若干子词作为输入序列； 所述分词表示向量 参数用于将所述子词投影成初始 表示向量； 所述模型参数用于对所述初始 表示向量进行编码层运 算， 得到最终表示向量。 4.根据权利要求3所述的输入序列， 其特征在于， 将输入序列中最后 一个语义单元所对 应的最终表示向量作为实体表示向量及关系表示向量。 5.根据权利要求1所述的图自注意力神经网络， 其特征在于， 所述图自注意力神经网络 由两层图自注意力层构成， 每层图自注意力层包括线性变化层和双头自注意力层。 6.根据权利要求1所述的图自注意力神经网络， 其特征在于， 包括： 在训练所述图自注 意力神经网络时， 对训练数据中的三元组评 分， 正确的三元 组赋值高分， 错误的三元组赋值 低分； 基于交叉熵损失函数， 通过预测链接任务的方式计算损失值； 通过最小化所述损失值 以及梯度下降方式更新所述图自注意力神经网络的参数。 7.根据权利要求1所述的预训练语言模型构建方法， 其特征在于， 所述对比学习方式包 括： 构建包括文本指称项、 正例和负例的训练数据， 所述文本指称项为与实体同名的字符 串， 所述正例为与所述文本指称项表达相同语义的实体， 所述负例为与所述文本指称项表 达不同语义的实体； 通过损失函数运 算， 更新预训练语言模型参数。 8.根据权利要求7所述的损失函数， 其特征在于， 所述损失函数是三元组边际损失函 数， 函数变量包括文本指称项表示向量、 正例表示向量和负例表示向量。 9.一种用于权利要求1～8任一所述预训练语言模型构建方法的预训练语言模型构建 装置， 其特征在于， 所述装置包括处理器、 存储器、 总线， 所述存储器存储可由处理器读取的 指令及数据； 所述处理器用于调用所述存储器中的指令及数据； 所述总线连接各功 能部件 之间传送信息 。 10.一种预训练语言模型构建系统， 其特征在于， 包括数据接收模块、 数据处理模块和 模型输出模块： 所述数据接收模块， 用于 接收实体数据和关系数据； 所述数据处理模块， 包括构建子图单元、 预训练语言模型单元、 图自注意力神经网络单 元、 对比学习单 元和微调单 元： 所述构建子图单 元， 基于实体数据和关系数据， 构建以三元组为节点单 元的子图； 所述预训练语言模型单元， 存储预训练语言模型， 并通过所述预训练语言模型对实体权　利　要　求　书 1/2 页 2 CN 115423105 A 2数据和关系数据分别进行编码， 生成实体表示向量和关系表示向量； 所述图自注意力神经网络单元， 针对所述子 图对应的实体表示向量和关系表示向量， 编码关系表示向量， 并通过预测链接任务更新所述图自注意力神经网络及实体表示向量的 参数； 所述对比学习单元， 基于损 失函数， 通过计算所述损 失函数的方式更新所述预训练语 言模型参数， 得到二级预训练语言模型； 所述微调单元， 基于具体任务， 对所述二级预训练语言模型参数进行微调， 得到领域预 训练语言模型， 并发送至模型输出模块； 所述模型输出模块， 用于 输出所述领域预训练语言模型。权　利　要　求　书 2/2 页 3 CN 115423105 A 3