(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211078094.5
(22)申请日 2022.09.05
(71)申请人 齐鲁工业大学
地址 250353 山东省济南市长清区大 学路
3501号
(72)发明人 赵晶 吴栋林
(74)专利代理 机构 济南圣达知识产权代理有限
公司 372 21
专利代理师 李圣梅
(51)Int.Cl.
G06F 16/36(2019.01)
G06F 40/295(2020.01)
G06F 40/30(2020.01)
G16H 50/70(2018.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称
基于卷积四元数的逆向关系旋转嵌入知识
表示方法及系统
(57)摘要
本发明提供一种基于卷积四元数的逆向关
系旋转嵌入知识表示方法及系统, 涉及知识图谱
技术领域, 该方法包括: 将获取的知识图谱中三
元组的实体和关系映射到复数向量空间, 实体包
括头实体和尾实体, 每个关系定义为从头实体到
尾实体的旋转; 为头实体和尾实体生成嵌入向
量, 使得每个实体的嵌入具有两个向量, 并利用
逆关系嵌入函数, 增强两个向量之间的相互依赖
关系; 引入超复数表示来建模实体和关系, 并输
入至预设的卷积神经网络中进行得分预测和损
失修正, 得到三元组的嵌入知识表示。 通过该方
式, 可以使头实体与尾实体 之间具有丰富的语义
匹配, 提高知识图谱链接预测的准确性。
权利要求书2页 说明书8页 附图2页
CN 115481256 A
2022.12.16
CN 115481256 A
1.一种基于卷积四元 数的逆向关系旋转嵌入知识 表示方法, 其特 征在于, 包括:
将获取的知识图谱中三元组 的实体和关系映射到复数向量空间, 所述实体包括头实体
和尾实体, 每 个关系定义 为从头实体到尾实体的旋转;
为所述头实体和尾实体生成嵌入向量, 使得每个实体的嵌入具有两个向量, 两个向量
分别用来捕捉实体作为关系的头部和关系的尾部的行为, 并利用逆关系嵌入函数, 增强两
个向量之间的相互依赖关系;
引入超复数表示来建模实体和关系, 并输入至预设的卷积神经网络 中进行得分预测和
损失修正, 得到三元组的嵌入知识 表示。
2.如权利要求1所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在
于, 给定三元组(ei,r,ej), 其中, ei和ej为两个不同的实体, r为实体之间的关系; 使用he, te
分别用来捕捉 实体e作为关系的头部和关系的尾部的行为, 对于每个关系, 引入一个逆关系
向量r‑1, 通过逆关系嵌入函数的使用, 得到在三元组(ei,r,ej)上的评分函数fr(h,t):
其中,
为实体ei作为头实体,
为实体ei作为尾实体,
为实体ej作为头实体,
为实体ej作为尾实体,
表示Hadmard乘积。
3.如权利要求2所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在
于, 将头实体和尾实体映射到超复数 空间中, 得到三元组的嵌入知识表示; 将所述三元组的
嵌入知识表示输入至卷积神经网络的卷积层, 在所述卷积层中使用不同的过滤器提取三元
组的相同维度条目之 间的全局关系, 生成特征映射, 将多个特征映射连接成特征向量; 根据
所述特征向量确定三元组的得分。
4.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在
于, 将所述三元组的嵌入知识表示作为正例三元 组, 利用自对抗负采样生成负例三元组, 将
所述正例三元组和负例三元组输入至卷积神经网络进行 得分预测 和损失修 正。
5.如权利要求4所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在
于, 所述自对抗负采样从以下分布中抽取负三元组样本:
其中, α 为采样程度, 用于调整采样策略, p( ·)为概率;
将所述概率作为负 样本权重, 所述自对抗负采样的损失函数定义 为:
其中, γ是定值边缘超参数, σ 是sigmoid激活函数, (h ′j,r,t′j)表示第j个负例三元组,
(h′i,r,t′i)表示第i个负例三元组, 负例三元组是由正例三元组通过头实体或者尾实体被
随机替换构成的。
6.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在
于, 使用四元数逆向关系嵌入过程中训练多次构成的三元组矩阵来初始 化实体和关系的嵌
入, 并且通过 卷积运算训练三元组矩阵, 用于对抽取的三元组进行 得分预测 和损失修 正。
7.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法, 其特征在权 利 要 求 书 1/2 页
2
CN 115481256 A
2于, 三元组的得分函数定义 为:
fr(h,r,t)=co ncat(g([h,r,t]*Ω) )·W;
其中, g表示ReLU激活函数, h表示头实体, t表示尾实体, r表示实体之间的关系, Ω与W
为共享超参数, *表示卷积运 算符, concat表示串联运 算符;
使用Adam优化器不断更新参数, 并通正则化最小化损失函数L对卷积神经网络进行训
练:
其中, λ是
的权重, S与S ′分别表示正例三元组与负例三元组的集合, 正例三元组
与负例三元组决定 了l(h,r,t)的取值, 其中:
8.一种基于卷积四元 数的逆向关系旋转嵌入知识 表示系统, 其特 征在于, 包括:
关系映射模块, 用于将获取的知识图谱中三元组的实体和关系映射到复数向量空间,
所述实体包括头实体和尾实体, 每 个关系定义 为从头实体到尾实体的旋转;
向量生成模块, 用于为所述头实体和尾实体生成嵌入向量, 使得每个实体的嵌入具有
两个向量, 两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为, 并利用逆关
系嵌入函数, 增强两个向量之间的相互依赖关系;
得分预测模块, 用于引入超复数表示来建模实体和关系, 并输入至预设的卷积神经网
络中进行 得分预测 和损失修 正, 得到三元组的嵌入知识 表示。
9.一种计算机设备, 其特征在于, 包括: 处理器、 存储器和总线, 所述存储器存储有所述
处理器可执行 的机器可读指令, 当计算机设备运行时, 所述处理器与所述存储器之间通过
总线通信, 所述机器可读指 令被所述处理器执行时执行如权利要求 1至7任一项 所述的基于
卷积四元 数的逆向关系旋转嵌入知识 表示方法的步骤。
10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机
程序, 所述计算机程序被处理器运行时执行如权利要求 1至7任一项 所述的基于卷积四元数
的逆向关系旋转嵌入知识 表示方法的步骤。权 利 要 求 书 2/2 页
3
CN 115481256 A
3
专利 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-03-03 12:13:55上传分享