(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896384.4 (22)申请日 2022.07.28 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 庞宁　赵翔　肖卫东　葛斌　 胡艳丽　谭真　张翀　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种融合原型知识的关系抽取方法 (57)摘要 本发明公开了一种融合原型知识的关系抽 取方法， 在输入层， 输入训练样本； 在编码层， 利 用预训练语言模 型， 对关系所涉及的头尾实体进 行符号标记， 并将标记所对应的隐藏层向量串 联 作为句子编码向量； 在原型向量层， 首先初始化 各关系的原型向量， 然后通过对比学习， 最小化 样本与其对应 关系的原型向量之间的距离， 最大 化样本与其他关系类别的原型向量之间的距离， 学习更新各关系的原型向量， 获得原型知识； 在 记忆融合层， 通过多头自注意力的方法， 将原型 知识融合到当前样本的编码向量中， 用于特征增 强； 在输出层， 通过一个多分类器根据融合了原 型知识的句子编码向量对实体之间的关系进行 分类预测。 权利要求书2页 说明书6页 附图2页 CN 115270761 A 2022.11.01 CN 115270761 A 1.一种融合原型知识的关系抽取 方法， 其特 征在于， 包括以下步骤： 步骤1， 在输入层， 输入训练样本； 步骤2， 在编码层， 利用预训练语言模型， 对关系所涉及的头尾实体进行符号标记， 并将 标记所对应的隐藏层向量串联作为句子编码向量； 步骤3， 在原型向量层， 首先初始化各关系的原型向量， 然后通过对比学习， 最小化样本 与其对应关系的原型向量之间的距离， 最大化样本与其他关系类别的原型向量之间的距 离， 学习更新各关系的原型向量， 获得原型知识； 步骤4， 在记忆融合层， 通过多头自注意力的方法， 将原型知识融合到当前样本的编码 向量中， 用于特 征增强； 步骤5， 在输出层， 通过一个多分类器根据融合了原型知识的句子编码向量对实体之间 的关系进行分类预测。 2.根据权利要求1所述的一种融合原型知识的关系抽取方法， 其特征在于， 在步骤2中， 对于将输入的文本句子在头尾实体前后加入标志符[E1]， [/E1]， [E2]， [/E2]， 分别表示头 实 体的开始与结束和尾实体的开始与结束， 句子表示 为： s′＝{[CLS]， w1， ...， wi‑2， [E1]， wi， ...， wj， [/E1]， ...， [E2]， wk， ...， wl， [/E2]， ...， wn， [SEP]} 其中， 符号[CLS]和[SEP]表示句子的开始与结束， wi表示文本的第i个词， 将句子输入到 预训练语言模型中， 得到句子的隐藏层向量序列： 将标识符[E1]和[E2]对应的隐藏层向量串联输入到一个全连接层 中， h[CLS]， h[SEP]表示 字符[CLS]和[SEP]所对应的隐藏层状态， hi表示词wi所对应的隐藏层状态， 表示头尾实体开始与结束标志符对应的隐藏层状态， 获得 最终的句子特 征向量： 其中， W和b是 可训练的参数， [： ]表示 一个拼接操作， 设定特 征向量s的向量维度为d。 3.根据权利要求2所述的一种融合原型知识的关系抽取方法， 其特征在于， 在步骤3 中， 所述原型向量层首先初始化一个原型向量集合P＝{p1， p2， ...， pn}， 其中pi表示第i个关系 类别的原型知识， 共有n个关系类别； 然后， 通过对比学习更新原型向量集合， 更新的原则 是， 各关系的原型向量pi在向量空间中， 应与其所属类别的全部句子的特征向量相近， 与其 他类别句子的特 征向量远离； 首先构造训练样本集合， 给定一组句子特征向量{s1， s2， ...， sB}， B表示一组句子特征 向量集合的基数， 所述训练样本集合由若干句子 ‑原型对构成， 对于一个属于关系类别j的 句子特征向量si， 则其正例句子 ‑原型对为(si， pj)， 负例句子 ‑原型样本对表示为{(si， pr)|1 ≤r≤n， r≠j}。 接着， 对所述原型向量进行更新优化， 基本思想为在向量空间中， 使训练样本对中的正 例距离最小化， 训练样本中的负例距离最大化， 定义以下损失函数：权　利　要　求　书 1/2 页 2 CN 115270761 A 2其中， d(， )表示距离函数， 定义 为： 4.根据权利要求3所述的一种融合原型知识的关系抽取方法， 其特征在于， 在步骤4中， 所述记忆融合层通过多头自注意力机制将原型向量作为记忆知识， 融合到 当前的句子特征 向量中； 首先， 设定有M个注意力头， 对所述句子特 征向量s， 进行自注意力运 算， 得到： 其中， qi为特征向量s的线性变化， Ki和Vi为原型向量集合P的线性变化， 为了从多视角 获得相关信息， 将多头注意力所 得到的隐藏特 征进行汇聚， 得到： 其中， W1为可训练的参数， 表示经过自注意力层运算汇聚后的特征向量， xi表示第i个 注意力头运 算后的特 征向量， M表示注意力头数， LayerN orm(·)为一个归一 化操作函数； 最后， 使用一个特征结合器将所述原型知识与所述当前句子特征向量进行融合， 特征 结合器由一个全连接层构成， 通过参数学习， 动态调整两种特征的结合 强度， 融合过程表 示 为： 其中， ω2和b2为可训练的参数， 表示融合了原型知识的句子特 征向量。 5.根据权利要求4所述的一种融合原型知识的关系抽取方法， 其特征在于， 在步骤5 中， 所述输出层根据所述融合了原型知识的句子特征向量 通过一个多分类器， 确定所述关系 类别： 其中， ωo和bo是可训练的参数， Θ为所有训练参数的集合， 表示 属于类别r 的概率。 6.根据权利要求5所述的一种融合原型知识的关系抽取方法， 其特征在于， 在输出层定 义损失函数为交叉熵损失函数： 其中， I(r＝r*)表示一个指示 函数， 当r为 的真实类别r*时为1， 否则为0 。权　利　要　求　书 2/2 页 3 CN 115270761 A 3