(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213861.9 (22)申请日 2022.09.30 (71)申请人 内蒙古财经 大学 地址 010070 内蒙古自治区呼和浩特市回 民区北二环185号 (72)发明人 阿雅娜　卜范玉　 (74)专利代理 机构 西安汇智创想知识产权代理 有限公司 61247 专利代理师 李彦 (51)Int.Cl. G06F 40/258(2020.01) G06F 40/186(2020.01) G06F 40/30(2020.01) G06F 40/211(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种神经网络标题生成模型 (57)摘要 本发明涉及自然语 言处理技术领域， 更具体 而言， 涉及一种神经网络标题生成模型。 包括： 富 信息词向量层； 节点间交互注意力层； 节点内交 互注意力层； 节点选择层； 解码层。 本发 明创造性 地提出将基础神经网络模型所生成的采样结果 当做软模板， 辅助神经网络标题生成的建模。 采 用本文进行的改进， 可以避免调用额外的信息检 索库， 以及人工设计数据清洗规则。 本发明可 以 在不需要任何训练数据的前提下， 保证摘要的简 洁性和连贯 性。 权利要求书3页 说明书6页 附图1页 CN 115496061 A 2022.12.20 CN 115496061 A 1.一种神经网络标题生成模型， 其特 征在于： 包括： 富信息词向量层； 节点间交 互注意力层； 节点内交 互注意力层； 节点选择层； 解码层； 端到端的训练。 2.根据权利要求1所述的一种神经网络标题生成模型,其特征在于： 所述富信 息词向量 层的构建方法包括： S1： 选定一篇包含M个词的新闻文档x＝(x1,…,xi,…,xM)、 与所述文档相对应的包含N 个词的标题y＝(y1,…,yj,…,yN)和K个由基础神经网络标题 生成模型采样生 成的相应模板 z＝[z1,…,zk,…,zK]， 其中第k个模板包 含 个词； S2： 将文档和每 个模板组成对， 将文档模板对<x,zk>视作一个节点； S3： 采用预训练的语言模型来获得 所有节点中每 个词对应的词表示； S4： 获得的富信息词向量Hk， 通过公式(1)计算： 其中 和 分别表示“[CLS]”和“[SEP]”。 3.根据权利要求2所述的一种神经网络标题生成模型,其特征在于： 所述节点间交互注 意力层的构建方法包括： 首先计算 与第p个节点中的第j个词的初始表示相关的交互注意力权重 通过 公式(2)计算： 其中WInter代表权重矩阵； 则第k个节点中的第i个词的表示聚合了来自第p个节点的信息， 通过公式(3)计算： 根据上述公式， 进一 步构建第k节点与第p节点相关的向量表示， 通过公式(4)计算： 4.根据权利要求1所述的一种神经网络标题生成模型,其特征在于： 所述节点选择层的 构建方法包括： S1： 计算文档 ‑模板匹配矩阵Mk， 表明第k个节点中源文档和模板间的匹配度， 对于Mk中 的每个元素 使用第i个源文档词和第j个模板词的富信息词向量进行计算， 通过公式 (5)计算： 权　利　要　求　书 1/3 页 2 CN 115496061 A 2其中WIntra表示权重矩阵； S2： 获取源文档词与模板词相关的注意力分数 模板词与源文档词相关的注意力分 数 分别通过公式(6)和(7)： S3： 源文章和软模板的相关向量分别通过公式(8)和公式(9)计算： 5.根据权利要求1所述的一种神经网络标题生成模型,其特 征在于： 节点选择层旨在控制第k个节点的最终细 粒度节点表示Gk中Gp→k的比例， 通过公式(10) 计算： 其中 表示元素乘法， ； 表示级联操作， 给定节点选择注意力分数γk， 第k个节点的第i个 词的最终细粒度通过公式(1 1)计算： 根据上述公式， 第k个节点 通过公式(12)计算： 6.根据权利要求1所述的一种神经网络标题生成模型,其特征在于： 选择Transformer 解码器来逐字解码输出 标题， 解码输出 标题中第j个词的条件概 率通过公式(13)计算： 其中 来自目标端表示矩阵 L表示解码器层数， F FN(·)代表前馈神经网络； 通过公式(14)定义： 其中LN(·)表示层归一 化操作； 通过公式(15)计算：权　利　要　求　书 2/3 页 3 CN 115496061 A 3