(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200728.X (22)申请日 2022.09.29 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 车超　单咏雪　魏小鹏　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 盖小静 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双 图注意力网络的方面类别情感 分类方法 (57)摘要 本发明公开了一种基于双 图注意力网络的 方面类别情感分类方法， 该方法充分考虑了用户 评论数据中蕴含的序列上下文信息和句法依赖 关系； 其首先构建两个图网络来描述句子的序列 上下文信息和句法结构信息， 然后利用注意力机 制在单个图内聚合来自邻域节 点的信息， 并使用 双仿射模块来协调序列图和句法图之间的异构 信息。 最后， 本文利用特定方面的屏蔽机制和基 于检索的注 意力机制， 使模型更加关注特定方面 类别下的句子情感信息， 从而推断出特定方面类 别的情绪极性。 本申请能够挖掘出句子中更细粒 度的信息， 更能体现用户的真实想法， 其不仅为 用户提供了丰富的决策信息， 还提醒平台对某一 方面存在的缺陷进行改进， 促进了互联网服务质 量的提升 。 权利要求书3页 说明书6页 附图1页 CN 115374283 A 2022.11.22 CN 115374283 A 1.一种基于双图注意力网络的方面类别情感分类方法， 其特 征在于， 包括： 步骤1： 对评论文本进行预处理操作， 从嵌入查找表中获得词嵌入矩阵， 将预处理后的 评论句和方面词进 行词嵌入编码， 使用BERT编 码器提取出评论句和方面词的 隐藏上下文表 示； 步骤2： 将所述隐藏上下文表示作为图网络中节点的初始化表示， 然后利用评论句的序 列上下文信息和句法结构信息 分别获取节点之 间的边权值， 根据相同节点表示和不同边权 值分别构建序列图和句法图； 步骤3： 通过所述序列图和句法图进行消息传递， 即在每个图内利用图注意力网络分别 捕获单词节点与其邻近节点之 间的关系， 两图之间采用双仿射变换学习 序列图和句法图蕴 含的异构信息， 并对节点矩阵进行维度变换， 得到 评论句特 征表示； 步骤4： 对所述评论句特征表示进一步处理， 即利用 特定方面的Mask机制和注意力机 制， 来突出评论句中方面类别词的重要性， 得到 评论句中每 个方面类别对应的情感极性。 2.根据权利要求1所述一种基于双图注意力网络的方面类别情感分类方法， 其特征在 于， 所述步骤2具体实现方式为： 步骤21： 将每个单词节点与步骤1获得的相应隐藏上下文表示关联， 使用逐点互信息描 述两个单词在固定大小的滑动窗口内的序列关系， 从而实现序列图中边信息的添加， 每对 节点之间的边权值 为： 其中#N是评论句中滑动窗口的总数， #N(wi,wj)是单词对(wi,wj)在相同的滑动窗口内共 现的次数， #N(wi)和#N(wj)分别是单词wi和单词wj在评论句的滑动窗口内出现的次数； 步骤22： 将每个单词节点与步骤1获得的相应隐藏上下文表示关联， 利用依赖解析器标 注注意力 层对输入序列进 行依赖解析， 得到表示单词之 间依赖关系的大小为n ×n的概率矩 阵Asyn， 并将单词之间的关系扩展为其所有子词之间的依赖关系； 每对节点之间的边权值 为： 其中Asyn(wi,wj)表示单词wi和单词wj之间的依赖解析矩阵， 表示第n个原始 单 词与其k个子单词的连接关系。 3.根据权利要求2所述一种基于双图注意力网络的方面类别情感分类方法， 其特征在 于， 所述步骤3具体实现方式为：权　利　要　求　书 1/3 页 2 CN 115374283 A 2步骤31： 针对步骤2构建的序列图和句法图， 利用图注意力 网络进行图内信息传递， 从 而捕获单词节点与其邻近节点之间的关系； 具体来说， 图注意力网络使用多头注意力来获 取两个节点之间的注意力权 重： 其中αij是节点vi和节点vj之间的注意力系数， Ni表示节点vi的所有邻居节点集合， vt是 该集合中的一个邻居节点， hi， hj和ht分别表示节点vi， vj和vt的特征向量表示， f( ·)是一个 LeakyReLU非线性激活函数， [ ·||·]表示向量的串联操作， W和w是模型中可训练的参数； 获得每对节点vi和vj之间的注意分数αij后， 第l个GAT层通过聚合邻域节点 表 示， 来迭代更新， 产生针对节点vi的新的节点表示 其中 是更新后的节点嵌入表示， σ( ·)是一个ELU激活函数， b是网络中的偏置项； 步骤32： 采用双仿射变换来学习两图节点之间的异构信息， 并利用softmax函数对两图 之间的关系进行评分， 最后将输出 的矩阵分布与图的原始信息进行线性变换， 其过程用以 下公式进行定义： 其中Hseq和Hsyn分别表示序列图和句法图经过L个GAT层后产生的嵌入表示向量， 是模型中可训练的参数； 步骤33： 交换完图的不同信息后， 进行平均池化和串联操作， 得到了方面类别情 感分类 任务的评论句特 征表示： 其中a表示文本中出现的方面词a1,a2,…,ak的集合， 和 分别是序列图和句法图 中针对第k个方面词ak的句子节点表示， p( ·)是应用于节点表示的平均池化 函数。 4.根据权利要求3所述一种基于双图注意力网络的方面类别情感分类方法， 其特征在 于， 所述步骤4具体实现方式为： 步骤41： 将步骤33得到的评论句特征表示进行特定方面的Mask操作， 屏蔽掉无关词语 的隐藏状态向量， 并且突出评论句中方面类别词的重要性； 步骤42： 通过基于检索的注意力机制对Mask操作后的评论句特征表示进行处理， 从隐 藏状态向量中检索出与语义相关的重要特征， 从而在特定方面类别词和上下文表示之 间捕 捉重要的情感依赖关系：权　利　要　求　书 2/3 页 3 CN 115374283 A 3