(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221018090 0.3 (22)申请日 2022.02.25 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 董兰芳　胡普照　许广德　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 侯珊 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸表情识别模 型构建方法、 相关设备及可 读存储介质 (57)摘要 本申请公开了一种人脸表情识别模型构建 方法、 相关设备及可读存储介质。 获取注意力机 制模块； 在VGG卷积神经网络模型中添加所述注 意力机制模块， 得到基于注意力机制的VGG卷积 神经网络模 型； 确定人脸表情识别训练集和人脸 表情识别测试集； 采用人脸表情识别训练集对基 于注意力机制的VGG卷积神经网络模型进行训 练， 并采用人脸表情识别测试集测试基于注意力 机制的VGG卷积神经网络模型的人脸表情识别结 果， 从而调整基于注意力机制的VGG卷积神经网 络模型的参数； 当训练次数达到预设的最大迭代 次数或者基于注意力机制的VGG卷积神经网络模 型收敛， 则停止训练， 即可得到人脸表情识别模 型。 权利要求书2页 说明书8页 附图4页 CN 114758377 A 2022.07.15 CN 114758377 A 1.一种人脸表情识别模型构建方法， 其特 征在于， 所述方法包括： 获取注意力机制模块； 在VGG卷积神经网络模型中添加所述注意力机制模块， 得到基于注意力机制的VGG卷积 神经网络模型； 确定人脸表情识别训练集和人脸表情识别测试集； 采用人脸表情识别训练集对基于注意力机制的VGG卷积神经网络模型进行训练， 并采 用人脸表情识别测试集测试基于注意力机制的VGG卷积神经网络模型的人脸表情识别结 果， 从而调整基于注 意力机制的VGG卷积神经网络模型的参数； 当训练 次数达到预设的最大 迭代次数或者基于注意力机制的VGG卷积神经网络模型收敛， 则停止训练， 得到人脸表情识 别模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述注意力机制模块包括： 静态上下文特征表示确定单 元， 动态上 下文特征表示确定单 元， 以及， 特 征融合单 元， 所述静态上 下文特征表示确定单 元确定不同通道之间的静态上 下文特征表示； 所述动态上下文特征表示确定单元基于不同通道之间的静态上下文特征表示以及自 注意力机制， 确定不同通道之间的动态上 下文特征表示； 所述特征融合单元将所述不同通道之间的静态上下文特征表示与所述不同通道之间 的动态上 下文特征表示进行加权融合后输出。 3.根据权利要求2所述的方法， 其特征在于， 所述静态上下文特征表示确定单元确定不 同通道之间的静态上 下文特征表示， 包括： 在空间上对每个键使用预设卷积组进行卷积， 确定不同通道之间的静态上下文特征表 示。 4.根据权利要求2所述的方法， 其特征在于， 所述动态上下文特征表示确定单元基于不 同通道之 间的静态上下文 特征表示以及自注意力机制， 确定不同通道之间的动态上下文 特 征表示， 包括： 基于以下公式确定不同通道之间的动态上 下文特征表示T1； A3＝A1+A 2(3) 其中， Q、 K、 V分别表示注意力机制中的查询、 键、 值， [T,Q]表示不 同通道之间的静态上 下文特征表示T与所述注意力机制中的Q拼接； C1和C2均为1*1卷积组； 表示其两侧的特征 的聚合。 5.根据权利要求1所述的方法， 其特征在于， 所述VGG卷积神经网络模型包括多个卷积 层， 所述在VGG卷积神经网络模型中添加所述注意力机制 模块， 得到基于注意力机制的VGG 卷积神经网络模型， 包括： 保留所述VGG卷积神经网络模型的第一个卷积层， 将所述VGG卷积神经网络模型的其他 卷积层中的卷积核替换为所述注意力机制模块， 得到所述基于注意力机制的VGG卷积神经 网络模型。权　利　要　求　书 1/2 页 2 CN 114758377 A 26.根据权利要求5所述的方法， 其特征在于， 所述VGG卷积神经网络模型还包括三个全 连接层， 在所述保留所述VGG卷积神经网络模型的第一个卷积层， 将所述VGG卷积神经网络 模型的其 他卷积层中的卷积核替换为所述注意力机制模块之后， 所述方法还 包括： 将所述VG G卷积神经网络模型的三个全连接层替换为 一个大小为1* 512的全连接层。 7.根据权利要求1所述的方法， 其特 征在于， 所述VG G卷积神经网络模型包括： VGG‑16卷积神经网络模型， 或， VG G‑19卷积神经网络模型。 8.一种人脸表情识别模型构建装置， 其特 征在于， 所述装置包括： 注意力机制模块获取 单元， 用于获取注意力机制模块； 注意力机制模块添加单元， 用于在VGG卷积神经网络模型中添加所述注意力机制模块， 得到基于注意力机制的VG G卷积神经网络模型； 数据集确定单 元， 用于确定人脸表情识别训练集和人脸表情识别测试集； 训练单元， 用于采用人脸表情识别训练集对基于注意力机制的VGG卷积神经网络模型 进行训练， 并采用人脸表情识别测试集测试基于注意力机制的VGG卷积神经网络模型 的人 脸表情识别结果， 从而调整基于注 意力机制的VGG卷积神经网络模型的参数； 当训练 次数达 到预设的最大迭代次数或者基于注 意力机制的VGG卷积神经网络模型收敛， 则停止训练， 得 到人脸表情识别模型。 9.一种人脸表情识别模型构建 设备， 其特 征在于， 包括存 储器和处 理器； 所述存储器， 用于存 储程序； 所述处理器， 用于执行所述程序， 实现如权利要求1至7中任一项所述的人脸表情识别 模型构建方法的各个步骤。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时， 实现如权利要求1至7中任一项所述的人脸表情识别模型构建方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 114758377 A 3