(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024095 6.3 (22)申请日 2022.03.10 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 中山市华 南理工大 学现代产业 技术 研究院 (72)发明人 徐向民　张莹莹　郭锴凌　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 江裕强 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种融合自监督学习和注意力机制的视觉 情感识别方法 (57)摘要 本发明公开了一种融合自监督学习和注意 力机制的视觉情感识别方法。 所述方法包括以下 步骤： 构建情感识别模型， 包括主干特征提取网 络、 情感识别分类器和旋转自监督分类器； 构建 自监督学习任务； 构建情感分类任务； 分别构建 优化自监督学习任务和情感分类任务的第一损 失函数和第二损失函数， 构建总损失函数； 通过 总损失函数对自监督学习任务和情感分类任务 进行优化， 得到优化后的主干特征提取网络和情 感计算分类器； 获取待识别图像， 输入优化的主 干特征提取网络和情感计算分类器， 完成视觉情 感识别。 本发 明充分考虑了图像的全局和局部特 征， 通过注意力机制增强了特征表示， 同时通过 自监督辅助任务丰富了特征语义信息， 从而提升 了视觉情感分类的效果。 权利要求书3页 说明书9页 附图2页 CN 114626454 A 2022.06.14 CN 114626454 A 1.一种融合自监督学习和注意力机制的视觉情感识别方法， 其特征在于， 包括以下步 骤： S1、 构建情感识别模型， 包括主干特征提取网络、 情感识别分类器和旋转自监督分类 器； S2、 构建自监 督学习任务； S3、 构建情感分类任务； S4、 分别构建优化自监督学习任务和情感分类任务的第一损失函数和第二损失函数， 构建总损失函数； S5、 通过总损失函数对自监督学习任务和情感分类任务进行优化， 得到优化后的主干 特征提取网络和情感计算分类 器； S6、 获取待识别图像， 输入优化的主干特征提取网络和 情感计算分类器， 完成视觉情 感 识别。 2.根据权利要求1所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S1中， 主干特 征提取网络的构建具体如下： 通过预训练得到训练好的卷积神经网络， 将训练好的卷积神经网络的最后两层 即全局 平均池化层和全连接层去除， 得到主干特 征提取网络 。 3.根据权利要求1所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S2中， 获取公开的原始数据集， 对原始数据集中的图像进行扩充， 包括翻转 和转置操作， 并对通过扩充操作得到的每一张图片补充相应的旋转角度标签， 得到扩充数 据集； 所述自监 督学习任务包括以下步骤： S2.1、 通过主干特 征提取网络提取扩充数据集中的图像样本的第一层次特 征frot； S2.2、 对第一层次特征frot进行下采样， 生成特征向量drot， 将特征向量drot输入到旋转 自监督分类器中， 计算图像样本的旋转角度。 4.根据权利要求3所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S2.2 中， 将第一层次特征frot依次通过全局空间池化层和全连接层， 生成特 征向量drot， 将特征向量drot输入到旋转自监督分类器中， 通过softmax函数计算输入图像样 本的旋转角度预测概 率 具体如下： 其中， i＝1， ...， Nrot， Nrot表示扩充数据集中图片的总数， r表示第 r个旋转标签， 表 示经过旋转后的第i张图片， 表示经过旋转后的第i张图片对应第r个旋转标 签的概率。 5.根据权利要求3所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S 3中， 对所述原始数据集中的每张图像进 行随机旋转裁剪归一化预 处理， 得 到尺寸相同的图像， 得到预处 理数据集； 所述情感分类任务包括以下步骤：权　利　要　求　书 1/3 页 2 CN 114626454 A 2S3.1、 通过主干特 征提取网络提取 预处理数据集中的图像样本的第二层次特 征f1； S3.2、 通过空间和通道 注意力对第二层次特 征f1进行强化表示， 得到注意力强化特 征； S3.3、 将注意力强化特征与第二层次特征f1耦合融合， 得到判别 性特征， 将判别性特征 输入到情感识别分类 器中计算情感类别。 6.根据权利要求5所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S3.2包括以下步骤： S3.2.1、 通过 卷积操作压缩输入第二层次特 征f1的空间维度， 得到第三层次特 征f2； S3.2.2、 对第三层次特征f2在空间维度上分别进行平均池 化层和最大池化层操作， 得到 空间维度上的平均池化层特 征 和空间维度上的最大池化层特 征 将空间维度上的 平均池化层特征 和空间维度 上的最大池化层特征 输入到共享网络即多层感知器 中生成通道注意图， 对通过多层感知器后的通道注意图进行逐元素求和， 得到通道注意力 强化特征M1， 计算公式如下： 其中， sigmo id为激活函数， MLP表示多层感知器； S3.2.3、 对第三层次特征f2在通道维度上分别进行平均池 化层和最大池化层操作， 得到 通道维度上的平均池化层特 征 和通道维度上的最大池化层特 征 并将所得到的通 道维度上的平均池化层特征 和通道维度 上的最大池化层特征 连接起来以得到特 征描述符， 将特 征描述符输入到一个卷积层中得到空间注意力强化特 征M2， 计算公式如下： 其中， sigmo id为激活函数， co nv表示卷积 操作。 7.根据权利要求6所述的一种融合自监督学习和注意力机制的视觉情感识别方法， 其 特征在于， 步骤S3.3包括以下步骤： S3.3.1、 将第三层次特征f2、 通道注意力强化特征M1和空间注意力强化特征M2三者相 乘， 得到第四层次特 征f3； S3.3.2、 将第二层次特征f1中的每个特征图都与第四层次特征f3逐元素相乘， 得到耦合 特征图u＝[u1， u2， ......， un]， 其中， n表示特征的通道 数， un表示耦合后的第n通道 特征， 公 式如下： 其中， 表示逐元素相乘； S3.3.3、 将第二层次特征f1和耦合特征图u连接起来并输入到全局平均池化层中， 得到 第五层次特 征f4， 公式如下： f4＝GAP(f1； u)， 其中， GAP表示全局平均池化层操作； S3.3.4、 将第五层次特征f4通过全连接层生成判别性特征向量d， 然后通过softmax 函数 计算输入图像的情 感类别预测概率p(yk＝c)， 其中， yk表示预处理数据集中第 k张图片， c表 示第c个情感标签； 计算公式如下：权　利　要　求　书 2/3 页 3 CN 114626454 A 3