(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210298674.9 (22)申请日 2022.03.22 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 王韬　何峰　明东　刘爽　戴维娜　 柯余峰　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/64(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于人体运动姿态非线性空间特征的情绪 识别方法及装置 (57)摘要 本发明公开了一种基于人体运动姿态非线 性空间特征的情绪识别方法及装置， 包括： 提取 在位置和角度信息上的不同关节之间的相关性， 对情绪与运动姿态之间的空间映射关系进行表 征； 构建一多输入对称正定矩阵网络对非欧式空 间结构的多维度位置与角度协方差矩 阵进行融 合计算， 以提取姿态非线性空间特征用于自动情 绪识别， 所述正定矩阵网络由两个并行的子网络 组成， 每个子网络由正则化层、 双线性映射层和 对数平滑层组成； 构建改进的随机梯度下降算 法， 用于对正定矩阵网络进行训练； 利用训练后 的正定矩 阵网络并行处理运动姿态的位置与角 度协方差矩阵， 并在网络末端使用全 连接层对提 取得到的两类映射矩阵进行融合优化， 以生成更 具可分性的融合特 征用于情绪识别。 权利要求书2页 说明书9页 附图4页 CN 114863548 A 2022.08.05 CN 114863548 A 1.一种基于人体运动姿态非线性空间特征的情绪识别方法， 其特征在于， 所述方法包 括： 利用协方差矩阵对三维骨架数据的位置和角度信 息进行编码， 提取在位置和角度信 息 上的不同关节之间的相关性， 对情绪与运动姿态之间的空间映射关系进行表征； 构建一多输入对称正定矩阵网络对非欧式空间结构的多维度位置与角度协方差矩阵 进行融合计算， 以提取姿态非线性空间特征用于自动情绪识别， 所述正定矩阵网络由两个 并行的子网络组成， 每 个子网络由正则化层、 双线性映射层和对数平 滑层组成； 构建改进的随机梯度下降算法， 用于对正定矩阵网络进行训练； 利用训练后的正定矩阵网络并行处理运动姿态的位置与角度协方差矩阵， 并在网络末 端使用全连接层对提取得到的两类映射矩阵进 行融合优化， 以生成更具可分性的融合特征 用于情绪识别。 2.根据权利要求1所述的一种基于人体运动姿态非线性空间特征的情绪识别方法， 其 特征在于， 所述 正则化层的定义 为： 式中， Cr， n是ReEig层输出的SPD矩阵， Un‑1表示第n层 中输入矩阵Cn‑1经特征分解后得到 的特征向量组成的正交矩阵， Λn‑1是实对角矩阵， 其对角线上的元素Λ(i， i)是Cn‑1经特征 分解后得到的特 征值， I是 单位矩阵， fr为ReEig层的运 算函数； 其中， Max( εI， Λn‑1)的定义如下： 式中， ε为正则项阈值。 3.根据权利要求1所述的一种基于人体运动姿态非线性空间特征的情绪识别方法， 其 特征在于， 所述双线性映射层为： 式中， Cn‑1为该层的输入矩阵， 是双线性映射转换矩阵， T为转置， fb为 BiMap层的运算函数， Cb， n为BiMap层的输出矩阵。 4.根据权利要求1所述的一种基于人体运动姿态非线性空间特征的情绪识别方法， 其 特征在于， 所述对数平 滑层为： 其中， Qn‑1和An‑1分别表示输入矩阵Cn‑1的特征向量和特征值组成的矩阵， log(An‑1)表示 对矩阵对角线上的元素进行对数运算， Cl， n为LogEig层的输出矩阵， fl表示LogEig层的运算 函数。 5.根据权利要求1所述的一种基于人体运动姿态非线性空间特征的情绪识别方法， 其 特征在于， 所述改进的随机梯度下降算法为： 式中， 为转换矩阵W的梯度， 是欧式空间中转换矩阵W第n层的第t次更新结权　利　要　求　书 1/2 页 2 CN 114863548 A 2果， 其计算公式如下： 其中， 为第n层的第t次更新前的双线性映射 转换矩阵， Cn‑1为第n层的输入矩阵。 6.根据权利要求1所述的一种基于人体运动姿态非线性空间特征的情绪识别方法， 其 特征在于， 所述在网络末端使用 全连接层对提取得到的两类映射矩阵进行融合优化具体 为： 对网络执行前向传播， 将MSPDNet的两个SPD矩阵输出 和 在全连接层中进行特征 融合映射， 映射函数定义为 ft为全连接层的输出结果， F定义了全连接 层的映射 函数。 结合训练集标签Y和模型的输出预测结果， 利用交叉熵计算网络的损失函数， 计算过程 定义为： Loss＝L(ft， Y)； 在网络的反向传播过程中， 利用得到的损失函数Lo ss求得全连接层的权重参数ωf的梯 度； 利用求得的ωf梯度， 与预 先设置的学习率 ηf对全连接层的参数进行 更新； 利用得到的损失函数L oss求得处理位置协方差矩阵的子网络中的参数ωp的梯度； 利用得到的损失函数L oss求得处理角度协方差矩阵的子网络中的参数ωa的梯度； 利用求得的两个梯度 与预先设置的学习率 ηp、 ηa， 对两个子网络的参数分别 进行更新； 令迭代次数t＝t+1； 若迭代次数t达到最大迭代次数， 输出两个并行子网络的转换矩阵 ωp和ωa， 输出全连接层的权 重参数ωf。 7.一种基于人体运动姿态非线性空间特征的情绪识别装置， 其特征在于， 所述情绪识 别装置包括： 处理器和存储器， 所述存储器中存储有程序指 令， 所述处理器调用存储器中存 储的程序指令以使装置执 行权利要求1 ‑6中的任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114863548 A 3