(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210245767.5 (22)申请日 2022.03.14 (71)申请人 山东大学 地址 250013 山东省青岛市 即墨区滨 海路 72号 (72)发明人 郑艳伟　江文　李博韬　于东晓　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 付秀颖 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于人体姿态识别的融合特征运动类视频 关键帧提取方法 (57)摘要 本发明公开了一种基于人体姿态识别的融 合特征运动类视频关键帧提取方法， 包括以下步 骤： S1.对目标视频段进行逐帧分割； S2.用残差 网络进行静态特征提取， 将数据进行维度， 得到 的视频帧静态特征； S3.对三维空间中人体的骨 骼数据进行抽象， 对视频帧进行运动特征的提 取， 得到运动特征Sd； S4.将提取出的静态特征和 运动特征按照权重大小做线性加权处理； S5.对 融合后的特征通过自注意力机制提取全局特征， 而后计算视频帧的重要性， 通过伯努利函数采取 相应动作关键帧的提取， 并使用强化学习进行结 果集的优化， 其优点在于， 使得结果集可 以达到 最优， 有效改善运动目标特征丢失和关键帧漏检 的问题。 权利要求书2页 说明书5页 附图2页 CN 114724058 A 2022.07.08 CN 114724058 A 1.一种基于人体姿态识别的融合特征运动类视频关键帧提取方法， 其特征在于， 包括 以下步骤： S1.对目标视频 段进行逐帧分割， 将视频分割为 一系列视频帧； S2.用残差网络进行静态特征提取， 将数据进行降维处理， 得到的视频 帧静态特征Ss＝ [Ss1， Ss2， ...， SsT]； S3.对三维空间中人体的骨骼数据进行抽象， 对视频帧进行运动特征的提取， 得到运动 特征Sd＝[Sd1， Sd2， ...， SdT]； S4.将提取出的静态特征Ss和运动特征Sd按照权重大小做线性加权处理， S＝mSs+nSd， m 和n分别为静态特 征的权重因子和运动特 征的权重因子； S5.对融合后的特征通过自注意力机制提取全局特征， 而后计算视频帧的重要性， 通过 伯努利函数采取相应动作关键帧的提取， 并使用强化学习进行 结果集的优化。 2.根据权利要求1所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法， 其特征在于， 步骤S3的具体方法如下： S31.针对视频中的每一帧进行 人体骨架提取， 并使用轻量级HRNet进行 人体姿态分析； S32.将视频每一帧识别出的骨骼关键点坐标及置信度作为输入， 根据骨骼之间的物理 联系构建拓扑图， 而后对其进行批归一 化处理； S33.将处理后的数据经过多个S ‑GCN单元进行特征提取， 为不同的躯干赋予不同的权 重系数， 得到 视频的特 征表示Sd＝{Sd1， Sd2， ...， SdT}。 3.根据权利要求2所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法， 其特征在于， 步骤S31的具体方法如下： S311.每个阶段每 个分支的子网包括两个残差块和一个多分辨 率融合模块； S312.以ShuffleNet的Shuffle模块替换掉了原网络中所有的残差块， Shuffle模块将 通道分为两部分， 一部分直接通过， 不进行任何卷积操作， 而另一部分， 需进行深度可分离 卷积； S313.将深度可分离卷积中的卷积用通道加权替换， 通过平均池化下采样， 并调整到与 最小分辨率相同的尺寸， 将处理好后i个分支不同分辨率的特征图进行通道相加的特征融 合， 利用SE模块得到权重矩阵Wt， 将权重矩阵Wt对每个分支进行上采样操作， 恢 复到原有尺 寸， 并对通道进行加权 。 4.根据权利要求l所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法， 其特征在于， 步骤S5的具体方法如下： S51.通过双向掩码建模视频帧之间的位置信息； S52.在得到视频序列的全局上下文信息后， 基于全局相 关性特征计算出特征匹配度， 然后采用全连接层预测视频帧的重要性分数score； S53.得到每一个视频帧的帧得分之后， 通过伯努利分布针对相应动作进行关键帧的选 择at～B(Y)， at表示为把当前帧作为关键帧的概 率； S54.使用强化学习评判提取的关键帧结果集质量的高低， 使用状态 ‑动作值为结果集 重要性与多样性的和进行表征， 用关键帧集合对完整视频信息的覆盖能力来评估结果集的 重要性， 用所选帧之间特 征空间的差异大小来评估结果 集的多样性。 5.根据权利要求4所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，权　利　要　求　书 1/2 页 2 CN 114724058 A 2其特征在于， 步骤S51的具体方法如下： S511.正向掩码表示注意力权重至于当前位置之前的计算结果有关， 反向掩码表示当 前位置的权 重至于之后的计算结果有关； S512.输入T帧视 频X＝{xi|i＝1， ...， T}， 每一帧包含了N个关键点， 通过自注意力机制， 计算出相关系数 其中t， i∈[0， T)， U和V分别为两帧的权重矩阵， M为位置编码矩阵， 正向掩码则保留上 三角信息， 反向掩码则保留下三角信息， λ是融合特征矩阵特征值， st是当前帧的融合特征， si是该帧前后帧的融合特 征； S513.将相关系数 与帧的相对位置信息结合， 得到 并将正反两个方向 融合， 映射回原视频帧序列， 得到包含上下文信息的序列c＝{ct|t＝1， ...， T}。权　利　要　求　书 2/2 页 3 CN 114724058 A 3