(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210301482.9 (22)申请日 2022.03.24 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 涂志刚　张嘉旭　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/62(2022.01) G06V 10/30(2022.01)G06V 10/24(2022.01) G06T 17/00(2006.01) (54)发明名称 一种面向噪声骨架数据的数据增强与人体 动作识别方法 (57)摘要 本发明公开了一种面向噪声骨架数据的数 据增强与人体动作识别方法， 首先进行针对RGB 视频提取的噪声骨架数据的数据增强， 包括对2D 噪声骨架数据进行归一化与数据对齐， 计算时间 一阶差分作为相邻帧节点运动幅度， 将噪声帧相 应节点坐标置零， 对2D骨架节点恢复得到3D骨架 节点序列； 然后进行多流的高精度骨架人体动作 识别， 包括对3D骨架节点序列计算时间一阶差分 得到相邻帧的节点运动幅度， 对恢复出的3D骨架 节点序列计算空间一阶差分得到骨骼向量， 将3D 骨架节点序列、 3D节点运动幅度序列、 3D骨骼向 量序列作为三种不同的输入流， 并行输入骨骼行 为识别模型中进行处理； 对这三个网络流输出的 分类结果采 取后融合的方式， 作为最终的骨架动 作分类结果。 权利要求书1页 说明书5页 附图2页 CN 114882581 A 2022.08.09 CN 114882581 A 1.一种面向噪声骨架数据的人体动作识别方法， 其特征在于： 包括以下过程， 首先， 进 行针对RGB视频提取的噪声骨架数据的数据增强， 包括以下步骤， 步骤1.1， 对2D噪声骨架数据进行归一化与数据对齐， 包括将人体节点坐标归一化， 且 以人体腰 部右侧节点 为坐标原点进行对齐； 步骤1.2， 对归一化对齐后的2D骨架节点计算时间一阶差分， 作为相邻帧节点运动幅 度， 将连续两次运动幅度大于相应阈值的中间帧视为噪声帧， 将相应节点 坐标置零； 步骤1.3， 对2D骨架节点恢复三维信息， 包括对原始的2D数据进行信息增强， 同时平滑 噪声， 对于步骤2中的置零帧自适应地补充时空平滑的重 建结果， 得到恢复出的3D骨架节 点 序列； 然后进行多流的高精度骨架人体动作识别， 包括以下步骤： 步骤2.1， 对步骤1.3恢复出的3D骨架节点序列计算时间一阶差分， 得到相邻帧的节点 运动幅度； 步骤2.2， 对步骤1.3恢复出的3D骨架节点序列， 根据人体节点的物理连接结构计算空 间一阶差分， 得到骨骼向量； 步骤2.3， 将3D骨架节点序列、 3D节点运动幅度序列和3D骨骼向量序列作 为三种不同的 输入流， 并行输入骨骼行为识别模型中进行处理； 对这三个网络流输出 的分类结果采取后 融合的方式， 作为 最终的骨架动作分类结果。 2.根据权利要求1所述面向噪声骨架数据的数据增强与人体动作识别方法， 其特征在 于： 步骤3中， 采用VideoPose3D模型对2D骨架 节点恢复三维信息 。 3.根据权利要求1或2所述面向噪声骨架数据的数据增强与人体动作识别方法， 其特征 在于： 步骤3中， 后融合的方式实现如下， 其中s1为3D骨架节点序列流的输出， s2为3D节点运动幅度序列的输出结果， s3为3D骨骼 向量序列的输出 结果， s为 最终的类别得分， 取 得分最高的类别为动作识别结果。 4.一种面向噪声骨架数据的数据增强方法， 其特 征在于： 包括以下步骤， 步骤1， 对RGB视频提取的2D噪声骨架数据进行归一化与数据对齐， 包括将人体节点坐 标归一化， 且以人体腰 部右侧节点 为坐标原点进行对齐； 步骤2， 对归一化对齐后的2D骨架节点计算时间一阶差分， 作为相邻帧节点运动幅度， 将连续两次运动幅度大于相应阈值的中间帧视为噪声帧， 将相应节点 坐标置零； 步骤3， 对2D骨架节点恢复三维信息， 包括对原始的2D数据进行信息增强， 同时平滑噪 声， 对于步骤2中的置零帧自适应地补充时空平滑的重 建结果， 得到恢复出的3D骨架节 点序 列。权　利　要　求　书 1/1 页 2 CN 114882581 A 2一种面向噪声骨架数据的数据增强与人体动作识别方 法 技术领域 [0001]本发明涉及计算机视觉人体动作识别领域中基于骨架数据的人体动作识别方法， 特别是涉及处理噪声骨架数据、 数据去噪与平滑、 高精度动作 识别三大难点问题的方法。 在 人体行为分析， 人机交 互等方面具有重要科 学研究价 值和实际工程 意义。 背景技术 [0002]基于精确骨架数据的人体动作识别是计算机视觉技术中一个重要的研究与应用 领域。 相比于RGB视频数据， 人体骨架数据的数据量小， 不易受到光照、 视角等因素干扰， 冗 余度低且易于长序列数据的存储与传输。 因此， 基于精确骨架数据的人体动作识别技术也 拥有更强的鲁棒性与应用价值。 目前基于精确骨架数据的人体动作 识别方法主要有以下三 种： [0003](1)基于人工特征的动作识别方法。 该类方法从人体动作的规律性出发， 人工设计 相应的模式特征用于简单动作的分类。 例如通过人体 关节的角度区分站 立， 躺下， 坐下等日 常动作， 或通过节点的运动幅度与速度区分走路， 跳跃， 跑步等运动。 基于人工特征的动作 识别方法原理简单， 易于实现， 但鲁棒性较差， 易受噪声数据的干扰， 也不适用于更复杂的 动作分类。 [0004](2)基于卷积神经网络(CNN)或循环神经网络(RNN)的动作识别方法。 该类方法通 过一定的规则， 将人体骨架数据从非欧式空间转换到欧式空间中， 使人体的节点和骨骼具 有一定的位置与顺序。 例如将骨架数据转换为单通道图像， 使其具有直观的表观特征， 以便 于利用CNN提取图像特征。 或将骨架数据转换为规则的向量， 以便于利用RNN进行时序特征 提取。 这类方法可以较好地提取鲁棒性更强的骨架运动特征， 但因为转换过程破坏了骨架 数据原本的图(graph)结构信息， 因此精度受限。 [0005](3)基于图卷积网络(GCN)或Transformer的动作识别方法。 该类方法直接在非欧 式空间中处理图结构的骨架数据， 更加符合骨架数据的特点， 也具有更强的特征提取能力 以及动作分类精度。 对于时间与空间两个维度的信息， 基于 GCN的方法通常采用循环聚合的 方式， 时空交替提取特征。 基于Transformer的方法采用注 意力机制有效挖掘人体骨架节 点 运动的时空关联性， 获取丰富的运动信息 。 [0006]上述三种方法均适用于处理精确的骨架数据， 这类数据通常由深度相机或微软 kinect体感设备获得， 获取成本较高。 在实际应用中， 人体骨架数据通常是利用姿态估计方 法从RGB视频中自动化提取的。 受限于RGB视频的质量和姿态估计方法 的精度， 这类骨架数 据通常包含大量的噪声， 且对复杂环 境下人体关键点的定位准确性不足。 因此， 上述方法很 难用于这类噪声骨架数据的人体动作识别。 综上所述， 开发一种面向噪声骨架数据的数据 增强与人体动作分类方法具有十分重要的研究意 义与应用价 值。 发明内容 [0007]针对现有骨架动作识别系统的缺陷， 本发明提供了一种针对RGB视频提取的噪声说　明　书 1/5 页 3 CN 114882581 A 3