(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210225062.7 (22)申请日 2022.03.09 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 刘丹　张立波　武延军　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/774(2022.01)G06V 10/28(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种远距离 手势识别方法及装置 (57)摘要 本发明公开了一种远距离手势识别方法及 装置， 所述方法包括： 获取目标视频中帧p1的手 部位置h1， 并基于所述手部位置h1， 计算帧p1的手 势估计区域； 基于目标视频中帧pi的手部位置 hi， 计算帧pi的手势估计区域； 基于手势估计区 域切分所述目标视频， 得到若干视频流； 对各所 述视频流st进行手势识别， 得到所述目标视频的 手势识别结果。 本发明能够在远距离情况下对视 频中出现的多个手势进行检测和识别， 能够应对 不同类别手势持续时间和个体手势速度差异的 影响， 具有更强的抗干 扰性和更高的识别精度。 权利要求书2页 说明书4页 附图2页 CN 114613006 A 2022.06.10 CN 114613006 A 1.一种远距离手势 识别方法， 其 步骤包括： 获取目标视频中帧p1的手部位置h1， 并基于所述手部位置h1， 计算帧p1的手势估计 区域 q1； 获取目标视频中帧pi的手部位置hi， 并当所述手部位置hi落在帧pi‑1的手势估计 区域qj 之内时， 将所述手势估计区域qj作为所述帧pi的手势估计区域， 否则基于所述手部位置hi， 计算帧pi的手势估计区域qj+1； 基于手势估计区域qj切分所述目标视频， 得到若干 视频流st； 对各所述视频流st进行手势 识别， 得到所述目标视频的手势 识别结果。 2.如权利要求1所述的方法， 其特征在于， 所述获取目标视频中帧p1的手部位置h1， 包 括： 在手部位置训练集上对YOLO  V4 Tiny检测模型进行监 督训练， 得到手部检测器； 将所述帧p1的图像输入所述手部检测器， 得到所述手部位置 h1。 3.如权利要求1所述的方法， 其特征在于， 所述基于所述手部位置h1， 计算帧p1的手势估 计区域q1， 包括： 以所述手部位置h1为中心， 分别向外扩展rw倍手部宽度及rh倍手部高度的 矩形区域。 4.如权利要 求1所述的方法， 其特征在于， 所述基于手势估计区域qj切分所述目标视频， 得到视频流st， 包括： 在各帧pi中获取若干关键帧； 使用同一手势估计区域qj中的关键帧， 构建视频流st。 5.如权利要求 4所述的方法， 其特 征在于， 所述在各帧pi中获取关键帧， 包括： 针对具有同一手势估计区域qj的帧pi与帧pi‑1， 分别将所述手势估计区域qj转化为灰度 图像Fcur和灰度图像Fpre； 计算所述灰度图像Fcur与灰度图像Fpre的帧差图； 基于设定的像素值阈值， 将所述帧差图转变为 二值图； 基于所述 二值图， 在所述手势估计区域qj中统计大于像素值阈值的像素 数； 计算所述像素数占所述手势估计区域qj的像素总数的比例， 并依据所述比例， 判断所述 帧pi是否为关键帧。 6.如权利要 求1所述的方法， 其特征在于， 所述对各所述视频流 st进行手势识别， 得到 所 述目标视频的手势 识别结果， 包括： 利用滑动窗口， 获取 所述视频流st的若干窗口； 将窗口视频流输入基于3D  ResNeXt‑101卷积神经网络的多模态手势识别模型， 用于预 测该窗口的手势类别， 其中所述手势识别模型的每个ResNeXt残差模块后都对来 自不同模 态视频流的特 征图进行加权融合； 当连续n个窗口的手势类别都被预测为手势类别Lc时， 将该手势类别Lc作为所述视频流 st中的一个预测结果； 统计所述视频流st中的预测结果， 得到所述目标视频的手势 识别结果。 7.如权利要求6所述的方法， 其特征在于， 所述不同模态视频流包括： RGB视频流和深度 视频流。 8.如权利要求6所述的方法， 其特征在于， 当连续m个窗口的手势类别被预测为非手势权　利　要　求　书 1/2 页 2 CN 114613006 A 2类别Lc时， 判断所述手势类别Lc已结束。 9.一种存储介质， 所述存储介质中存储有计算机程序， 其中， 所述计算机程序被设置为 运行时执 行权利要求1 ‑8中任一所述方法。 10.一种电子装置， 包括存储器和 处理器， 所述存储器中存储有计算机程序， 所述处理 器被设置为 运行所述计算机程序以执 行如权利要求1 ‑8中任一所述方法。权　利　要　求　书 2/2 页 3 CN 114613006 A 3