(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210590158.3 (22)申请日 2022.05.27 (71)申请人 努比亚技术有限公司 地址 518000 广东省深圳市南 山区桃源街 道福光社区留仙大道3370号南山智园 崇文园区2号楼1801 (72)发明人 徐爱辉　 (74)专利代理 机构 深圳协成知识产权代理事务 所(普通合伙) 44458 专利代理师 伍永森 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/50(2017.01) G06T 7/32(2017.01) (54)发明名称 一种人体姿态的估计方法、 设备及计算机可 读存储介质 (57)摘要 本发明公开了一种人体姿态的估计方法、 设 备及计算机 可读存储介质， 其中， 该方法包括： 通 过深度摄像头获取当前人体的红外图像， 同时， 通过彩色镜头获取所述当前人体的彩色图像， 并 根据所述红外图像与所述彩色图像的特征点的 匹配， 计算所述特征点的变换矩阵； 通过深度学 习获取所述彩色图像中的平面姿态信息， 并通过 所述变换矩 阵将所述平面姿态信息中的平面关 键点投影至所述红外图像， 得到所述平面关键点 在所述红外图像中的关键点坐标； 通过所述深度 摄像头获取所述当前人体的深度图像， 并通过所 述关键点坐标在所述深度图像中获取立体姿态 信息。 实现了一种人性化的人体姿态估计方案， 极大地提升了用户对于虚拟人物的操控体验。 权利要求书2页 说明书11页 附图7页 CN 114943768 A 2022.08.26 CN 114943768 A 1.一种人体姿态的估计方法， 其特 征在于， 所述方法包括： 通过深度摄像头获取当前人体的红外 图像， 同时， 通过彩色镜头获取所述当前人体的 彩色图像， 并根据所述红外图像与所述彩色图像的特征点的匹配， 计算所述特征点的变换 矩阵； 通过深度 学习获取所述彩色图像中的平面姿态信 息， 并通过所述变换矩阵将所述平面 姿态信息中的平面关键点投影至所述红外图像， 得到所述平面关键点在所述红外图像中的 关键点坐标； 通过所述深度摄像头获取所述当前人体的深度图像， 并通过所述关键点坐标在所述深 度图像中获取立体姿态信息； 将所述立体姿态信 息传递至虚拟人物对应的应用层， 以调整所述虚拟人物的立体关键 点的运动姿态。 2.根据权利要求1所述的人体姿态的估计方法， 其特征在于， 所述通过深度摄像头获取 当前人体的红外图像， 同时， 通过彩色镜头获取所述当前人体的彩色图像， 并根据所述红外 图像与所述彩色图像的特 征点的匹配， 计算所述特 征点的变换矩阵， 包括： 通过快速特征点提取和描述的算法， 对所述红外图像与 所述彩色图像进行的特征点的 匹配； 根据所述匹配的结果计算所述特征点的变换矩阵M， A＝M*B， 其中， A表示所述红外图像 中所述特征点对应的第一特征点坐标， B表示所述彩色图像中所述特征点对应的第二特征 点坐标。 3.根据权利要求2所述的人体姿态的估计方法， 其特征在于， 所述通过深度学习获取所 述彩色图像中的平面姿态信息， 并通过所述变换矩阵将所述平面姿态信息中的平面关键点 投影至所述红外图像， 得到所述平面关键点在所述红外图像中的关键点 坐标， 包括： 通过所述深度学习获取 所述彩色图像中的与人体姿态对应的所述平面姿态信息； 在所述平面姿态信息中确定与所述人体姿态对应的平面关键点的像素坐标。 4.根据权利要求3所述的人体姿态的估计方法， 其特征在于， 所述通过深度学习获取所 述彩色图像中的平面姿态信息， 并通过所述变换矩阵将所述平面姿态信息中的平面关键点 投影至所述红外图像， 得到所述平面关键点在所述红外图像中的关键点 坐标， 还包括： 通过所述变换矩阵将所述像素坐标投影至所述红外图像； 获取所述像素坐标在所述红外图像中对应坐标， 作为所述关键点 坐标。 5.根据权利要求4所述的人体姿态的估计方法， 其特征在于， 所述通过所述深度摄像头 获取所述当前人体的深度图像， 并通过所述关键点坐标在所述深度图像中获取立体姿态信 息， 包括： 确定所述深度图像与所述红外图像中的内容保持一 致的对应区域； 在所述对应区域内， 通过 所述关键点 坐标在所述深度图像中获取立体姿态信息 。 6.根据权利要求5所述的人体姿态的估计方法， 其特征在于， 所述将所述立体姿态信 息 传递至虚拟人物对应的应用层， 以调整所述虚拟人物的立体关键点的运动姿态， 包括： 识别所述虚拟人物的虚拟场景， 获取 所述虚拟场景 下的内容特 征； 根据所述内容特 征生成所述虚拟人物的运动范围和运动参数。 7.根据权利要求6所述的人体姿态的估计方法， 其特征在于， 所述将所述立体姿态信 息权　利　要　求　书 1/2 页 2 CN 114943768 A 2传递至虚拟人物对应的应用层， 以调整所述虚拟人物的立体关键点的运动姿态， 还 包括： 解析所述运动范围， 得到所述虚拟人物的多个姿态部位， 解析所述运动参数， 得到多个 所述姿态部位分别对应的姿态动作； 在所述姿态范围内， 通过所述立体姿态信 息调整所述虚拟人物的多个所述姿态部位分 别对应的多个所述姿态动作。 8.根据权利要求7所述的人体姿态的估计方法， 其特征在于， 所述将所述立体姿态信 息 传递至虚拟人物对应的应用层， 以调整所述虚拟人物的立体关键点的运动姿态， 还 包括： 解析所述运动范围， 得到所述虚拟人物的多个姿态部位， 解析所述运动参数， 根据 所述 当前人体的面部区域的立体姿态信息调整重组多个所述姿态部位分别对应的姿态动作； 在所述姿态范围内， 通过所述当前人体的肢体区域的立体姿态信 息调整所述虚拟人物 的多个所述姿态部位经 所述调整重组后对应的多个所述姿态动作。 9.一种人体姿态的估计设备， 其特征在于， 所述设备包括存储器、 处理器及存储在所述 存储器上并可在所述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实 现如权利要求1至8中任一项所述的人体姿态的估计方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有人体姿 态的估计程序， 所述人体姿态的估计程序被处理器执行时实现如权利要求 1至8中任一项 所 述的人体姿态的估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 114943768 A 3