(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544955.8 (22)申请日 2022.05.19 (71)申请人 中国商用飞机有限责任公司北京民 用飞机技 术研究中心 地址 102211 北京市昌平区小汤山未来科 技城中国商飞北研中心 申请人 中国商用飞机有限责任公司 (72)发明人 吕毅　罗江　王丽君　许澍虹　 王大伟　杨志刚　 (74)专利代理 机构 泰和泰律师事务所 51219 专利代理师 范相玉 (51)Int.Cl. G06F 3/01(2006.01) G06T 7/73(2017.01) G06T 7/80(2017.01)G06V 40/20(2022.01) (54)发明名称 一种基于姿态匹配的高质 量人机交互方法 及装置 (57)摘要 本发明公开了一种基于姿态匹配的高质量 人机交互方法及装置。 其中， 该方法包括： 建立混 合现实驾驶舱环境的人机交互姿态库,并通过相 机空间标定操作,获取相机空间位姿信息； 根据 所述相机空间位姿信息,利用相机动捕系统计算 用户腕部刚体的六自由度信息,并确定用户手部 的几何特征信息； 根据所述用户腕部刚体的六自 由度信息和所述用户手部的几何特征信息,计算 指尖区域在预设坐标系下的位置信息； 根据所述 位置信息对碰撞 检测包围盒进行交互状态判断。 本发明解决了现有技术中互数据集收集的不一 定为连续的交互动作行为， 数据集的作用也不在 于驱动人体运动， 若以此数据集驱动数字人运 动， 不仅增加某一具体交互姿态的搜索难度， 也 无法保证人体运动在时间与空间上的连续性的 技术问题。 权利要求书2页 说明书17页 附图7页 CN 114879844 A 2022.08.09 CN 114879844 A 1.一种基于姿态匹配的高质量人机交 互方法， 其特 征在于， 包括： 建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空 间位姿信息； 根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息, 并确定用户手部的几何特 征信息； 根据所述用户腕部 刚体的六自由度信 息和所述用户手部的几何特征信 息,计算指尖区 域在预设坐标系下的位置信息； 根据所述 位置信息对碰撞检测包围盒进行交 互状态判断。 2.根据权利要求1所述的方法， 其特征在于， 所述建立混合现实驾驶舱环境的人机交互 姿态库,并通过相机空间标定操作,获取相机空间位姿信息包括： 指间关节视为1个自由度， 掌指关节视为2个自由度， 腕掌关节视为1个自由度， 腕部关 节视为6自由度， 由手背的刚体确定， 由此构建由16个 关节组成的具有26个自由度的数字人 手部运动学模型， 记运动学参数为 按照健康男性与女性手部尺寸分布规律， 参照人体尺寸数据标准分别 选取不同大小规 格的手套， 在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点； 选择具有不同手部特征的用户， 使其佩戴符合相应手部大小的手套， 利用不少于10台 OptiTrack动捕设备采集用户操作仿真器件装置的姿态， 记录手部在各个姿态下各关节及 指尖区域相对于手背部刚体的空间位置， 计算 运动学参数 3.根据权利要求1所述的方法， 其特征在于， 所述指尖区域在预设坐标系下的位置信 息 包括： 腕部的位置为 腕部的旋转角度为 每一只手指尖位置为 实验仿真器件触 发信号为Y＝{0， 1},交互状 态为I＝{0， 1}、 输入特征集合为 输出姿态分类为M otion＝{P1， P2,P3,…,Pn}、 姿态库内指尖区域 位置为 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述位置信 息对碰撞检测包围盒 进行交互状态判断包括： 计算 D大于某一给定的阈值， 则未交互， 否则， 处于交互状 态。 5.一种基于姿态匹配的高质量人机交 互装置， 其特 征在于， 包括： 建立模块， 用于建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操 作,获取相机空间位姿信息； 第一计算模块， 用于根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚 体的六自由度信息,并确定用户手部的几何特 征信息； 第二计算模块， 用于根据所述用户腕部 刚体的六自由度信 息和所述用户手部的几何特 征信息,计算指尖区域在预设坐标系下的位置信息； 判断模块， 用于根据所述 位置信息对碰撞检测包围盒进行交 互状态判断。权　利　要　求　书 1/2 页 2 CN 114879844 A 26.根据权利要求5所述的装置， 其特 征在于， 所述建立模块包括： 第一单元， 用于指间关节视为1个自由度， 掌指关节视为2个自由度， 腕掌关节视为1个 自由度， 腕部关节视为6自由度， 由手背的刚体确 定， 由此构建由16个关节组成的具有26个 自由度的数字人手部运动学模型， 记运动学参数为 第二单元， 用于按照健康男性与女性手部尺寸分布规律， 参照人体尺寸数据标准分别 选取不同大小规格的手套， 在手套上按照数字人模 型确定的16个关节以及指尖区域布置对 应的标记点； 第三单元， 用于选择具有不同手部特征的用户， 使其佩戴符合相应手部大小的手套， 利 用不少于10台OptiTr ack动捕设备采集用户操作仿真器件装置的姿态， 记录手部在各个姿 态下各关节及指尖区域相对于手背部刚体的空间位置， 计算 运动学参数 7.根据权利要求5所述的装置， 其特征在于， 所述指尖区域在预设坐标系下的位置信 息 包括： 腕部的位置为 腕部的旋转角度为 每一只手指尖位置为 实验仿真器件触 发信号为Y＝{0， 1},交互状 态为I＝{0， 1}、 输入特征集合为 输出姿态分类为Motion＝{P1， P2,P3,…,Pn}、 姿态库内指尖区域 位置为 8.根据权利要求5所述的装置， 其特 征在于， 所述判断模块包括： 判断单元， 用于计算 其中， D大于某一给定的阈值， 则未交 互， 否则， 处于交 互状态。 9.一种非易失性存储介质， 其特征在于， 所述非易失性存储介质包括存储的程序， 其 中， 所述程序运行时控制非易 失性存储介质所在的设备执行权利要求1至4中任意一项所述 的方法。 10.一种电子装置， 其特征在于， 包含处理器和存储器； 所述存储器中存储有计算机可 读指令， 所述处理器用于运行所述计算机可读指 令， 其中， 所述计算机可读指 令运行时执行 权利要求1至4中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114879844 A 3