(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210732841.6 (22)申请日 2022.06.27 (71)申请人 辽宁大学 地址 110000 辽宁省沈阳市沈北新区道义 南大街58号 (72)发明人 华春生　华宏岗　童心　 (74)专利代理 机构 沈阳杰克知识产权代理有限 公司 21207 专利代理师 王洋 (51)Int.Cl. G06F 3/01(2006.01) G06T 19/00(2011.01) G06T 7/73(2017.01) G06V 40/20(2022.01) G06V 10/25(2022.01)G06V 10/764(2022.01) (54)发明名称 一种基于3D全息投影技术的互动医疗教学 问诊系统 (57)摘要 一种基于3D全息投影技术的医疗教学问诊 系统， 结合深度相机可以获取手部关键点的深度 信息， 在相机视野范围内实现多人沉浸式互动全 息投影， 即多人实时切换进行全息投影互动或多 人同时协作进行全息投影互动， 能够为用户提供 一种更好的互动体验； 融合图像特征和关键点特 征进行手势识别， 能够解决二维关键点对于复杂 手势判定困难问题， 以及CNN图像分类识别错误 无法自行纠正导致手势识别错误问题， 多算法融 合能够提高人机交互时手势识别的鲁棒性和识 别率。 权利要求书2页 说明书4页 附图2页 CN 115079825 A 2022.09.20 CN 115079825 A 1.一种基于 3D全息投影技 术的互动医疗教学问诊系统， 其特 征在于， 其 步骤为： 步骤1： 双手位于深度相机视野范围内， 通过调用OpenCV库视频采集模块进行视频流的 采集； 步骤2： 对步骤1中采集 的每一帧通过Google开源框架MediaPipHands进行手部关键点 检测， 获取每一帧中所有手部21个关键点； Hi＝{(xj,yj)|0<＝j<＝20an d j∈N}， i∈N+为手的编号， 其中Hi为第i只手的21关键点 信息， j为手部关键点的编号， x， y为图像坐标系中关键点的坐标； 步骤3： 通过调用深度相机SDK， 根据步骤2获取的每一只手的21关键点信息， 计算每一 只手的21关键点深度信息， 记Di＝{dj|0<＝j<＝20and  j∈N}， Di为第i只手21关键点的深度 信息； 步骤4： 根据步骤3中获取的每一手的21关键点深度信息， 通过计算21个关键点深度信 息的均值， 计算每一只手距离深度相机的物理距离， 公式如下： 其中n＝20为关键点的最大编号， 从零开始编号， 共n+1个关键 点； Li为第i只手距离深度相机的物理距离； 步骤5:根据步骤4计算的每一只手距离深度相机的物 理距离L， 获取距离深度相机最近 的两只手或者一只手， 记为F＝{Hik|k＝(1 or 2)and i∈N+}， 通过手势的深度信息， 可以对 相机视野中出现的多只手进行 过滤， 解决多个用户人机交 互的问题； 步骤6： 根据步骤5获取的最近手势F， 提取每一只手部的ROI区域， 提取方法： 根据手部 的21关键点在图像坐标系中的位置， 分别获取在图像坐标系X轴和Y轴最小值和最大值， 记 为xmin,xmax,ymin,ymax， 手部ROI区域 提取公式如下： xmin＝min(x0,x1,..,x20) xmax＝max(x0,x1,..,x20) ymin＝min(y0,y1,..,y20) ymax＝min(y0,y1,..,y20) Ri＝{xmin,xmax,ymin,ymax},Ri为第i只手的ROI区域； 步骤7： 根据 步骤1获取的2 1关键点信息、 步骤6获取的手势 ROI区域， 进行多算法融合处 理， 生成控制指令信号； 步骤8： 根据步骤7生成的控制指令信号Z， 对3D模型进行手势控制， 做出相应的模型变 换并实时投影至投影金字塔显示。 2.一种基于3D全息投影技术的互动医疗教学问诊系统， 其特征在于， 所述的步骤7中， 多算法融合处 理具体步骤如下： 1)训练分类器： 分类器是基于Pytorch搭建的EfficientNetV2网络， 数据集是使用多个 RGB相机在不同场景下采集和制作手势数据集， 然后在自己定义的数据集上进行模型 的训 练； 2)将提取的手势 ROI区域输入到训练好的分类器进行分类， 模型输出手势的类别class 和概率p； 3)对模型输出手势类别和概 率结果进行 过滤， 输出过滤后的手势G， 过 滤条件如下：权　利　要　求　书 1/2 页 2 CN 115079825 A 2其中class为控制指令手势， 需要进行下面步骤4的处理， other为非控制指令手势， 视 为无效指令， 终止以下步骤； 4)对过滤后手势再融合关键点特征信息进行级联判定手势类别， 判定方法是： 通过判 断分类器输出的手势部 分关键点在当前帧中的位置信息， 与其预先设定的手势的关键点位 置模板是否匹配， 最后输出手势控制指令Z； 判定方法如下： 其中T为抽象出的预先设定手势类别关于关键点信息模板函数， F为需要判定手势关键 点即为距离相机最近的手， clas s为步骤3输出的手势类别， Z为 最终输出手势指令 。权　利　要　求　书 2/2 页 3 CN 115079825 A 3