(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210652288.5 (22)申请日 2022.06.10 (71)申请人 上海微创医疗机 器人 （集团） 股份有 限公司 地址 201203 上海市中国 （上海） 自由贸易 试验区张东路16 01号1幢B区101室 (72)发明人 常新朝　 其他发明人请求 不公开姓名　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 童磊　徐焕 (51)Int.Cl. A61B 34/37(2016.01) H04N 5/225(2006.01) (54)发明名称 用于在医生控制台显示虚拟手术器械的方 法及医生控制台 (57)摘要 本说明书涉及内窥镜手术技术领域， 具体地 公开了一种用于在医生控制台显示虚拟手术器 械的方法及医生控制台， 其中， 该方法包括： 获取 医生控制台的主控制臂的图像； 根据所述主控制 臂的图像， 确定所述主控制臂的姿态数据； 基于 所述主控制臂的姿态数据和手术器械的三维模 型， 生成所述手术器械的虚拟姿态数据， 以在所 述医生控制台的立体监视器中显示虚拟指令器 械图像。 上述方案通过在立体监视器中显示虚拟 指令器械图像， 可 以便于医生及时发现误操作， 及时发现器械故障， 辅助医生操作， 提高手术效 率， 提高手术质量和成功率， 改善医生和患者的 手术体验。 权利要求书2页 说明书13页 附图14页 CN 115068114 A 2022.09.20 CN 115068114 A 1.一种用于在医生控制台显示虚拟手术器械的方法， 其特 征在于， 包括： 获取医生控制台的主控制臂的图像； 根据所述主控制臂的图像， 确定所述主控制臂的姿态数据； 基于所述主控制臂的姿态数据和手术器械的三维模型， 生成所述手术器械的虚拟姿态 数据， 以在所述医生控制台的立体监视器中显示虚拟指令器械图像。 2.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 还 包括： 获取医生控制台的脚踏图像和/或操作者的脚部图像； 根据所述脚踏图像生成脚 踏位置数据， 和/或根据 所述脚部图像生成脚部位置数据， 以 在所述立体监视器中显示脚踏区域和/或脚部区域。 3.根据权利要求2所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 还 包括： 当所述医生控制台的一个或多个脚踏被有效踩踏时， 在所述立体监视器中对所述脚踏 区域中被有效踩踏的一个或多个脚踏进行突出显示。 4.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 所 述主控制臂的图像包括双目摄 像头采集的主控制臂的左目图像和右目图像。 5.根据权利要求4所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 根 据所述主控制臂的图像， 确定所述主控制臂的姿态数据， 包括： 获取所述双目摄 像头中的左目摄 像头与右目摄 像头的空间位置数据； 基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和 所述右目图像中的位置参数， 确定出 所述各特征点对应的空间位置数据； 根据多个时刻下 所述各特征点对应的空间位置数据， 确定所述主控制臂的姿态数据。 6.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 基 于所述主控制臂的姿态数据和手术器械的三维模型， 生成所述手术器械的虚拟姿态数据， 包括： 基于所述主控制臂的姿态数据， 生成所述主控制臂的控制指令信息； 将所述主控制臂的控制 指令信息作用于所述手术器械的三维模型， 生成所述手术器械 的虚拟姿态数据。 7.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 基 于所述主控制臂的姿态数据和手术器械的三维模型， 生成所述手术器械的虚拟姿态数据， 包括： 获取目标机器学习模型； 所述目标机器学习 模型是基于所述手术器械的三维模型预先 建立的； 将所述主控制臂的姿态数据输入所述目标机器学习 模型， 得到所述手术器械的虚拟姿 态数据。 8.根据权利要求7所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 在 获取目标机器学习模型之前， 还 包括： 基于所述手术器械的三维模型构建机器学习模型； 获取内窥镜手术过程中所述控制臂的姿态数据以及对应的所述手术器械的姿态数据，权　利　要　求　书 1/2 页 2 CN 115068114 A 2并基于所述内窥镜手术过程中的所述控制臂的姿态数据以及对应的手术器械的姿态数据 构建训练样本集； 利用构建得到的训练样本集对所述机器学习模型进行训练， 得到目标机器学习模型。 9.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 所 述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像； 在所述医生控制台的立体监视器中显示虚拟指令器械图像之后， 还 包括： 将所述实际器械图像与所述虚拟指令器械图像进行对比； 根据对比结果， 确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过 预设范围的目标部分， 以在所述 立体监视器对所述目标部分进行 标注显示。 10.根据权利要求9所述的用于在医生控制台显示虚拟手术器械的方法， 其特征在于， 在确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标 部分之后， 还 包括： 确定所述目标部分在所述手术器械中的位置数据； 基于所述位置数据生成预警信 息， 并根据 所述预警信 息以预设的方式向操作者进行预 警。 11.一种医生控制台， 其特 征在于， 包括： 图像采集装置， 用于采集医生控制台的主控制臂的图像； 图像处理装置， 用于根据 所述主控制臂的图像， 确定所述主控制臂的姿态数据； 还用于 基于所述主控制臂的姿态数据和手术器械的三维模型， 生成所述手术器械的虚拟姿态数 据； 立体监视器， 用于根据所述虚拟姿态数据显示虚拟指令器械图像。 12.一种医疗设备， 其特征在于， 包括处理器以及用于存储处理器可执行指令的存储 器， 所述处 理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。 13.一种计算机可读存储介质， 其上存储有计算机指令， 其特征在于， 所述指令被处理 器执行时实现权利要求1至10中任一项所述方法的步骤。 14.一种内窥镜医疗机器人， 其特 征在于， 包括权利要求1 1所述的医生控制台。权　利　要　求　书 2/2 页 3 CN 115068114 A 3