(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210223423.4 (22)申请日 2022.03.10 (71)申请人 济南国科医工科技发展 有限公司 地址 250000 山东省济南市高新区综合保 税区港兴三路北段1号济南药谷研发 平台区3号楼401房间 (72)发明人 张家意　高欣　 (74)专利代理 机构 苏州久元知识产权代理事务 所(普通合伙) 32446 专利代理师 袁欣琪 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/26(2022.01) G06V 10/62(2022.01)G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/60(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) A61B 17/00(2006.01) A61B 34/30(2016.01) A61B 34/32(2016.01) A61B 34/20(2016.01) (54)发明名称 一种用于持镜机器人的腹腔镜视野中多器 械视觉追踪方法 (57)摘要 本发明提出了一种基于多任务学习策略的 腹腔镜视野中多器械视觉追踪方法， 该方法基于 轻量型LinkNet ‑18神经网络架构， 分别构建轻量 型图像分割网络与目标回归网络， 同步快速提取 腹腔镜图像中手术器械各部件(杆轴与末端执行 器)区域， 实时精准定位腹腔镜图像中手术器械 关节位置； 基于多任务学习策略， 采用迭代交互 方式耦合图像分割网络与目标回归网络， 构建轻 量式图像分割与目标回归任务联合模 型， 同步快 速提取腹腔 镜图像中手术器械各部件(杆轴 与末 端执行器)区域的同时精准定位手术器械关节位 置， 进而计算腹腔镜图像中视觉追踪目标点， 最 终实现腹腔镜 视野中多器 械实时精准追 踪。 权利要求书2页 说明书6页 附图1页 CN 114663474 A 2022.06.24 CN 114663474 A 1.一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方法， 其特征在于， 包括 以下步骤： 步骤一， 图像分割与目标回归 任务联合模型构建； 步骤二， 获取当前帧腹腔镜图像； 步骤三， 同步 提取手术器械区域并定位手术器械关节； 步骤四， 计算视 觉追踪目标点； 步骤五， 获取 下一帧腹腔镜图像。 2.根据权利要求1所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 所述步骤一包括图像分割任务与目标回归任务， 其中， 目标回归任务定义 为主任务， 图像分割任务定义 为辅助任务。 3.根据权利要求2所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 基于轻量型编码 ‑解码结构的LinkNet ‑18神经网络架构， 设计多实例分割 网络与多目标回归网络， 分别用于完成图像分割任务与目标回归任务， 其中多目标回归网 络为主网络， 多实例分割网络为辅助网络， 采用迭代交互方式同时共享两个网络中的编 码‑ 解码结构， 构建图像分割与目标回归 任务联合网络模型。 4.根据权利要求3所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 输入腹腔镜图像X， 分别经过主网络的编码层和辅助网络的编码层， 得到中间层特征 hMain1、 hMain2、 hAux： hMain1＝EncoderMain(X) hMain2＝EncoderAux(X) hAux＝EncoderAux(X) 融合中间层特 征hMain1和hMain2， 得到中间层特 征h′Main： 将中间层特征h ′Main与hAux分别通过主网络的解码层和辅助网络的解码层， 并将h ′Main共 享到辅助网络的解码层， 从而得到中间层特 征r′Main1、 r′Main2： r′Main1＝DecoderMain(h′Main) r′Main2＝DecoderAux(h′Main) 融合中间层特 征r′Main1和r′Main2， 得到输出结果rMain： 5.根据权利要求4所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 所述步骤一还包括构建用于训练图像分割与目标回归任务联合网络的数 据集， 依据6:2:2的比例将数据集划分为训练集、 验证集与测试集。 6.根据权利要求1所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 所述步骤三的求 解过程定义如下： 权　利　要　求　书 1/2 页 2 CN 114663474 A 2其中， Ilap表示腹腔镜图像； Pjoi表示手术器械关节位置集合P＝{Pi|i＝1,2,3...,n}； Rins表示手术器械区域集合R＝{Ri|i＝1,2,3...,n}； Mseg+reg表示图像分割与目标回归任务 联合模型， 表示腹腔镜图像与手术器械关 节位置及区域之间的关系映射为 即将腹腔镜图像 Ilap输入联合模型Mseg+reg， 联合模型Mseg+reg直接输出腹腔镜图像中所有手 术 器械各部件区域 集合与所有手术器械关节位置集 合。 7.根据权利要求1所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 基于定位得到的各个 手术器械的关节位置， 计算视 觉追踪目标点， 具体 计算方法： a.单个手术器械关节可见时， 则该手术器械关节定义为视觉追踪目标点； 多个手术器 械仅有一个手术器械关节可见， 其余手术器械关节被可见关节的手术器械遮挡情况下， 归 为此类； b.多个手术器械关节可见时， 视觉追踪目标点为距离最远的两个关节点连线的中点， 计算方式定义如下： 其中， Ptra表示视觉追踪目标点， Pjoi表示手术器械关节点， Pjoi,left与Pjoi,right分别表示 距离最远的两个 手术器械关节点。 8.根据权利要求1所述的一种基于多任务学习策略的腹腔镜视野中多器械视觉追踪方 法， 其特征在于， 所述步骤五中将获取的下一帧腹腔镜图像作为待处理的腹腔镜图像， 利用 步骤一构建好的图像分割与目标回归任务联合模型， 同步快速自动提取腹腔镜图像中手术 器械杆轴与末端执行器区域， 并按照步骤三精准定位手术器械关节位置； 基于定位得到的 各个手术器械的关节位置， 按照步骤四计算视 觉追踪目标点； 如果当前时刻的一帧腹腔镜图像中视觉追踪目标点定位失败， 则中断当前的多器械视 觉追踪流 程， 并从下一时刻的一帧腹腔镜图像开始新的多器械 视觉追踪流 程。权　利　要　求　书 2/2 页 3 CN 114663474 A 3