(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210187222.3 (22)申请日 2022.02.28 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 樊梦尧　焦昶哲　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华　王玺钧 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于ROI和分裂融合策略的弱监督肝脏肿瘤 分割 (57)摘要 本发明公开了一种基于ROI和分裂融合策略 的弱监督肝脏肿瘤分割方法， 主要解决现有弱监 督方法对目标定位不够完整准确的问题。 其实现 方案为： 对输入图像进行划分， 得到训练集和测 试集； 构建基于ROI和分裂融合策略的像素级标 签生成网络W； 用训练集对网络W进行迭代训练， 得到初步训练完成的网络Wi， 再将训练集重新输 入到初步训练完成的网络Wi中进行迭代训练得 到最终训练好的网络W ′； 利用W′生成像素级的标 签训练已有的语义分割网络G， 得到训练好的分 割模型G'； 将测试集的 图像送入G'进行测试得到 分割结果。 本发 明在使用边框级弱标注避免手动 获得大量像素级标签的情况下取得了良好性能， 可用于辅助医疗的诊断， 肿瘤筛查。 权利要求书4页 说明书9页 附图3页 CN 114565762 A 2022.05.31 CN 114565762 A 1.基于ROI和分裂融合策略的弱监 督肝脏肿瘤分割， 其特 征在于， 包括如下： (1)获取经过审查的肝脏肿瘤CT数据 集， 将其80 ％图像作 为训练集， 剩余20 ％图像作 为 测试集， 并对该训练集的CT肝脏肿瘤图像进行框级别的弱标注， 标注的矩形框记作真值框 GTBox， 得到 了标注后训练集CT肝脏图像的框级标注文件集； (2)构建基于感兴趣区域ROI和分裂融合策略的像素级标签生成网络W： (2a)选用一个基于ResNet50 的特征提取主干网络， 该网络 的输出为4个不 同尺度的特 征图， 对4个不同尺度特 征图按尺度由小到大记为P1， P2， P3， P4； (2b)在P1， P2， P3， P4特征图的基础上建立以框为感兴趣区域ROI的区域建议 网络RPN的 初始框anc hor生成器， 用于得到不同尺度的初始框anc hor； (2c)根据不同尺度的初始框anchor和P1， P2， P3， P4四个特征图构造区域建议网络RPN 的建议框pr oposal生成器， 根据该建议框proposal生成器输出的初始框anchor的预测回归 参数计算初始框anchor的回归损失Lreg， 再用初始框anchor的预测回归参数对初始框 anchor进行空间坐标调整得到建议框proposal； (2d)将(2c)生成的建议框proposal划分为正负样本， 用特征层计算公式Layer确定划 分为正负样 本的建议框proposal所在的特征层， 得到划分为正负样本的建议框pr oposal的 特征； (2e)构建由分类器A和分类器B、 C组成的分裂融合模块， 其 中A,B,C的主体均由2层 卷积 构成， 第一个卷积层的输入为已划分为正负样 本的建议框pr oposal的特征， 分类器A,B,C各 自第二个卷积层的输出分别为Sa、 Sb、 Sc； 对Sa， Sb， Sc进行全局 平均池化得到Pa， Pb， PC作为分 类器将建议框proposal预测为正样本的概率， 并计算三个分类器各自的分类损失lossa、 lossb、 lossc； (2f)对A， B分类器的最后卷积层的输出Sa， Sb分别进行Softmax操作进行归一化， 得到归 一化的结果 为MA， MB， 并计算Sa与Sb之间的分裂损失l osssplit： 其中， 和 分别代表MA MB在位置i,j处的值， β 是分裂强度系数， Sh和Sw分别是特 征图的高和宽； (2g)计算Sa与Sb之间融合损失l ossinter： 取Sa和Sb逐个位置的最小值定义为Sinter， 并对Sinter进行平均池化得到池化结果Pinter， 利用池化结果Pinter计算Sa与Sb之间的融合损失l ossinter： i的取值为1～M， M为建议框proposal的个数； (2h)将上述特征提取主干网络作为第一部分， 区域建议网络RPN的初始框anchor生成 器作为第二部分， 区域建议网络RPN的建议框proposal生成器作为第三部分， 分类器A,B,C 组成的分裂融合模块作为第四部分， 对这四部分依次级联组成基于感兴趣区域ROI和分裂 融合策略的像素级标签生成网络W， 并设该网络的总损失l oss为： loss＝Lreg+lossa+lossb+lossc+losssplit+lossinter； (3)利用随机梯度下降S GD算法对基于感兴趣区域ROI和分裂 融合策略的像素级标签生权　利　要　求　书 1/4 页 2 CN 114565762 A 2成网络W进 行迭代训练， 得到训练好的基于感兴趣区域 ROI和分裂融合策略的像素级 标签生 成网络W′； (4)生成每张图片的像素级别标签： (4a)将训练集每张图片 分别送入训练好的基于感兴趣区域ROI和分裂融合策略的像素 级标签生成网络W′， 先执行(2a)得到图片的特征图， 再根据每张图片真值框GTBox的坐标从 特征图上提取真值框GTBox的特 征； (4b)将每 张照片的每个真值框GTBox的特征依次送入分类器A， B， C中， 通过合并策略得 到三个分类 器的合并图Umap作为真值框中肿瘤概 率分布的热量图； (4c)将(4a)中得到的真值框GTBox的特征图通过聚类操作， 再将聚类结果结合(4b)中 的合并图Umap得到像素级肿瘤标签； (5)利用步骤(4)生成的像素级肿瘤标签和训练图像， 结合随机梯度下降SGD算法去训 练现有的语义分割网络De epLabV3， 得到训练好的语义分割网络De epLabv3； (6)将测试集的图像输入到训练好的DeepLabV3网络进行分割， 得到每 张图片与原图片 大小相同的二维数组， 该二 维数组的每个像素位置的值代表原图像在该位置处像素为肿瘤 的概率， 并将其与设定的阈值0.5进行比较： 如果概率大于0.5， 则预测原图像在该处为肿瘤， 如果概率小于0.5， 则预测原图像在该处为背景。 2.根据权利要求1所述的方法， 其中2(b)中建立初始框anchor生成器， 是在P1， P2， P3， P4这四个特 征层的每 个空间位置上生成3个初始框anc hor， 其中： P1特征层每个位置上的3个初始框anc hor的高宽比分别为0.5、 1.0、 2.0， 面积都为202； P2特征层每个位置上的3个初始框anc hor的高宽比分别为0.5、 1.0、 2.0， 面积都为 402； P3特征层每个位置上的3个初始框anc hor的高宽比分别为0.5、 1.0、 2.0， 面积都为802； P4特征层每个位置上的3个初始框anc hor的高宽比分别为0.5、 1.0、 2.0， 面积都为16 02。 3.根据权利 要求1所述的方法， 其 中(2c)中构建的建议框proposal生成器， 由两个卷积 层级联构成， 其中： 第一卷积层的输入为P1， P2， P3， P4四个特 征层， 其输出作为第二卷积层的输入； 第二卷积层的输出作为(2b)中P1， P2， P3， P4四个特征层上初始框anchor的预测回归参 数， 其输出维度为12 ×H×W， H代表输入的特征层的高度， W代表输入的特征层的宽度， 12代 表特征层每个空间位置上生 成的3个初始框anchor的预测回归参数， 每4个一组代表一个初 始框anchor的预测回归参数， 每组预测回归参数记为tx、 ty、 th、 tw， 其中， tx代表对初始框 anchor中心点横坐标要调整的预测量， ty代表对初始框anchor中心点纵坐标要调整的预测 量， th代表对初始框anch or的高度要调整的预测量， tw代表对初始框anchor宽度要调整的预 测量。 4.根据权利要求1所述的方法， 其中(2c)中计算初始框anchor的回归损失Lreg， 只是在 所有初始框anchor中挑选与真值框GTBox的交并比IOU大于0.5的初始框anchor去计算其回 归损失Lreg， 公式如下： 权　利　要　求　书 2/4 页 3 CN 114565762 A 3