(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210112398.2 (22)申请日 2022.01.29 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 申请人 福建医科 大学附属协和医院 (72)发明人 陈飞　蔡钟晟　王波　赵文新　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06T 7/62(2017.01) G06T 3/40(2006.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Libra-RCNN和椭圆形状特征的图像中 目标检测方法及系统 (57)摘要 本发明涉及一种基于Libra ‑RCNN和椭圆形 状特征的图像中目标检测方法及系统， 该方法包 括以下步骤： S1、 输入训练集中图像并进行预处 理； S2、 基于Libra ‑RCNN架构设置骨干网络模型 信息； S3、 通过矩形框标签构建椭圆框标签， 并计 算椭圆交并比IoU； S4、 计算椭圆锚框的长短轴及 角度； S5、 设置分类损失函数、 回归损失函数和角 度损失函数； S6、 设置不同尺度输出后的Head部 分； S7、 设置Libra ‑RCNN的采样策略为IoU 最大值 采样策略， 并设置相应的IoU阈值； S8、 生成网络 模型， 并通过训练集图像训练网络模型， 得到训 练好的网络模型； S9、 通过训练好的网络模型检 测图像， 得到目标的相应位置和目标类别。 该方 法及系统有利于提高对于具有椭圆形状特征目 标的检测精度。 权利要求书2页 说明书7页 附图3页 CN 114445482 A 2022.05.06 CN 114445482 A 1.一种基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其特征在于， 包括以 下步骤： S1、 输入训练集中图像并进行 预处理； S2、 基于L ibra‑RCNN架构设置骨干网络模型信息； S3、 通过矩形框标签构建椭圆框标签， 并计算椭圆交并比I oU； S4、 计算椭圆锚框的长短轴及角度； S5、 设置分类损失函数、 回归损失函数和角度损失函数； S6、 设置不同尺度输出后的Head部分； S7、 设置L ibra‑RCNN的采样策略为 IoU最大值采样策略， 并设置相应的I oU阈值； S8、 生成网络模型， 并通过训练集图像训练网络模型， 得到训练好的网络模型； S9、 通过训练好的网络模型检测图像， 得到目标的相应位置和目标类别。 2.根据权利要求1所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S1中， 对训练集中的图像进行变换操作， 包括缩放、 随机 反转及归一化， 具体包括以下步骤： S11、 将输入的图像按照比例1280:720， 将长边缩放到固定的尺度608； 剩下部分用线性 插值法填充； S12、 将训练集中一半的图像进行随机翻转； S13、 对所有图像进行批量归一化， 均值设置为m， RGB三个通道的m分别为[123.675, 116.28,10 3.53]， 方差设置为σ， RGB三个通道的σ 分别为[58.395,57.12,57.375]。 3.根据权利要求1所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S2中， 骨干网络采用平衡特征金字塔模型， 设置2M层不同尺度输出， 特 征从底层传递到高层， 又从高层传送回底层， 分别记为C1,C2,…,C2M； 所述平衡特征金字塔 具有融合模块和特征提取模块， 所述融合模块将 C1到C2M统一缩放到CM+1尺度， 通过加权相加 取平均得到一张融合后的特征图， 将该特征图作为特征提取模块的输入； 所述特征提取模 块通过自注意力机制整合全局信息， 然后将整合后的特征图缩放到原本的尺度， 得到P1, P2,…,P2M。 4.根据权利要求3所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S3中， 矩形框包括4个参数， 分别是目标的中心点坐标(x,y)、 宽度w及高 度h； 椭圆框包括5个参数， 分别是目标的中心点坐标(x,y)、 长轴a、 短轴b 及旋转角度 θ； 椭圆 框标签的长轴a、 短轴b及角度 θ 的计算方法为： S31、 采用K ‑means聚类方法对图像的像素点进行 聚类， 共聚成两类， 分别表示前景和背 景； S32、 采用腐蚀膨胀的形态学 方法去除椭圆目标周围的噪声点； S33、 通过几何矩的方法计算 二值图像中椭圆目标的质心； S34、 计算不同角度 上质心到椭圆目标边界的像素数目， 数目最大的直线即为椭圆长轴 距离， 相应的角度即为椭圆旋转角度， 与长轴角度垂 直方向的直线即为短轴， 短轴距离同样 通过计算像素 数目得到； 根据椭圆框标签计算两个椭圆框的交集面积和并集面积， 将面积相除得到椭圆框标签 的IoU。权　利　要　求　书 1/2 页 2 CN 114445482 A 25.根据权利要求4所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述 步骤S4中， 椭圆锚框的长轴a、 短轴b及角度 θ 的计算方法为： S41、 对长短轴进行 K‑means聚类， 得到9对出现频率 最高的长轴a、 短轴b； S42、 对旋转角度 θ进行 K‑means聚类， 得到 3个出现频率 最高的旋转角度 θ； S43、 将每个旋转角度θ与每对长短轴进行匹配， 得到27对由长轴a、 短轴b及角度θ组成 的椭圆锚框 。 6.根据权利要求5所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述 步骤S5中， 分类损失函数Lc采用Focal Loss函数： Lc(pt)＝‑(1‑pt)γlog(pt) 其中， pt表示样本失真的概 率， 参数γ＞0； 回归损失函数Lb采用平衡损失函数： 其中， α 和ρ 为 参数， β 根据α l n( β +1)＝ρ 计算得到， u为特 征图上点的值； 角度损失函数Lθ采用平方差损失函数， 即每个锚框根据计算出的角度与标签中的椭圆 角度进行相减的平方作为损失函数。 7.根据权利要求6所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S6中， 每个尺度输出Pi的后面设置Head部分； Head部分只有一层卷积 层， 将通道数固定至相同数量； 每个尺度的Head输出对应三个损失函数， 分别 是分类、 回归 和角度； 分类卷积的层数表示为A ×C， 其中A为锚框数， C为检测的类别 数； 回归卷积的层数 为A×5， 其中A为锚框数， 5代表x,y,a,b, θ， 其中(x,y)表示中心点， a和 b表示椭圆的长短边， θ表示椭圆的旋转角度。 8.根据权利要求7所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S7中， 所述IoU最大值采样策略为： 首先计算锚框与所有 标签框的阈值， 如果都小于负样本IoU阈值， 则设定为负样本， 如果锚框与距离最近的标签框之间的IoU大 于正样本I oU阈值， 则该锚框判定为该 标签框的正样本； 设置IoU阈值的方法为： 将输入图像的目标框与锚框进行IoU计算， 即计算锚框和目标 框的交集面积ei， 计算锚框和目标框的并集面积eu； ei/eu即交并比IoU的数值； IoU超过阈值 0.5则判定为 正样本， 低于阈值0.5则判定为负 样本。 9.根据权利要求8所述的基于Libra ‑RCNN和椭圆形状特征的图像中目标检测方法， 其 特征在于， 所述步骤S8中， 将训练集图像分批输入网络模型， 分别经过特征金字塔提取特 征、 特征融合、 特征再提取得到不同的Head输出； 正负样 本分别根据相应损失函数计算三种 损失， 并通过反向传播训练网络， 使得网络损失不断下降； 直到网络损失趋于稳定， 训练结 束， 保存网络模型的参数， 得到训练好的网络模型。 10.一种基于Libra ‑RCNN和椭圆形状特征的图像中目标检测系统， 其特征在于， 包括存 储器、 处理器以及存储于存储器上并能够被处理器运行 的计算机程序指令， 当处理器运行 该计算机程序指令时， 能够实现如权利要求1 ‑9所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114445482 A 3