(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210185676.7 (22)申请日 2022.02.28 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 陈苏婷　马文妍　张艳艳　张闯　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王慧 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像金字塔特征指导的多尺度目标检测方 法 (57)摘要 本发明公开了一种图像金字塔特征指导的 多尺度目标检测方法， 包括步骤： S1， 以彩色图像 作为网络输入， 以FPN作为目标检测的框架， 采用 排序下采样方法提取图像特征； S2， 以同一幅彩 色图像作为输入， 采用构建的双瓶颈子卷积网络 提取图像金字塔中每层级的位置信息和细节特 征； S3， 将步骤S2中提取的每层级的图像特征和 主干网络对应的深层特征输入到构建的分层式 特征融合模块中， 完成高分辨率、 弱语义特征与 低分辨率、 强语义特征的融合； S4， 引入Focal   loss重构损失函数， 完成目标检测。 本发明不仅 能加强空间位置信息， 而且能避免在下采样中丢 失大量细 节信息， 从而增加了目标检测网络对小 目标和邻近目标的辨识度。 权利要求书2页 说明书7页 附图5页 CN 114612709 A 2022.06.10 CN 114612709 A 1.一种图像金字塔特 征指导的多尺度目标检测方法， 其特 征在于， 包括 步骤如下： S1， 以彩色图像作为网络输入， 以基于ResNet ‑101主干网络的FPN作为目标检测的框 架， 采用排序下采样方法提取图像特 征； S2， 以步骤S1中的同一幅彩色图像作为输入， 采用构建的双瓶颈子卷积网络提取图像 金字塔中每层级的位置信息和细节特 征； S3， 将步骤S2中提取的每层级的图像特征和主干网络对应的深层特征输入到构建的分 层式特征融合模块中， 完成高分辨 率、 弱语义特 征与低分辨 率、 强语义特 征的融合； S4， 引入Focal  loss重构损失函数， 对多任务进行训练， 完成目标检测。 2.根据权利要求1所述的图像金字塔特征指导的多尺度目标检测方法， 其特征在于， 所 述步骤S1中， 所述 排序下采样方法的实现过程如下： S11， 在卷积神经网络的特征采样层的特征图上， 滑动一个设定步长的滑窗， 将滑窗内 数值按升序排序， 依次提取该滑窗内的四个值， 生成四个新特征图； 每个新特征图的宽度和 高度都是原特 征图的一半， 则有排序下采样方法的输出为： 其中， 表示卷积神经网络每个采样层的特征图， W、 H和D分别表示特征图的宽 度、 高度与通道数， l是卷积神经网络采样层的层级索引； Mj(·)表示提取滑窗内第j个值的 过程， 每个滑窗内被依次提取四个值； 表示第l个下采样层中第j个输出的新特征 图， 每个下采样层生成四个新特 征图； S12， 将四个新特征图并置， 然后输入到小型卷积网络进行特征精修和通道调整； 将输 出的最终特 征图 作为主干网络下一层的输入， 其中， W ′、 H′和D′分别表示 最终特征 图的宽度、 高度与通道数。 3.根据权利要求1所述的图像金字塔特征指导的多尺度目标检测方法， 其特征在于， 所 述步骤S2中， 构建双瓶颈 子卷积网络的过程如下： S21， 定义双瓶颈 子卷积网络的输入为： 其中， 表示高度为H*、 宽度为W*的图像， 该图像同时是目标检测模型的输入图像； i为图像金字塔和主干网络的层级索引； S22， 将图像金字塔中的第i层图像输入双瓶颈子卷积网络， 通过一个5 ×5卷积核和一 个3×3卷积核提取图像表层的边 缘特征； S23， 将被提取的边缘特征输入到具有2个瓶颈结构的残差网络单元中提取细节特征， 使用带有1 ×1卷积核的侧边连接， 将准确定位的边 缘信息传输给提取的纹 理细节特 征； 所述瓶颈结构由2个分别用于特征图通道降维与升维的1 ×1卷积核和2个用于学习浅 层特征的3×3卷积核构成； S24， 得到与对应主干网络层级尺度相同的特 征图， 为残差网络单 元的输出； S25， 以不同尺度的图像作为输入， 定义双瓶颈 子卷积网络的输出为：权　利　要　求　书 1/2 页 2 CN 114612709 A 2其中， 表示图像金字塔第i层图像被提取的特征； 表示图像金字塔中所有层 级图像被提取的特 征的集合。 4.根据权利要求1所述的图像金字塔特征指导的多尺度目标检测方法， 其特征在于， 所 述步骤S3中， 所述分层式特征融合模块采用基于逐元素相加的特征融合模块； 定义逐元素 相加的输出为： 其中， 和 分别表示两个3 ×3卷积单元， 用作特征图的参数化特征映射， 为1×1 卷积单元， 用作特征图的线性变换； BN[ ·]为卷积特征的批量归一化操作； T( ·)表示通道 维数双线性插值操作， 用作调整两种不同类型特征的通道维度； h( ·)与g(·)分别是双瓶 颈子卷积网络的输出特征图与主干网络的特征图， i为图像金字塔与主干网络的层级索引； I0与Ii分别表示图像金字塔中的原 始图像和第i层的图像。 5.根据权利要求1所述的图像金字塔特征指导的多尺度目标检测方法， 其特征在于， 所 述步骤S4中， 所述分类损失函数如下： 其中， p与p*分别为样本预测值和样本真值； αt∈(0， 1)是为类1引入的一个权重因子， 1 ‑ αt是为类‑1引入一个权 重因子； (1 ‑p)γ是调制系数； 位置回归损失项表示 为： 其中， Lreg(t， t*)由平滑的L1损失表示； t ＝{x， y， w， h}表示样本预测的边界框位置信息， 其中， {x， y}表示 边界框的中心坐标， {w， h}表示 边界框的宽和高； t*为t的样本标签； 目标检测损失函数表示 为： 其中， 为分类的样本数量， 为回归的样本数量； w 为训练图像的批次数； k为每批 次训练样本中单个样本的索引； λ为损失平衡项。权　利　要　求　书 2/2 页 3 CN 114612709 A 3