(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210173807.X (22)申请日 2022.02.25 (65)同一申请的已公布的文献号 申请公布号 CN 114239756 A (43)申请公布日 2022.03.25 (73)专利权人 科大天工智能装备技 术 （天津） 有 限公司 地址 300308 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 (72)发明人 钱浩　张波　周晓坤　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/25(2022.01) (56)对比文件 CN 111611889 A,2020.09.01 CN 113052168 A,2021.0 6.29 CN 112733614 A,2021.04.3 0 CN 111369540 A,2020.07.0 3 CN 106295564 A,2017.01.04 CN 110096961 A,2019.08.0 6 CN 112598031 A,2021.04.02 CN 112307958 A,2021.02.02 CN 112116563 A,2020.12.2 2 梁正兴 等.实例分割和边 缘优化算法的研 究与实现. 《图学 学报》 .2020, Jing Li 等.object Detecti on Based o n DenseNet RPN. 《Proce edings of the 38th Chinese Control Conference》 .2019, 审查员 王佳楠 (54)发明名称 一种虫害检测方法及系统 (57)摘要 本发明涉及一种虫害检测方法及系统， 属于 图像检测技术领域， 该方法包括： 构建虫害检测 数据集； 基于邻域信息融合构建虫害检测 网络； 采用虫害检测数据集训练虫害检测网络获得虫 害检测模型； 采用虫害检测模型进行虫害位置和 虫害类别检测； 虫害检测网络包括候选目标区域 提取模块、 邻域信息融合模块和后端预测模块； 邻域信息融合模块用于根据多个虫害目标区域 获得多个虫害区域特征图， 并获得各虫害区域特 征图的邻域信息特征图， 将各虫害区域特征图与 对应的邻域信息特征图进行特征融合， 获得各虫 害区域特征图对应的融合式虫害区域特征图。 本 发明提高了 检测效率和准确性。 权利要求书2页 说明书8页 附图3页 CN 114239756 B 2022.05.17 CN 114239756 B 1.一种虫害检测方法， 其特 征在于， 包括： 构建虫害检测数据集； 所述虫害检测数据集包括多 张设定蔬菜种类的蔬菜图像和与 各 所述蔬菜图像对应的标注文件， 所述标注文件标注的是蔬菜图像中虫害位置和虫害类别； 基于邻域信息融合构建虫害检测网络； 采用所述虫害检测数据集训练所述虫害检测网络， 获得 虫害检测模型； 将待检测蔬菜图像输入所述虫害检测模型， 获得所述待检测蔬菜图像的虫害位置和虫 害类别； 所述虫害检测网络包括候选目标区域提取模块、 邻域信息融合模块和后端预测模块； 所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取， 对提取的虫害图特征 进行特征融合， 获得多张尺度不同的融合特征图， 并根据各融合特征图获得多个虫害目标 区域； 所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图， 并获得各虫害区域特征图的邻域信息特征图， 将各虫害区域特征图与对应的邻域信息特征 图进行特征融合， 获得各虫害区域特征图对应的融合式虫害区域特征图； 所述后端预测模 块根据各所述融合式虫害区域特 征图确定所述输入蔬菜图像的虫害位置和虫害类别； 所述邻域信 息融合模块用于以第 i张虫害区域特征图的中心为中心， 在与第 i张虫害区 域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻 域特征图， 对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征 图的邻域信息特征图； 所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻 域信息特征图进 行逐像素相乘操作， 再将逐像素相乘结果进 行卷积核为 1*1的卷积操作， 获 得融合式虫害区域特 征图。 2.根据权利要求1所述的虫害检测方法， 其特 征在于， 所述方法还 包括： 根据所述待检测蔬菜图像的虫害位置统计虫害数量； 根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。 3.根据权利要求1所述的虫害检测方法， 其特征在于， 所述邻域信息融合模块包括ROI   Align层， 所述ROI  Align层用于根据多个所述虫害目标区域获得多个虫害区域特 征图。 4.根据权利要求1所述的虫害检测方法， 其特征在于， 所述后端预测模块包括两层全连 接层。 5.根据权利要求1所述的虫害检测方法， 其特征在于， 所述将待检测蔬菜图像输入所述 虫害检测模型， 获得 所述待检测蔬菜图像的虫害位置和虫害类别， 具体包括： 采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集， 实时获得待检 测蔬菜图像； 将实时获得的待检测蔬菜图像输入所述虫害检测模型， 获得所述待检测蔬菜图像的虫 害位置和虫害类别。 6.一种虫害检测系统， 其特 征在于， 包括： 数据集构建模块， 用于构建虫害检测数据集； 所述虫害检测数据集包括多张设定蔬菜 种类的蔬菜图像和与各所述蔬菜图像对应的标注文件， 所述标注文件标注的是 蔬菜图像中 虫害位置和虫害类别； 虫害检测网络构建模块， 用于基于邻域信息融合构建虫害检测网络； 虫害检测网络训练模块， 用于采用所述虫害检测数据集训练所述虫害检测网络， 获得权　利　要　求　书 1/2 页 2 CN 114239756 B 2虫害检测模型； 虫害检测模块， 用于将待检测 蔬菜图像输入所述虫害检测模型， 获得所述待检测 蔬菜 图像的虫害位置和虫害类别； 所述虫害检测网络包括候选目标区域提取模块、 邻域信息融合模块和后端预测模块； 所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取， 对提取的虫害图特征 进行特征融合， 获得多张尺度不同的融合特征图， 并根据各融合特征图获得多个虫害目标 区域； 所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图， 并获得各虫害区域特征图的邻域信息特征图， 将各虫害区域特征图与对应的邻域信息特征 图进行特征融合， 获得各虫害区域特征图对应的融合式虫害区域特征图； 所述后端预测模 块根据各所述融合式虫害区域特 征图确定所述输入蔬菜图像的虫害位置和虫害类别； 所述邻域信 息融合模块用于以第 i张虫害区域特征图的中心为中心， 在与第 i张虫害区 域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻 域特征图， 对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征 图的邻域信息特征图； 所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻 域信息特征图进 行逐像素相乘操作， 再将逐像素相乘结果进 行卷积核为 1*1的卷积操作， 获 得融合式虫害区域特 征图。 7.根据权利要求6所述的虫害检测系统， 其特 征在于， 所述系统还 包括： 虫害数量统计模块， 用于根据所述待检测蔬菜图像的虫害位置统计虫害数量； 虫害状态确定模块， 用于根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。 8.根据权利要求6所述的虫害检测系统， 其特征在于， 所述邻域信息融合模块包括ROI   Align层， 所述ROI  Align层用于根据多个所述虫害目标区域获得多个虫害区域特 征图。权　利　要　求　书 2/2 页 3 CN 114239756 B 3