(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210219815.3 (22)申请日 2022.03.08 (71)申请人 宁波利安科技股份有限公司 地址 315525 浙江省宁波市奉化区经济开 发区汇盛路289号 (72)发明人 谢丰凡　邱翌　王东明　卢星宇　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 应孔月 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/586(2017.01) G06T 5/00(2006.01) G06T 5/30(2006.01) G06T 7/187(2017.01)G06V 10/141(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种鼠标外壳表 面缺陷检测方法及装置、 系 统、 电子设备 (57)摘要 本发明公开了一种鼠标外壳表面缺陷检测 方法及装置、 系统、 电子设备， 该方法包括： 获取 待测鼠标外壳的图像， 其中所述图像包括所述待 测鼠标外壳的顶部的图像、 四个侧面的图像以及 底部的图像； 对所述图像进行预处理； 将预处理 后的图像输入训练好的缺陷检测模 型中， 得到初 步检测结果； 对 所述初步检测结果进行非极大抑 制操作， 得到缺陷检测结果。 该方法采集顶部的 图像、 四个侧面的图像以及底部的图像， 克服了 因不规则曲面导致的成像不均匀， 极大缓解了表 面纹理缺陷的成像效果受打光方向和拍摄角度 影响大的问题； 将预处理后的图像输入训练好的 缺陷检测模 型中进行缺陷检测， 通过深度学习算 法， 提高了 检测的准确性、 鲁棒 性和效率。 权利要求书2页 说明书9页 附图4页 CN 114612418 A 2022.06.10 CN 114612418 A 1.一种鼠标外壳表面 缺陷检测方法， 其特 征在于， 包括： 获取待测鼠标外壳的图像， 其中所述图像包括所述待测鼠标外壳的顶部的图像、 四个 侧面的图像以及底部的图像； 对所述图像进行 预处理； 将预处理后的图像输入训练好的缺陷检测模型中， 得到初步检测结果； 对所述初步检测结果进行非极大抑制操作， 得到缺陷检测结果。 2.根据权利要求1所述的方法， 其特 征在于， 对所述图像进行 预处理， 包括： 对所述图像进行 形态学滤波操作， 得到鼠标外壳区域； 对所述鼠标外壳区域进行锐化， 以提高所述鼠标外壳区域的对比度。 3.根据权利要求1所述的方法， 其特 征在于， 所述 缺陷检测模型包括： 特征提取网络， 用于提取输入图像的特 征； 特征融合网络， 用于 融合所述特征提取网络输出的不同尺度、 不同层次的特征， 得到 融 合特征； 及 检测分类网络， 用于从所述融合特 征中识别出目标缺陷的位置和类别。 4.根据权利要求1所述的方法， 其特 征在于， 所述 缺陷检测模型的训练过程包括： 获取鼠标外壳的图像集； 对所述图像集中的所有图像进行检测框标注和数据增强， 得到训练数据集， 其中每个 检测框包括 缺陷的位置信息和类别 信息； 将所述训练数据集划分为训练集和验证集； 在所述训练集中的一张图像上预设的若干候选框进行筛选， 得到正样本框和负样本 框； 根据所述 正样本框与所述检测框的重合 程度， 计算 位置损失函数； 根据正样本 框对应的检测框的类别 信息， 计算类别损失函数； 根据所述 正样本框、 负样本框分别对应的置信度信息， 计算置信度损失函数； 对所述位置损失函数、 类别损失函数和置信度损失函数求加权和， 得到损失值， 生成策 略梯度； 根据所述策略梯度， 基于反向传播 算法逐层更新所述 缺陷检测模型的参数； 对所述训练集中的其他图像执行从在所述训练集中的一张图像上预设的若干候选框 进行筛选， 得到正样本框和负样本框至根据所述策略梯度， 基于反向传播算法逐层更新所 述缺陷检测模型的参数的步骤； 将验证集输入更新后的缺陷检测模型中， 计算验证集的平均损失； 对在所述训练集中的一张图像上预设的若干候选框进行筛选， 得到正样本框和负样本 框至将验证集输入更新后的缺陷检测模型中， 计算验证集的平均损失的步骤进行重复直至 所述验证集的损失不再降低。 5.一种鼠标外壳表面 缺陷检测装置， 其特 征在于， 包括： 获取模块， 用于获取待测鼠标外壳的图像， 其中所述图像为带偏振光的多光源多相机 视觉系统对所述待测鼠标外壳的各个面进行图像采集得到； 预处理模块， 用于对所述图像进行 预处理； 输入模块， 用于将预处 理后的图像输入训练好的缺陷检测模型中， 得到初步检测结果；权　利　要　求　书 1/2 页 2 CN 114612418 A 2后处理模块， 用于对所述初步检测结果进行非极大抑制操作， 得到缺陷检测结果。 6.一种鼠标外壳表面 缺陷检测系统， 其特 征在于， 包括： 图像采集单元， 所述图像采集单元用于采集待测鼠标外壳的图像， 其中所述图像包括 所述待测鼠标外壳的顶部的图像、 四个侧面的图像以及底部的图像； 打光单元， 所述打光单 元用于在所述图像采集单 元进行图像采集时进行光线照射； 及 处理器， 所述处理器用于获取待测鼠标外 壳的图像， 对所述图像进行预处理， 将预处理 后的图像输入训练好的缺陷检测模型中， 得到初步检测结果， 对所述初步检测结果进行非 极大抑制操作， 得到缺陷检测结果。 7.根据权利要求6所述的系统， 其特 征在于， 所述图像采集单 元包括： 第一相机和第 二相机， 所述第 一相机和第 二相机用于从不同角度采集所述待测鼠标外 壳的顶部的图像； 第三相机、 第四相机、 第五相机和第六相机， 所述第三相机、 第四相机、 第五相机和第六 相机用于采集所述待测鼠标外壳的四个侧面的图像； 第七相机， 所述第七相机用于采集所述待测鼠标外壳的底部的图像。 8.根据权利要求7 所述的系统， 其特 征在于， 所述打光单 元包括： 第一光源， 所述第一光源设置在所述第一相机和第三相机之间， 用于在所述第一相机 和第三相机进 行图像采集时对所述待测鼠标外壳进行照射， 其中所述第一光源与所述第一 相机和第三相机均不同轴； 第二光源， 所述第二光源设置在所述第二相机和第 四相机之间， 用于在所述第二相机 和第四相机进 行图像采集时对所述待测鼠标外壳进行照射， 其中所述第二光源与所述第二 相机和第四相机均不同轴； 第三光源， 所述第 三光源用于在所述第五相机进行图像采集 时对所述待测鼠标外 壳进 行照射， 其中所述第三 光源与所述第五相机不同轴； 第四光源， 所述第四光源用于在所述第六相机进行图像采集 时对所述待测鼠标外 壳进 行照射， 其中所述第四光源与所述第六相机不同轴； 第五光源， 所述第五光源用于在所述第七相机进行图像采集 时对所述待测鼠标外 壳进 行照射， 其中所述第五光源与所述第七相机同轴。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑4任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机指令， 其特征在于， 该指令被处理器 执行时实现如权利要求1 ‑4中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114612418 A 3