(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210606294.7 (22)申请日 2022.05.31 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 夏煌　方银锋　王帮雨　濮程红　 刘子洋　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/13(2017.01) G06T 7/168(2017.01) G06T 7/80(2017.01)G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于YOLOv5的电路板 检测点定位方法 (57)摘要 本发明属于图像检测技术领域， 公开了一种 基于YOLOv5的电路板检测点定位方法， 包 括如下 步骤： 步骤1： 采用YOL Ov5目标检测算法对拍摄的 电路板图像中检测点像素位置进行定位； 步骤2： 采用基于神经网络拟合的手眼标定算法将检测 点的像素坐标转换为实际空间坐标； 步骤3： 基于 动态松弛投票的近似平行散点分类算法对检测 点空间坐标进行分类并计算待检测电路板角度。 本发明方法的定位精度平均误差满足检测点检 测 要求， 并且系统检测用时较短， 效率 要远远高于人工 检测。 权利要求书3页 说明书8页 附图14页 CN 114998432 A 2022.09.02 CN 114998432 A 1.一种基于 YOLOv5的电路板检测点定位方法， 其特 征在于， 包括如下步骤： 步骤1： 采用YOLOv5目标检测算法对拍摄的电路板图像中检测点像素位置进行定位； 步骤2： 采用基于神经网络拟合的手眼标定算法将检测点的像素坐标转换为实 际空间 坐标； 步骤3： 采用动态松弛投票的方式对得到的检测点空间坐标进行分类， 分别计算坐标点 集中任意两点构成的直线参数， 找出出现次数最多的直线参数， 计算坐标点集中任意点到 直线的距离， 将距离与阈值进 行判断， 从而进行分类； 最后利用最小二乘法拟合坐标点得到 最后的电路板角度信息， 最终确定检测点 位置信息， 实现电路板检测点的定位。 2.根据权利 要求1所述的基于YOLOv5的电路板检测点定位方法， 其特征在于， 所述步骤 1包括如下 具体步骤： 步骤1.1： 采用电路板正放， 拍摄光线明亮、 电路板正放， 拍摄光线昏暗、 电路板不同角 度斜放， 拍摄光线明亮和电路板不同角度斜放， 拍摄光线昏暗各6张图片， 共24张图片作为 训练集， 6张随机拍摄图片作为测试集； 步骤1.2： 经过800轮训练， 模型最终在训练集上的[email protected]为0.995， 经过推理检测后， 检测目标被矩形框框选， 并且显示置信度， 即当前框选对象为检测目标的概率， 算法采用矩 形框的中心作为检测目标的像素坐标， 得出光线亮度和电路板的摆放情况对于Y OLO算法最 终的推理结果没有较大 的影响， 表明算法对于场景不具有依赖性， 并且每种场景下 的检测 效果精度较优， 均能识别出 所有的检测点； 步骤1.3： 测试YOLOv5算法在不同场景下的识别精准度和识别效果的稳定性： 以算法推 理检测点成功率、 推理结果的置信度作为算法识别精准度和稳定性的衡量指标， 分别在正 放， 光线明亮、 正放， 光线昏暗、 斜放， 光线明亮和斜放， 光线昏暗四种场景下各进行20次实 验， 得到检测置信度分布和准确率， 得 出在不同的场景 下， 算法的检测准确率都为10 0％； 步骤1.4： 研究光线强度和摆放位置对于算法检测稳定性的影响： 通过分析对比各场景 下的推理结果置信度分布， 得到， 光线明亮的情况下， 推理结果的置信度较光线昏暗的情况 下的推理结果置信度较高； 电路板正放时， 推理结果的置信度较斜放时的推理结果执行难 度较高， 因此可以得出当光线明亮， 电路板正放时， 推理结果置信度较高， 推理结果较为稳 定。 3.根据权利 要求1所述的基于YOLOv5的电路板检测点定位方法， 其特征在于， 所述步骤 2包括如下 具体步骤： 步骤2.1： 基于手眼标定算法， 通过引 入神经网络拟合的方法， 直接拟合像素坐标至空 间坐标的关系； 步骤2.2： 构建神经网络结构； 步骤2.3： 检验基于神经网络拟合的手眼标定算法的精度： 采样49组数据， 每组数据由 像素坐标及其对应的空间坐标组成， 并随机抽取10组数据作为测试集， 剩余39组数据作为 训练集， 分别采用传统的仿射变换标定算法和基于神经网络拟合的手眼标定算法进行测 试， 得到神经网络法最终的拟合效果要优于采用仿射变化法拟合的效果。 4.根据权利 要求1所述的基于YOLOv5的电路板检测点定位方法， 其特征在于， 所述步骤 3包括如下 具体步骤： 步骤3.1： 对经YOLOv5算法推理后返回的电路板检测点的无序的像素坐标集合进行分权　利　要　求　书 1/3 页 2 CN 114998432 A 2类； 对于电路板结构而言， 检测点呈现两条平行直线排列， 因此得到的像素坐标应为双平行 散点分布， 由于YOLOv5检测存在一定的像素偏差， 因此得到的像素坐标不一定严格符合平 行列， 即属于一条直线上的检测点像素坐标 可能分布在某条直线的附近， 因此， 上述问题可以转化为近似双平行散点分类问题： 平面内存在点集P， 找出两组子 点集P1,P2,满足： 且对于任意 一个子点 集， 满足： yi＝kxi+bi+δ (2) 其中(xi,yi)∈Pi， δ 是服从均值 为0的正态分布随机误差； 在图像处理领域， 采用霍夫变换对图像中的直线、 圆进行检测； 通过二值化和边缘检测 得到边缘点集， 通过霍夫变换将边缘点集由直角坐标系转化到直线参数空间系， 此时直角 坐标系中的一条直线即转化到参数空间内一点， 通过投票机制， 确定出现在参数空间内次 数较多的点即为检测的直线参数； 步骤3.2： 提出一种基于动态 松弛投票的近似双平行散点分类算法； 根据两点确定一条直线， 每条直线由斜率k和截距b 两个参数确定； 首先， 创建空参数集 Q； 其次， 每每计算坐标集P中任意两点确定的直线参数k,b， 如果该直线参数存在于参数集Q 中， 则该参数的票数增加1， 否则， 将该参数添加至参数集Q中； 最后， 选取 投票数最多的两对 参数作为两条平行线的参数， 根据各点到两条直线的距离对坐标集进行分类， 得到最后的 分类结果； 步骤3.3： 在原有算法思路基础上， 在投票部分添加动态松弛， 即当前计算得到的参数 如果在参数集Q中某个参数的松弛范围内， 则该参数的票数增加一， 并且松弛范围与当前计 算得到的参数中的斜 率参数k相关， k较大时， 松弛范围较大， k较小时， 松弛范围较小； 步骤3.4： 检测算法实现效果， 分别生成三组数据， 分别代表平行线斜率不同的情形， 进 行算法实验， 得出， 无论是较小斜率和 较大斜率， 算法都能进行较好的分类， 经过投票得到 的最优参数直线也近似符合散点的直线分布。 5.根据权利 要求1所述的基于YOLOv5的电路板检测点定位方法， 其特征在于， 包括步骤 4： 系统整机实验及效果分析， 包括如下 具体步骤： 步骤4.1： 实验平台： 采用Python语言作为开发变成语言； 软件环境包括深度学习框架 torch1.10.1、 集成开发环境Pycharm2 020.3.3和第三方函数库Anaconda1.10.0以及操作系 统Windows  10专业版； 硬件开发环境为处理器Intel(R)Core(TM)i7 ‑6500U [email protected]   2.6GHz， 内存8G； 步骤4.2： 实验测量指标： 检验系统整体检测、 定位的精准度以及检测效率， 对系统进行 整机实验， 以定位精度误差作为精准度的衡量指标， 图像识别推理时间和两个检测 点之间 的移动时间作为检测效率的衡量指标， 进行20次整机实验； 定位精度误差定义为系统计算 检测点坐标与实际检测点坐标之间的欧式距离， 其中实际检测点坐标由人工控制机械臂移 动至检测 点， 通过机械臂反馈获得； 图像识别推理时间定义为摄像头拍摄图像至系统获得 检测点坐标、 角度等相关信息所用时间； 两个检测点之间的移动时间定义为机械臂从当前 检测点移动至下一个 检测点所需要的时间； 步骤4.3： 实验结果与分析： 20次实验测试结果为： 平均定位精度 误差为0.71mm， 图像推权　利　要　求　书 2/3 页 3 CN 114998432 A 3