(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210754604.X (22)申请日 2022.06.30 (65)同一申请的已公布的文献号 申请公布号 CN 114821453 A (43)申请公布日 2022.07.29 (73)专利权人 广州英码信息科技有限公司 地址 510663 广东省广州市黄埔区高新 技 术产业开发区科学城科研路3号自编 A2栋321房 (72)发明人 区英杰　吴浩杨　谭焯康　董万里　 (74)专利代理 机构 广州君策达知识产权代理事 务所(普通 合伙) 44749 专利代理师 陈宏升 (51)Int.Cl. G06V 20/40(2022.01)G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01) G06N 3/04(2006.01) G06Q 10/06(2012.01) G06Q 50/02(2012.01) (56)对比文件 CN 112116633 A,2020.12.2 2 CN 110725711 A,2020.01.24 US 20213 66256 A1,2021.1 1.25 CN 10410 0256 A,2014.10.15 审查员 古志春 (54)发明名称 基于目标检测的煤矿钻杆计数方法及计算 机可读介质 (57)摘要 本发明公开了基于目标检测的煤矿钻杆计 数方法及计算机可读介质， 所述计数方法包括以 下步骤： 对采集的图像进行预处理； 钻杆为非激 活状态时， 则检测网络对输入图像进行检测钻机 动力头和工人， 得到钻机动力头检测框和工人检 测框； 若对应检测框未被遮挡的情况下， 分别进 行钻机动力头钻 杆判断和工人钻 杆判断； 根据钻 机动力头钻 杆判断和工人钻 杆判断的结果， 进行 钻杆数量统计。 该发明能够解决当出现强光， 钻 杆工人的不可控行为， 钻机及工人遮挡， 钻机异 常中断所导 致的钻杆统计不 正确问题。 权利要求书2页 说明书8页 附图5页 CN 114821453 B 2022.09.20 CN 114821453 B 1.基于目标检测的煤矿 钻杆计数 方法， 其特 征在于， 包括以下步骤： S1、 对采集的图像进行 预处理； S2、 判断钻杆状态是否 激活： 若是， 则等待A帧后将钻杆状态置为非激活， 并跳转至步骤S1； 若否， 则检测网络对输入图像进行检测钻机动力头和工人， 得到钻机动力头检测框和 工人检测框， 并跳转至步骤S3； S3、 判断对应 检测框是否遮挡： 若钻机动力头检测框和工人检测框均遮挡， 则跳过该帧， 检测网络对下一帧图像进行 检测钻机动力头和工人； 若钻机动力头检测框未被遮挡， 进行钻机动力头钻杆判断： 钻机动力头的移动距离与 钻机动力头所能移动的最大距离的比值大于设定阈值时， 判断完成一次钻杆， 且钻杆状态 设置为激活； 若工人检测框未被遮挡， 进行工人钻杆判断： 对检测到的工人图像， 进行归一化处理， 输至分类模型得到每 帧的工人钻杆分类结果， 该分类分为钻杆和非钻杆两类； 钻杆类图像 为工人双手持钻杆， 并将钻杆钻进主钻杆中， 而非钻杆类图像工人双手并不 持有钻杆， 且双 手自然下放或叉腰， 两类图像具有明显的类间差异； 当连续B帧内出现b帧的结果分类为钻 杆， 且b<B， 则判断完成一次钻杆， 且 钻杆状态设置为激活； S4、 根据钻机动力头钻杆判断和工人钻杆判断的结果， 进行钻杆 数量统计。 2.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S3中， 所 述进行钻机动力头钻杆判断， 包括以下步骤： 通过目标检测 获得钻机动力头的中心点坐标(x,y)， 先控制钻机动力头移动其所能移 动的最左边和最右 边， 将其最右边和最左边x数值的差值， 计为钻机动力头所能移动的最大 距离D； 钻机动力头开始移动， x数值开始不断变化， 当工人进行钻杆时， 电机动力头移动至右 边等待工人进 行换杆， 钻杆被成功 安置在钻机动力头后， 电机动力头带动钻杆往左边移动， 将其钻入岩层； 因此一次钻杆周期内， x数值逐渐减小， 设置一个存入多个数的数组， 实时将 每一帧的x数值存入该数组中， 并每有新的一帧传入时， 丢弃最早存入的x数值并存入新一 帧的x数值； 计算该数组的最早x 数值和最新x 数值的差值d， 作为钻机的实时移动距离， 计算 距离比值d/D， 当距离比值大于设定阈值时， 判断完成一次钻杆， 且 钻杆状态设置为激活。 3.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S3中， 所 述钻机动力头检测框若持续多帧被遮挡， 则通过钻机动力头坐标的方差和变化趋势过滤漂 移检测框 。 4.根据权利要求3所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 所述通过钻机 动力头坐标的方差和变化趋势过 滤漂移检测框， 包括以下步骤： 通过目标检测 获得钻机动力头的中心点坐标(x,y)， 当出现强光照射导致钻机动力漂 移时， 通过计算连续数帧内y数值的方差来过滤那些上下漂移的检测框， 通过计算x数值的 变化趋势过 滤水平漂移的检测框； 当连续M帧出现检测框漂移或者连续N帧检测框不存在时， 则该钻杆周期内钻机动力 头 不作为钻杆统计的判断依据， M、 N 为预设值。权　利　要　求　书 1/2 页 2 CN 114821453 B 25.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S3中， 所 述进行工人钻杆判断， 还包括对工人钻杆分类的工人不可控行为导致的误判进行过滤， 具 体包含以下步骤： 当工人图像分为钻杆类时， 对分类钻杆类的工人图像进行反光条定位， 反光条颜色为 白色， 对工人图像逐行提取像素值， 若某行的像素值接近白色的像素值， 则该行 处于图像中 的白色反光条部分， 从而获得反光条在图像中的宽高， 以及坐标信息； 根据反光条在图像中的宽高和坐标信息， 定位工人的腋窝区域， 抠出两个腋窝的方形 区域， 计算该区域的像素值和工人背部 /正面的像素值的相似性； 当腋窝区域与工人衣服处像素值相似度低于预设值， 保持钻杆类的结果； 当腋窝区域 与工人衣服处像素值相似度不低于预设值， 将该帧的分类结果纠正 为非钻杆。 6.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S4中， 所 述进行钻杆数量统计的判断逻辑如下： 当钻机动力头和工人均未被遮挡， 或者工人被遮挡 时， 以钻机动力头的钻杆逻辑判断为最终的钻杆计数结果， 当钻机动力头被遮挡时， 以工人 钻杆的逻辑判断作为 最终的钻杆计数 结果。 7.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 还包括钻杆等 待机制， 该机制包括以下步骤： 当钻杆状态设置为激活后， 等待A帧后再进行钻杆判断， 即经过A帧后将钻杆状态置为 非激活， A帧的大小为 一次钻杆状态从激活转变为非激活所等待的最小帧数。 8.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S1中， 所 述预处理包括对图像光晕进行 过滤、 对图像中的尘雾进行 过滤、 对图像整体进行伽马校正。 9.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 步骤S2中， 所 述检测网络对输入图像进行检测钻机动力头和工人， 得到钻机动力头检测框和工人检测 框， 包括以下步骤： 检测网络的输入图像经过YOLOv5检测算法模型推理后可得到三个特征图信息， 再经过 非极大值抑制后可得到一些候选框， 通过检测的概率值再对候选框进行过滤， 得到钻机动 力头检测框和钻杆工人检测框； 其中钻机动力头的检测目标获取其中心点信息， 而工人 的 检测目标获取其图像信息 。 10.根据权利要求1所述基于目标检测的煤矿钻杆计数方法， 其特征在于， 所述图像是 通过摄像机采集的， 摄像机和钻机动力头保持水平， 距离控制为钻机动力头移动范围和工 人钻杆操作区域分别位于图像的两边的半部区域。 11.计算机可读介质， 其特征在于： 所述计算机可读介质中存储有计算机程序， 所述计 算机程序由处理模块加载并执行以实现如权利要求1至10任一所述基于目标检测的煤矿钻 杆计数方法。权　利　要　求　书 2/2 页 3 CN 114821453 B 3