(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210546360.6 (22)申请日 2022.05.19 (71)申请人 瑞诺 （济南） 动力科技有限公司 地址 250000 山东省济南市槐荫区美里路 1929号研发中心B楼 (72)发明人 张洪鑫　闫庆忠　刘佩鑫　崔光月　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 王彬 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/13(2017.01) G06T 7/194(2017.01) G06T 7/246(2017.01)G06T 7/73(2017.01) (54)发明名称 一种基于双目相机的铲斗追踪 方法、 设备及 介质 (57)摘要 本申请公开了一种基于双目相机的铲斗追 踪的方法、 设备及介质， 方法包括： 按照预设的时 间间隔， 通过设置于流机上的双目相机， 获取流 机的多帧作业图像； 根据多帧作业图像 之间的像 素差值， 对流机上的铲斗进行目标检测， 并确定 铲斗在不同帧作业图像下的目标定位点 以及目 标定位点对应的三维坐标； 确定铲斗对应的至少 一个局部跟踪区域， 局部跟踪区域为铲斗中未被 遮挡的区域； 针对局部跟踪区域， 连接不同帧作 业图像下对应三维坐标相同的目标定位点， 得到 局部跟踪区域对应的运动轨迹； 根据运动轨迹的 动作方向和轨迹曲率， 预测局部跟踪区域的目标 运动轨迹， 以便于根据目标运动轨迹， 对铲斗进 行追踪。 权利要求书3页 说明书8页 附图2页 CN 114862813 A 2022.08.05 CN 114862813 A 1.一种基于双目相机的铲斗追踪方法， 其特 征在于， 所述方法包括： 按照预设的时间 间隔， 通过设置 于流机上的双目相机， 获取 所述流机的多帧作业图像； 根据所述多帧作业图像之间的像素差值， 对所述流机上的铲斗进行目标检测， 并确定 所述铲斗在不同帧作业图像下的目标定位 点以及所述目标定位 点对应的三维坐标； 确定所述铲斗对应的至少一个局部跟踪区域， 所述局部跟踪区域为所述铲斗中未被遮 挡的区域； 针对所述局部跟踪区域， 连接不同帧作业图像下对应三维坐标相同的所述目标定位 点， 得到所述局部跟踪区域对应的运动轨 迹； 根据所述运动轨迹的动作方向和轨迹曲率， 预测所述局部跟踪区域的目标运动轨迹， 以便于根据所述目标运动轨 迹， 对所述 铲斗进行追踪。 2.根据权利要求1所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 根据 所述多 帧作业图像之间的像素差值， 对所述 流机上的铲斗进行目标检测， 具体包括： 针对所述多帧作业图像中任意相邻 两帧的第 一作业图像， 对所述第 一作业图像进行灰 度， 得到灰度后的第二作业图像； 对所述第二作业图像中相同像元位置对应的像素值进行作差， 并对作差后的结果取绝 对值， 得到所述像元位置之间的像素差值； 根据所述像素差值与第一预设阈值之间的大小关系， 确定所述像元位置的像元类型； 所述像元类型包括前 景像元和背景像元； 遍历所述第二作业图像， 根据所述像元类型确定所述 铲斗对应的位置 。 3.根据权利要求2所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 确定所述铲 斗对应的至少一个局部跟踪区域， 具体包括： 根据所述前景像元， 确定所述作业图像中的前景目标； 所述前景目标包括所述铲斗和 其他前景目标； 确定所述其他前景目标与所述铲斗之间是否存在重叠部分， 若存在， 则从所述铲斗中 去除所述重 叠部分； 对去除所述重叠部分后的所述铲斗进行区域分割， 以得到所述铲斗对应的至少一个局 部跟踪区域。 4.根据权利要求3所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 对去除所述 重叠部分后的所述 铲斗进行区域分割， 具体包括： 提取所述铲斗对应的轮廓， 并在所述轮廓上 标注出所述目标定位 点； 将所述轮廓分割为至少一个区域， 针对所述区域， 计算所述区域包含的目标定位点的 密集程度； 根据所述密集程度， 确定所述区域对应的目标权重， 以根据所述目标权重确定所述铲 斗对应的至少一个局部跟踪区域。 5.根据权利要求1所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 根据 所述运 动轨迹的动作方向和轨 迹曲率， 预测所述局部跟踪区域的目标运动轨 迹， 具体包括： 确定所述运动轨迹包含的多个轨迹点以及所述多个轨迹点分别对应的轨迹曲率， 以根 据所述轨 迹曲率生成相应的轨 迹点数据 序列； 按照所述运动轨迹的动作方向， 从所述轨迹点数据序列中， 确定所述轨迹曲率超过第权　利　要　求　书 1/3 页 2 CN 114862813 A 2二预设阈值的最后一个轨 迹点为目标轨 迹点； 以所述目标轨迹点为切点作切向线， 根据所述切向线的方向， 预测所述局部跟踪区域 的目标运动轨 迹。 6.根据权利要求1所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 根据 所述目 标运动轨 迹， 对所述 铲斗进行追踪， 具体包括： 根据所述目标运动轨 迹， 确定所述局部跟踪区域的局部位移信息； 确定所述局部跟踪区域与 所述铲斗之间的相对位置关系， 所述相对位置关系表示第 一 区域中心与第二区域中心之间的偏移关系， 所述第一区域中心对应所述局部跟踪区域， 所 述第二区域中心对应所述 铲斗； 根据所述局部位移信息和所述相对位置关系， 确定所述铲斗的全局位移信息， 以通过 所述全局位移信息， 实现对所述 铲斗的跟踪。 7.根据权利要求1所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 通过设置于 流机上的双目相机， 获取 所述流机的多帧作业图像之前， 所述方法还 包括： 生成流机的模拟视频流， 并在所述模拟视频流上叠加若干等距网格； 按照所述等距网格与地表之间的距离， 将所述地表作为起点， 依次对所述等距网格进 行局部增密， 以得到局部增密后的网格图层； 获取地表高程数据， 根据所述地表高程数据， 确定距离所述流机预设范围内是否存在 空间障碍物； 针对所述局部增密后的网格图层， 对所述空间障碍物所属的网格进行局部降密， 得到 最终的网格图层。 8.根据权利要求7所述的一种基于双目相机的铲斗追踪方法， 其特征在于， 所述方法还 包括： 根据所述作业图像， 确定所述流机工作现场的料堆位置， 并提取所述料堆对应的料堆 轮廓； 对所述运动轨迹的切向线 进行延伸， 直至所述切向线与所述料堆相交； 确定所述切向线与所述料堆之间的多个交点， 根据所述交点， 在所述料堆轮廓上确定 相应的作业区域； 将所述作业区域显示于所述网格图层中。 9.一种基于双目相机的铲斗追踪设备， 其特 征在于， 设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够： 按照预设的时间 间隔， 通过设置 于流机上的双目相机， 获取 所述流机的多帧作业图像； 根据所述多帧作业图像之间的像素差值， 对所述流机上的铲斗进行目标检测， 并确定 所述铲斗在不同帧作业图像下的目标定位 点以及所述目标定位 点对应的三维坐标； 确定所述铲斗对应的至少一个局部跟踪区域， 所述局部跟踪区域为所述铲斗中未被遮 挡的区域； 针对所述局部跟踪区域， 连接不同帧作业图像下对应三维坐标相同的所述目标定位权　利　要　求　书 2/3 页 3 CN 114862813 A 3