(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210635861.1 (22)申请日 2022.06.06 (71)申请人 上海驭矩信息科技有限公司 地址 201210 上海市浦东 新区中国 （上海） 自由贸易试验区纳贤路800号1幢501 室 (72)发明人 郑学琴　王永锋　杨俊　陈环　 (74)专利代理 机构 上海谱璟专利代理事务所 (普通合伙) 3142 2 专利代理师 沈敏 (51)Int.Cl. G06V 20/50(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01)G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 1/00(2006.01) (54)发明名称 一种基于单目视 觉的目标检测方法及装置 (57)摘要 本发明提供一种基于单目视觉的目标检测 方法及装置， 包括： 实时获取第一目标的图像， 通 过目标检测神经网络根据第一目标的图像特征， 实时检测第一目标是否进入第一区域； 当第一目 标进入所述第一区域时， 通过目标检测神经网络 实时获取第一目标的位姿； 通过多目标跟踪神经 网络中的重识别子网络识别出被遮挡后又出现 的目标是否为同一第一目标； 当第一目标在预设 时间内速度保持为0， 则轮胎吊进行集装箱作业； 当第一目标重新开始移动时， 多目标跟踪神经网 络继续实时跟踪第一目标的位姿， 当第一目标离 开第一区域时， 回收目标ID。 本发明提供的基于 单目视觉的目标检测方法及装置， 提高了集装箱 作业的自动化流程和作业效率， 节省了人力成 本。 权利要求书2页 说明书6页 附图1页 CN 114926773 A 2022.08.19 CN 114926773 A 1.一种基于单目视 觉的目标检测方法， 其特 征在于， 包括： 实时获取第一目标的图像， 通过目标检测神经网络根据所述第一目标的图像特征， 实 时检测所述第一目标 是否进入第一区域； 当所述第一目标进入所述第 一区域时， 通过所述目标检测神经网络提取所述第 一目标 的图像特征， 检测出所述第一 目标的位置信息， 并将所述第一 目标的位置信息传递给多目 标跟踪神经网络， 通过所述多目标跟踪神经网络对所述第一 目标进行跟踪， 为所述第一 目 标分配目标ID， 实时获取 所述第一目标的位姿； 通过所述多目标跟踪神经网络中的重识别子网络提取并存储所述第一目标的运动特 征和外观特征， 在所述第一 目标被遮挡后又重新出现在视野范围内时， 所述重识别子网络 重新提取所述第一目标的当前运动特征和当前外观特征， 并检索 存储的所述第一目标的历 史运动特征和历史外观特征， 判断所述第一目标的当前运动特征和当前外观特征与所述第 一目标的历史运动特征和历史外观特征 的相似度， 若所述相似度高于预设阈值， 则识别出 该目标即为同一所述第一目标； 当所述第一目标在预设时间内速度保持为0， 则轮胎吊进行集装箱作业； 当所述第一目标重新开始移动时， 所述多目标跟踪神经网络继续实时跟踪所述第 一目 标的位姿， 当所述第一目标离开所述第一区域时， 回收所述目标ID。 2.根据权利要求1所述的基于单目视觉的目标检测方法， 其特征在于， 当所述第 一目标 在预设时间内速度保持为0后， 还包括： 实时获取第二目标的图像， 通过所述目标检测神经 网络根据所述第二目标的图像特 征， 实时检测所述第二目标 是否进入第二区域； 当所述第二目标进入所述第二区域时， 则自动播报警示信息， 所述轮胎吊停止集装箱 作业； 当所述第二目标离开所述第二区域时， 则停止播报警示信息， 所述轮胎吊进行集装箱 作业。 3.根据权利要求2所述的基于单目视觉的目标检测方法， 其特征在于， 所述实时获取第 二目标的图像之后， 还包括通过多目标跟踪神经网络实时跟踪所述第二 目标的位姿， 从而 判断当所述第二目标 的移动轨迹即将进入所述第二区域时， 自动播报警示信息， 所述轮胎 吊停止集装箱作业。 4.根据权利要求1或2所述的基于单目视觉的目标检测方法， 其特征在于， 所述第一目 标是集卡， 所述第一区域是引导车道线内； 所述第二目标是集卡司机， 所述第二区域是集装 箱起落区域的下 方。 5.根据权利要求1或2所述的基于单目视觉的目标检测方法， 其特征在于， 所述实时获 取第一目标或第二目标的图像前， 还 包括： 制作堆场第 一目标或第 二目标数据集， 针对堆场场景采集第 一目标或第 二目标的图像 并进行标注， 以生成堆场第一目标或第二目标检测数据集和堆场第一目标或第二目标重识 别数据集； 在所述堆场第 一目标或第 二目标检测数据集上进行目标检测神经网络训练， 在所述堆 场第一目标或第二目标重识别数据集上进行目标跟踪重识别网络训练。 6.根据权利要求1所述的基于单目视觉的目标检测方法， 其特征在于， 当所述第 一目标 进入所述第一区域时， 还 包括：权　利　要　求　书 1/2 页 2 CN 114926773 A 2使用最小外接矩形框对所述第 一目标进行标识， 所述最小外接矩形框跟随所述第 一目 标进行移动。 7.根据权利要求1所述的基于单目视觉的目标检测方法， 其特征在于， 所述第 一目标有 多个， 根据多个所述第一目标分配不同的目标ID， 所述不同的目标ID随着所述多个所述第 一目标移动， 通过重识别网络实现对所述多个所述第一目标的跟踪。 8.根据权利要求2所述的基于单目视觉的目标检测方法， 其特征在于， 所述警示信 息包 括声音警示和/或声光警示。 9.根据权利要求1或2所述的基于单目视觉的目标检测方法， 其特征在于， 所述第一图 像或所述第二图像通过 单目相机获取， 所述单目相机在使用前进行内外参数的标定 。 10.一种基于单目视 觉的目标检测装置， 其特 征在于， 包括： 图像获取模块， 其用于实时获取第一目标的图像， 通过目标检测神经网络根据所述第 一目标的图像特 征， 实时检测所述第一目标 是否进入第一区域； 位姿跟踪模块， 其用于当所述第一目标进入所述第一区域时， 通过所述目标检测神经 网络提取所述第一 目标的图像特征， 检测出所述第一 目标的位置信息， 并将所述第一 目标 的位置信息传递给多目标跟踪神经网络， 通过所述多目标跟踪神经网络对 所述第一目标进 行跟踪， 为所述第一目标分配目标ID， 实时获取 所述第一目标的位姿； 目标重识别模块， 其用于通过所述多目标跟踪神经网络中的重识别子网络提取并存储 所述第一目标的运动特征和外观特征， 在所述第一目标被遮挡后又重新出现在视野范围内 时， 所述重识别子网络重新提取所述第一 目标的当前运动特征和当前外观特征， 并检索存 储的所述第一目标的历史运动特征和历史外观特征， 判断所述第一目标的当前运动特征和 当前外观特征与所述第一目标的历史运动特征和历史外观特征的相似度， 若 所述相似度高 于预设阈值， 则识别出 该目标即为同一所述第一目标； 速度跟踪模块， 其用于当所述第 一目标在预设时间内速度保持为0， 则轮胎吊进行集装 箱作业； 目标ID跟踪模块， 其用于当所述第一目标重新开始移动时， 所述多目标跟踪神经网络 继续实时跟踪所述第一 目标的位姿， 当所述第一 目标离开所述第一区域时， 回收所述 目标 ID。权　利　要　求　书 2/2 页 3 CN 114926773 A 3