(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210622210.9 (22)申请日 2022.06.01 (71)申请人 杭州海康机 器人技术有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼B楼3 04室 (72)发明人 崔蓝月　秦勇　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 杨春香 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/50(2017.01) G06T 7/246(2017.01) G06V 10/762(2022.01) G06V 20/10(2022.01) (54)发明名称 一种双目相机盲区内的障碍物检测方法、 装 置及设备 (57)摘要 本申请实施例公开了一种双目相机盲区内 的障碍物检测方法、 装置及设备。 本申请实施例 会自动检测双目相机盲区是否进入了目标障碍 物， 并在检测出双目相机盲区进入了目标障碍物 的情况下， 会自适应在当前深度图中补全目标障 碍物的障碍物信息， 以基于当前深度图中的障碍 物信息进行障碍物检测， 这实现了即使双目相机 盲区内有目标障碍物， 也能检测出该目标障碍 物， 避免发生碰撞的风险。 权利要求书3页 说明书8页 附图2页 CN 115131431 A 2022.09.30 CN 115131431 A 1.一种双目相机盲区内的障碍物检测方法， 其特 征在于， 该 方法包括： 获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深 度图； 检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物； 如 果是， 依据所述当前深度图， 检测所述目标障碍物当前 是否处于双目相机盲区； 在检测出所述目标障碍物当前处于所述双目相机盲区的情况下， 依据 所述目标障碍物 在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物在当前帧图像中 的轨迹信息， 在所述当前深度图中补全所述 目标障碍物的障碍物信息， 以基于所述当前深 度图中的所述障碍物信息进 行障碍物检测； 其中， 所述障碍物信息至少包括： 所述目标障碍 物对应的深度信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述检查所述当前帧图像与所述相机已采 集的上一帧图像中是否存在同一目标障碍物包括： 判断所述当前帧图像中是否存在与所述上一帧图像中历史障碍物区域相匹配的目标 障碍物区域， 其中， 当所述历史障碍物 区域的指定特征属 性对应的特征数据与所述 目标障 碍物区域的所述特征属性对应的特征数据相匹配， 则所述历史障碍物区域与所述目标障碍 物区域相匹配； 如果是， 则确定当前帧图像与所述相机采集的上一帧图像中存在同一目标障碍物， 否 则， 确定当前帧图像与所述上一帧图像中不存在同一目标障碍物。 3.根据权利要求1所述的方法， 其特征在于， 所述检查所述当前帧图像与所述相机已采 集的上一帧图像中是否存在同一目标障碍物包括： 将所述当前帧图像输入到已训练的实例分割模型中以通过所述实例分割模型从所述 当前帧图像中提取 出障碍物特 征信息； 检查基于所述上一帧图像中的历史障碍物区域预测出的障碍物在当前帧图像中的轨 迹信息与所述障碍物特征信息是否匹配， 如果匹配， 则确定当前帧图像与所述相 机采集的 上一帧图像中存在同一 目标障碍物， 否则， 确定当前帧图像与所述上一帧图像中不存在同 一目标障碍物。 4.根据权利要求1所述的方法， 其特征在于， 所述依据所述当前深度图， 检测所述目标 障碍物当前 是否处于双目相机盲区包括： 检测所述当前深度图中是否存在所述目标障碍物的深度信 息， 若所述当前深度图中不 存在所述目标障碍物的深度信息， 则确定所述目标障碍物当前 处于双目相机盲区， 否则， 确 定所述目标障碍物当前不处于所述双目相机盲区。 5.根据权利要求1所述的方法， 其特征在于， 所述依据目标障碍物在 当前帧图像中的当 前障碍物区域以及已预测出的目标障碍物在当前帧图像中的轨迹信息， 在当前深度图中补 全所述目标障碍物的障碍物信息， 包括： 将所述当前帧图像中的当前障碍物区域映射到所述当前深度图的相关区域； 依据已预测出的目标障碍物在 当前帧图像中的轨迹信 息， 为所述相关区域中各像素点 设置对应的深度信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述轨迹信息至少包括： 所述目标障碍物 在采集所述当前帧图像时相对所述双目相机的位姿和速度；权　利　要　求　书 1/3 页 2 CN 115131431 A 2所述依据已预测出的目标障碍物在当前帧图像中的轨迹信 息， 为所述相关区域中各像 素点设置对应的深度信息包括： 根据所述位姿和所述速度、 以及已得到的所述目标障碍物在上一帧图像对应的上一帧 深度图中的深度信息， 为所述相关区域中各像素点设置对应的深度信息 。 7.根据权利要求1所述的方法， 其特征在于， 在检测出目标障碍物当前不处于所述双目 相机盲区时， 该 方法进一 步包括： 将所述当前深度图转换为3D点云； 基于所述3D点云， 对 障碍物位置进行聚类， 得到对应所述当前深度图的障碍物位置信 息； 将所述障碍物位置信息映射到所述当前帧图像上， 得到障碍物区域； 依据所述障碍物区域进行障碍物的轨 迹跟踪与预测。 8.一种双目相机盲区内的障碍物检测装置， 其特 征在于， 该装置包括： 获取单元， 用于获得双目相机 中任一相机当前采集的当前帧图像和与 所述当前帧图像 对应的当前深度图； 目标障碍物确定单元， 用于检查所述当前帧图像与所述相机已采集的上一帧图像 中是 否存在同一目标障碍物； 如果是， 依据所述当前深度图， 检测所述目标障碍物当前是否处于 双目相机盲区； 检测单元， 用于在检测出所述目标障碍物当前处于所述双目相机盲区的情况下， 依据 所述目标障碍物在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物 在当前帧图像中的轨迹信息， 在所述当前深度图中补全所述 目标障碍物的障碍物信息， 以 基于所述当前深度图中的所述障碍物信息进行障碍物检测； 其中， 所述障碍物信息至少包 括： 所述目标障碍物对应的深度信息 。 9.根据权利要求8所述的装置， 其特征在于， 所述检查所述当前帧图像与所述相机已采 集的上一帧图像中是否存在同一目标障碍物包括： 判断所述当前帧图像中是否存在与所述 上一帧图像中历史障碍物 区域相匹配的目标障碍物 区域， 其中， 当所述历史障碍物 区域的 指定特征属 性对应的特征数据与所述目标障碍物区域的所述特征属 性对应的特征数据相 匹配， 则所述历史障碍物区域与所述目标障碍物区域相匹配； 如果是， 则确定当前帧图像与 所述相机采集的上一帧图像中存在同一 目标障碍物， 否则， 确定当前帧图像与所述上一帧 图像中不存在同一目标障碍物； 和/或， 所述检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍 物包括： 将所述当前帧图像输入到已训练的实例分割模型中以通过所述 实例分割模型从所 述当前帧图像中提取出障碍物特征信息； 检查基于所述上一帧图像中的历史障碍物区域预 测出的障碍物在当前帧图像中的轨迹信息与所述障碍物特征信息是否匹配， 如果匹配， 则 确定当前帧图像与所述相 机采集的上一帧图像中存在同一 目标障碍物， 否则， 确定当前帧 图像与所述上一帧图像中不存在同一目标障碍物； 和/或， 所述依据所述当前深度图， 检测所述目标障碍物当前是否处于双目相机盲区包括： 检 测所述当前深度图中是否存在所述目标障碍物的深度信息， 若所述当前深度图中不存在所 述目标障碍物的深度信息， 则确定所述目标障碍物当前 处于双目相机盲区， 否则， 确定所述 目标障碍物当前不处于所述双目相机盲区； 和/或，权　利　要　求　书 2/3 页 3 CN 115131431 A 3