(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210273033.8 (22)申请日 2022.03.18 (71)申请人 杭州萤石软件 有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼B楼3 02室 (72)发明人 楼力政　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 杨春香 (51)Int.Cl. G06V 20/10(2022.01) G06T 7/90(2017.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) (54)发明名称 一种障碍物检测方法、 移动机器人及机器可 读存储介质 (57)摘要 本申请提供一种障碍物检测方法、 移动机器 人及机器可读存储介质， 该方法包括： 通过激光 传感器采集目标场景的激光数据， 通过图像传感 器采集目标场景的图像数据； 基于所述激光数据 确定所述目标场景的目标物体的第一特征信息； 基于所述图像数据确定所述目标场景的候选物 体的第二特征信息； 基于第一特征信息和第二特 征信息确定所述目标物体是否为障碍物。 通过本 申请的技术方案， 能够基于激光数据和图像数据 准确检测到目标场景下的障碍物， 更好的进行障 碍物检测与避障， 极大的提升障碍物检测的准确 性， 在减小误报的前提下， 极大的降低移动机器 人和障碍物发生碰撞的可能性， 实现避障功能。 权利要求书3页 说明书14页 附图6页 CN 114612786 A 2022.06.10 CN 114612786 A 1.一种障碍物检测方法， 其特征在于， 应用于包括激光传感器和图像传感器的移动机 器人， 所述激光传感器用于采集 目标场景 的激光数据， 所述图像传感器用于采集所述 目标 场景的图像数据， 所述方法包括： 基于所述激光数据确定所述目标场景的目标物体的第一特 征信息； 基于所述图像数据确定所述目标场景的候选物体的第二特 征信息； 基于第一特 征信息和第二特 征信息确定所述目标物体是否为障碍物。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一特征信 息包括初始高度和三维坐 标， 所述第二特征信息包括可疑区域和物体类型， 所述基于第一特征信息和第二特征信息 确定所述目标物体是否为障碍物， 包括： 若所述初始高度 大于第一预设阈值且小于第 二预设阈值、 且所述三维坐标位于所述可 疑区域内， 则确定与所述物体 类型对应的目标高度； 若所述初始高度与所述目标高度匹配， 则确定所述目标物体为障碍物； 若所述初始高度与所述目标高度不匹配， 则确定所述目标物体不 为障碍物。 3.根据权利要求1所述的方法， 其特征在于， 所述第 一特征信 息包括回波信号数量和三 维坐标， 所述第二特征信息包括可疑区域和物体颜色， 所述基于第一特征信息和第二特征 信息确定所述目标物体是否为障碍物， 包括： 若基于所述 回波信号数量确定所述目标物体所在的区域是空洞区域、 且所述三维坐标 位于所述可疑区域内， 则确定所述物体颜色是否为 黑色； 若所述物体颜色为 黑色， 则确定所述目标物体为障碍物； 若所述物体颜色不 为黑色， 则确定所述目标物体不 为障碍物。 4.根据权利要求1所述的方法， 其特 征在于， 所述第一特征信 息包括初始高度， 所述基于所述激光数据确定所述目标场景的目标物 体的第一特 征信息之后， 所述方法还 包括： 若所述初始高度不小于第二预设阈值， 则确定所述目标物体为障碍物。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述基于所述激光数据确定所述 目标场景的目标物体的第一特 征信息， 包括： 基于所述激光数据确定所述目标物体的二维坐标和回波信号数量； 基于所述二维坐标、 所述激光传感器的位姿和所述移动机器人的位姿确定所述目标物 体的三维坐标， 基于所述 三维坐标确定所述目标物体的初始高度； 基于所述回波信号数量、 三维坐标和初始高度确定所述第一特 征信息。 6.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述基于所述图像数据确定所述 目标场景的候选物体的第二特 征信息， 包括： 将所述图像数据输入给已训练 的目标网络模型， 得到所述图像数据内的候选物体的位 置坐标框、 所述 候选物体的物体 类型和物体颜色； 选取所述位置坐标框 内的候选特征点， 并从所述图像数据 前一帧图像的图像数据中选 取与所述候选特征点对应的目标特征点； 基于所述候选特征点的像素坐标和所述目标特征 点的像素坐标确定所述 候选特征点对应的三维坐标； 基于所述 三维坐标确定所述 候选物体对应的可疑区域； 基于所述可疑区域、 物体 类型和物体颜色确定所述第二特 征信息。权　利　要　求　书 1/3 页 2 CN 114612786 A 27.根据权利要求6所述的方法， 其特征在于， 所述位置坐标框内包括多个候选特征点， 每个候选特征点对应的三维坐标均包括横轴坐标、 纵轴坐标和竖轴坐标， 所述基于所述三 维坐标确定所述 候选物体对应的可疑区域， 包括： 从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标， 从所有候选 特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标， 从所有候选特征点对应的竖 轴坐标中选取最小竖轴坐标和最大 竖轴坐标； 基于所述最小横轴坐标、 最大横轴坐标、 最小纵轴坐标、 最大纵轴坐标、 最小竖轴坐标 和最大竖轴坐标， 确定所述 候选物体对应的可疑区域。 8.一种移动机器人， 其特 征在于， 包括： 激光传感器， 用于采集目标场景的激光数据； 图像传感器， 用于采集所述目标场景的图像数据； 处理器， 用于基于所述激光数据确定所述目标场景的目标物体的第一特征信息； 基于 所述图像数据确定所述目标场景的候选物体的第二特征信息； 基于所述第一特征信息和所 述第二特 征信息确定所述目标物体是否为障碍物。 9.根据权利要求8所述的移动机器人， 其特征在于， 其中， 所述第一特征信息包括初始 高度和三维坐标， 所述第二特征信息包括可疑区域和物体类型， 所述处理器基于所述第一 特征信息和所述第二特征信息确定所述目标物体是否为障碍物时具体用于： 若所述初始高 度大于第一预设阈值且小于第二预设阈值、 且所述三维坐标位于所述可疑区域内， 则确定 与所述物体类型对应的目标高度； 若所述初始高度与所述 目标高度匹配， 则确定所述 目标 物体为障碍物； 若所述初始高度与所述目标高度不匹配， 则确定所述目标物体不 为障碍物； 其中， 所述第一特征信息包括回波信号数量和三维坐标， 所述第二特征信息包括可疑 区域和物体颜色， 所述处理器基于所述第一特征信息和第二特征信息确定所述目标物体是 否为障碍物时具体用于： 若基于所述回波信号数量确定所述目标物体所在的区域是空洞区 域、 且所述三 维坐标位于所述可疑区域内， 则确定所述物体颜色是否为黑色； 若 所述物体颜 色为黑色， 确定所述目标物体为障碍物； 若 所述物体颜色不为黑色， 确定所述目标物体不为 障碍物； 其中， 所述第 一特征信 息包括初始高度， 所述处理器还用于： 若所述初始高度不小于第 二预设阈值， 则确定所述目标物体为障碍物； 其中， 所述处理器基于所述激光数据确定所述目标场景的目标物体的第 一特征信 息时 具体用于： 基于所述激光数据确定所述 目标物体的二维坐标和回波信号数量； 基于所述二 维坐标、 所述激光传感器的位姿和所述移动机器人 的位姿确定所述 目标物体的三维坐标， 基于所述三 维坐标确定所述目标物体的初始高度； 以及， 基于所述回波信号数量、 所述三 维 坐标和所述初始高度确定所述目标物体的所述第一特 征信息； 其中， 所述处理器基于所述图像数据确定所述目标场景的候选物体的第 二特征信 息时 具体用于： 将所述图像数据输入给已训练的目标网络模型， 得到所述图像数据内的候选物 体的位置坐标框、 所述候选物体的物体类型和物体颜色； 选取所述位置坐标框内的候选特 征点， 并从所述图像数据前一帧图像的图像数据中选取与所述候选特征点对应的目标特征 点； 基于所述候选特征点的像素坐标和所述目标特征点的像素坐标确定所述候选特征点对 应的三维坐标； 基于所述三 维坐标确定所述候选物体对应的可疑区域； 基于所述可疑区域、权　利　要　求　书 2/3 页 3 CN 114612786 A 3