(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544237.0 (22)申请日 2022.05.18 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100086 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 李翔宇　朱红梅　张骞　任伟强　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 李少丹　许伟群 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01) G06T 7/73(2017.01) (54)发明名称 一种基于多视角融合的3D目标检测方法及 装置 (57)摘要 本公开实施例公开了一种基于多视角融合 的3D目标检测方法及装置。 在该方法中， 对多摄 相机系统采集的多摄相机视角的至少一幅图像 进行特征提取， 并基于多摄相机系统的内部参数 和载具参数， 将提取到的在 多摄相机视角空间下 包含目标物体特征的特征数据映射至同一个鸟 瞰视角空间， 得到至少一幅图像在鸟瞰视角空间 下各自对应的特征数据， 通过特征融合得到鸟瞰 视角融合特征。 对鸟瞰视角融合特征中的目标物 体进行目标预测， 得到目标物体的三维空间信 息。 通过本公开实施例的方案进行基于多视角融 合的3D目标检测时， 先进行多视角的特征融合再 进行3D目标检测， 端到端的完成鸟瞰视角下的场 景物体3D检测， 提高检测效率。 权利要求书2页 说明书15页 附图9页 CN 114913506 A 2022.08.16 CN 114913506 A 1.一种基于多视角融合的3D目标检测方法， 包括： 获取采集的来自多摄相机 视角的至少一幅图像； 对所述至少一幅图像进行特征提取， 得到所述至少一幅图像在多摄相机视角空间下各 自对应的包 含目标物体特 征的特征数据； 基于多摄相机系统 的内部参数和载具参数， 将所述至少一幅图像在多摄相机视角空间 下各自对应的特征数据映射至同一个鸟瞰视角空间， 得到所述至少一幅图像在鸟瞰视角空 间下各自对应的特 征数据； 将所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合， 得到鸟瞰 视角融合特 征； 对所述鸟瞰视角融合特征中的目标物体进行目标预测， 得到所述目标物体的三维空间 信息。 2.根据权利要求1所述的方法， 其中， 所述基于多摄相机系统的内部参数和载具参数， 将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角 空间， 得到所述至少一幅图像在鸟瞰视角空间下 各自对应的特 征数据， 包括： 基于所述多摄相机系统 的内部参数和载具参数， 确定所述多摄相机系统 的多摄相机的 相机坐标系到鸟瞰视角坐标系的转换矩阵； 基于多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵， 将所述至少一幅图像在多 摄相机视角空间下各自对应的特征数据从多摄相机视角空间转换至鸟瞰视角空间下， 得到 所述至少一幅图像在鸟瞰视角空间下 各自对应的特 征数据。 3.根据权利要求2所述的方法， 其中， 所述基于多摄相机系统的内部参数和载具参数， 确定所述多摄相机系统的多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵， 包括： 分别获取所述多摄相机系统中多摄相机的相机内参数和相机外参数， 以及， 获取载具 坐标系到鸟瞰视角坐标系的转换矩阵； 基于多摄相机的相机外参数、 相机内参数与载具坐标系到鸟瞰视角坐标系的转换矩 阵， 确定多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵。 4.根据权利要求1所述的方法， 其中， 所述对所述鸟瞰视角融合特征中的目标物体进行 目标预测， 得到目标物体的三维空间信息， 包括： 利用预测网络从所述鸟瞰视角融合特征中获取用于确定目标物体在鸟瞰视角坐标系 下的第一预设坐标值对应的热力图， 以及， 获取用于确定目标物体在鸟瞰视角坐标系 下的 第二预设坐标值、 尺寸和朝向角的其 他属性图； 根据所述热力图中的峰值信 息确定目标物体在鸟瞰视角坐标系下的第 一预设坐标值， 并且根据目标物体在鸟瞰视角坐标系下的第一预设坐标值从所述其他属 性图中确定目标 物体的在鸟瞰视角坐标 下的第二预设坐标值、 尺寸和朝向角； 根据目标物体在鸟瞰视角坐标系下的第一预设坐标值、 第二预设坐标值、 尺寸和朝向 角， 确定目标物体的三维空间信息 。 5.根据权利要求 4所述的方法， 其中， 还 包括： 在预测网络的训练阶段， 构建预测网络预测的热力图与真值热力图之间的第 一损失函 数， 以及， 构建预测网络预测的其 他属性图与其 他真值属性图之间的第二损失函数； 根据所述第 一损失函数和所述第 二损失函数确定预测网络在训练阶段的总损失函数，权　利　要　求　书 1/2 页 2 CN 114913506 A 2以监督预测网络的训练过程。 6.根据权利要求5所述的方法， 其中， 所述根据所述第 一损失函数和所述第 二损失函数 确定预测网络在训练阶段的总损失函数， 包括： 获取第一损失函数的权 重值和第二损失函数的权 重值； 基于所述第一损 失函数、 第一损 失函数的权重值、 所述第二损 失函数和所述第二损 失 函数的权 重值， 确定预测网络在训练阶段的总损失函数。 7.根据权利要求1或4所述的方法， 其中， 所述对所述鸟瞰视角融合特征中的目标物体 进行目标 预测， 得到目标物体的三维空间信息， 包括： 利用神经网络对所述鸟瞰视角融合特征进行特征提取， 获得包含目标物体特征的鸟瞰 视角融合特 征数据； 利用预测网络对所述包含目标物体特征的鸟瞰视角融合特征数据中的目标物体进行 目标预测， 得到目标物体的三维空间信息 。 8.根据权利要求1所述的方法， 其中， 所述对所述至少一幅图像进行特征提取， 得到所 述至少一幅图像在多摄相机 视角空间下 各自对应的包 含目标物体特 征的特征数据， 包括： 利用深度神经网络对各个视角对应的图像进行卷积计算， 获得各个视角对应的图像在 多摄相机 视角空间下 各自对应的包 含目标物体特 征的多个不同分辨 率的特征数据。 9.一种基于多视角融合的3D目标检测装置， 包括： 图像接收模块， 用于获取采集的来自多摄相机 视角的至少一幅图像； 特征提取模块， 用于对所述图像接收模块获取的所述至少一幅图像进行特征提取， 得 到所述至少一幅图像在多摄相机 视角空间下 各自对应的包 含目标物体特 征的特征数据； 图像特征映射模块， 用于基于多摄相机系统的内部参数和载具参数， 将所述特征提取 模块获得 的所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个 鸟瞰视角空间， 得到所述至少一幅图像在鸟瞰视角空间下 各自对应的特 征数据； 图像融合模块， 用于将所述图像映射模块得到的所述至少一幅图像在鸟瞰视角空间下 各自对应的特 征数据进行 特征融合， 得到鸟瞰视角融合特 征； 3D检测模块， 用于对所述图像 融合模块得到的所述鸟瞰视角融合特征中的目标物体进 行目标预测， 得到目标物体的三维空间信息 。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 所述计算 机程序用于执 行上述权利要求1 ‑8任一所述的基于多视角融合的3D目标检测方法。 11.一种电子设备， 所述电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述指令以实现上述 权利要求1 ‑8任一所述的基于多视角融合的3D目标检测方法。权　利　要　求　书 2/2 页 3 CN 114913506 A 3