(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210247641.1 (22)申请日 2022.03.14 (71)申请人 深圳市镭神智能系统有限公司 地址 518104 广东省深圳市宝安区沙 井街 道坣岗社区坣岗大道文体中心商业楼 1栋4层 (72)发明人 王新锋　严征　冯洪亮　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 潘登 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合方法、 装置、 设备、 介质及产品 (57)摘要 本发明公开了一种融合方法、 装置、 设备、 介 质及产品。 该方法包括： 获取激光雷达采集的待 识别点云图像中至少一个点云集合对应的包围 盒的位置坐标和参数信息； 获取摄像头拍摄的待 识别图像中的至少一个目标物体的位置信息和 特征信息； 将每个包围盒的位置坐标投影至所述 待识别图像中， 得到每个包围盒相对于所述待识 别图像的第一位置坐标； 根据所述每个包围盒相 对于待识别图像的第一位置坐标和所述每个目 标物体的位置信息将目标物体的特征信息和所 述目标物体对应的包围盒的参数信息进行融合。 通过本发明的技术方案， 能够 充分发挥激光雷达 与图像数据的优势， 获得更加丰富的目标物体的 相关信息 。 权利要求书2页 说明书15页 附图3页 CN 114581889 A 2022.06.03 CN 114581889 A 1.一种融合方法， 其特 征在于， 包括： 获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标 和参数信息； 获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特 征信息； 将每个包围盒的位置坐标投影至所述待识别图像中， 得到每个包围盒相对于所述待识 别图像的第一 位置坐标； 根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置 信息将目标物体的特 征信息和所述目标物体对应的包围盒的参数信息进行融合。 2.根据权利要求1所述的方法， 其特征在于， 获取摄像头拍摄的待识别图像中的至少一 个目标物体的位置信息和特 征信息， 包括： 获取摄像头拍摄的待识别图像； 将所述待识别图像输入目标模型， 得到所述待识别图像中的至少一个目标物体的位置 信息和特征信息， 其中， 所述目标模型通过目标样本集迭代训练神经网络模型得到， 所述目 标样本集包括： 图像样本和所述图像样本对应的标识信息， 所述标识信息包括： 图像样 本中 的至少一个目标物体的位置信息和特 征信息。 3.根据权利要求2所述的方法， 其特征在于， 将所述待识别图像输入目标模型， 得到所 述待识别图像中的至少一个目标物体的位置信息和特 征信息， 包括： 基于OpenVI NO工具对目标模型进行转换， 得到 权重信息和网络 拓扑信息； 将权重信息、 网络拓扑信息和待识别图像加载至OpenVINO工具中， 得到待识别图像中 的至少一个目标物体的位置信息和特 征信息。 4.根据权利要求2或3所述的方法， 其特征在于， 通过目标样本集迭代训练神经网络模 型， 包括： 建立神经网络模型； 将所述目标样本集中的图像样本输入所述神经网络模型得到所述图像样本中的至少 一个预测目标物体的位置信息和特 征信息； 根据所述图像样本中的至少一个预测目标物体的位置信息和特征信息和所述图像样 本中的至少一个目标物体的位置信息和特征信息形成的目标函数训练所述神经网络模型 的参数； 返回执行将所述目标样本集中的图像样本输入所述神经网络模型得到所述图像样本 中的至少一个预测目标物体的位置信息和特 征信息的操作， 直至得到目标模型。 5.根据权利要求1至3中任一权利要求所述的方法， 其特征在于， 获取激光雷达采集的 待识别点云图像中至少一个点云集 合对应的包围盒的位置坐标和参数信息， 包括： 获取激光雷达采集的待识别点云图像中每 个点云到其 余点云之间的距离； 根据所述待识别点云图像中每个点云到其余点云之间的距离对所述待识别点云图像 中的点云进行聚类， 得到 至少一个点云集 合； 获取每个点云集 合对应的包围盒的位置坐标和参数信息 。 6.根据权利要求5所述的方法， 其特征在于， 获取每个点云集合对应的包围盒的位置坐 标和参数信息， 包括： 获取每个点云集 合对应的包围盒的位置坐标；权　利　要　求　书 1/2 页 2 CN 114581889 A 2根据目标包围盒在相邻帧点云图像中的位置坐标确定所述目标包围盒的位移； 根据所述目标包围盒的位移和所述相邻帧之间的时间间隔确定所述目标包围盒的速 度。 7.根据权利要求1、 2、 3或6所述的方法， 其特征在于， 根据所述每个包围盒相对于待识 别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目 标物体对应的包围盒的参数信息进行融合， 包括： 若第一目标物体的位置信息和第一包围盒相对于待识别图像的第一位置坐标之间的 距离小于距离阈值， 则将所述第一目标物体的特征信息和所述第一包围盒的参数信息进 行 融合。 8.根据权利要求1、 2、 3或6所述的方法， 其特征在于， 将每个包围盒的位置坐标投影至 所述待识别图像中， 得到每 个包围盒相对于所述待识别图像的第一 位置坐标， 包括： 获取投影密度和摄 像头外参； 根据投影密度和摄像头外参对每个包围盒的位置坐标进行投影， 得到每个包围盒相对 于所述待识别图像的第一 位置坐标。 9.一种融合装置， 其特 征在于， 包括： 第一获取模块， 用于获取激光雷达采集的待识别点云图像中至少一个点云集合对应的 包围盒的位置坐标和参数信息； 第二获取模块， 用于获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信 息 和特征信息； 投影模块， 用于将每个包围盒的位置坐标投影至所述待识别图像中， 得到每个包围盒 相对于所述待识别图像的第一 位置坐标； 融合模块， 用于根据 所述每个包围盒相对于待识别图像的第 一位置坐标和所述每个目 标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行 融合。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑8中任一项所述的 融合方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处 理器执行时实现权利要求1 ‑8中任一项所述的融合方法。 12.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序在被处 理器执行时实现根据权利要求1 ‑8中任一项所述的融合方法。权　利　要　求　书 2/2 页 3 CN 114581889 A 3