(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705508.6 (22)申请日 2022.06.21 (71)申请人 南京佑驾科技有限公司 地址 210038 江苏省南京市南京经济技 术 开发区兴智路6号兴智科技园A座18层 (72)发明人 季思文　朱晓东　郑伟　刘国清　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 邓东旭 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/10(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/75(2022.01)G06V 10/80(2022.01) G06V 20/62(2022.01) G06T 7/73(2017.01) (54)发明名称 一种基于卷积神经网络的多视角道路车辆 匹配系统及方法 (57)摘要 本发明公开了驾驶辅助系统技术领域的一 种基于卷积神经网络的多视角道路车辆匹配系 统及方法， 包括： 获取车身上多个视角摄像头的 图像数据后， 进行图像拼接； 对拼接后的图像进 行检测， 得到图像中的车辆位置信息； 根据车辆 位置信息抠取相应的目标车辆图像块； 将目标车 辆图像块输入 卷积神经网络进行分类， 得到车辆 的多重车辆属性数据； 依据车辆的多重车辆属性 数据对图像数据进行车辆表观匹配。 本发明通过 对多个视角的道路车辆进行信息融合匹配， 进而 为后续的智能驾驶决策判断提供准确 高效的信 息。 权利要求书2页 说明书6页 附图5页 CN 115205813 A 2022.10.18 CN 115205813 A 1.一种基于卷积神经网络的多视角道路车辆匹配方法， 其特 征是， 包括： 获取车身上多个视角摄 像头的图像数据后， 进行图像拼接； 对拼接后的图像进行检测， 得到图像中的车辆位置信息； 根据车辆位置信息抠取相应的目标 车辆图像块； 将目标车辆图像块输入卷积神经网络进行分类， 得到车辆的多重车辆属性数据； 依据车辆的多重车辆属性数据对图像数据进行 车辆表观匹配。 2.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法， 其特征是， 所 述图像中每 个车辆的位置信息由拼接后的图像通过yo lov5的检测框架进行检测后得到 。 3.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法， 其特征是， 所 述多重车辆属性数据包括车 型信息、 姿态信息、 车牌信息和特 征匹配矩阵。 4.根据权利要求3所述的基于卷积神经网络的多视角道路车辆匹配方法， 其特征是， 所 述车型信息包括大巴车、 小轿车、 面包 车、 斗式卡车、 箱式卡车、 依维柯、 罐车、 平板拖车和异 形车， 所述姿态信息包括同向车、 对向车和横向车， 所述车牌信息蓝牌、 绿牌和黄牌， 所述特 征匹配矩阵由图像块进行 特征提取后， 再与可 学习的权 重参数矩阵归一 化并相乘得到 。 5.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法， 其特征是， 依 据车辆的多重车辆属性数据对图像数据进行 车辆表观匹配， 包括： S1、 依据车 型信息剔除掉所有非车辆的背景框； S2、 依据车辆位置信息对所有 有效的车辆进行归类， 把车辆按照摄 像头进行分组； S3、 对不同摄像头的车辆之间进行表观特征匹配， 两两之间计算余弦距离作为得分， 并 且按照得分由高到低进行排序， 同时剔除得分低于阈值的分组； S4、 对得分最高的车辆对进行二次判断， 响应于两个车辆之间的车型、 姿态、 车牌信息 完全对等的信号， 表示匹配完成， 否则匹配失败同时剔除掉该 得分； S5、 响应于一个目标匹配成功的信号， 剔除掉得分矩阵中有关该车辆的所有信息， 并转 至S4， 直到 完成所有车辆的匹配。 6.根据权利要求5所述的基于卷积神经网络的多视角道路车辆匹配方法， 其特征是， 所 述车辆表 观特征匹配的阈值 为0.27。 7.一种基于卷积神经网络的多视角道路车辆匹配系统， 其特 征是， 包括： 数据获取及拼接模块： 用于获取 车身上多个视角摄 像头的图像数据后， 进行图像拼接； 检测模块： 用于对拼接后的图像进行检测， 得到图像中的车辆位置信息； 目标车辆获取模块： 用于根据车辆位置信息抠取相应的目标 车辆图像块； 分类模块： 用于将目标车辆 图像块输入卷积神经网络进行分类， 得到车辆的多重车辆 属性数据； 表观匹配模块： 用于依据车辆的多重车辆属性数据对图像数据进行 车辆表观匹配。 8.一种基于卷积神经网络的多视角道路车辆匹配装置， 其特征是， 包括处理器及存储 介质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执行根据权利要求1～6任一项所述方法的 步骤。 9.计算机可读存储介质， 其上存储有计算机程序， 其特征是， 该程序被处理器执行时实权　利　要　求　书 1/2 页 2 CN 115205813 A 2现权利要求1～6任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205813 A 3