(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555090.5 (22)申请日 2022.05.20 (71)申请人 浙江零跑 科技股份有限公司 地址 310051 浙江省杭州市滨江区物联网 街451号1楼 (72)发明人 徐昀　谢钱昆　王芬芬　 (74)专利代理 机构 杭州杭诚专利事务所有限公 司 33109 专利代理师 王鑫康 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) (54)发明名称 一种基于关键点检测车辆伪3d边界框的方 法 (57)摘要 本发明公开了一种基于关键点检测车辆伪 3d边界框的方法， 包括以下步骤： 输入图片； 目标 检测提取车辆ROI； 使用亚像素坐标编码训练多 检测头分支； 通过自注意力在 线蒸馏选择最佳检 测头分支； 输出关键点坐标； 获取车辆伪3d的类 别信息； 利用车辆伪3d的类别信息将预测的关键 点连接形成伪3d边界框。 上述技术方案模型结构 简单， 易于训练， 对多个分支的结果计算通道维 度的自注 意力以及尺度空间的自注 意力， 最后对 两个维度进行融合， 能够捕捉独立分支之间的全 局信息。 权利要求书2页 说明书5页 附图2页 CN 115147806 A 2022.10.04 CN 115147806 A 1.一种基于关键点检测车辆伪3d边界框的方法， 其特 征在于， 包括以下步骤： S1输入图片； S2目标检测提取 车辆ROI； S3使用亚像素坐标编码训练多检测头分支； S4通过自注意力在线 蒸馏选择最佳检测头分支； S5输出关键点 坐标； S6获取车辆伪3d的类别 信息； S7利用车辆伪3d的类别 信息将预测的关键点连接形成伪3d边界框 。 2.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S3具体包括： S3.1首先对原始图上的关键点P(x,y)坐标取整为P(round(x),round(y))， 然后下采样 制作成热力图标签； S3.2训练过程中将热力图转换到一维空间， 通过一层全连接层得到各点预测的概率分 布， 利用soft ‑argmax计算 点P在当前 特征图上单元点的位置信息 。 3.根据权利要求2所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S3.1具体包括， 先假设P点坐标， 对关键点P坐标值进行取整， 点P经k倍下采样后在热 力图中的坐标为(Hx,Hy)， 将该位置标签值设为1， 其 他背景类设为0 。 4.根据权利要求2所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S3.2将二维热力图转换为到一维空间， 利用全连接层对各点进行分类， 与制作的标 签计算损失值， 得到各点代表关键点的概率值PI(i＝0,1,2 …)， 使用soft ‑argmax的方法计 算关键点P在一维向量中的位置 Cp为： 其中j代表的意义与i相同， β 为扩大因子， 用于提高接近目标点的准确度， 再将得到的 一维坐标转换到热力图上的二维坐标点(Hx， Hy), 其中W,H分别表示热力图的宽和高。 5.根据权利要求3所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S3.1利用亚像素坐标点的方法将热力图的量化误差值转换为亚像素坐标点， 然后采 用分类的方法得到亚像素坐标值以解决制作热力图标签时原图坐标缩小k倍后非整数的问 题， 亚像素标签制作过程具体包括将热力图中单元点在亚像素级别上扩大k倍， 利用卷积将 该点映射到k ×k的特征图， 每个热力图单元点之 间看作k个亚像素点大小， 即映射到原始图 大小级别， 热力图坐标量 化的小数点部分为 亚像素坐标 下的真实标签坐标(Sx′， Sy′)。 6.根据权利要求5所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述亚像素坐标下的真实标签坐标(Sx′， Sy′)获取后， 与计算热力图坐标的方式相同， 网络再 次经过一个全连接层对亚像素坐标点进行分类， 同样使用soft ‑argmax方法转换到亚像素权　利　要　求　书 1/2 页 2 CN 115147806 A 2坐标下的坐标点 为(Sx， Sy)， 最终输出 预测的关键点P(Px,Py)在原始图中的坐标值 为： Px＝Hx×k+Sx Py＝Hy×k+Sy 关键点检测头的整个过程完全可微， 只在原始图制作标签的时取整一次， 误差为原始 图单个像素级别大小， 远小于多次下采样的量化误差级别， 或者通过添加 一个分支用于回 归取整的误差大小。 7.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S4具体包括， 首先将关键点检测头部扩展为多个分支， 将多个分支的输出特征图联 合计算通道维度上的自注意力以及尺度维度上的自注意力， 然后 将其融合得到最 终的集成 特征， 使用集成后的模型与各分支分别计算坐标损失以实现蒸馏的过程， 最后通过训练结 果选择一个最 好性能的分支作为网络模型的检测头 。 8.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法， 其特征在于， 所 述步骤S6车辆伪3d 的分类为普通的分类任务， 根据车辆在图中的朝向将车辆伪3d类别分为 头左、 头右、 尾左、 尾右、 头、 尾、 左、 右八类。权　利　要　求　书 2/2 页 3 CN 115147806 A 3