(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210723094.X (22)申请日 2022.06.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 北京理工大 学重庆创新中心 (72)发明人 王伟达　万成麟　李颖　杨超　 岳兴　项昌乐　 (74)专利代理 机构 四川省方圆智云知识产权代 理事务所(普通 合伙) 51368 专利代理师 严晓玲 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/73(2017.01) G06T 5/00(2006.01)G06V 10/10(2022.01) G06V 10/32(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01) (54)发明名称 一种分体式飞行车辆鸟瞰图实时拼接及车 位检测方法 (57)摘要 本发明公开了一种分体式飞行车辆鸟瞰图 实时拼接及车位检测方法， 对环视鱼眼相机图像 数据， 进行相机内外参的标定， 得到鱼眼相机的 内参、 畸变向量和单应性变换矩阵； 对去畸变的 图像数据， 进行环视相机鸟瞰图拼接处理， 得到 以飞行车辆为中心的鸟瞰图； 基于环视相机鸟瞰 图拼接的结果， 利用基于深度学习的方法， 将拼 接的鸟瞰图送入 卷积神经网络中， 得到检测到的 车位入口线两个角点坐标， 然后利用约束条件和 先验信息推理出车位另两个角点坐标， 用获取的 车位角点坐标， 对鸟瞰图进行车位截取， 对车位 图像进行HOG特征提取， 判断车位是否空余， 用不 同颜色表 示空余车位和已用车位， 即实现了飞行 车辆的鸟瞰图拼接和车位检测。 权利要求书3页 说明书7页 附图4页 CN 115239820 A 2022.10.25 CN 115239820 A 1.一种分体式飞行 车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 所述方法包括： 对环视鱼眼相机图像数据， 进行相机内、 外参的标定， 得到鱼眼相机的内参、 畸变向量 和单应性变换矩阵； 基于鱼眼相机的内参、 畸变向量， 对环视鱼眼相机图像数据进行去畸变处理， 得到去畸 变的图像数据； 对去畸变的图像数据， 基于单应性变换矩阵， 进行环视相机鸟瞰图拼接处理， 得到以飞 行车辆为中心的鸟瞰图； 把所述以飞行车辆为中心 的鸟瞰图， 送入预设的车位检测模型中的卷积神经网络中， 得到车位入口线的两个角点 坐标； 基于车位入口线的两个角点坐标， 利用预设的约束条件和先验信 息推理出车位末端的 两个角点 坐标； 用获取的车位入口线的两个角点坐标和车位末端的两个角点坐标， 对以飞行车辆为中 心的鸟瞰图进行车位截取， 对截取后的车位图像进行HOG特征提取， 并判断车位是否空余， 用不同颜色表示空余车位和已用车位， 即实现了飞行 车辆的鸟瞰图拼接和车位检测。 2.根据权利要求1所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 通过鱼眼相机采集环视鱼眼相机图像数据。 3.根据权利要求1所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 获取环视鱼眼相机图像数据， 对环视 鱼眼相机图像数据进 行相机内参标定， 获取鱼 眼相机内参K和畸变向量D， 即可完成图像的去畸变处 理， 具体包括： 对环视鱼眼相机图像数据寻找棋盘 格角点， 得到棋盘 格角点坐标； 对所述棋盘 格角点坐标进行亚像素优化， 得到优化后的棋盘 格角点坐标； 基于优化后的棋盘格角点坐标， 利用张正友标定法估计计算相机内参， 得到标定结果， 并根据新的图像数据不断优化标定结果； θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)； 其中， k1， k2， k3， k4是鱼眼相机畸变参数D， 对鱼眼相机的畸变， 使用k1， k2， k3， k4为系 数的θ多项式进行描述； 其中， fx和fy是鱼眼相机的焦距， cx和cy是像素坐标系原点相对于物理坐标系原点的相 对位移， 相机内参矩阵用K表示； 利用相机内参K和畸变参数D得到映射矩阵， 即得到无畸变和修 正转换关系； 基于无畸变和修 正转换关系， 对环视鱼眼相机图像数据重映射实现去畸变处 理。 4.根据权利要求3所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 对相机进行外参标定， 具体包括： 利用飞行车辆的四周各安装的一个鱼眼相机以及每个相机前放置的一块标定板， 得到 未取畸变的原 始图像； 根据所述相机内参K和畸变向量D对所述原始图像进行图像畸变矫正， 得到去畸变之后 的图片；权　利　要　求　书 1/3 页 2 CN 115239820 A 2利用无人机或者站在较 高处使用摄影设备， 得到包含飞行车辆以及四块标定板的鸟瞰 图； 对所述鸟瞰图预处 理， 得到预处 理后的鸟瞰图； 所述去畸变之后的图片为原始图像， 所述预处理后的鸟瞰图为目标图像， 对所述原始 图像和目标图像进行 标定板角点检测， 得到 两种视角下 标定板的角点 坐标； 利用原始图像和目标图像的角点坐标得到所述畸变之后的图片到预处理后的鸟瞰图 的单应性 转换矩阵H 。 5.根据权利要求4所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 所述预 处理具体包括： 旋转鸟瞰图使车头位于正前方并保持垂 直， 裁剪鸟瞰图比例 并调整鸟瞰图分辨 率， 对调整后的鸟瞰图进行居中缩放， 使车辆处于鸟瞰图中央。 6.根据权利要求4所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 进行环视相机鸟瞰图拼接处 理， 具体包括： 利用所述单应性变换矩阵H， 得到去畸变图片转换的鸟瞰图； 对去畸变图片转换的鸟瞰图， 选择直接拼接或融合拼接， 得到以飞行车辆为中心 的鸟 瞰图； 若选用融合 拼接， 根据像素点到 重叠区域边界的距离进行RGB值融合； P＝σ PA+(1‑σ )PB； 其中， 是像素点与重叠区域边界 的夹角， 为重叠区域的夹角， PA和PB为重叠区域像素 点的RGB值， P为融合后该点的RGB值； 把所述以飞行车辆为中心 的鸟瞰图， 送入预设的车位检测模型中的卷积神经网络中， 得到车位入口线的两个角点的坐标和方位信息 。 7.根据权利要求6所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特 征在于， 利用预设的约束条件和先验信息推理出 车位末端的两个角点 坐标； 具体包括： 根据距离约束筛 选出成对的车位入口线角点； t1≤||P1P2||≤t2； 其中t1和t2是车位入口宽度的取值范 围， 属于先验信息， P1和P2是车位入口线的两个角 点； 满足距离约束的角点还需判断这对角点是否能行成有 效的车位入口线， 然后根据 所述 成对角点进 行车位分类， 根据两个角点的方向信息判断类型， 得到车位是垂 直车位、 平行车 位、 锐角车位还是钝角车位以及车位的角度； 利用所述车位角度和入口线两个角点的坐标， 得到车位末端的两个角点 坐标； 其中P1、 P2、 P3和P4是车位的四个角点， d是 车位的深度， 属于先验信息， α 是 车位的角度。 8.根据权利要求7所述的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法， 其特权　利　要　求　书 2/3 页 3 CN 115239820 A 3