(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579134.8 (22)申请日 2022.05.25 (71)申请人 聚时科技 （上海） 有限公司 地址 上海市杨 浦区杨树浦路23 00号3B层 B02-59室 (72)发明人 江子奔　罗长志　郑军　 (74)专利代理 机构 武汉天领众智专利代理事务 所(普通合伙) 42300 专利代理师 林琳 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/73(2017.01) G06T 7/90(2017.01) (54)发明名称 一种基于YUV色彩空间的图像快速拼接方法 (57)摘要 本发明公开了一种基于YUV色彩 空间的图像 快速拼接方法， 针对行车机构平 面运动的特性建 立了像素映射方程， 结合编码器获取的相机位置 和深度相机获取的图像深度建立像素映射表， 从 而实现图像像素在不同视角之间的快速变换； 将 像素映射方程由单个像素推广到了矩阵形式， 从 而可以对整张图片或者多张图片进行并行映射， 可以实现大场景， 多数量图片 的快速拼接， 针对 图像拼接过程中， 针对直接使用加权平均进行图 像融合可能存在拼缝的问题， 在保证图像拼接效 果的同时， 缩短了图像拼接的时间。 权利要求书2页 说明书6页 附图2页 CN 114972025 A 2022.08.30 CN 114972025 A 1.一种基于 YUV色彩空间的图像快速拼接方法， 其特 征在于， 包括如下步骤： S1： 控制行车的运动机构对待拼接场景进行全局扫 描， 采集同一时刻相机位置t、 RGB图 像数据、 深度图像数据， 通过相机外参和相机内参将深度图数据映射到RGB图像中， 得到每 一个像素的深度值z； S2： 利用像素映射方程将所有图片的像素转换到初始视角的图片像素； S3： 对所有变换后的RGB值进行融合得到拼接的全景图像。 2.如权利要求1所述的基于YUV色彩空间的图像快速拼接方法， 其特征在于， 步骤S2还 还包括步骤S21： 利用三角测量原理得到同一个点在两个不同像素位置的关系为： 其中， P1是这个点在位置1处相机图像中的像素的齐次坐标， 维度为3x1， z1是该点在位 置1处相机图像中的深度； P2是这个点在位置2处相机图像中的像素的齐次坐标， 维度为3x1， z2是该点在位置2处 相机图像中的深度； K是相机内参； R是相机的旋转向量， t是相机的位置平 移向量， 相机的旋转向量R是一个单位矩阵， 相机深度z1＝z2， 像素映射方程可以变为： 将像素映射方程变为： P1(3， n)＝P2(3， n)‑Kt(3， n)*diag(z(n， 1))‑1； 通过上述P1(3， n)＝P2(3， n)‑Kt(3， n)*diag(z(n， 1))‑1的像素映射方程对一张图片进行 并行映 射， 其中P1(3， n)是映射后的像素坐标的齐次坐标， 维度为3xn， 每一列均是一个映射后的像素 坐标； P2(3， n)是映射前的像素坐标的齐次坐标， 维度为3xn， 每一列均是一个映射前的像素坐 标； z(n， 1)是像素坐标对应的深度向量， 维度为 nx1， 每一行均是映射前像素的深度值； diag(z(n， 1))是对深度向量对角化， 就是将n维向量映射到nxn方阵的对角线上， 其余元 素为0； diag(z(n， 1))‑1就是给对角化后的矩阵取逆； t(3， n)是相机位置平移向量， 维度为3xn， 每一行均分别对应在三个坐标轴上相机的平动位移； 对于同一张图片来说， n行的值相同， 将映射方程变成矩阵形式之后使用GPU对图像像 素变换并行映射， 如果需要对m张图片进行并行映射， 则使用像素映射方程： P1(3， n*m)＝P2(3， n*m)‑Kt(3， n*m)*diag(z(n*m， 1)‑1； 通过像素映射方程得到的是初始视角的图片像素和其他相机视角位置图片像素的一 个映射关系， 通过这个映射关系将其他相 机视角位置图像的RGB图像变换到初始视角下 的 相机图像， RGB_origi n[P1(3， n)(0： 1， ： )]＝RGB[ P2(3， n)(0： 1， ： )]； 其中P1(3， n)(0： 1， ： )代表取P1(3， n)齐次坐标中的前两行元素， RGB_origin代表在初始视 角下的相机图像， RGB代 表相机运动过程中采集到的相机图像。 3.如权利要求1所述的基于YUV色彩空间的图像快速拼接方法， 其特征在于， 步骤S3还权　利　要　求　书 1/2 页 2 CN 114972025 A 2包括步骤S 31： 将经过转换到的初始视角的图片 像素的图像作为待拼接图像， 将得到的全景 图像和待拼接图像分别转成灰度图， 并进行二 值化， 通过按位与操作得到 重叠区域的图像； 将初始视角的全景图片重叠区域和待拼接图像重叠区域的RGB值分别转到YUV色彩空 间， 计算初始视角的全景图片和待拼接图像重 叠区域Y分量比值的亮度系数k， 亮度系数： 其中， YUVB1(0， ： )代表B1中所有像素的Y分量， YUVB2(0， ： )代表B2中所有像素的Y分量， avg()表示对 亮度系数 取平均值； 将待拼接图像转到YUV色彩空间， 并对所有像 素的Y分量都乘以这个k系数， YUVc(0， ： )＝ k*YUVc(0， ： )； 将待拼接图像从YUV色彩空间转回RGB空间， 将待拼接图像直接拷贝到全景图片对应的 像素上， 得到融合 拼接的全景图像。权　利　要　求　书 2/2 页 3 CN 114972025 A 3