(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210662274.1 (22)申请日 2022.06.13 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 王川川　许娅彤　李杰　毛慧　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 马敬　项京 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/73(2017.01) (54)发明名称 一种图像生成方法和装置 (57)摘要 本申请实施例提供了一种图像生成方法和 装置， 获取待处理图像； 基于待处理图像中前景 对象所占的前景图像区域， 待处理图像的图像坐 标与目标场景的空间坐标之间的第一转换关系， 确定前景对象的三维位姿平面； 基于指定的前景 图像区域中的图像坐标与三维位姿平面中的三 维坐标之间的第二转换关系， 以及指定监测视角 下成像的图像坐标与三维位姿平面中的三维坐 标之间的第三转换关系， 确定前景对象的指定的 前景图像区域在指定监测视角下的待投影图像； 依次将包含目标场景中的背景的背景图像在指 定监测视角下的图像和待投影图像投影至目标 场景的三维场景模型， 得到目标场景在指定监测 视角下的目标图像， 可以提高生成的图像的质 量。 权利要求书3页 说明书23页 附图15页 CN 115147262 A 2022.10.04 CN 115147262 A 1.一种图像生成方法， 其特 征在于， 所述方法包括： 获取目标场景中各架设相机对应的待处理图像； 其中， 一个架设相机对应的待处理图 像为基于该架设相机采集的所述目标场景的图像得到的； 基于对各待处理图像进行图像分割， 分别确定各待处理图像中前景对象所占的图像区 域， 作为所述前 景对象对应的前 景图像区域； 基于各前景图像区域， 以及各待处理图像的图像坐标与 所述目标场景的空间坐标之间 的各第一 转换关系， 确定所述前 景对象在所述目标场景中的三维位姿平面； 针对所述前景对象在指定监测视角下的每一像素坐标， 基于指定的前景图像区域中的 图像坐标与所述三维位姿平面中的三 维坐标之 间的第二转换关系， 以及所述指 定监测视角 下成像的图像坐标与所述三 维位姿平面中的三维坐标之 间的第三转换关系， 确定该像素坐 标在指定的前景图像区域中对应的像素点的像素值， 作为该像素坐标 的像素值， 得到所述 前景对象在所述指定监测视角下的待投影图像； 获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像， 作为 背景图像； 依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像， 投影至所述目 标场景的三维场景模型， 得到所述目标场景在所述指定监测视角下的目标图像。 2.根据权利要求1所述的方法， 其特征在于， 所述基于各前景图像区域， 以及各待处理 图像的图像坐标与所述目标场景的空间坐标之 间的各第一转换关系， 确定所述前景对象在 所述目标场景中的三维位姿平面， 包括： 确定对应的待处 理图像包 含所述前 景对象的两个架设相机， 作为指定架设相机； 针对每一指定架设相机， 确定该指定架设相机对应的待处理图像中包含所述前景对象 的检测框； 基于该指定架设相机对应的图像坐标与 所述空间坐标之间的第 一转换关系， 确定所述 检测框中的指定点在所述目标场景中对应的三维点； 确定包含该指定架设相机的光心和对应的三维点的平面， 作为该指定架设相机对应的 参考平面； 确定经过各参考平面的交线， 且与水平面呈指定角度的平面， 作为所述前景对象在所 述目标场景中的三维位姿平面。 3.根据权利要求2所述的方法， 其特征在于， 所述确定经过各参考平面的交线， 且与水 平面呈指定角度的平面， 作为所述前 景对象在所述目标场景中的三维位姿平面， 包括： 以各参考平面的交线为旋转轴， 按照所述指定角度， 对经过所述旋转轴， 且与水平面平 行的初始 物平面进行旋转， 得到所述前 景对象在所述目标场景中的三维位姿平面。 4.根据权利要求1所述的方法， 其特征在于， 在所述针对所述前景对象在指定监测视角 下的每一像素坐标， 基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三 维 坐标之间的第二转换关系， 以及所述指定监测视角下成像的图像坐标与所述三维位姿平面 中的三维坐标之间的第三转换关系， 确定该像素坐标在指 定的前景图像区域中对应的像素 点的像素值， 作为该像素坐标的像素值， 得到所述前景对 象在所述指定监测视角下 的待投 影图像之前， 所述方法还 包括： 确定所述前 景对象在指定的前 景图像区域所属的待处 理图像中的边 缘像素点；权　利　要　求　书 1/3 页 2 CN 115147262 A 2针对每一边缘像素点， 基于所述第二转换关系和所述第三转换关系， 确定该边缘像素 点在所述指定监测视角下的对应的像素坐标， 作为 边缘像素坐标； 确定以所述边缘像素坐标为边缘的区域包含的像素坐标， 作为所述前景对象在所述指 定监测视角下的像素坐标。 5.根据权利要求1所述的方法， 其特征在于， 在所述针对所述前景对象在指定监测视角 下的每一像素坐标， 基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三 维 坐标之间的第二转换关系， 以及所述指定监测视角下成像的图像坐标与所述三维位姿平面 中的三维坐标之间的第三转换关系， 确定该像素坐标在指 定的前景图像区域中对应的像素 点的像素值， 作为该像素坐标的像素值， 得到所述前景对 象在所述指定监测视角下 的待投 影图像之前， 所述方法还 包括： 从各前景图像区域中， 确定包含的所述前景对象的完整度最大的图像区域， 作为指定 的前景图像区域。 6.根据权利要求5所述的方法， 其特征在于， 所述基于对各待处理图像进行图像分割， 分别确定各待处理图像中前景对象所占的图像区域， 作为所述前景对象对应的前景图像区 域， 包括： 基于对各待处理图像进行图像分割， 得到各待处理图像中各前景对象所占的图像区 域， 作为待处 理图像区域； 基于各待处理图区域之间的图像相似度， 确定属于同一前景对象的待处理图像区域， 作为该前景对象对应的前 景图像区域。 7.根据权利要求1所述的方法， 其特征在于， 所述获取目标场景中各架设相机对应的待 处理图像， 包括： 获取各架设相机采集的所述目标场景的图像， 作为初始图像； 按照指定色差校正参数分别对各初始图像进行色差校正， 和/或， 按照各架设相机的畸 变类型分别对各初始图像进行畸变校正， 得到各待处 理图像。 8.根据权利要求1所述的方法， 其特征在于， 所述获取指定的前景图像区域对应的架设 相机采集的包 含目标场景中的背景的图像， 作为背景图像， 包括： 获取待填充图像； 其中， 所述待填充图像为： 将所述指定的前景图像区域从所属的待处 理图像中删除得到的； 将预设图像中与所述指定的前景图像区域对应的部分， 填充至所述待填充图像中所述 指定的前景图像区域对应的位置， 得到指 定的前景图像区域对应的架设相机采集的包含目 标场景中的背景 的图像； 其中， 所述预设图像为预先采集的包含所述 目标场景中的背景 的 图像。 9.根据权利要求1所述的方法， 其特征在于， 在任一时刻， 针对所述目标场景中的每一 前景对象， 各架设相机采集到的图像中至少存在一个图像包 含完整的该 前景对象。 10.一种图像生成装置， 其特 征在于， 所述装置包括： 待处理图像获取模块， 用于获取目标场景中各架设相机对应的待处理图像； 其中， 一个 架设相机对应的待处 理图像为基于该架设相机采集的所述目标场景的图像得到的； 前景图像区域确定模块， 用于基于对各待处理图像进行图像分割， 分别确定各待处理 图像中前 景对象所占的图像区域， 作为所述前 景对象对应的前 景图像区域；权　利　要　求　书 2/3 页 3 CN 115147262 A 3