(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210751857.1 (22)申请日 2022.06.28 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 徐杰杰　刘光灿　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 姚建楠 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/73(2017.01) G06T 7/593(2017.01) G06T 7/90(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种图像处理方法、 装置、 电子设备及存储 介质 (57)摘要 本申请提供了一种图像处理方法、 装置、 电 子设备及存储介质； 所述方法包括： 获取待处理 图像和所述待处理图像对应的稀 疏深度图像； 基 于所述稀 疏深度图像， 确定所述稀 疏深度图像对 应的半稠密深度图像； 基于所述半稠密深度图 像， 确定所述半稠密深度图像对应的三维位姿图 像； 基于双分支卷积神经网络， 对所述三维位姿 图像、 所述 半稠密深度图像和所述待处理图像进 行处理， 确定所述待处理图像对应的稠密深度图 像。 如此， 能够智能地对图像进行处理， 以提高图 像处理的精度和经过图像处理得到的稠密深度 图的图像质量。 权利要求书2页 说明书13页 附图5页 CN 115131243 A 2022.09.30 CN 115131243 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取待处 理图像和所述待处 理图像对应的稀疏深度图像； 基于所述稀疏深度图像， 确定所述稀疏深度图像对应的半稠密深度图像； 基于所述半稠密深度图像， 确定所述半稠密深度图像对应的三维位姿图像； 基于双分支卷积神经网络， 对所述三维位姿图像、 所述半稠密深度图像和所述待处理 图像进行处 理， 确定所述待处 理图像对应的稠密深度图像。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述稀疏深度图像， 确定所述稀 疏深度图像对应的半稠密深度图像， 包括： 确定所述稀疏深度图像中无效值像素点的位置； 确定以所述无效值像素点的位置为中心， 以5个 像素为边长的正方 形的待补充区域； 响应于所述待补充区域中有效值像素点的数量满足预设数量阈值， 基于加权核函数， 对所述待补充区域进行补充， 确定补充后的所述稀疏深度图像为所述半稠密深度图像。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述半稠密深度图像， 确定所述 半稠密深度图像对应的三维位姿图像， 包括： 确定相机内参矩阵； 基于所述相机内参矩阵， 对所述半稠密深度图像进行三维位姿投影， 确定所述半稠密 深度图像中像素点对应的三维位姿坐标； 基于所述 三维位姿坐标， 确定所述半稠密深度图像对应的所述 三维位姿图像。 4.根据权利要求1所述的方法， 其特征在于， 所述基于双分支卷积神经网络， 对所述三 维位姿图像、 所述半稠密深度图像和所述待处理图像进行处理， 确定所述待处理图像对应 的稠密深度图像， 包括： 所述双分支卷积神经网络包括： 语义引导分支和深度细化分支； 基于所述语义引导分支， 对所述半稠密深度图像和所述待处理图像进行语义引导， 确 定所述待处 理图像对应的语义深度图像； 基于所述深度细化分支， 对所述语义深度图像和所述三维位姿图像进行深度细化， 确 定所述待处 理图像对应的稠密深度图像。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述语义引导分支， 对所述半稠 密深度图像和所述待处理图像进行语义引导， 确定所述待处理图像对应的语义深度图像， 包括： 所述语义引导分支包括稠密跳 接结构； 基于所述稠密跳接结构， 对所述半稠密深度图像和所述待处理图像进行多尺度语义融 合， 确定所述待处 理图像对应的语义深度图像。 6.一种图像处 理装置， 其特 征在于， 所述图像处 理装置包括： 获取模块， 用于获取待处 理图像和所述待处 理图像对应的稀疏深度图像； 自适应稠密模块， 用于基于所述稀疏深度图像， 确定所述稀疏深度图像对应的半稠密 深度图像； 坐标投影模块， 用于基于所述半稠密深度图像， 确定所述半稠密深度图像对应的三维 位姿图像； 确定模块， 用于基于双分支卷积神经网络， 对所述三维位姿图像、 所述半稠密深度图像权　利　要　求　书 1/2 页 2 CN 115131243 A 2和所述待处 理图像进行处 理， 确定所述待处 理图像对应的稠密深度图像。 7.根据权利要求6所述的装置， 其特 征在于， 所述自适应稠密模块用于： 确定所述稀疏深度图像中无效值像素点的位置； 确定以所述无效值像素点的位置为中心， 以5个 像素为边长的正方 形的待补充区域； 响应于所述待补充区域中有效值像素点的数量满足预设数量阈值， 基于加权核函数， 对所述待补充区域进行补充， 确定补充后的所述稀疏深度图像为所述半稠密深度图像。 8.根据权利要求6所述的装置， 其特 征在于， 所述 坐标投影模块用于： 确定相机内参矩阵； 基于所述相机内参矩阵， 对所述半稠密深度图像进行三维位姿投影， 确定所述半稠密 深度图像中像素点对应的三维位姿坐标； 基于所述 三维位姿坐标， 确定所述半稠密深度图像对应的所述 三维位姿图像。 9.根据权利要求6所述的装置， 其特征在于， 所述双分支卷积神经网络包括： 语义引导 分支和深度细化分支， 所述确定模块用于： 基于所述语义引导分支， 对所述半稠密深度图像和所述待处理图像进行语义引导， 确 定所述待处 理图像对应的语义深度图像； 基于所述深度细化分支， 对所述语义深度图像和所述三维位姿图像进行深度细化， 确 定所述待处 理图像对应的稠密深度图像。 10.根据权利要求9所述的装置， 其特征在于， 所述语义引导分支包括稠密跳接结构， 所 述确定模块用于： 基于所述稠密跳接结构， 对所述半稠密深度图像和所述待处理图像进行多尺度语义融 合， 确定所述待处 理图像对应的语义深度图像。 11.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115131243 A 3