(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210266263.1 (22)申请日 2022.03.17 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 磯部駿　陶鑫　戴宇荣　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李加欣 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种图像处理方法、 装置、 电 子设备及存储介质， 属于多媒体技术领域。 该方 法包括： 从目标视频中获取目标图像帧的多个参 考图像帧， 所述参考图像帧与所述目标图像帧间 隔的帧数不大于目标帧数； 基于三维卷积核， 以 所述目标图像帧为中心在所述多个参考图像帧 上逐帧对称滑动， 得到图像融合特征； 基于所述 图像融合特征， 确定所述目标图像帧对应的高分 辨率图像。 上述方案， 通过将三维卷积核以目标 图像帧为中心在多个参考图像帧上逐帧对称滑 动， 能够扩大该三维卷积核的感受野， 在每次卷 积时都能够对目标图像帧和参考图像帧进行处 理， 充分利用了参考图像帧对目标图像帧的影 响， 从而基于该图像融合特征得到的高分辨率图 像更加清楚。 权利要求书2页 说明书14页 附图6页 CN 114612308 A 2022.06.10 CN 114612308 A 1.一种图像处 理方法， 其特 征在于， 所述图像处 理方法包括： 从目标视频中获取目标图像帧的多个参考图像帧， 所述参考图像帧与 所述目标图像帧 间隔的帧数不大于目标帧数； 基于三维卷积核， 以所述目标图像帧为中心在所述多个参考图像帧上逐帧对称滑动， 得到图像融合特 征； 基于所述图像融合特 征， 确定所述目标图像帧对应的高分辨 率图像。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述三维卷积核包括第一卷积 核、 固定卷积核以及第二卷积核， 所述第一卷积核和所述第二卷积核用于以所述固定卷积 核为中心在所述多个参 考图像帧上 逐帧对称滑动， 滑动次数等于所述目标帧数； 所述基于三维卷积核， 以所述目标图像帧为中心在所述多个参考图像帧上逐帧对称滑 动， 得到图像融合特 征， 包括： 响应于所述三维卷积核的一 次滑动行为， 确定本次滑动行为对应的第 一参考图像帧和 第二参考图像帧， 所述第一参考图像帧和所述第二参考图像帧以所述目标图像帧为中心对 称； 基于所述固定卷积核对所述目标图像帧进行处理， 基于所述第 一卷积核对本次滑动行 为的第一参考图像帧进行 处理， 基于所述第二卷积核对本次滑动行为的第二参考图像帧进 行处理， 得到第一中间融合特 征； 基于多次滑动行为对应的第 一中间融合特征和第 二中间融合特征， 确定所述图像 融合 特征， 所述第二中间融合特 征在所述 三维卷积核未开始 滑动时， 基于所述 三维卷积核得到 。 3.根据权利要求2所述的图像处理方法， 其特征在于， 所述基于所述固定卷积核对所述 目标图像 帧进行处理， 基于所述第一卷积核对本次滑动行为的第一参考图像 帧进行处理， 基于所述第二卷积核对本次滑动行为的第二参考图像帧进行处理， 得到第一中间融合特 征， 包括： 基于所述固定卷积核对所述目标图像帧进行处 理， 得到第一中间特 征； 基于所述第一卷积核对所述第一 参考图像帧进行处 理， 得到第二中间特 征； 基于所述第二卷积核对所述第二 参考图像帧进行处 理， 得到第三中间特 征； 对所述第一中间特征、 所述第二中间特征以及所述第三中间特征进行加权求和， 得到 所述第一中间融合特 征。 4.根据权利要求2所述的图像处 理方法， 其特 征在于， 所述图像处 理方法还 包括： 在所述三维卷积核未开始滑动的情况下， 基于所述固定卷积核对所述目标图像帧进行 处理， 得到第四中间特 征； 基于所述第一卷积核对第三参考图像帧进行处理， 得到第五中间特征， 所述第三参考 图像帧为所述第一卷积核未开始 滑动时对应的参 考图像帧； 基于所述第二卷积核对所述第 四参考图像帧进行处理， 得到第六中间特征， 所述第 四 参考图像帧为所述第二卷积核 未开始滑动时对应的参考图像帧， 所述第三参考图像帧和所 述第四参 考图像帧以所述目标图像帧为中心对称； 对所述第四中间特征、 所述第五中间特征以及所述第六中间特征进行加权求和， 得到 所述第二中间融合特 征。 5.根据权利要求4所述的图像处理方法， 其特征在于， 所述第 一参考图像帧为至少一个权　利　要　求　书 1/2 页 2 CN 114612308 A 2参考图像 帧， 所述第二参考图像 帧为至少一个参考图像 帧， 所述第三参考图像 帧为至少一 个参考图像 帧， 所述第四参考图像 帧为至少一个参考图像 帧， 所述第一参考图像 帧的数量 与所述第三 参考图像帧的数量相等。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述从 目标视频中获取目标图像 帧对应的多个参 考图像帧， 包括： 以所述目标图像帧为中心， 从所述目标图像帧的两侧逐帧获取参 考图像帧； 响应于第一侧获取到的参考图像帧的数量大于第 二侧获取到的参考图像帧的数量， 对 位于所述第一侧中第一位置的参考图像帧进 行复制， 得到位于所述第二侧中第二位置的参 考图像帧， 所述第一 位置和所述第二 位置以所述目标图像帧的位置为中心对称。 7.一种图像处 理装置， 其特 征在于， 所述图像处 理装置包括： 获取单元， 被配置为执行从目标视频中获取目标图像帧的多个参考图像帧， 所述参考 图像帧与所述目标图像帧间隔的帧数不大于目标帧数； 融合单元， 被配置为执行基于三维卷积核， 以所述目标图像帧为中心在所述多个参考 图像帧上 逐帧对称滑动， 得到图像融合特 征； 确定单元， 被配置为执行基于所述图像融合特征， 确定所述目标图像帧对应的高分辨 率图像。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 一个或多个处 理器； 用于存储所述处 理器可执行程序代码的存 储器； 其中， 所述处理器被配置为执行所述程序代码， 以实现如权利要求1至6任一项所述的 图像处理方法。 9.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由电 子设备的处理器执行时， 使得所述电子 设备能够执行如权利要求 1至6任一项 所述的图像处 理方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1至 6任一项所述的图像处 理方法。权　利　要　求　书 2/2 页 3 CN 114612308 A 3