(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210155171.6 (22)申请日 2022.02.21 (65)同一申请的已公布的文献号 申请公布号 CN 114529456 A (43)申请公布日 2022.05.24 (73)专利权人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 骆剑平　谭芮淇　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 潘登 (51)Int.Cl. G06T 3/40(2006.01) G06K 9/62(2022.01)G06V 10/80(2022.01) (56)对比文件 CN 112700392 A,2021.04.23 CN 112950471 A,2021.0 6.11 CN 112950471 A,2021.0 6.11 CN 111192200 A,2020.0 5.22 CN 113947531 A,202 2.01.18 US 10701394 B1,2020.0 6.30 US 201417 7706 A1,2014.0 6.26 Minyan Zheng 等.Video Super- Resolution Based o n Spatial-Temporal Transformer. 《2021 IE EE 7th Internati onal Conference o n Cloud Computi ng and Intelligent System s (CCIS)》 .2021,40 3-407. 审查员 刘明惠 (54)发明名称 一种视频的超分辨率处理方法、 装置、 设备 及介质 (57)摘要 本发明实施例公开了一种视频的超分辨率 处理方法、 装置、 设备及介质。 该方法包括获取待 处理视频， 并提取待处理视频中每个低分辨视频 帧的融合了每个低分辨视频帧的全局和局部特 征的融合特征； 根据各低分辨视频帧的融合特 征， 在多个维度上进行特征增强处理， 得到与超 分辨视频帧对应的维度增强特征； 根据各所述维 度增强特征， 重建得到各超分辨视频帧， 以形成 与待处理视频对应的超分辨率视频。 本发明实施 例的技术方案提供一种视频超分辨处理的新方 法， 实现重建出 更优视频帧的效果。 权利要求书3页 说明书9页 附图3页 CN 114529456 B 2022.10.21 CN 114529456 B 1.一种视频的超分辨 率处理方法， 其特 征在于， 包括： 获取待处理视频， 并提取所述待处理视频中每个低分辨视频帧的融合特征， 其中， 所述 融合特征中融合了每 个低分辨视频帧的全局 和局部特征； 根据各低分辨视频帧的融合特征， 在多个维度上进行特征增强处理， 得到与超分辨视 频帧对应的维度增强特 征； 其中， 多个维度包括： 时间维度、 空间维度和图像通道维度， 所述超分辨视频帧的帧数 量小于所述低分辨视频帧的帧数量； 根据各所述维度增强特征， 重建得到各所述超分辨视频帧， 以形成与所述待处理视频 对应的超分辨 率视频； 其中， 提取 所述待处 理视频中每 个低分辨视频帧的融合特 征， 包括： 在所述待处理视频中获取当前处理低分辨视频帧， 并将所述当前处理低分辨视频帧输 入至预先训练的时空编码器中； 所述时空编码器 基于自注意力机制训练得到； 通过所述时空编码器， 获取与所述当前处理低分辨视频帧对应的查询Q向量、 相关性K 向量以及被查询信息V向量； 通过所述时空编码器， 将所述Q向量、 K向量和V向量分别划分为全局特征块序列， 并使 用K向量以及V向量， 对所述全局特征块序列进行特征提取， 形成与所述当前处理低分辨视 频帧对应的全局特 征； 通过所述 时空编码器， 将所述全局特征划分为细粒度的局部特征块序列， 并使用K向量 以及V向量， 对所述局部特征块序列进 行特征提取， 形成与所述当前 处理低分辨视频帧对应 的所述融合特 征； 将所述全局特征对应的Q向量、 K向量和V向量分别划分为细粒度的局部特征块序列， 通 过计算Q向量和K向量分别对应的局部特征块序列中两两对应特征块之间的相似度， 结合V 向量相应的局部特 征块序列， 进行加权处 理， 得到融合特 征。 2.根据权利要求1所述的方法， 其特征在于， 通过所述时空编码器， 将所述Q向量、 K向量 和V向量分别划分为全局特征块序列， 并使用K向量以及V向量， 对所述全局特征块序列进 行 特征提取， 形成与所述当前处 理低分辨视频帧对应的全局特 征， 包括： 根据与Q向量和K向量分别对应的全局特征块序列， 计算两两对应特征块之间的相似 度； 根据各所述相似度和与V向量对应的全局特征块序列， 对所述全局特征块序列进行特 征提取， 形成与所述当前处 理低分辨视频帧对应的全局特 征。 3.根据权利要求1所述的方法， 其特征在于， 根据各低分辨视频帧的融合特征， 在多个 维度上进行 特征增强处 理， 得到与超分辨视频帧对应的维度增强特 征， 包括： 根据相邻的至少一个各低分辨视频帧的之间的相似性， 将各所述融合特征在时间维度 上进行加权融合， 得到与各超分辨视频帧分别对应的时间增强特 征； 将各所述超分辨视频帧的时间增强特征进行池化和双线性插值处理， 得到与 各超分辨 视频帧分别对应的空间增强特 征； 根据各所述超分辨视频帧在每个图像通道中的通道权重， 将各所述超分辨视频帧的空 间增强特征在不同图像通道的通道值进行加权融合， 得到与每个超分辨视频帧对应的维度 增强特征。权　利　要　求　书 1/3 页 2 CN 114529456 B 24.根据权利要求3所述的方法， 其特征在于， 根据相邻的至少一个各低分辨视频帧的融 合特征之间的相似性， 将各所述融合特征在时间维度上进行加权融合， 得到与各超分辨视 频帧分别对应的时间增强特 征， 包括： 根据每个低分辨视频帧与相邻的至少一个低分辨视频帧的融合特征之间的相似性， 计 算与每个低分辨视频帧分别对应的融合权 重； 按照预设的分组数量， 将各所述低分辨视频帧划分为多个视频帧分组； 一个视频帧分 组对应一个超分辨视频帧； 将每个视频帧分组中的各低分辨视频帧的融合特征， 按照匹配的融合权重进行加权融 合， 得到与每 个超分辨视频帧分别对应的时间增强特 征。 5.根据权利要求3所述的方法， 其特征在于， 根据 各所述超分辨视频帧在每个图像通道 中的通道权重， 将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权 融合， 得到与每 个超分辨视频帧对应的维度增强特 征， 包括： 将各所述超分辨视频帧的空间增强特征在每个图像通道中进行全局平均池化和缩放 处理， 计算所述空间增强特 征在每个图像通道中的通道权 重； 将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值， 按照匹配的通道权 重进行加权融合， 得到与每 个超分辨视频帧对应的维度增强特 征。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 对所述待处理视频中每个低分辨 视频帧进行双三次插值处 理， 得到与每 个低分辨视频帧对应的各初步超分视频帧； 根据各所述维度增强特征， 重建得到各所述超分辨视频帧， 以形成与所述待处理视频 对应的超分辨 率视频， 包括： 对各所述维度增强特征进行像素重排， 得到各重排视频帧， 并对各重排视频帧进行细 化处理， 得到各细化视频帧； 将各细化视频帧与各初步超分视频帧进行相加， 重建得到各所述超分辨视频帧， 以形 成与所述待处 理视频对应的超分辨 率视频。 7.一种视频的超分辨 率处理装置， 其特 征在于， 包括： 融合特征提取模块， 用于获取待处理视频， 并提取所述待处理视频中每个低分辨视频 帧的融合特 征， 其中， 所述融合特 征中融合了每 个低分辨视频帧的全局 和局部特征； 维度增强特征获取模块， 用于根据各低分辨视频帧的融合特征， 在多个维度上进行特 征增强处 理， 得到与超分辨视频帧对应的维度增强特 征； 其中， 多个维度包括： 时间维度、 空间维度和图像通道维度， 所述超分辨视频帧的帧数 量小于所述低分辨视频帧的帧数量； 超分辨率视频形成模块， 用于根据各所述维度增强特征， 重建得到各所述超分辨视频 帧， 以形成与所述待处 理视频对应的超分辨 率视频； 其中， 融合特 征提取模块， 包括： 低分辨视频帧输入单元， 用于在所述待处理视频中获取当前处理低分辨视频帧， 并将 所述当前 处理低分辨视频帧输入至预先训练的时空编 码器中； 所述时空编 码器基于自注意 力机制训练得到； 向量获取单元， 用于通过所述时空编码器， 获取与所述当前处理低分辨视频帧对应的 查询Q向量、 相关性K向量以及被查询信息V向量；权　利　要　求　书 2/3 页 3 CN 114529456 B 3