(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210263487.7 (22)申请日 2022.03.17 (71)申请人 湖南快乐阳光互动娱乐传媒有限公 司 地址 410003 湖南省长 沙市开福区湖南国 际会展中心北四楼 (72)发明人 张东阳　谭嵩　周记生　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 姚璐华 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种轻量化图像和视频质量重 建方法、 装置 和设备 (57)摘要 本申请提供一种轻量化图像和视频质量重 建方法和装置， 方法包括对所述待处理图像进行 X倍降采样处理， 并进行通道扩展， 得到第一特征 图； 对所述第一特征图进行低级特征提取； 对提 取到的低级特征进行N倍上采样， 对所述N倍上采 样的采样结果进行高级特征提取， 得到重建特 征； 对所述重建特征进行M倍上采样； 采用预设的 高频注意力结构对所述待处理图像提取高频特 征图并和M倍上采样的采样结果进行处理得到增 强高频后的结果图， 提供了一种模 型方法复杂程 度低、 能够应用于移动设备 上的图像处 理方案。 权利要求书2页 说明书8页 附图5页 CN 114638756 A 2022.06.17 CN 114638756 A 1.一种轻量 化图像和视频质量重建方法， 其特 征在于， 包括： 获取待处 理图像； 对所述待处 理图像进行 X倍降采样处 理， 并进行通道扩展， 得到第一特 征图； 对所述第一特 征图进行低级特 征提取； 对提取到的低级特 征进行N倍上采样， 所述 N不小于2； 对所述N倍上采样的采样结果进行高级特 征提取， 得到 重建特征； 对所述重建特 征进行M倍上采样， 所述M不小于2； 采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样 结果进行处 理得到增强高频后的结果图。 2.根据权利要求1所述的轻量化图像和视频质量重建方法， 其特征在于， 对所述待处理 图像进行 X倍降采样处 理， 并进行通道扩展， 得到第一特 征图， 包括： 采用预设卷积核与所述待处理图像进行步长为X的卷积操作， 得到降采样X倍的特征 图， 记为第一特 征图； 对所述第一特 征图进行一次非线性变换， 以扩展第一特 征图的通道数。 3.根据权利要求2所述的轻量化图像和视频质量重建方法， 其特征在于， 对所述第 一特 征图进行一次非线性变换， 包括： 采用信息增强模块对所述第一特 征图进行一次非线性变换。 4.根据权利要求2所述的轻量化图像和视频质量重建方法， 其特征在于， 对所述第 一特 征图进行低级特 征提取， 包括： 采用特征增强的特征增强蒸馏模块对所述第 一特征图的通道进行第 一次蒸馏， 由所述 第一特征图的通道中蒸馏出A个通道的特征图， 记为第一蒸馏特征图， 所述A为一个预设的 正整数； 对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作， 记为第 一降 维特征图； 采用特征增强的特征增强蒸馏模块对所述第 一降维特征图的通道进行第 二次蒸馏， 由 所述第一降维特 征图的通道中蒸馏出C个通道的特 征图， 记为第二蒸馏特 征图； 对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作， 得到B个通 道的特征图， 记为第二降维特征图， 所述B为对所述待处理图像进行X倍降采样处理后的通 道数； 对所述第一特征图、 第一蒸馏特征图、 第二蒸馏特征图以及第二降维特征图在通道维 度进行融合， 得到第一融合特 征图； 再对所述第 一融合特征图进行特征融合和通道降维， 得到具有D个通道的特征图， 记为 第二特征图； 然后对所述第二特征图进行特征提取， 得到第三特征图， 该特征提取结果即为低级特 征提取结果。 5.根据权利要求4所述的轻量化图像和视频质量重建方法， 其特征在于， 对提取到的低 级特征进行N倍上采样， 所述 N不小于2， 包括： 将对所述第三特征图与所述第二特征图在通道维度上进行融合， 并采用1*1卷积对融 合结果进行 特征融合， 得到第四特 征图；权　利　要　求　书 1/2 页 2 CN 114638756 A 2对所述第四特 征图进行一次2倍上采样。 6.根据权利要求5所述的轻量化图像和视频质量重建方法， 其特征在于， 对所述N倍上 采样的采样结果进行高级特 征提取， 得到 重建特征， 包括： 采用特征增强的特征增强蒸馏模块对所述第四特征图的2倍上采样结果进行高级特征 提取， 得到 重建特征。 7.根据权利要求6所述的轻量化图像和视频质量重建方法， 其特征在于， 对所述重建特 征进行M倍上采样为： 对所述重建特 征进行2倍上采样。 8.根据权利要求7所述的轻量化图像和视频质量重建方法， 其特征在于， 所述采用预设 的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行 处理 得到增强高频后的结果图， 包括： 使用Sobel 算子提取 所述待处 理图像的高频 特征图； 将提取到的高频 特征图与所述重建特 征在通道维度上进行融合； 采用1*1卷积对所述高频特征图与所述重建特征的融合结果进行通道降维处理， 得到 仅具有一个通道的特 征图； 对该仅具有一个通道的特征图进行非线性变换， 得到该仅具有一个通道的特征图进行 线性变换后， 特征图的每个像素位置的值， 将 每个像素位置的值作为高频特征的权重， 从而 得到高频 特征注意力特 征图； 将所述高频特征注意力特征图与 所述重建特征进行点乘， 得到具有高频信 息增强后的 特征图； 采用双三次差值方法对所述待处 理图像进行 上采样处 理； 将所述重建特征进行2倍上采样的采样结果、 具有高频信息增强后的特征图与所述待 处理图像的上采样处 理结果进行叠加， 得到增强高频后的结果图。 9.一种轻量 化图像和视频质量重建装置， 其特 征在于， 包括： 采集单元， 用于获取待处 理图像； 处理单元， 用于对所述待处理图像进行X倍降采样处理， 并进行通道扩展， 得到第一特 征图； 对所述第一特征图进 行低级特征提取； 对提取到的低级 特征进行N倍上采样， 所述N不 小于2； 对所述N倍上采样的采样结果进 行高级特征提取， 得到重 建特征； 对所述重 建特征进 行M倍上采样， 所述M不小于2； 采用预设的高频注意力结构对所述待处理图像提取高频特征 图并和M倍上采样的采样结果进行处 理得到增强高频后的结果图。 10.一种轻量化图像和视频质量重建系统， 其特征在于， 包括： 权利要求9所述的轻量化 图像和视频质量重建装置 。权　利　要　求　书 2/2 页 3 CN 114638756 A 3