(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210201298.7 (22)申请日 2022.03.02 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 金枝　王雅恬　罗经周　郑均　 张靖宜　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06T 5/50(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 一种道路监控图像增强方法、 系统、 装置及 介质 (57)摘要 本发明公开了一种道路监控图像增强方法、 系统、 计算机装置和存储介质， 道路监控图像增 强方法包括对原始 图像的原始特征信息进行下 采样处理， 使用对偶注意力单元对 所获得的第一 特征信息进行过滤筛选， 使用加权特征融合模块 对第一特征信息对应的第二特征信息进行融合 处理， 再使用对偶注意力单元进行过滤筛选， 获 得第三特征信息， 使用加权特征融合模块对各第 三特征信息进行融合处理， 对所获得的第四特征 信息进行处理， 获得增强图像等步骤。 本发明道 路监控图像增强方法所使用的模型具有模型体 积小以及 端到端等优点， 能够融合超分辨率处理 和弱光增强处理的效果， 从而能够有效适应对道 路监控图像进行的图像增强处理。 本发明广泛应 用于图像处 理技术领域。 权利要求书2页 说明书7页 附图4页 CN 114693575 A 2022.07.01 CN 114693575 A 1.一种道路监控图像增强方法， 其特 征在于， 所述道路监控图像增强方法包括： 获取原始图像； 所述原 始图像来自道路监控图像； 提取所述原始图像的特 征层信息， 获得原 始特征信息； 对所述原始特征信 息分别进行保持处理和至少一 次下采样处理， 获得多个第 一特征信 息； 对于任一所述第一特征信息， 使用对偶注意力单元进行过滤筛选， 获得相应的第二特 征信息， 使用基于 自注意力机制的加权特征融合模块， 对该所述第一特征信息对应的第二 特征信息以及其他所述第一特征信息对应的第二特征信息进 行融合处理， 再使用对偶注意 力单元进行过滤筛选， 获得该所述第一特 征信息对应的第三特 征信息； 使用基于自注意力 机制的加权特征融合模块， 对各所述第 一特征信 息各自对应的第 三 特征信息进行融合处 理， 获得第四特 征信息； 对所述第四特 征信息进行处 理， 获得增强图像。 2.根据权利要求1所述的道路监控图像增强方法， 其特征在于， 所述获取原始图像， 包 括： 运行在线平台； 通过所述在线平台， 接收上传的所述原 始图像。 3.根据权利要求2所述的道路监控图像增强方法， 其特征在于， 所述道路监控图像增强 方法还包括： 通过所述在线平台返回所述增强图像。 4.根据权利要求1所述的道路监控图像增强方法， 其特征在于， 所述使用基于自注意力 机制的加权特征融合模块， 对各所述第一特征信息各自对应的第三特征信息进行融合处 理， 获得第四特 征信息， 包括： 对各所述第 一特征信 息各自对应的第 三特征信 息分别进行保持处理和上采样处理， 使 各所述第三特 征信息的分辨 率达到一致； 所述使用基于自注意力 机制的加权特征融合模块， 对分辨率一致的各所述第 三特征信 息进行融合处 理， 获得所述第四特 征信息。 5.根据权利要求4所述的道路监控图像增强方法， 其特征在于， 所述使各所述第 三特征 信息的分辨 率达到一致， 包括： 使各所述第三特 征信息的分辨 率均达到所述原 始特征信息的分辨 率。 6.根据权利要求1所述的道路监控图像增强方法， 其特征在于， 所述对偶注意力单元包 括空间注意力分支和通道注意力分支， 所述对偶注意力单元用于在接收输入的第一特征信 息， 对所述第一特征信息进行卷积和激活处理后， 分别通过所述空间注意力 分支和所述通 道注意力分支对所述第一特征信息进 行处理， 通过张量拼接融合所述空间注意力分支和所 述通道注意力 分支的处理结果， 对张量拼接的融合结果进行尺度不变的卷积后， 通过残差 连接输出第二特 征信息。 7.根据权利要求1所述的道路监控图像增强方法， 其特征在于， 所述加权特征融合模块 接收两个并行的分辨率相同的特征信息作为输入， 分别称为第一特征信息和第二特征信 息， 所述第一特征信息与所述第二特征信息按照元素求和的方式组合， 获得第三特征信息， 所述第三特征信息经过通道注意力机制， 生成相应的第一通道权重值和第二通道权重值，权　利　要　求　书 1/2 页 2 CN 114693575 A 2将所述第一通道权重值与所述第一特征信息相乘得到第一特征加权筛选结果， 将所述第二 通道权重值与第二特征信息相乘 得到第二特征加权筛选结果， 对所述第一特征加权筛选结 果和所述第二特 征加权筛选结果进行 元素相加， 获得 所述加权特 征融合模块的输出 结果。 8.一种道路监控图像增强系统， 其特 征在于， 所述道路监控图像增强系统包括： 第一模块， 用于获取原 始图像； 所述原 始图像来自道路监控图像； 第二模块， 用于提取 所述原始图像的特 征层信息， 获得原 始特征信息； 第三模块， 用于对所述原始特征信息分别进行保持处理和至少一次下采样处理， 获得 多个第一特 征信息； 第四模块， 用于对于任一所述第 一特征信 息， 使用对偶注意力单元进行过滤筛选， 获得 相应的第二特征信息， 使用基于自注意力机制的加权特征融合模块， 对该所述第一特征信 息对应的第二特征信息以及其他所述第一特征信息对应的第二特征信息进 行融合处理， 使 用对偶注意力单 元进行过滤筛选， 获得该所述第一特 征信息对应的第三特 征信息； 第五模块， 用于使用基于自注意力机制的加权特征融合模块， 对各所述第一特征信息 各自对应的第三特 征信息进行融合处 理， 获得第四特 征信息； 第六模块， 用于对所述第四特 征信息进行处 理， 获得增强图像。 9.一种计算机装置， 其特征在于， 包括存储器和处理器， 所述存储器用于存储至少一个 程序， 所述处理器用于加载所述至少一个程序以执行权利要求1 ‑7任一项所述的道路监控 图像增强方法。 10.一种存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处理器可执行 的程序在由处 理器执行时用于执 行权利要求1 ‑7任一项所述的道路监控图像增强方法。权　利　要　求　书 2/2 页 3 CN 114693575 A 3