(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210109989.4 (22)申请日 2022.01.28 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 张文君　曹玥　杨建国　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种核预测网络图像去雨方法和装置 (57)摘要 本发明涉及图像处理领域， 公开了一种核预 测网络图像去雨方法和装置， 使用编码解码器网 络作为整体架构， 融合多尺度模块和注意力机 制， 生成输入 图像对应的去雨核， 使用该核对单 幅雨点图像做滤波处理， 能够 去除图像中不同大 小、 方向的雨点， 快速得到高质量去雨图像， 网络 引入的带有ASPP的多尺度模块能够适应不同强 度的雨点噪声， 注意力机制使其对背景和雨点的 区分性更强， 能够有效地提升单幅图像去雨算法 的效果。 本发 明与其他基于核预测网络的单幅图 像去雨方法相比， 优化了核预测 网络的尺度性， 使用更简单的网络结构实现快速的运行速度， 且 得到更好的效果， 该方法适配采集数据的快速预 处理工作， 可以直接部署在设备中进行雨中实时 采集和去雨。 权利要求书2页 说明书5页 附图2页 CN 114612316 A 2022.06.10 CN 114612316 A 1.一种核预测网络图像去雨方法， 其特 征在于， 包括以下步骤： 步骤一， 使用编码解码器网络， 融合多尺度模块和注意力机制构建多尺度注意力核网 络， 多尺度注意力核网络包括编码模块、 多尺度模块、 注意力模块、 解码模块、 处 理模块； 所述编码模块， 对特 征图像进行编码压缩， 缩 减输入图像尺寸， 输出至多尺度模块； 所述多尺度模块， 提取图像的多尺度特 征； 所述注意力模块， 提取 出包含了多尺度特 征的图像的重点区域特 征； 所述解码模块， 将图像解码输出， 恢复至原图大小； 所述处理模块， 对解码输出的图像进行 滤波处理； 步骤二， 采集或下载开源数据集， 将数据集输入多尺度注意力核网络进行离线训练， 获 得去雨训练模型； 步骤三， 在需要进行预处理操作的设备平台上， 部署去雨训练模型， 将需要去雨的单张 图像输入去雨网络模型中， 获得对应的去雨滤波 核， 与输入图像进行 卷积后得到去雨图像。 2.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述编码模块的第 一层卷积层保持输入的特征图不变， 提升通道数至64； 第二层卷积层至第四层卷积层先通 过池化层缩减特征图为当前层输入尺寸的一半， 然后通过卷积保持特征图尺寸不变， 提升 通道数为输入的2倍； 第五层卷积层进行缩 减特征图操作， 但保持通道数不变。 3.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述多尺度模块由 卷积层、 ASPP层、 池化层构成； 编码模块的输出分别输入ASPP层和 池化层， ASPP层的输出特 征图尺寸不变， 通道数变为原来的四倍， 池化层通过全局平均池化和上采样得到和输入相 同大小的特征图， 通过拼接操作将ASPP层结果和池化层结果进 行融合， 再通过1*1卷积层 使 其通道降低至与编码模块输出一 致， 完成多尺度的特 征提取。 4.如权利要求3所述的一种核预测网络图像去雨方法， 其特征在于， 所述ASPP层由一个 步长为1， 无padding的1*1的卷积层和3个3*3的空洞卷积构成， 3个3*3的空洞卷积的空洞率 分别为6、 12、 18， 其 步长均为1， pad ding分别为6、 12、 18。 5.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述注意力模块将 多尺度模块的输出通过sigmoid函数进行二值化处理， 二值化处理后的输出再与编码模块 的输出进行点积 操作， 将点积结果与编码模块的输出融合。 6.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述解码模块由四 层卷积层构成， 注 意力模块的输出输入解码模块， 通过四层卷积层均进 行上采样操作， 输出 特征图分辨率为输入特征图的两倍， 具体的： 第一层卷积层和第二层卷积层将输入通道变 为原来的一半， 第三层卷积层将输出通道变为K2， 第四层卷积层保持输出通道为K2， 特征图 分辨率变为原图大小。 7.如权利要求6所述的一种 核预测网络图像去雨方法， 其特征在于， 所述处理模块将解 码模块得到的K2个通道输出重塑成1个K*K的线性滤波器， 使用所述线性滤波器和图像进行 卷积， 得到的最终图像即为去雨图像， 其中K的大小为卷积核的大小。 8.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述编码模块和解 码模块中的卷积层及池化层构造如下： 卷积层由三个大小为3*3、 步长为1、 padding为1的卷 积和ReLU激活函数构成； 池化层由一个大小为2*2、 步长为1的平均池化构成。 9.如权利要求1所述的一种 核预测网络图像去雨方法， 其特征在于， 所述离线训练具体权　利　要　求　书 1/2 页 2 CN 114612316 A 2为： 输入图像通过多尺度注意力核网络生成的K*K 滤波核， 得到处理后的图像 与真值图像O 进行对比， 最小化损失函数不 断调整网络权重， 直至完成训练； 其中， 损失函数Loss 由图像 梯度之间的曼哈顿距离L1和图像亮度的欧氏距离L2组合构成， 其具体 计算方式如下公式： 10.一种核预测网络图像去雨装置， 其特征在于， 包括一个或多个处理器， 用于实现权 利要求1‑0中任一项所述的一种核预测网络图像去雨方法。权　利　要　求　书 2/2 页 3 CN 114612316 A 3