(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210135560.2 (22)申请日 2022.02.14 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 王旭　翁键　邬文慧　 (74)专利代理 机构 深圳青年人专利商标代理有 限公司 4 4350 专利代理师 吴桂华 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 低光照图像增强模型、 方法、 电子设备及存 储介质 (57)摘要 本发明适用于图像处理技术领域， 提供了一 种低光照图像增强模型、 方法、 电子设备及存储 介质， 低光照图像增强模型包括依次连接的初始 化模块、 优化模块、 光照调整模块和图像重建模 块， 初始化模块用于对输入图像进行初始化分 解， 得到初始化光照层和初始化反射层， 优化模 块用于采用u nfolding算 法对初始化光照 层和初 始化反射层进行交替迭代优化， 得到优化光照 层 和优化反射层， 光照调整模块用于对优化光照 层 进行光照调整， 得到目标光照层， 图像重建模块 用于根据目标光照层和优化反射层进行图像重 建， 得到目标光照图像， 从而在保证低光照图像 增强模型的灵活性和解释性的同时， 提高了低光 照图像增强模型的鲁棒 性。 权利要求书2页 说明书15页 附图3页 CN 114638749 A 2022.06.17 CN 114638749 A 1.一种低光照图像增强模型， 其特征在于， 所述低光照图像增强模型包括依次连接的 初始化模块、 优化模块、 光照调整模块和图像重建模块， 其中， 所述初始化模块， 用于对输入图像进行初始化分解， 得到与所述输入图像对应的初始 化光照层和初始化反射层； 所述优化模块， 用于采用unfolding算法对所述初始化光照层和所述初始化反射层进 行若干次交替迭代优化， 得到优化 光照层和优化反射层； 所述光照调整模块， 用于对所述优化 光照层进行光照调整， 得到目标光照层； 所述图像重建模块， 用于根据所述目标光照层和所述优化反射层进行图像重建， 得到 目标光照图像。 2.如权利要求1所述的低 光照图像增强模型， 其特征在于， 所述初始化模块为全连接神 经网络， 所述全连接神经网络为包 含4个卷积层的全卷积神经网络 。 3.如权利要求1所述的低 光照图像增强模型， 其特征在于， 所述初始化模块训练时采用 的损失函数包括保真项和先验项， 其中， 所述保真项用于衡量由训练样本的初始化光照层 和初始化反射层组成的初始化图像， 与所述训练样本的接近程度， 所述先验项用于衡量所 述训练样本的初始化 光照层与所述训练样本的R、 G、 B三 通道最大值的接 近程度； 所述初始化模块训练时采用的损失函数为： 其中， Linit表示所述初始化模块的损失， I表示所述训练样本， R0表示所述训练样本的初 始化反射层， L0表示所述训练样本的初始化光照层， μ为常数， R、 G、 B分别表示红、 绿、 蓝通 道。 4.如权利要求1所述的低 光照图像增强模型， 其特征在于， 所述优化模块包括变量计算 子网络、 反射层修复网络和光照层修复网络， 在进 行当次交替迭代优化时， 所述变量计算子 网络用于计算当次迭代优化后的第一中间变量和 第二中间变量， 所述反射层修复网络用于 基于所述当次迭代优化后的第一中间变量和 第二中间变量， 得到当次迭代优化后的优化反 射层， 所述光照层修复网络用于基于当次迭代优化后的第二中间变量， 得到当次迭代优化 后的优化 光照层。 5.如权利要求4所述的低 光照图像增强模型， 其特征在于， 所述变量计算子网络用于采 用最小二乘法计算所述当次迭代优化后的第一中间变量和第二中间变量； 所述反射层修复网络用于对所述当次迭代优化后的第一中间变量和第二中间变量进 行卷积运算， 得到第一中间特征图和第二中间特征图， 对所述第一特征图和所述第二中间 特征图进行级联操作， 得到拼接特征图， 采用通道自注意力机制对所述拼接特征图进行通 道注意力计算， 得到重加权特征图， 获取所述重加权特征图的噪声分布， 基于所述噪声分布 和所述第一中间特 征图得到当次迭代优化后的优化反射层。 6.如权利要求1所述的低 光照图像增强模型， 其特征在于， 所述光照调整模块包括依次 连接的调整因子扩张子模块、 拼接 子模块和亮度调整网络， 其中， 所述调整因子扩张子模块， 用于将预设的调整尺度因子扩 张为与所述优化光照层相同 大小的矩阵； 所述拼接子模块， 用于将所述矩阵与所述优化 光照层进行拼接， 得到拼接结果；权　利　要　求　书 1/2 页 2 CN 114638749 A 2所述亮度调整网络， 用于基于所述拼接结果对所述优化光照层进行亮度调整， 得到所 述目标光照层， 其中， 所述亮度调整网络与所述初始 化模块的网络结构相同， 且 所述亮度调 整网络的卷积层的卷积核的尺寸大于所述初始化模块的卷积层的卷积核。 7.如权利要求6所述的低 光照图像增强模型， 其特征在于， 所述亮度调整 网络训练时采 用的损失函数包括梯度层面保真项、 颜色层面保真项以及结构层面保真项中的一种或多种 组合， 其中， 所述梯度层面保真项用于衡量训练样本的优化光照层与目标光照层之间的水 平或垂直梯度距离， 所述颜色层面保真项用于衡量所述训练样本的目标光照图像与参考图 像的重建损失， 所述结构层面保真项用于衡量所述训练样本的目标光照图像与所述参考图 像的距离； 所述亮度调整网络训练时采用的损失函数为： 其中， Ladjust表示所述亮度调整网络的损失， 表示所述训练样本的优化光照层的在水 平或垂直方向的梯度， 表示所述训练样本的目标光照层在水平或垂直方向的梯度， Iref 表示所述参考图像， R表示所述训练样本的优化反射层， 表示所述训练样本的目标光照层， SSIM表示图像质量损失函数。 8.一种基于权利要求1 ‑7任意一项所述低光照图像增强模型的低光照图像增强方法， 其特征在于， 所述方法包括下述 步骤： 通过所述初始化模块对输入图像进行初始化分解， 得到与所述输入图像对应的初始化 光照层和初始化反射层； 通过所述优化模块， 采用unfolding算法对所述初始化光照层和所述初始化反射层进 行若干次交替迭代优化， 得到优化 光照层和优化反射层； 通过所述光照调整模块对所述优化 光照层进行光照调整， 得到目标光照层； 通过所述图像重建模块， 根据所述目标光照层和所述优化反射层进行图像重建， 得到 目标光照图像。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述低光照图像增强模型的功能。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述低光照图像增强模型 的功能。权　利　要　求　书 2/2 页 3 CN 114638749 A 3