(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210246475.3 (22)申请日 2022.03.14 (71)申请人 泰山学院 地址 271099 山东省泰安市东 岳大街525号 (72)发明人 陶体伟　刘明霞　王琳琳　王倩倩　 刘明慧　杨德运　 (74)专利代理 机构 上海沣成知识产权代理事务 所(特殊普通 合伙) 31425 专利代理师 徐洋洋 (51)Int.Cl. G06T 5/50(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于低秩稀疏表示的红外与可见光图像融 合方法和系统 (57)摘要 本发明提供一种基于低秩稀疏表示的红外 与可见光图像融合方法， 该方法包括： 将红外与 可见光图像作为不同的任务输入由稀疏一致性 的潜在低秩表示分解模块分解为显著性部分和 基础部分； 使用深度神经网络模 型对分解出基础 部分进一步挖掘， 提取更有效的融合特征； 在图 像融合模块中， 对基础部分与显著性部分应用不 同的融合策略， 得到最终融合图像。 本发明还提 供一种基于低秩稀疏表示的红外与可见光图像 融合系统。 本发 明得到的最终融合图像利用了多 模态传感器图像数据的互补信息， 使得得到的最 终融合图像清晰度高、 层次鲜明， 场景中的显著 区域、 目标相对更加突出。 权利要求书4页 说明书13页 附图2页 CN 114648475 A 2022.06.21 CN 114648475 A 1.一种基于低秩稀疏表示的红外与可 见光图像融合方法， 其特 征在于， 包括以下步骤： S10， 利用稀疏一致性的潜在低秩表示分解模型分别对红外图像和可见光图像进行分 解； 所述稀疏一 致性的潜在低秩表示分解模型满足如下 条件： (1) (2)s.t.Xm＝XmZm+LmXm+Em； 其中， Xm表示源图像， Zm表示图像的低秩矩阵， Lm表示图像的显著性矩阵， Em表示图像的 噪声部分， m＝1， 2， 分别表示红外图像和可见光图像； ||Zm||*表示Zm的核范数， ||Lm||*表示 Lm的核范数， ||Z||2， 1表示对红外图像的低秩矩阵和可见光图像的低秩矩阵同时进行L2， 1范 数正则化约束； ||Em||2， 1表示分别对红外图像的噪声部分和可见光的噪声部分进行L2， 1范 数正则化约束； γ为平衡噪声参数， α 为 正则化平衡系数； S20， 利用交替方向乘子法对所述稀疏一致性的潜在低秩表示分解模型进行求解， 分别 得到红外图像的基础部分Fa1和显著性部 分Fb1以及可见光图像的基础部分Fa2和显著性部 分 Fb2； S30， 利用深度神经网络模型对得到的Fa1和Fa2进行深度特征提取并进行融合， 得到基础 部分融合图像Fa； S40， 将Fb1和Fb2进行融合， 得到 显著性部分融合图像Fb； S50， 将Fa和Fb进行融合， 得到红外与可 见光融合图像。 2.根据权利要求1所述的方法， 其特 征在于， S20进一 步包括： S201， 获取由如下 条件(3)和(4)限定的增广拉格朗日函数模型： s.t.Xm＝XmSm+KmXm+Em， Zm＝jm， Zm＝Sm， Lm＝Km  (4) S202， 按照如下 条件(5)至(1 1)迭代交替更新各个 变量， 直至满足收敛 条件： 其中， k为迭代次数， k的取值为1到N， N为总迭代次数， ρ 为迭代步长， uk为第k次迭代时的 平衡因子， 为第k次迭代时的增广拉格朗日乘子； I为单位矩阵， Xm′表示Xm权　利　要　求　书 1/4 页 2 CN 114648475 A 2的转置矩阵； R为Zk+1中的每个1*n2维度的行向量重构成的n*n的矩阵。 3.根据权利要求2所述的方法， 其特 征在于， S20还 包括： S203， 按照如下 条件(12) ‑(15)更新增广拉格朗日乘子： 4.根据权利要求2所述的方法， 其特 征在于， S20还 包括： S304， 按照如下 条件(16)更新平衡因子： uk+1＝min( ρ uk， μmax)    (16)。 5.根据权利要求2所述的方法， 其特 征在于， 所述收敛 条件满足： ε为预设值。 6.根据权利要求1所述的方法， 其特征在于， 在S30中， 深度神经网络模型为卷积神经网 络VGG模型。 7.根据权利要求6所述的方法， 其特 征在于， S3 0进一步包括： S301， 将Fa1和Fa2输入到卷积神经网络VG G模型中； S 3 0 2 ， 获 取 卷 积 神经 网 络 V G G 模 型 中 的 卷 积 组 i 输 出的 多 通 道 特 征图 i的取值为1到4， k 为卷积组i输出 特征图的通道数； S302， 按照如下 条件(17)和(18)获取 卷积组i的单通道特 征图 和 和 分别表示 和 在位置(x， y)的值； S303， 按照如下条件(19)和(20)对 和 进行平滑处理， 得到平滑处 理后的单通道特 征图 和 权　利　要　求　书 2/4 页 3 CN 114648475 A 3