(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210155872.X (22)申请日 2022.02.21 (71)申请人 北京爱芯科技有限公司 地址 100082 北京市海淀区中关村大街1号 16层1605 (72)发明人 刘建伟　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 周春霞 (51)Int.Cl. G06T 5/50(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 一种红外图像与可见光图像融合的方法及 系统 (57)摘要 本申请提供一种红外图像与可见光图像融 合的方法及系统， 将可见光亮度图像 分解为可见 光基底层图像和可见光细 节层图像， 将红外亮度 图像分解为红外基底层图像和红外细节层图像， 对基底层图像和细节层图像分别进行融合， 以使 融合基底层图像和 融合细节层图像融合后的综 合亮度图像能够兼顾红外亮度图像在极暗场景 下噪声小和可见光亮度图像符合人眼对外界的 观感的特点。 权利要求书2页 说明书9页 附图2页 CN 114549382 A 2022.05.27 CN 114549382 A 1.一种红外图像与可 见光图像融合的方法， 其特 征在于， 包括： 获取可见光图像， 并将所述可见光图像分解为可见光亮度图像和可见光颜色图像； 对 所述可见光亮度图像进行分解， 得到可 见光基底层图像和可 见光细节层图像； 获取红外 图像， 并根据所述红外 图像生成红外亮度图像； 对所述红外亮度图像进行分 解， 得到红外基底层图像和红外细节层图像； 将所述可见光基底层图像和所述红外基底层图像进行融合， 得到融合基底层图像； 将 所述可见光细节层图像和所述红外细节层图像进行融合， 得到融合细节层图像； 将所述融合基底层图像和所述融合细节层图像进行融合， 得到综合亮度图像； 将所述综合亮度图像和所述颜色图像作为所述红外图像与可 见光图像的融合结果。 2.如权利要求1所述的方法， 其特征在于， 所述将所述可见光基底层图像和所述红外基 底层图像进行融合， 得到融合基底层图像， 包括： 对每一像素点， 根据 所述可见光基底层图像与 所述红外基底层图像中该像素点的亮度 值的差值 绝对值， 计算所述融合基底层图像中该像素点的亮度值。 3.如权利要求2所述的方法， 其特征在于， 所述对每一像素点， 根据所述可见光基底层 图像与所述红外基底层图像中该像素点的亮度值的差分绝对值， 计算所述融合基底层图像 中该像素点的亮度值， 包括： 当该像素点的亮度值的差值绝对值小于第 一阈值时， 所述融合基底层图像中该像素点 的亮度值 等于所述红外基底层图像中该像素点的亮度值； 当该像素点的亮度值的差值绝对值大于或等于第 一阈值且小于第 二阈值时， 所述融合 基底层图像中该像素点的亮度值等于所述可见光基底层图像中该像素点的亮度值与所述 红外基底层图像中该像素点的亮度值的加权之和； 当该像素点的亮度值的差值绝对值大于或等于第 二阈值时， 所述融合基底层图像 中该 像素点的亮度值 等于所述可 见光基底层图像中该像素点的亮度值。 4.如权利要求3所述的方法， 其特征在于， 其中， 所述可见光基底层图像中该像素点的 亮度值的权重与该像素点的亮度值的差值绝对值呈正相关， 所述红外基底层图像中该像素 点的亮度值的权 重与该像素点的亮度值的差值 绝对值呈反相关。 5.如权利要求1所述的方法， 其特征在于， 所述将所述可见光细节层图像和所述红外细 节层图像进行融合， 得到融合细节层图像， 包括： 对所述可 见光细节层图像进行噪声抑制， 得到抑制后的图像； 对每一像素点， 所述融合细节层图像中像素点的亮度值为抑制后的图像和所述红外细 节层图像中该像素点的亮度值的最大值。 6.如权利要求5所述的方法， 其特征在于， 所述对所述可见光细节层图像进行噪声抑 制， 得到抑制后的图像， 包括： 对每一像素点， 抑制后的图像中像素点的亮度值为： 当所述可见光细节层图像中该像 素点的亮度值小于第三阈值时， 抑制后的图像中该像素点的亮度值为0； 当所述可见光细节 层图像中该像素点的亮度值大于或等于第三阈值时， 抑制后的图像中该像素点的亮度值为 所述可见光细节层图像中该像素点的亮度值。 7.一种红外图像与可 见光图像融合的系统， 其特 征在于， 包括： 可见光图像传感器， 用于获取 可见光图像；权　利　要　求　书 1/2 页 2 CN 114549382 A 2可见光成像模块， 用于将所述可 见光图像转换为可 见光亮度图像和颜色图像； 可见光分解模块， 用于对所述可见光亮度图像进行分解， 得到可见光基底层图像和可 见光细节层图像； 红外光图像传感器， 用于获取红外图像； 红外光成像模块， 用于将所述红外图像转换为红外亮度图像； 红外光分解模块， 用于对所述红外亮度图像进行分解， 得到红外基底层图像和 红外细 节层图像； 图像融合模块， 用于将所述可见光基底层图像和所述红外基底层图像进行融合， 得到 融合基底层图像； 将所述可见光细节层图像和所述红外细节层图像进行融合， 得到融合细 节层图像； 将所述融合基底层图像和所述融合细节层图像进 行融合， 得到综合亮度图像； 以 及 存储单元， 用于将所述综合亮度图像和所述颜色图像作为融合结果存 储。 8.如权利要求7所述的系统， 其特征在于， 所述可见光图像传感器包括带有红外截止滤 光片的CMOS传感器或CCD传感器， 所述红外光图像传感器包括无红外截止滤光片的CMOS传 感器或CCD传感器。 9.如权利要求7所述的系统， 其特征在于， 所述可见光成像模块包括 白平衡校正模块、 解马赛克模块、 伽马压缩曲线模块和色域空间转换模块。 10.如权利要求7 所述的系统， 其特 征在于， 所述可 见光分解模块包括： 第一滤波模块， 用于对所述可 见光亮度图像进行 滤波得到所述可 见光基底层图像； 第一减法模块， 用于将所述可见光亮度图像的亮度值减去所述红外基底层图像的亮度 值， 得到所述可 见光细节层图像； 所述红外光分解模块包括： 第二滤波模块， 用于对所述红外亮度图像进行 滤波得到所述红外基底层图像； 第二减法模块， 用于将所述红外亮度图像的亮度值减去所述红外基底层图像的亮度 值， 得到所述红外细节层图像。权　利　要　求　书 2/2 页 3 CN 114549382 A 3