(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210108471.9 (22)申请日 2022.01.28 (71)申请人 北京邮电大 学 地址 100089 北京市海淀区西土城路10号 (72)发明人 何召锋　张志礼　张曼　王甲　 王宸　 (74)专利代理 机构 石家庄领皓专利代理有限公 司 13130 专利代理师 朱春巧 (51)Int.Cl. G06T 5/00(2006.01) G06V 40/18(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 区域注意力机制引导的双路虹膜补全方法 及系统 (57)摘要 本发明涉及虹膜补全技术领域， 提出了区域 注意力机制引导的双路虹膜补全 方法及系统， 包 括Transformer编码器、 CNN编码器、 融合模 块、 残 差块、 区域注意力模块和解码器。 通过引入区域 注意力机制， 使用二值遮挡图像m来约束特征图 f1和特征图f2两个不同的注意力输 出， 对于f2， 关 注其中对应输入图像的遮挡部分， 对于f1， 关注 其中对应输入图像的非遮挡部分， 使得网络更加 关注虹膜图像中遮挡区域的修复， 生成高质量虹 膜补全图像 。 权利要求书2页 说明书5页 附图2页 CN 114463214 A 2022.05.10 CN 114463214 A 1.区域注意力机制引导的双路虹膜补全方法， 其特 征在于， 包括如下步骤： S100： 输入待修复的虹膜图像； S200： 对所述虹膜图像进行编码， 输出 特征图f1， 所述特征图f1包括非遮挡部分的信息； S300： 所述特征图f1通过多个卷积层和残差层的堆叠， 进行残差处理， 输出特征图f2， 所 述特征图f2包括用于生成完整图像的特 征信息； S400： 所述特 征图f1和特征图f2进行区域注意力机制处 理， 输出处 理后的特 征图y1和y2； S500： 对所述特 征图y1和y2进行解码， 输出补全后的虹膜图像。 2.根据权利要求1所述的区域注意力 机制引导的双路虹膜补全方法， 其特征在于， 所述 步骤S400包括， S401： 引入两个存储单元Mk和Mv作为区域注意力机制的键和值， Mk＝Fc(f2)， Mv＝Fc (f1)， Fc为全连接层； S402： 计算区域注意力机制的注意力分数 S403： 计算产生长期层间注意力特征c1＝Af1， 输出特征图y1＝γ1mc1+(1‑m)f1， 其中m为 降采样的二 值遮挡图像， γ1为参数； S404： 计算产生自注意力特征 输出特征图y2＝γ2(1‑m)c2+mf2， 其中m为降采 样的二值遮挡图像， γ2为参数。 3.根据权利要求1所述的区域注意力 机制引导的双路虹膜补全方法， 其特征在于， 所述 步骤S200包括， S201： 将虹膜图像输入到 CNN编码器， 输出虹膜图像的局部特 征； S202： 将虹膜图像转换为多个序列块输入到Transformer编码器， 输出虹膜图像的全局 特征； S203： 对输出的全局特 征和局部特征进行双边引导聚合， 输出 特征图f1。 4.根据权利要求1所述的区域注意力 机制引导的双路虹膜补全方法， 其特征在于， 还包 括， S600： 全局判别器接收补全后的虹膜图像， 输出全局概率矩阵， 所述全局概率矩阵中每 个值表示补全后的虹膜图像相应 像素块的真假 概率值； S700： 局部判别器接收被修复的部分图像， 输出局部概率矩阵， 所述局部概率矩阵中每 个值表示被修复的部分图像相应 像素块的真假 概率值。 5.根据权利要求1所述的区域注意力 机制引导的双路虹膜补全方法， 其特征在于， 还包 括损失函数计算方法， 所述损失函数包括重构损失、 感知损失、 风格损失、 总变差损失、 对抗 损失、 身份损失。 6.根据权利要求5所述的区域注意力 机制引导的双路虹膜补全方法， 其特征在于， 总损 失函数 其中， λ1、 λ2、 λ3、 λ4、 λ5、 λ6、 λ7分别 为重构损失、 感知损失、 风格损失、 局部对抗损失、 全局对抗损失、 总变差损失、 身份损失的 权衡参数。 7.区域注意力 机制引导的双路虹膜补全系统， 其特征在于， 包括双 路生成网络， 所述双 路生成网络， 所述双路生成网络包括编码单元、 残差块、 区域注意力模块和解码器， 所述编 码单元的输入用于接 收待修复的虹膜图像， 所述编码单元 的输出连接所述残差块的输入，权　利　要　求　书 1/2 页 2 CN 114463214 A 2所述编码单元的输出和所述残差块的输出还连接所述区域注意力模块的输入， 所述区域注 意力模块的输出 连接所述 解码器的输入， 所述 解码器用于 输出补全后的虹膜图像。 8.根据权利要求7所述的区域注意力 机制引导的双路虹膜补全系统， 其特征在于， 所述 编码单元包括Transformer编码器、 CNN编码器和融合模块， 所述Transformer编码器和CNN 编码器的输入用于接收待修复的虹膜图像， 所述Transformer编码器和CNN编码 器的输出连 接所述融合模块的输入， 所述融合模块的输出作为编码单 元的输出。 9.根据权利要求7所述的区域注意力 机制引导的双路虹膜补全系统， 其特征在于， 还包 括全局局部判别网络， 所述全局局部判别网络包括全局判别器和局部判别器， 所述全局判 别器和所述局部判别器的输入连接所述解码 器的输出， 所述全局判别器用于接收补 全后的 虹膜图像， 并输出全局 概率矩阵， 所述全局 概率矩阵中每个值表示补全后的虹膜图像相应 像素块的真假概率值； 所述局部判别器用于接收被修复的部分图像， 输出局部概率矩阵， 所 述局部概 率矩阵中每 个值表示被修复的部分图像相应 像素块的真假 概率值。 10.根据权利要求8所述的区域注意力机制引导的双路虹膜补全系统， 其特征在于， 所 述Transformer编码器包括多头注意力模块和多层感知机模块， 所述多头注意力模块和多 层感知机模块的输入均设有正则化模块， 所述多头注意力模块残差连接后输出给多层感知 机模块， 所述多层感知机模块残差连接后作为所述Transformer编码器的输出。权　利　要　求　书 2/2 页 3 CN 114463214 A 3