(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210250052.9 (22)申请日 2022.03.15 (65)同一申请的已公布的文献号 申请公布号 CN 114331849 A (43)申请公布日 2022.04.12 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 程乐超　王良　方超伟　张鼎文　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 专利代理师 奚丽萍 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114049408 A,202 2.02.15 CN 109919838 A,2019.0 6.21 雷鹏程等.分层特 征融合注意力网络图像超 分辨率重建. 《中国图象图形 学报》 .2020,(第09 期), 审查员 杜琳琳 (54)发明名称 一种跨模态核磁共振超分网络及 图像超分 辨率方法 (57)摘要 本发明提出了一种跨模态核磁共振超分网 络及图像超分辨率方法， 通过引入T1WI核磁共振 图像作为辅助信息重建高分辨率T2WI图像， 实现 不同模态之间的信息交流与互补， 显著提高信息 的融合能力， 加强特征表达。 将T2WI模态图像的 低高频信息重建任务分而治之， 利用卷积的局部 感知特性及可变形网络的全局感知特性来加强 网络对特征的感受能力， 有效提升高频信息的重 建效果。 设计的模态间多头注意力模块， 利用空 间特征自相似性来有效融合特征非局部信息， 有 效提高模型泛化 性。 权利要求书3页 说明书14页 附图4页 CN 114331849 B 2022.06.10 CN 114331849 B 1.一种跨模态核磁共振超分网络的图像超分辨率方法， 其特征在于， 所述跨模态核磁 共振超分网络包括依 次串联的输入门、 跨模态高频融合互补模块和输出门， 所述跨模态高 频融合互补模块包括多 级跨模态高频 可变形网络模块和多 级密集残差嵌入网络； 所述跨模态高频可变形网络模块从由长短距离感知模块， 空间特征自适应模块和模态 间多头注意力模块依次串联而成， 所述长 短距离感知 模块内部连接结构依次串联有短距离 窗口注意力模块、 第一多层感知机、 长距离窗口注意力模块、 第二多层感知机， 所述第一多 层感知机和第二多层感知机内部结构依次为层 归一化， 卷积， 高斯线性分布单元； 所述短距 离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式， 长距离窗口注意力模 块的窗口采样方式为相邻的5*5大小全局稀疏变形方式， 所述短距离窗口注意力模块和长 距离窗口注意力模块的位置编码均采用可 学习参数 形式， 参数初始化 为1； 其中， 多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应， 多级所述跨模态高频可变形网络模块依 次串联， 多级所述密集残差嵌入网络依 次串联， 当 前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获 得的结果作为下一级的密集残差嵌入网络的输入， 最后一级的跨模态高频可变形网络模块 的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入； 所述方法包括以下步骤： S1、 对核磁共振图像T1、 T2进行处理， 获得T2对应的模态图像 和梯度图 、 T1对应 的梯度图为 ， 其中， T1、 T2分别为同一人体组织部位所获得的T1加权图像和T2加权图 像； S2、 将 、 、 输入所述输入门， 在所述输入门中进行浅层度 特征提取， 获得T1对 应的浅层 梯度特征 、 T2对应的浅层图像域特 征 、 T2对应的浅层 梯度特征 ； S3、 将 作为第一级的密集残差嵌入网络的输入， 将 、 作为第一级的跨模态高频 可变形网络模块的输入， 在所述跨模态高频融合互补模块中进行处理， 获得最后一级的跨 模态高频 可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出； S4、 将 、 最后一级的跨模态 高频可变形网络模块的输出以及最后级的密集残差嵌入 网络的输出输入所述输出门， 以通过所述输出门的上下分支分别输出高分辨率图像 及 其对应的梯度图像 。 2.如权利要求1所述的一种跨模态核磁共振超分网络的图像超分辨率方法， 其特征在 于， 所述跨模态高频 可变形网络模块共有4级， 所述密集残差嵌入网络共有4级。 3.如权利要求1或2所述的一种跨模态核磁共振超分网络的图像超分辨率方法， 其特征 在于： 所述 步骤S3具体包括如下步骤： S31、 将 作为第一级的密集残差嵌入网络的输入， 将 、 作为第一级的跨模态高 频可变形网络模块的输入， 在所述跨模态高频融合互补模块中， 当前级的T2对应的跨模态 高频可变形网络模块输出的T2对应的浅层图像域特征 通过下一级 的密集残差嵌入网权　利　要　求　书 1/3 页 2 CN 114331849 B 2络得到特征 ， 特征 通过一组卷积得到跨模态输入特征 ， 并与T2对应的浅层梯度特 征 进行通道拼接， 得到 ； 其中， ， R表示通过密集残差嵌入网络； i为密 集残差嵌入网络的级别数， 且i≥1； ； C表示通过一组卷积； S32、 在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内， 经过长 短距离感知模块得到特征 ， 与T1对应的浅层梯度特征 结合输入空间特征自适应 模块得到分布对齐特征 ， 与 进行通道拼接之后经过模态间多头注意力模块得到 特征 ； S33、 经过一组卷积和GELU激活函数得到高低频融合注意力图 ， 通过矩阵相乘广 播机制得到 ； 其中， ； 表示通过矩阵相乘广播机制； S34、 迭代步骤S31至S33， 迭代预设次后， 获得最后一级的跨模态高频可变形网络模块 的输出以及最后一级的密集残差嵌入网络的输， 其中， 预设次为跨模态高频融合互补模块 中跨模态高频 可变形网络模块的总级数。 4.一种跨模态核磁共振超分网络， 其特征在于， 包括依次串联的输入门、 跨模态高频融 合互补模块和输出门， 所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块 和多级密集残差嵌入网络； 所述跨模态高频可变形网络模块从由长短距离感知模块， 空间特征自适应模块和模态 间多头注意力模块依次串联而成， 所述长 短距离感知 模块内部连接结构依次串联有短距离 窗口注意力模块、 第一多层感知机、 长距离窗口注意力模块、 第二多层感知机， 所述第一多 层感知机和第二多层感知机内部结构依次为层 归一化， 卷积， 高斯线性分布单元； 所述短距 离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式， 长距离窗口注意力模 块的窗口采样方式为相邻的5*5大小全局稀疏变形方式， 所述短距离窗口注意力模块和长 距离窗口注意力模块的位置编码均采用可 学习参数 形式， 参数初始化 为1； 其中， 多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应， 多级所述跨模态高频可变形网络模块依 次串联， 多级所述密集残差嵌入网络依 次串联， 当 前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获 得的结果作为下一级的密集残差嵌入网络的输入， 最后一级的跨模态高频可变形网络模块 的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入； 其中， 所述输入门用于对外部输入的核磁共振图像T2对应的模态图像 和梯度图 、 核磁共振图像T1对应的梯度图为 进行浅层度特征提取， 获得T1对应的浅层梯度特征 、 T2对应的浅层图像域特征 、 T2对应的浅层梯度 特征 ； T1、 T2分别为同一人体组织权　利　要　求　书 2/3 页 3 CN 114331849 B 3