(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587129.1 (22)申请日 2022.05.26 (71)申请人 浙江柏视医疗科技有限公司 地址 314000 浙江省嘉兴 市经济技 术开发 区昌盛南路3 6号8幢10 03室 (72)发明人 毛殊凡　毛小倩　颜子夜　袁博　 (74)专利代理 机构 嘉兴启帆专利代理事务所 (普通合伙) 33253 专利代理师 林鸳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/60(2017.01) G06T 7/73(2017.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于层间多模态特征融合的鼻咽癌坏 死预测方法 (57)摘要 本发明公开了一种基于层间多模态特征融 合的鼻咽癌坏死预测方法， 图像预处理后， 将同 一区域的T1图像与T2图像输入到层级融合UNET 模型的输入端， 获取坏死区域分割结果； T1图像 输入到RESNET， 将图像分类为阳性切片和阴性切 片两类； 同时存在坏死区域和阳性切片的病人为 真阳性病人。 本发明通过对潜在坏死区域进行预 测， 临床医生可以采取个体化的干预措施， 提示 潜在坏死患者增 加复查频率， 提前干预。 权利要求书1页 说明书4页 附图2页 CN 115170469 A 2022.10.11 CN 115170469 A 1.一种基于层间多模态特 征融合的鼻咽癌坏死 预测方法， 其特 征在于： 包括以下步骤： 1)图像预处理： 分别获取病人脑部区域MRI多模态数据T1、 T2； 再由医生手动分割出颅 脑的肿瘤区域； 2)将被提取的T1图像与T2图像的分辨 率调整为 一致； 3)多模态图像坏死 区域提取： 将同一区域的T1图像与T2图像输入到层级融合UNET模型 的输入端， 所述层 级融合UNET模 型包括两套独立的编码 器链， 分别对应两个模态数据； 两套 编码器的输出连接为中间编码器， 将处于同一层级的两个编码器使用残差连接； 中间编码 器与解码器组合连接， 解码器输出坏死区域分割结果， 即坏死区域的掩码； 4)假阳性去除： 将步骤2)中处理过的T1图像输入RESNET神经网络， 将T1图像分为阳性 切片和阴性切片两类； 5)当某个病人的T1图像与T2图像在步骤3)中存在坏死区域， 且T1图像在步骤4)中被划 分为阳性切片， 则该病人为真阳性病人。 2.如权利要求1所述的一种基于层间多模态特征融合的鼻咽癌坏死预测方法， 其特征 在于： 所述步骤4)中， 事先设定一阈值， T1图像输入RESNET神经网络后输出一数值， 若该数 值大于阈值， 则该T1图像为阳性切片， 反 之T1图像为阴性切片。 3.如权利要求1所述的一种基于层间多模态特征融合的鼻咽癌坏死预测方法， 其特征 在于： 所述 步骤3)中层级融合UNET模型的搭建步骤如下： i)搭建UNET编码器 基础模块； ii)重复步骤i)， 为每 个模态搭建编码器链， 共有两套独立的编码器链； iii)将步骤ii)中两套编码器输出连接中间编码器， 将步骤ii)中处于同一层级的两个 编码器使用残差连接； iv)将步骤i ii)中的中间编码器与解码器组合连接； v)解码器输出坏死区域分割结果。 4.如权利要求1所述的一种基于层间多模态特征融合的鼻咽癌坏死预测方法， 其特征 在于： 所述编码器链由卷积神经网络和下采样多次交替进行， 图像被卷积神经网络提取特 征后， 通过下采样缩小图像； 解码 器由卷积神经网络和上采样多次交替进 行， 图像被卷积神 经网络提取特征后， 通过上采样放大图像， 最后一步上采样的图像被Softmax函数处理， 输 出坏死区域分割结果。 5.如权利要求1所述的一种基于层间多模态特征融合的鼻咽癌坏死预测方法， 其特征 在于： 步骤2)将被提取的T1图像与T2图像的分辨 率统一改为512* 512。权　利　要　求　书 1/1 页 2 CN 115170469 A 2一种基于层间多模 态特征融合的鼻咽癌坏死预测方 法 技术领域 [0001]本发明涉及鼻咽癌坏 死预测技术领域， 特别涉及 一种基于层间多模态特征融合的 鼻咽癌坏死 预测方法。 背景技术 [0002]鼻咽癌具有独特的解剖限制以及高度的放射敏感性， 大多数鼻咽癌 主要是依靠放 射治疗治愈的。 然而， 由于肿瘤的侵袭特性及其与周围邻近组织器官的关系， 高剂量射线照 射到邻近鼻咽的正常组织则会导 致高概率的放射治疗毒性。 [0003]放射性颞叶损伤是鼻咽癌术后放疗后常见的一种脑部损伤， 属于放射性脑病的一 种。 放射治疗所导致的晚期颞叶损伤便是鼻咽癌患者中最重要的剂量限制因素和最常见的 放疗晚期并发症， 严重影响了鼻咽癌 患者放疗后的生活质量。 [0004]颞叶放射性损伤多属于迟发性损伤， 有研究表示， 发现颞叶损伤出现的时间距首 程放疗平均为3年左右。 颞叶放射性损伤临床症状相对比较隐蔽， 即使有 些已出现颞叶坏死 区， 患者的活动尚且正常， 早期 MR诊断对颞叶损伤的诊断极为重要。 放射性颞叶损伤影像学 诊断中容易 发现的病变包括： 强化病变、 水肿、 囊肿等。 与医生沟通后， 医生表 示不同损伤需 要在MR的不同模态上进 行观察， 在实际诊断中需要 结合多模态来进 行实际诊断。 其中水肿、 囊肿是在T2序列进 行观察， 增强病变、 坏死均在 T1序列进 行观察。 其中坏死、 囊肿、 增强这些 病变都位于水肿的病变范围区内， 但过于微小的病灶的水肿不明显， 强化会更明显一些。 从 病情严重角度， 囊肿>坏死 >强化、 水肿。 [0005]一般而言脑白质病变是放射性脑损最早出现的病变、 接着出现增强的强化病灶、 坏死、 最后形成囊肿。 病灶的大小、 多少、 伴随的坏死、 水肿等反应了颞叶放射性损伤的不同 程度。 可能存在部分脑损伤的病灶不随观察期的增 加而恶化的情况。 [0006]结合T1增强序列和T2加权序列病灶的不同表现、 大小、 范围及特点， 将放射性颞叶 损伤分为 三个等级： [0007]a)轻度： 轴位像和冠状位像同侧颞叶内侧1/3内水肿或对比增强的病灶， 或水肿性 病灶超出同侧颞叶内侧1/ 3， 但未见强化病灶； [0008]b)中度： 在轴位像和冠状位像中， 水肿或对比增强病变超出 同侧颞叶内侧1/3， 但 对比增强病变未达颞叶外侧1/3， 或水肿病变达到同侧颞叶外侧1/3， 但在同侧颞叶内侧1/3 内有对比增强病变； [0009]c)重度： 轴位图像和 冠状图像中达到同侧颞叶外侧1/3处的水肿性病变和超出颞 叶外侧1/ 3处的对比增强病变； 或有坏死或囊肿病变。 [0010]一些研究表示， 目前对于颞叶损伤的诊断不仅仅局限于使用核磁共振图像， 也会 结合相应的功能成像， 如核磁共振弥散加权成像、 磁共振波谱分析、 磁共振灌注成像等。 有 研究表示功能成像在颞叶损伤早期诊断中有一定优势。 [0011]深度学习和神经网络对现有的对鼻咽癌预后放射性颞叶损伤有一定的分析与预 测能力：说　明　书 1/4 页 3 CN 115170469 A 3