(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221089516 6.9 (22)申请日 2022.07.28 (65)同一申请的已公布的文献号 申请公布号 CN 114972341 A (43)申请公布日 2022.08.30 (73)专利权人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 余晋刚　吴梓浩　吴锦全　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06F 30/20(2020.01) G06T 7/00(2017.01) G06N 7/00(2006.01) G06T 7/136(2017.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) (56)对比文件 CN 114783604 A,202 2.07.22 CN 111814342 A,2020.10.23 CN 112435243 A,2021.0 3.02 CN 113221978 A,2021.08.0 6 US 2020184643 A1,2020.0 6.11 黄雷 等.CT淋巴造 影联合三维可视技 术在 乳腺癌淋巴回流路径研究中的应用. 《实用医学 杂志》 .2021,第37 卷(第14期), Jianjin Deng et al. .A simple graph - based semi-supervised learn ing approach for imbalanced clas sificati on. 《Pattern Recognition》 .2021, 审查员 王俊杰 (54)发明名称 基于贝叶斯辅助学习的WSI图像分类方法、 系统及介质 (57)摘要 本发明公开了一种基于贝叶斯辅助学习的 WSI图像分类方法、 系统及介质， 方法为： 获取WSI 图像并进行阈值分割， 得到病理图像块集； 基于 贝叶斯决策理论构建WSI 分类模型， 所述WSI分类 模型包括图像块特征提取器、 图像块分类器和特 征融合及分类模块； 初始化WSI分类模型， 在病理 图像块集上使用EM法迭代训练WSI分类模型， 得 到训练好的WSI 分类模型； 将 待诊断WSI图像输入 训练好的WSI 分类模型， 输 出待诊断WSI图像的类 别标签。 本发明基于贝叶斯决策理论构建WSI分 类模型， 通过引入图像块分类器进行辅助学习任 务， 充分提取WSI图像中的信息， 同时使用EM法在 迭代训练过程中进行动态学习， 提高WSI分类性 能及模型鲁棒 性。 权利要求书4页 说明书13页 附图3页 CN 114972341 B 2022.12.16 CN 114972341 B 1.基于贝叶斯辅助学习的WSI图像分类方法， 其特 征在于， 包括下述 步骤： 获取WSI图像和对应的类别标签， 将WSI图像转换到HSV空间， 根据饱和度提取前景 区域 并分割成多个图像块得到病理图像块 集； 基于贝叶斯决策理论构建WSI分类模型， 所述WSI分类模型包括 图像块特征提取器、 图 像块分类器和特征融合及分类模块； 所述特征融合及分类模块包括注意力融合模块及WSI 分类器； 所述图像块特征提取器用于提取病理图像块集中 图像块的特征； 所述图像块分类器为 图像块赋伪标签； 所述注意力融合模块用于获取图像块特征对应的注 意力权重； 所述WSI分 类器用于对WSI图像进行分类； 所述WSI分类模型基于贝叶斯决策理论进行搭建， 通过在病理图像块集 上， 训练学习参数为 θ=(θ1, θ2, θ3)的WSI分类模型 Fθ， 其中 表示第i张WSI图像， 表示第i张WSI图像中第 n张图像块， Ni表示第i张WSI图像块的图像块数量， yi表示第i张WSI 图像对应的类别 标签，θ1为图像块特征提取器的参数， θ2为特征融合及分类模块的参数， θ3 为图像块分类 器的参数， 根据输入的WSI图像 X预测出类别标签 y= Fθ(X)， 具体为： 将训练学习参数为 θ=(θ1, θ2, θ3)的WSI分类模型 Fθ定义为极大似然估计问题， 表示 为： 其中，θ*表示WSI分类模型的理论 参数， |D|表示病理图像块 集中的WSI图像数量； 引入隐变量 表示图像块的类别标签集合， 得到WSI分类模型的目标函 数： 其中， 表示每个图像块 隐含的真实类别标签， C表示WSI图像所包含类别标 签的集合； 初始化WSI分类模型， 在病理图像块集上使用EM法迭代训练WSI分类模型， 优化模型参 数， 直至模型收敛， 得到训练好的WSI分类模型； 将癌症患者的待诊断WSI图像输入训练好的WSI分类模型， 输出待诊断WSI图像的分类 结果并绘制概 率热力图。 2.根据权利要求1所述的基于贝叶斯辅助学习的WSI图像分类方法， 其特征在于， 所述 图像块特 征提取器采用ResNet ‑50网络作为骨干网络； 所述初始化 WSI分类模型， 具体为： 在ImageNet数据集上对图像块特征提取器进行预训练， 初始化图像块特征提取器的参 数； 初始化参数后的图像块特 征提取器将输入的图像块编码为1024维的特 征向量； 采用随机初始化对图像块分类 器、 注意力融合模块和WSI分类 器的参数进行初始化。 3.根据权利要求2所述的基于贝叶斯辅助学习的WSI图像分类方法， 其特征在于， 所述 在病理图像块集上使用EM法迭代训练WSI分类模型前， 使用初始化后的图像块特征提取器权　利　要　求　书 1/4 页 2 CN 114972341 B 2提取病理图像块集的初始化图像块特征， 再使用初始化图像块特征以及WSI图像对应的类 别标签训练注意力融合模块和WSI分类 器， 更新特 征融合及分类模块的参数； 并将图像块分类器 中预测所有图像块属于WSI图像对应类别标签的分数值 赋予 1， 表示第i张WSI图像中第 n张图像块的预测分数值。 4.根据权利要求3所述的基于贝叶斯辅助学习的WSI图像分类方法， 其特征在于， 所述 EM法迭代训练WSI分类模型的步骤 包括E‑step和M‑step； 所述E‑step根据输入WSI图像 Xi和对应的类别 标签yi， 以及WSI分类模型的参数 θ(t)， 为 病理图像集中的每一图像块赋予伪标签， 其中 θ(t)表示第t轮迭代的模型参数； 基 于 W S I 分 类 模 型 的 目 标 函 数 ，定 义 ， 并 根 据 等 式 ， 将WSI分类模型的目标函数分解 为： 其中， 表示WSI分类模型预测的图像块类别集合等于图像块隐含 的真实标签的后验 概率，J(θ, θ(t))表示WSI分类模型使用第 t轮迭代模型参数 θ(t)训练得到模型参数为 θ的目标 函数； 进一步展开得到WSI分类模型的目标函数展开式： 根据WSI分类模型的目标函数展开式， 确定所述M ‑step用于更新图像块特征提取器的 参数θ1以及图像块分类器的参数 θ3， 再根据图像块特征提取器的参数 θ1更新特征融合及分 类模块的参数 θ2。 5.根据权利要求4所述的基于贝叶斯辅助学习的WSI图像分类方法， 其特征在于， 所述 E‑step具体为： 将病理图像块数据集输入WSI分类模型中， 使用图像块特 征提取器 提取图像块特 征： 其中， 表示第i张WSI图像中第 n张图像块特 征； 再输入注意力融合模块ω中获取 所有图像块在WSI图像中的注意力权 重值{an}i： 其中， {an}i表示第i张WSI图像中第 n张图像块的注意力权 重； 同时将图像块特征输入图像块分类器 中预测所有图像块属于WS I图像对应类别标签 的分数值 ： 将同一图像块的注意力权重值{ an}i和分数值 进行点积， 得到病理图像块集的整体 分数{sn}i： 权　利　要　求　书 2/4 页 3 CN 114972341 B 3