(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210147766.7 (22)申请日 2022.02.17 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 申请人 广东微步智能科技有限公司 (72)发明人 史景伦　陈学斌　熊静远　吕龙飞　 王鹏　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种脑肿瘤图像的分割方法、 系统、 装置及 存储介质 (57)摘要 本发明公开了一种脑肿瘤图像的分割方法、 系统、 装置及存储介质， 其中方法包括： 对脑肿瘤 图像及标签进行预处理和数据扩增； 对脑肿瘤图 像进行卷积及下采样， 提取脑肿瘤图像中的上下 文语义信息， 获得特征图； 对特征图进行上采样， 将上采样的图与同一层级编码器模块中的特征 进行特征融合； 将特征图通过特征金字塔融合模 块进行聚合， 并输入到期望最大化自注意力模块 中学习全局上下文信息； 将特征和最大层级特征 图进行聚合， 得到最终的语义分割结果。 本发明 基于多尺度通道注意力机制， 提取特征和进行特 征融合， 采用特征金字塔和期望最大化注意力机 制来提取全局上下文信息， 提高语义分割的精 度， 可广泛应用于 计算机视觉及图像处 理领域。 权利要求书3页 说明书8页 附图4页 CN 114581662 A 2022.06.03 CN 114581662 A 1.一种脑肿瘤图像的分割方法， 其特 征在于， 包括以下步骤： 步骤1、 对输入的多模态的脑肿瘤图像及标签进行 预处理和数据扩增； 步骤2、 对脑肿瘤图像进行连续的卷积及下采样， 提取脑肿瘤图像中的上下文语义信 息， 获得特征图； 其中， 步骤2由编码器模块 来实现； 步骤3、 对特征图进行上采样， 将上采样的图与同一层级编码器模块中的特征进行特征 融合， 最终 获得与输入图像尺度一样的特 征图； 其中， 步骤3由解码器模块 来实现； 步骤4、 将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合， 并输 入到期望最大化自注意力模块中学习全局上 下文信息； 步骤5、 将步骤4中输出的特征和解码器模块中输出的最大层级特征图进行聚合， 并通 过卷积模块和Sigmo id函数得到最终的语义分割结果， 实现脑肿瘤图像的分割。 2.根据权利要求1所述的一种脑肿瘤图像的分割方法， 其特征在于， 所述多模态为 四个 模态， 步骤1中对脑肿瘤图像及标签进行 预处理的步骤， 包括： 对每个模态核磁共振成像的脑肿瘤图像中的非零像素区域减去均值并 除以标准差， 得 到0均值单位方差的图像； 对四个模态的脑肿瘤图像和标签进行最小脑部区域裁剪， 以包含整个脑部区域的同时 尽可能去除背景； 其中， 数据扩增包括添加高斯噪声、 随机亮度变换或者随机 镜像反转中至少一种。 3.根据权利要求1所述的一种脑肿瘤图像的分割方法， 其特征在于， 步骤2中的编码器 模块包含一系列多尺度通道注意力残差模块和下采样卷积模块， 其中多尺度通道注意力残 差模块包含两个3 ×3×3卷积层、 两个组归一化层、 两个ReLu激活层以及一个多尺度通道注 意力层； 多尺度通道注意力层包含一个全局平均池化层、 四个1 ×1×1卷积层、 四个组归一化层 和两个ReLu激活层。 4.根据权利要求3所述的一种脑肿瘤图像的分割方法， 其特征在于， 多尺度通道注意力 层中计算过程的表达式如下： L(X)＝GN(PWCo nv2( δ(GN(PWCo nv1(X)))))         (1) G(X)＝GN(PWCo nv2( δ(GN(PWCo nv1(GlbAvg(X) )))))        (2) 其中， L(X)和G(X)分别表示局部注意力特征和全局注意力特征， PWConv表示逐点卷积， GN表示组归一化， δ表 示非线性激活函数ReLu， GlbAvg表示全局平均池化； X和X ′分别表示输 入特征和输出特征， F(X)是多尺度 注意力特征权值， σ 表示非线性激活函数Sigmoid， 表示 逐元素相乘。 5.根据权利要求1所述的一种脑肿瘤图像的分割方法， 其特征在于， 步骤3中的解码器 模块包括注意力特 征融合模块、 多尺度通道 注意力残差模块和上采样模块； 其中， 多尺度通道注意力残差模块包含两个3 ×3×3卷积层、 两个组归一化层、 两个 ReLu激活层以及一个多尺度通道注意力层； 多尺度通道注意力层包含一个全局平均池化 层、 四个1 ×1×1卷积层、 四个组归一 化层和两个ReLu激活层； 上采样模块包 含一个降通道卷积和一个转置卷积；权　利　要　求　书 1/3 页 2 CN 114581662 A 2注意力特征融合模块用于利用多尺度通道注意力层来融合跨层的语义不一致的特征； 注意力特 征融合模块中计算过程的表达式如下： 其中X,Y表示要进行特征融合的特征， Z表示输出特征， F(X+Y)表示多尺度注意力特征 权值， 表示逐元素相乘。 6.根据权利要求1所述的一种脑肿瘤图像的分割方法， 其特征在于， 步骤4中的特征金 字塔融合模块包括两个卷积层和两个三线性插值层， 用于将编 码器模块中不同尺寸的编码 器特征进行融合， 以方便期望最大化自注意力模块更好的提取 上下文信息； 其中， 期望最大化自注意力模块包含一系列卷积层和矩阵乘法操作， 用于挖掘全局上 下文信息 。 7.根据权利要求6所述的一种脑肿瘤图像的分割方法， 其特征在于， 所述期望最大化自 注意力模块中计算过程的表达式如下： residual ＝X                         (5) X″＝PWConv1(X)                    (6) At＝sfm(X″T( μt‑1))                   (7) Xr＝ μAT                      (9) X′＝ δ(residual+GN(PWCo nv2( δ(Xr))))           (10) 其中， X和X ′表示输入特征和输出特征， PWConv表示逐点卷积， X ″表示经过通道压缩后 的特征， A表示用于重构输入的潜变 量， Ank表示在位置 n的第k通道上的注意力向量， μ表示重 构基， 是一个可学习的参数， μk表示第k个重构基向量， sfm表示非线性激活函数softmax， l2 表示L2归一化， t表示第t 次迭代， Xr表示重构特征， residual表示跳跃连接， GN表示组归一 化， δ表示非线性激活函数ReLu。 8.一种脑肿瘤图像的分割 系统， 其特 征在于， 包括： 数据预处 理模块， 用于对输入的多模态的脑肿瘤图像及标签进行 预处理和数据扩增； 编码器模块， 用于对脑肿瘤图像进行连续的卷积及下采样， 提取脑肿瘤图像中的上下 文语义信息， 获得 特征图； 解码器模块， 用于对特征图进行上采样， 将上采样的图与同一层级编码器模块中的特 征进行特征融合， 最终 获得与输入图像尺度一样的特 征图； 特征融合模块， 用于将解码器模块每一层级生成的特征图通过特征金字塔融合模块进 行聚合， 并输入到期望最大化自注意力模块中学习全局上 下文信息； 语义分割 模块， 用于将特征融合模块输出的特征和解码器模块输出的最大层级特征图 进行聚合， 并通过卷积模块和Sigmoid函数得到最 终的语义分割结果， 实现脑肿瘤图像的分 割。 9.一种脑肿瘤图像的分割装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利权　利　要　求　书 2/3 页 3 CN 114581662 A 3