(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210191770.3 (22)申请日 2022.02.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 江铖　庞建业　姚建华　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/00(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 20/70(2022.01)G06K 9/62(2022.01) (54)发明名称 三维医学图像的识别方法、 装置、 设备、 存储 介质及产品 (57)摘要 本申请公开了一种三维医学图像的识别方 法、 装置、 设备、 存储介质及产品， 涉及人工智能 领域。 该方法包括： 在第i轮特征提取过程中， 对 第i‑1轮三维医学图像特征进行视角重排， 得到 二维图像特征， 第i ‑1轮三维医学图像特征是对 三维医学图像进行第i ‑1轮特征提取得到的特 征， 且不同二维图像特征是第i ‑1轮三维医学图 像特征在不同视角下的特征； 对 各个二维图像特 征进行语义特征提取， 得到不同视角下的图像语 义特征； 对不同视角下的图像语义特征进行特征 融合， 得到第i轮三维医学图像特征； 基于第k轮 特征提取得到的第k轮三维医学图像特征进行图 像识别， 得到三维医学图像的图像识别结果， k大 于等于i。 权利要求书3页 说明书16页 附图5页 CN 114581396 A 2022.06.03 CN 114581396 A 1.一种三维医学图像的识别方法， 其特 征在于， 所述方法包括： 在第i轮特征提取过程中， 对第i ‑1轮三维医学图像特征进行视角重排， 得到二维图像 特征， 所述第i ‑1轮三维医学图像特征是对三维医学图像进行第i ‑1轮特征提取得到的特 征， 且不同二维图像特 征是所述第i‑1轮三维医学图像特 征在不同视角下的特 征； 对各个所述 二维图像特 征进行语义特 征提取， 得到不同视角下的图像 语义特征； 对不同视角下的所述图像 语义特征进行特征融合， 得到第i轮三维医学图像特 征； 基于第k轮特征提取得到的第 k轮三维医学图像特征进行图像识别， 得到所述三维医学 图像的图像识别结果， k大于等于i。 2.根据权利要求1所述的方法， 其特征在于， 所述对各个所述二维图像特征进行语义特 征提取， 得到不同视角下的图像 语义特征， 包括： 对所述二维图像特 征进行空间特 征提取， 得到二维图像空间特 征； 基于主视角以及辅视角对所述二维图像空间特征进行语义特征提取， 得到所述图像语 义特征， 所述主视角是所述二维 图像特征对应视角， 所述辅视角是三维视角中与所述主视 角不同的视角。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述二维图像特征进行空间特征提 取， 得到二维图像空间特 征， 包括： 对所述二维图像特征进行窗口划分， 得到N个窗口对应的局部二维图像特征， 所述N个 窗口互不重 叠； 对N个所述局部二维图像特 征进行特征提取， 得到二维图像窗口特 征； 对所述N个窗口进行窗口重排， 以及对窗口重排后的N个窗口对应的所述二维图像窗口 特征进行特征提取， 得到二维图像空间特 征， 所述窗口重排用于改变N个窗口 的空间位置 。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述N个所述局部二维图像特征进 行特征提取， 得到二维图像窗口特 征， 包括： 对所述N个所述局部二维图像特征进行自注意力处理， 得到N个所述局部二维图像特征 的自注意力特 征； 对N个所述局部二维图像特征的自注意力特征进行特征融合， 得到第一图像窗口内部 特征； 对所述第一图像窗口内部特 征进行卷积处理， 得到第一图像窗口交 互特征； 利用多层感知机MLP对所述第一图像窗口交互特征进行特征提取， 得到所述二维图像 窗口特征。 5.根据权利要求3所述的方法， 其特征在于， 所述对窗口重排后的N个窗口对应的所述 二维图像窗口特 征进行特征提取， 得到二维图像空间特 征， 包括： 对窗口重排后的N个窗口对应的所述二维图像窗口特征进行自注意力处理， 得到N个窗 口对应的自注意力特 征； 对N个所述自注意力特 征进行特征融合， 得到第二图像窗口内部特 征； 对所述第二图像窗口内部特征进行位置翻转， 以及对位置翻转后的所述第 二图像窗口 内部特征进行卷积处理， 得到第二图像窗口交 互特征； 利用MLP对所述第二图像窗口交 互特征进行特征提取， 得到所述 二维图像空间特 征。 6.根据权利要求4所述的方法， 其特征在于， 所述对N个所述局部二维图像特征进行自权　利　要　求　书 1/3 页 2 CN 114581396 A 2注意力处 理， 得到N个所述局部二维图像特 征的自注意力特 征， 包括： 基于所述二维图像特征对应的查询项Q、 键项K以及值项V进行自注意力处理， 得到N个 所述二维图像窗口特 征的自注意力特 征。 7.根据权利要求6所述的方法， 其特征在于， 所述特征提取过程包括特征编码过程与 特 征解码过程， 第t轮特征解码过程中所述K值、 V 值基于第t ‑1轮特征解码中K值、 V 值与对应特 征编码过程中K值、 V 值融合得到， 所述第k轮解码过程中所述Q值为所述第t ‑1轮特征解码中 的所述Q值。 8.根据权利要求2所述的方法， 其特征在于， 所述基于主视角以及辅视角对所述二维图 像空间特 征进行语义特 征提取， 得到所述图像 语义特征， 包括： 对所述二维图像空间特征与位置编码特征进行特征融合， 得到第一图像语义特征， 所 述位置编码特 征用于指示所述 二维图像特 征对应的位置信息； 在主视角下利用MLP对所述第一图像语义特征进行语义特征提取， 得到主图像语义特 征； 在辅视角下利用所述MLP对所述第一图像语义特征进行语义特征提取， 得到辅 图像语 义特征； 对所述主图像语义特征与所述辅图像语义特征进行特征融合， 得到所述图像语义特 征。 9.根据权利要求1至8任一所述的方法， 其特征在于， 所述对不同视角下的所述图像语 义特征进行特征融合， 得到第i轮三维医学图像特 征， 包括： 对所述图像 语义特征与视角特 征进行融合， 得到 视角图像 语义特征； 对各个所述视角图像 语义特征进行特征融合， 得到所述第i轮三维医学图像特 征。 10.根据权利要求1至8任一所述的方法， 其特征在于， 所述对各个所述二维图像特征进 行语义特 征提取， 得到不同视角下的图像 语义特征， 包括： 分别利用相同网络参数对应的特征提取网络， 对各个视角下的所述二维图像特征进行 语义特征提取， 得到不同视角下的所述图像 语义特征。 11.根据权利要求1至8任一所述的方法， 其特征在于， 所述特征提取过程包括特征编码 过程与特征解码过程， 所述特征编码过程包括对三维医学图像特征 的下采样过程， 所述特 征解码过程包括对三维医学图像特 征的上采样过程； 所述基于第 k轮特征提取得到的第 k轮三维医学图像特征进行图像识别， 得到所述三维 医学图像的图像识别结果， 包括： 在所述上采样达到原始尺寸的情况下， 将提取得到的所述三维医学图像特征确定为所 述第k轮特 征提取得到的第k轮三维医学图像特 征； 基于所述第k轮三维医学图像特 征进行图像识别， 得到所述图像识别结果。 12.根据权利要求1至8任一所述的方法， 其特征在于， 三维医学图像是计算机断层扫描 图像CT、 磁共 振成像MRI或正电子发射断层成像PET。 13.一种三维医学图像的识别装置， 其特 征在于， 所述方法包括： 视角重排模块， 用于在第i轮特征提取过程中， 对第i ‑1轮三维医学图像特征进行视角 重排， 得到二维图像特征， 所述第i ‑1轮三维医学图像特征是对三维医学图像进行第i ‑1轮 特征提取得到的特征， 且不同二维图像特征是所述第i ‑1轮三维医学图像特征在不同视角权　利　要　求　书 2/3 页 3 CN 114581396 A 3