(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210574035.0 (22)申请日 2022.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 114663514 A (43)申请公布日 2022.06.24 (73)专利权人 浙江大学计算机创新 技术研究院 地址 311200 浙江省杭州市萧 山区宁围街 道市心北路857号383室 (72)发明人 宋亚楠　刘贤斐　沈卫明　姜泽维　 周迪楠　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/73(2017.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 113269830 A,2021.08.17 CN 109145867 A,2019.01.04 审查员 乔帅 (54)发明名称 一种基于多模态稠密融合网络的物体6D姿 态估计方法 (57)摘要 本发明公开了一种基于多模态稠密融合网 络的物体6D姿态估计方法。 将物体的RGB图像和 点云输入物体6D姿态估计网络训练和预测获得 旋转和平移 变换结果； 网络中用卷积神经网络提 取物体表 面特征， 对物体表面特征截 取后再与物 体几何特征拼接融合成局部模态稠密融合特征， 输入下一多层感知机获取物体几何特征， 融合得 全局多模态稠密融合特征， 再输入到实例分割关 键点处理模块得目标关键点， 结合最远点采样得 采样关键点， 通过奇异值分解获得6D姿态信息。 本发明方法能够充分利用物体的RGB信息和深度 信息， 两种模态信息的相互补 充融合能有效提高 网络对相似物体的姿态判别能力， 对噪声、 遮挡、 低纹理等复杂环境具有较强的适应性。 权利要求书2页 说明书5页 附图2页 CN 114663514 B 2022.08.23 CN 114663514 B 1.一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 步骤1： 构建物体6D姿态估计网络； 所述的物体6D姿态估计网络包括连续多个卷积操作模块、 连续多个多层感知机以及局 部模态融合模块、 全局模态融合模块、 实例分割关键点处理模块； 将输入的RGB图像依次经 连续多个卷积操作模块处理后获得最 终物体表面特征， 连续多个多层感知机和连续多个卷 积操作模块之 间通过局部模态融合模块传递特征数据获得物体几何特征， 将输入的点云经 连续多个多层感知机处理后获得最终物体几何特征， 将最终物体表面特征和最终物体几何 特征经全局模态融合模块处理融合为全局模态融合特征， 将全局模态融合特征经实例分割 关键点处理模块后获得目标关键点； 同时针对输入的点云经最远点采样处理获得采样关键 点， 最后将目标关键点和采样关键点经过奇异 值分解SVD处理后获得旋转变换参数R和平移 变换参数t； 所述的实例分割关键点处理模块包括实例分割模块、 关键点生成模块、 中心点生成模 块以及聚类操作、 投票操作； 将全局模态融合特征分别经实例分割模块、 关键点生成模块、 中心点生成模块处理获得语义分割信息、 姿态关键点、 物体中心 点， 根据不同物体类别的物 体中心点作为不同物体的位置， 针对物体的语义分割信息通过聚类操作将具有相同语义信 息的姿态关键点聚类为同一个物体类别， 属于同一个物体类别的姿态关键点通过投票方法 提取该物体类别的物体中心点和目标关键点； 步骤2： 将物体的RGB图像和点云输入物体6D姿态估计网络后进行训练； 步骤3： 采集待测场景下物体的RGB图像和点云， 输入到训练后的物体6D姿态估计网络 中， 直接预测获得旋转变换和平 移变换结果， 作为物体6D姿态估计结果。 2.根据权利要求1所述的一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 所述的物体的RGB图像和点云是采用外部的三维深度相机针对同一物体在同一时 刻获得的RGB图像和点云。 3.根据权利要求1所述的一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 连续多个多层感知机和连续多个卷积操作模块之 间通过局部模态融合模块传递特 征数据获得物体几何特征， 具体是在第i个卷积操作模块和 第i个多层感知机之 间连接设置 一个局部模态融合模块， 将第i个卷积操作模块输出的物体表面特征和第i个多层感知机输 出的物体几何特征均输入到局部模态融合模块中， 通过局部模态融合模块将物体表面特征 融合到物体几何特征中， 处理获得局部模态融合特征， 再将局部模态融合特征输入到第i+1 个多层感知机中。 4.根据权利要求1所述的一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 所述的实例分割模块、 关键点 生成模块、 中心点 生成模块均采用多层感知机 。 5.根据权利要求1所述的一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 所述的局部模态融合模块包括特征剪裁操作和注 意力池化操作； 物体表 面特征Frgb 经特征剪裁操作获得表面特征区域， 表面特征区域再经过注意力池化操作后和物体几何特 征Fp按特征通道拼接获得拼接特征， 最后将拼接特征经过多层感知机MLP网络后获得局部 模态融合特 征Fm。 6.根据权利要求1所述的一种基于多模态稠密融合网络的物体6D姿态估计方法， 其特 征在于： 所述的全局模态融合模块包括三个多层感知机和平均池化操作， 最终物体表面特权　利　要　求　书 1/2 页 2 CN 114663514 B 2征和最终物体几何特征分别经过各自的一个多层感知机后获得第一特征F1和第三特征F3， 将最终物体表 面特征和最 终物体几何特征直接按通道拼接后获得特征F2， 将第二特征F2依 次经过另一多层感知机和平均池化操作后获得全局特征F4， 最后将特征F1、 F2、 F3和F4按通 道拼接后获得全局模态融合特 征。权　利　要　求　书 2/2 页 3 CN 114663514 B 3