(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660035.2 (22)申请日 2022.06.10 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 耿向威　司马崇昊 　李弘扬　陈立　 张菘淳　乔宇　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/593(2017.01) G06T 5/50(2006.01) (54)发明名称 一种基于RAFT的自监 督深度估计方法 (57)摘要 本发明涉及计算机视觉技术领域， 提出一种 基于RAFT的自监督深度估计方法， 包括下列步 骤： 估计场景中的深度信息以及相机自运动信 息， 并且利用所述深度信息以及所述相机自运动 信息进行自监督训练； 以及基于RAFT估计场景中 的三维运动场信息， 并且利用所述三维运动场信 息进行自监 督训练。 权利要求书2页 说明书6页 附图2页 CN 114972517 A 2022.08.30 CN 114972517 A 1.一种基于RAFT的自监 督深度估计方法， 其特 征在于， 包括下列步骤： 估计场景中的深度信 息以及相机自运动信 息， 并且利用所述深度信 息以及所述相机自 运动信息进行自监 督训练； 以及 基于RAFT估计场景中的三维运动场信息， 并且利用所述三维运动场信息进行自监督训 练。 2.根据权利要求1所述的基于RAFT的自监督深度估计方法， 其特征在于， 估计场景中的 深度信息包括下列步骤： 将场景中的第 一图像和第 二图像输入多尺度的FPN网络以提取所述第 一和第二图像的 多尺度特 征， 其中所述第一和第二图像是 连续的图片帧； 将所述第一和第二图像输入相对位姿估计网络以预测所述第一图像与所述第二图像 之间的相对位姿； 以及 根据所述多尺度特征， 在深度方向上划分深度区间， 并以迭代的方式由粗到细进行区 间划分进行深度估计以及所述场景中的对应位姿信息 。 3.根据权利要求2所述的基于RAFT的自监督深度估计方法， 其特征在于， 根据 所述多尺 度特征以及所述相对位姿估计场景中的深度信息包括下列步骤： 初始化场景中的深度最小值与深度最大值； 在所述深度最小值与深度最大值之间等间距地划N等分以便在相机坐标系下等间隔地 构造多个与相机平面垂直的垂直平面； 根据所述多尺度特征、 所述相对位姿以及所述多个垂直平面的深度， 在所述垂直平面 上进行特征代价匹配以构造第一代价体； 将所述第一代价体通过编码器 ‑解码器架构以获取概 率体； 将所述概率体在深度维度上的最小概 率值作为当前像素 上的深度值 候选； 以及 在深度维度上计算深度的期望以估计场景中的深度信息 。 4.根据权利要求3所述的基于RAFT的自监督深度估计方法， 其特征在于， 还包括下列步 骤： 在低分辨率特征图下， 对多个所述垂直平面前后的带状区域内进行等间隔的深度曲面 采样； 在所述深度曲面上进行 特征代价匹配以生成低分辨 率深度信息； 根据所述低分辨率特征生成的深度信息结合高分辨率特征进行高精度的细分代价匹 配以生成高分辨 率深度信息 。 5.根据权利要求3所述的RAFT的自监督深度估计方法， 其特征在于， 利用所述深度信息 以及所述相机自运动信息进行自监 督训练包括： 确定相机的内参数； 根据所述相对位姿、 所述深度信息、 所述相机的内参数进行视 图的单应变换以构造场 景的第一重投影图像； 以及 将所述第一重投影图像与场景的原图像的光度一致性作为优化目标进行第一自监督 训练。 6.根据权利 要求5所述的基于RAFT的自监督深度估计方法， 其特征在于， 基于RAFT估计 场景中的三维运动场信息包括下列步骤：权　利　要　求　书 1/2 页 2 CN 114972517 A 2将所述第一图像与 所述第二图像在同一坐标系下进行投影， 并且将投影时未对齐的区 域确定为动态 物体区域； 基于所述第一和第二图像以及所述深度信息将所述第一和第二图像拼接为第三图像； 利用第一和第二骨干特征提取网络提取所述第三图像与所述原图像之间的第一和第 二特征图； 对所述第一和第二特 征图进行点积计算像素之间的相似度以构造第二代价体： 将所述第二代价体存 储为四维的相似度查找 表； 将所述三维运动场初始为全零矩阵； 以及 将所述动态物体区域内的于每个像素利用所述相似度查找表查找最为相似的点并且 进行循环迭代更新以获取三维运动场信息 。 7.根据权利要求6所述的基于RAFT的自监督深度估计方法， 其特征在于， 进行循环迭代 更新以获取三维运动场信息包括利用GRU模块以及卷积操作， 计算出相对于上次迭代过程 输出运动场的残差运动场， 然后与上次迭代过程输出运动场进行相加用作补偿。 8.根据权利要求7所述的基于RAFT的自监督深度估计方法， 其特征在于， 利用所述三维 运动场信息进行自监 督训练包括下列步骤： 将所述三维运动场张量与所述相机自运动信息进行叠加并且逐像素构造场景的第二 重投影图像； 以及 将所述第二重投影图像与场景的原图像的光度一致性作为优化目标进行第二自监督 训练。 9.根据权利要求8所述的基于RAFT的自监督深度估计方法， 其特征在于， 进行所述第一 阶段自监督训练， 再进行所述第二 阶段自监督训练， 并且在所述第一和第二自监督训练的 过程后， 对两个网络进行 联合训练以进行参数微调更新。权　利　要　求　书 2/2 页 3 CN 114972517 A 3