(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210735658.1 (22)申请日 2022.06.27 (71)申请人 上海商汤科技 开发有限公司 地址 201306 上海市自由贸易试验区临港 新片区环湖西二路8 88号C楼 (72)发明人 李思旭　高洋　章国锋　刘浩敏　 杭蒙　焦明俊　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G01C 21/16(2006.01) G01C 21/32(2006.01) G01C 21/00(2006.01) G06T 7/73(2017.01) (54)发明名称 SLAM系统、 方法、 装置、 设备、 介质和程序产 品 (57)摘要 本公开涉及一种SLAM系统、 方法、 装置、 设 备、 介质和程序产品。 所述SLA M系统包括： 硬件加 速器， 用于对SLAM任务中的并行任务集进行处 理， 得到所述并行任务集对应的任务处理结果 集， 其中， 所述并行任务集包括至少一个并行任 务； 处理器， 用于对所述SLAM任务中的第一串行 任务集进行处理， 得到所述第一串行任务集对应 的任务处理结果集， 其中， 所述第一串行任务集 包括至少一个串行任务； 第一存储器， 用于存储 所述并行任务集对应的任务处理结果集中的至 少部分任务处理结果和/或所述第一串行任务集 对应的任务处理结果集中的至少部分任务处理 结果。 权利要求书3页 说明书21页 附图6页 CN 115143960 A 2022.10.04 CN 115143960 A 1.一种同步定位与建图SLAM系统， 其特 征在于， 包括： 硬件加速器， 用于对SLAM任务中的并行任务集进行处理， 得到所述并行任务集对应的 任务处理结果集， 其中， 所述并行任务 集包括至少一个并行任务； 处理器， 用于对所述SLAM任务中的第一串行任务集进行处理， 得到所述第一串行任务 集对应的任务处 理结果集， 其中， 所述第一串行任务 集包括至少一个串行任务； 第一存储器， 用于存储所述并行任务集对应的任务处理结果集中的至少部分任务处理 结果和/或所述第一串行任务 集对应的任务处 理结果集中的至少部分任务处 理结果。 2.根据权利要求1所述的系统， 其特 征在于， 所述硬件加速器还用于： 对所述SLAM任务中的第二串行任务集进行处理， 得到所述第 二串行任务集对应的任务 处理结果集， 其中， 所述第二串行任务 集包括至少一个串行任务。 3.根据权利要求2所述的系统， 其特征在于， 所述第 二串行任务集包括特征点坐标预测 任务； 所述硬件加速器包括： 第 一核， 用于获取特征点在上一帧图像中的图像坐标， 以及惯性 测量单元IMU传感器的当前位姿数据， 并根据所述特征点在所述上一帧图像中的图像坐标 以及所述当前位姿数据， 确定所述特 征点在当前帧图像中的图像坐标的预测值。 4.根据权利要求2或3所述的系统， 其特征在于， 所述第二串行任务集还包括三维坐标 修正任务； 所述硬件加速器包括： 第二核， 用于获取特征点在至少三帧图像中的图像坐标的修正 值， 以及所述至少三帧图像对应的相 机的三维坐标， 根据所述特征点在所述至少三帧图像 中的图像坐标 的修正值， 确定所述至少三帧图像中所述特征点对应的三维坐标， 并根据所 述相机的三维坐标， 以及所述至少三帧图像中所述特征点对应的三维坐标， 修正所述相 机 的三维坐标和/或所述特 征点对应的三维坐标。 5.根据权利要求 4所述的系统， 其特 征在于， 所述第二核与第一核为同一个核。 6.根据权利要求1至5 中任意一项所述的系统， 其特征在于， 所述并行任务集包括IMU积 分任务； 所述硬件加速器包括： 第三核， 用于获取IMU传感器采集的测量数据， 对所述测量数据 进行积分， 得到所述 IMU传感器的当前位姿数据。 7.根据权利要求6所述的系统， 其特 征在于， 所述硬件加速器还用于： 存储所述当前位姿数据。 8.根据权利要求1至7中任意一项所述的系统， 其特征在于， 所述并行任务集还包括特 征点追踪任务； 所述硬件加速器包括： 第四核， 用于获取当前帧图像、 特征点在所述当前帧图像中的图 像坐标的预测值以及所述特征点对应的目标图像块， 根据所述预测值和所述 目标图像块， 在所述当前帧图像中追踪 所述特征点， 得到所述特征点在所述当前帧图像中的图像坐标的 修正值。 9.根据权利要求8所述的系统， 其特征在于， 所述硬件加速器还用于存储： 所述特征点 对应的目标图像块、 所述特征点的图像坐标的最新值以及所述特征点对应的三维坐标的最 新值。 10.根据权利要求9所述的系统， 其特 征在于， 所述硬件加速器还用于：权　利　要　求　书 1/3 页 2 CN 115143960 A 2从所述处 理器获取 特征点筛选结果； 根据所述特 征点筛选结果， 对 存储的特征点进行筛 选。 11.根据权利要求1至10中任意一项所述的系统， 其特征在于， 所述并行任务集还包括 特征提取任务； 所述硬件加速器包括： 第五核， 用于提取相机采集的关键帧图像中的特 征点。 12.根据权利要求1至11中任意一项所述的系统， 其特征在于， 所述并行任务集包括矩 阵修正任务； 所述硬件加速器包括： 第六核， 用于获取关键帧图像的特征点的特征向量， 以及特征点 的修正后的轨迹信息， 并根据所述特征向量以及所述修正后的轨迹信息， 对当前生成的地 图和/或设备轨 迹对应的矩阵进行修 正。 13.根据权利要求1至12所述的系统， 其特 征在于， 所述硬件加速器还用于： 存储相机采集的预设数量和/或预设时长的图像。 14.根据权利要求1至13中任意一项所述的系统， 其特征在于， 所述第一串行任务集包 括以下至少之一： 特征点筛选任务、 关键帧识别任务、 光束平差优化任务、 轨迹估计任务、 轨 迹优化任务。 15.一种同步定位与建图SLAM方法， 其特 征在于， 包括： 通过硬件加速器对SLAM任务中的并行任务集进行处理， 得到所述并行任务集对应的任 务处理结果集， 其中， 所述并行任务 集包括至少一个并行任务； 通过处理器对所述SLAM任务中的第一串行任务集进行处理， 得到所述第一串行任务集 对应的任务处 理结果集， 其中， 所述第一串行任务 集包括至少一个串行任务； 通过第一存储器存储所述并行任务集对应的任务处理结果集中的至少部分任务处理 结果和/或所述第一串行任务 集对应的任务处 理结果集中的至少部分任务处 理结果。 16.一种同步定位与建图SLAM装置， 其特 征在于， 包括： 第一处理模块， 用于通过硬件加速器对SLAM任务中的并行任务集进行处理， 得到所述 并行任务 集对应的任务处 理结果集， 其中， 所述并行任务 集包括至少一个并行任务； 第二处理模块， 用于通过处理器对所述SLAM任务中的第一串行任务集进行处理， 得到 所述第一串行任务集对应的任务处理结果集， 其中， 所述第一串行任务集包括至少一个串 行任务； 存储模块， 用于通过第 一存储器存储所述并行任务集对应的任务处理结果集中的至少 部分任务处理结果和/或所述第一串 行任务集对应的任务处理结果集中的至少部分任务处 理结果。 17.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 用于存储可执行指令的存 储器； 其中， 所述一个或多个处理器被配置为调用所述存储器存储的可执行指令， 以执行权 利要求15所述的方法。 18.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求15所述的方法。 19.一种计算机程序产品， 其特征在于， 包括计算机可读代码， 或者承载有计算机可读权　利　要　求　书 2/3 页 3 CN 115143960 A 3