(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210690440.9 (22)申请日 2022.06.17 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 胡章芳　陈健　陈江涛　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G01C 21/00(2006.01) (54)发明名称 一种基于STDC语义分割网络的实时同时定 位与建图方法 (57)摘要 本发明请求保护一种基于STDC语义分割网 络的实时同时定位与建图方法， 属于智能机器人 自主导航领域。 包括以下步骤： S1， 利用RGB ‑D深 度相机获取环境信息； S2， 对输入图像信息进行 预处理， 利用ORB算法提取特征点； S3， 利用STDC 语义分割网络获取图像语义信息， 并利用语义信 息剔除动态特征点； S4， 将剩余特征点利用ORB ‑ SLAM3算法进行定位和导航。 通过在公开数据集 TUM上进行验证， 并与近年性能良好的SLAM系统 进行比较， 结果均表明本文提出的SLAM系统在动 态环境下可以更准确的定位和导 航。 权利要求书2页 说明书5页 附图1页 CN 115187614 A 2022.10.14 CN 115187614 A 1.一种基于STDC语义分割 网络的实时同时定位与建图方法， 其特征在于， 包括以下步 骤： S1， 利用RGB ‑D深度相机直接拍摄获得RGB图像信息和图像深度信息； S2， 利用ORB角点检测与特征描述算法对RGB图像信息和图像深度信息进行特征点提 取； S3， 利用STDC短期密集连接网络获取图像 语义信息， 并利用语义信息剔除动态特 征点； S4， 将剩余特征点利用ORB ‑SLAM3算法进行定位和导航， ORB ‑SLAM3是一个基于特征点 的实时SLAM算法， 该算法包括跟踪 线程、 局部建图线程和回环检测线程。 2.根据权利要求1所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其 特征在于， 所述 步骤S2利用ORB算法提取 特征点； 具体包括： 首先利用FAST算法获得FAST关键点， 步骤为： 1、 遍历待提取的图像中的每一个像素， 并 计算该像素的灰度值Ip； 2、 设定一个阈值T(T一般取Ip的30％)； 3、 选取该像素为圆心， 3 为半 径的圆上的16个像素点； 4、 如果这16个像素点中有连续12个像素点的灰度值都大于Ip+T或 者小于Ip－T， 判定该像素为 一个FAST关键点； 然后利用图像块的灰度质心为特 征点添加旋转描述， 定义图像块A的矩为： 式中： I(x,y)为图像像素点(x,y)处的灰度值， mx、 my分别表示水平方向的矩和竖直方向 的矩； 将特征点的方向定义 为： 最后， 使用BRIEF描述子对特征点进行描述； 在特征点P周围随机选取N个点对， 比较灰 度值： 式中： P(x)、 P(y)分别为 点x、 y处的灰度值大小； 故BRIEF描述子表示 为： 式中： n表示该 特征点第n位描述子 。 3.根据权利要求1所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其 特征在于， 所述步骤S3的STDC语义 分割网络 具体为， 选取STDC2 ‑Seg75网络， STDC2 ‑Seg75网 络采用STDC模块进行编码， 并利用训练损耗引导低层学习空间细节的特 征。 4.根据权利要求3所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其权　利　要　求　书 1/2 页 2 CN 115187614 A 2特征在于， 所述的STDC模块具体为， 利用4个卷积层和 激励层获取不同感受野的特征图， 然 后将不同感受野的特征图采用级联融合， 4个卷积层采用步长为 1， 卷积核大小分别为{1,3, 3,3}的2维卷积算法， 激励 层采用ReLU函数， 其公式为： R(x)＝max(0,x)                        (6) 式中： x是输入， R(x)是 经过ReLU单 元之后的输出。 5.根据权利要求3或4所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其特征在于， STDC语义分割网络的训练损耗具体为， 采用交叉熵和二分类分割损耗联合： Ld＝Ldice(pd,gd)+Lbce(pd,gd)               (7) 式中： Ld表示训练细节损 耗， Ldice表示二分类分割损 耗， Lbce表示交叉熵损耗， pd表示预 测细节， gd表示对应 的细节地真值， 利用损失函数训练模型， 分割输入图像， 获得语义分割 图。 6.根据权利要求5所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其 特征在于， 所述语义信息剔除动态特征点具体为： 首先将 语义分割图中的高动态目标标记； 然后标记后的语义分割图作为掩 模； 最后利用掩 模和特征点图剔除动态特 征点。 7.根据权利要求6所述的一种基于STDC语义分割网络的实时同时定位与建图方法， 其 特征在于， 所述 步骤S4将剩余特 征点利用ORB ‑SLAM3算法进行定位和导 航， 具体包括： 跟踪线程： 寻找局部地图特征点并进行匹配， 利用光束平差优化BA算法来最小化重投 影误差， 定位每帧相机位姿； 局部建图线程： 运用局部BA算法优化相机位姿和特 征点云； 回环检测线程： 检测回环并通过位姿图优化消除累计漂移误差。 在位姿图优化后会启 动全局BA算法线程， 计算整个系统最优结构和运动结果。权　利　要　求　书 2/2 页 3 CN 115187614 A 3