(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518388.9 (22)申请日 2022.05.12 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 郭迟　余佩林　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06T 7/73(2017.01) (54)发明名称 一种在动态场景下的视觉SLAM动态特征点 剔除方法及系统 (57)摘要 本发明提供一种在动态场景下的视觉SLAM 动态特征点剔除方法及系统， 同时使用语义分割 和目标检测实现对动态物体的识别， 利用静态点 恢复减少损失， 最后实现动态点的剔除； 实现过 程包括利用目标检测处理出 RGB图片中的动态部 分； 使用自适应机制， 选择是否使用语义分割来 做更精细化的识别； 如果只使用目标检测处理 RGB图片中的动态部分， 则使用目标检测分支进 一步处理， 该分支使用运动一致性检测和静态点 恢复两种策略来剔除动态特征点； 如果使用了目 标检测和语义分割处理RGB图片中的动态部分， 则使用语义 分割分支进一步处理， 该分支使用运 动一致性检测来剔除动态特征点。 本发明在没有 效率损失的情况下， 可在高动态场景下提高位姿 估计精度和vSLAM系统运行鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 115170794 A 2022.10.11 CN 115170794 A 1.一种在动态场景下的视觉SLAM动态特征点剔除方法， 其特征在于： 同时使用语义分 割和目标检测实现对动态 物体的识别， 利用静态点恢复减少 损失， 最后实现动态点的剔除； 实现过程包括以下步骤， S1， 利用目标检测处 理出RGB图片中的动态部分； S2， 使用自适应机制， 选择 是否使用语义分割来做更精细化的识别； S3， 如果只使用目标检测处理RGB图片中的动态部分， 则使用目标检测分支进一步处 理， 该分支使用运动一致性检测和静态点恢复两种 策略来剔除动态特征点； 如果使用了目 标检测和语义分割处理RGB图片中的动态部 分， 则使用语义分割分支进一步处理， 该分支使 用运动一 致性检测来剔除动态特 征点。 2.根据权利要求1所述的一种在动态场景下的视觉SLAM动态特征点剔除方法， 其特征 在于： 所述 步骤S1)实现方式包括以下子步骤， a)对每一张RGB图像使用YOLOv4 算法进行处 理， 识别图像中的所有物体； b)保留潜在动态物体的识别结果， 潜在动态物体区域相应矩形框的保留格式为(x1, y1,x2,y2,h,w)， x1为矩形框左上角的横坐标， y1为矩形框左上角的纵坐标， x2为矩形框右 下角的横坐标， y2为矩形框右下角的纵坐标， h为矩形框的高度， w 为矩形框的宽度。 3.根据权利要求1所述的一种在动态场景下的视觉SLAM动态特征点剔除方法， 其特征 在于： 所述 步骤S2实现方式包括以下子步骤， c)计算潜在动态物体区域所占RGB图像的像素点数量， 同时计算RGB图像中总的像素点 数量， 令score为 这两个参数的比值； d)如果比值大于等于预设阈值r， 则进一步使用语义分割处理图像中的潜在动态物体 区域， 在步骤S3进行语义分割分支； 如果比值小于预设阈值r， 则直接进入步骤S3进行 目标 检测分支。 4.根据权利要求1或2或3所述的一种在动态场景下的视觉SLAM动态特征点剔除方法， 其特征在于： 所述 步骤S3实现方式包括以下子步骤， e)提取每 个RGB图像中的ORB特 征点； f)根据步骤S2的判断结果， 当进行语义分割分支时， 使用动态一致性检测来判断潜在 动态物体是否在运动， 首先利用光流金字塔计算出几何离群点， 如果达到预设数量阈值的 几何离群点落在了潜在动态物体轮廓里， 则认为该潜在动态物体在运动； 否则认定该潜在 动态物体保持静止， 没有运动； 对于正在运动的潜在动态物体， 将落在其轮廓里的ORB特征 点剔除； g)根据步骤S2的判断结果， 当进行目标检测分支时， 先使用动态一致性检测来判断潜 在动态物体是否在运动， 然后利用静态点恢复策略将潜在动态物体区域中ORB特征点区分 成静态ORB特 征点和动态ORB特 征点， 最后将落在其轮廓里的动态ORB特 征点剔除。 5.根据权利要求4所述的一种在动态场景下的视觉SLAM动态特征点剔除方法， 其特征 在于： 利用静态点恢复策略进行动态ORB特征点剔除时， 对一张RGB图像中所有的特征点分 成两部分， 第一部分是目标检测框外的特征点， 第二部 分是目标检测框内的特征点； 计算第 一部分中所有静态点对之 间的平均 距离作为静态特征点的阈值， 用第一部 分中所有的静态 特征点， 对第二部分中所有不确定点进 行投票， 包括根据阈值计算针对一个不确定点k的动 态得分， 如果超过一半的静态特征点 都认为不确定点k是动态特征点， 那么认定其为动态特权　利　要　求　书 1/2 页 2 CN 115170794 A 2征点并移除， 否则保留该点。 6.一种在动态场景下的视觉SLAM动态特征点剔除系统， 其特征在于： 用于实现如权利 要求1‑5任一项所述的一种在动态场景 下的视觉SLAM动态特 征点剔除方法。 7.根据权利要求6所述在动态场景下的视觉SLAM动态特征点剔除系统， 其特征在于： 包 括处理器和存储器， 存储器用于存储程序指令， 处理器用于调用存储器中的存储指令执行 如权利要求1 ‑5任一项所述的一种在动态场景 下的视觉SLAM动态特 征点剔除方法。 8.根据权利要求6所述在动态场景下的视觉SLAM动态特征点剔除系统， 其特征在于： 包 括可读存储介质， 所述可读存储介质上存储有计算机程序， 所述计算机程序执行时， 实现如 权利要求1 ‑5任一项所述的一种在动态场景 下的视觉SLAM动态特 征点剔除方法。权　利　要　求　书 2/2 页 3 CN 115170794 A 3